LegalizeBrain, Kimchi GrognonJ'ai vécu mes premières soutenances "IA générative" cette année, c'était une expérience très perturbante. J'en parlerai plus en détail à l'occasion (parce que là : dodo), mais c'était totalement dingue.
Je vous raconte ce soir, ou demain, pas le temps jusqu'ici...
Or donc : dans une UE de master 2, nous demandons aux étudiant.e.s de lire un article scientifique (à choisir dans une liste constituée par nous, les enseignant.e.s).
Iels doivent le comprendre, et ensuite nous restituer cela sous forme d'une présentation de 10 minutes où iels nous expliquent la problématique abordée, son contexte, l'état de l'art, la méthode proposée, la nature de l'évaluation des résultats, etc.
Ils ont plusieurs semaines pour faire ça (genre au moins deux mois...)
Evidemment, il y a toujours de supers étudiant.e.s qui ont tout pigé, sont super clair.e.s, répondent à nos question, et on est content.e.s... et des glandu.e.s qui n'ont pas fichu grand chose, qui ont une compréhension vague et superficielle de l'article, et finissent avec une pas très bonne note, bref, la vie d'enseignant.e.
J'étais dans l'un des jurys qui a fait passer ces soutenances hier, et on a eu pour la première fois des présentations "systèmes d'IA génératifs" :
Premier cas : la présentation n'est constitué que de gros blocs de texte (genre 10 lignes par diapo), que l'étudiant.e annone sans même regarder le jury.
Pendant 10 minutes.
Aucune illustration issue de l'article (ni de l'architecture du système proposé, du dispositif robotique expérimental utilisé pour les tests, ni des graphes et figures de résultats : rien), juste du texte.
Et pas n'importe quel texte : juste un résumé très vague, disant à peine plus que le résumé des auteurs en début d'article.
Le collègue et moi on a passé un très mauvais moment, c'était atroce d'assister à ça.
Mon hypothèse : la personne n'a pas lu l'article, à demandé à ChatGPT de le résumer en deux pages et a ensuite copié-collé le résultat sur 10 diapos.
Seule certitude après les questions : cette personne n'avait rien compris du papier.
Deuxième exemple, et pire truc que j'aie jamais vu dans un tel examen : la présentation *IA générative totale* !
Les diapos ont été générées par Gamma, aucun doute là dessus : c'était écrit dans un coin des slides.
Je vous laisse visiter le site web qui correspond : https://gamma.app/fr
En gros, vous fournissez du contenu, un système d'IA à la con vous génère des diapos.
Le rêve humide de tout le middle-management linkedinien.
Sauf que le contenu fourni devait aussi sortir de plusieurs systèmes d'IA générative :
Un texte confus, vague, avec les bon mots-clefs mais un peu dans le désordre. Aucune équation, aucun algorithme, juste des fancy bullet points.
Et des images, des putains d'images, sur chaque putain de diapos. De ces images atroces générées par des systèmes d'IA, avec ce style dégueulasse qu'on reconnait à 100 m.
Un texte confus, vague, avec les bon mots-clefs mais un peu dans le désordre. Aucune équation, aucun algorithme, juste des fancy bullet points.
Et des images, des putains d'images, sur chaque putain de diapos. De ces images atroces générées par des systèmes d'IA, avec ce style dégueulasse qu'on reconnait à 100 m.
Un article scientifique en Intelligence Artificielle, pour celleux d'entre-vous qui n'en sont pas familier, ça regorge de contenu graphique : description du système avec des boîtes et des flèches, algorithme en pseudo-code, courbes de résultats...
Bref, dans l'exercice dont je vous parle ce soir, il va de soi que ce contenu va être copié et intégré à la présentation, pour appuyer les explications.
Là non : plein d'images, aucune issue de l'article.
Et puis des diagrammes à la con, du genre un de ces trucs qui de loin ressemble à 4 axes avec éléments positionnés de manière qualitative, du genre le mème classique ci-dessous.
Sauf que là les noms des axes ont un vague rapport avec l'article, et les items disposés sont des mots-clefs de l'article, mais qui n'ont aucun rapport avec les axes. Du pur charabia graphique qui sent son IA générative à plein nez.
Et puis la personne qui parle, en mode linkedin x ChatGPT : les mots sont là, mais pas vraiment dans l'ordre. C'est vraiment comme quand tu demandes à ChatGPT de parler d'un sujet technique que tu connais bien : ça semble, superficiellement, parler du truc, mais rien n'est vraiment vrai, rien n'est clair, des truc à moitiés faux... à croire qu'on nous a envoyé non pas un humain, mais un androïde connecté à internet.
J'oublie de préciser : sur l'unique diapo qui présente les résultats de l'article, il y a des bullet points (pas clairs, et mentionnant des chiffres dont je ne suis même pas sûr qu'ils soient dans l'article) et...
...
une image générée par une IA représentant un graphe scientifique générique. Je vous le reproduis ci-dessous tellement j'ai halluciné.
Il y a 10 figures de vrais résultats scientifique dans l'article, mais l'étudiant.e nous colle une fausse figure scientifique.
Pour... Pour montrer à des scientifiques (nous, dans le jury) à quoi ressemble un graphe scientifique en général ?
A quoi ça rime ?
(à rien)
Démonstration finale qu'on avait bien affaire à un LLM incarné et pas à un humain : doutant sérieusement de la compréhension du papier, et après quelques questions sans réponse, ou avec réponse fausse, je demande : "c'est quoi la fonction schmürz* ?"
Le schmürz en question, c'est un truc hyper classique, utilisé dans l'article et que l'étudiant.e a mentionné plusieurs fois pendant la présentation confuse qui avait précédé les questions.
* : cette fonction a demandé à garder l'anonymat
Là, au lieu de dire juste "je sais pas", l'étudiant.e prend une craie se tourne vers le tableau et écrit "schmürz =" et s'arrête là.
Comme si écrire ces deux mots allait nécessairement permettre de prédire le prochain item le plus probable et donc de finir l'explication...
Ces deux spécimens se sont retrouvés dans une série de 4 soutenance vraiment pas terribles, à la pause qui a suivie, mon collègue et moi nous sommes demandés ce qui se passait, si s'en était fini de l'enseignement supérieur, si par hasard c'était pas une caméra cachée... on n'avait jamais vécu un truc pareil.
Nicolas Audebert@LegalizeBrain En vrai ça fait un peu flipper.
Lundi je donne un cours d'intro sur « l'IA générative » (en fait, surtout pour montrer et illustrer les limites et faiblesses des modèles génératifs et les considérations éthiques/environnementales/sociales de leur usage).
Mercredi je suis en jury de soutenance de projet toute la journée.
J'ai presque envie de mettre ton fil dans mon cours !
Chloé Azencott@nsh je dévie du (terrifiant) sujet de départ : tu partagerais tes supports de cours ? je crois qu'il va falloir que je me résolve à aborder le sujet dans certains de mes cours @LegalizeBrain
@cazencott Je ne sais pas encore. Je ne suis pas satisfait des supports pour l'instant et j'attends d'avoir le retour des élèves. C'est expérimental et plutôt sous la forme d'atelier avec des mises en pratique commentées pour tenter de pointer les limites des modèles.
Bref, réponse lundi soir.
@nsh 🤞 pour que tu sois content de cette mouture alors !