Or donc : dans une UE de master 2, nous demandons aux étudiant.e.s de lire un article scientifique (à choisir dans une liste constituée par nous, les enseignant.e.s).

Iels doivent le comprendre, et ensuite nous restituer cela sous forme d'une présentation de 10 minutes où iels nous expliquent la problématique abordée, son contexte, l'état de l'art, la méthode proposée, la nature de l'évaluation des résultats, etc.

Ils ont plusieurs semaines pour faire ça (genre au moins deux mois...)

Premier cas : la présentation n'est constitué que de gros blocs de texte (genre 10 lignes par diapo), que l'étudiant.e annone sans même regarder le jury.

Pendant 10 minutes.

Aucune illustration issue de l'article (ni de l'architecture du système proposé, du dispositif robotique expérimental utilisé pour les tests, ni des graphes et figures de résultats : rien), juste du texte.

Et pas n'importe quel texte : juste un résumé très vague, disant à peine plus que le résumé des auteurs en début d'article.

Le collègue et moi on a passé un très mauvais moment, c'était atroce d'assister à ça.

Mon hypothèse : la personne n'a pas lu l'article, à demandé à ChatGPT de le résumer en deux pages et a ensuite copié-collé le résultat sur 10 diapos.

Seule certitude après les questions : cette personne n'avait rien compris du papier.

Les diapos ont été générées par Gamma, aucun doute là dessus : c'était écrit dans un coin des slides.

Je vous laisse visiter le site web qui correspond : https://gamma.app/fr

En gros, vous fournissez du contenu, un système d'IA à la con vous génère des diapos.

Le rêve humide de tout le middle-management linkedinien.

Un article scientifique en Intelligence Artificielle, pour celleux d'entre-vous qui n'en sont pas familier, ça regorge de contenu graphique : description du système avec des boîtes et des flèches, algorithme en pseudo-code, courbes de résultats...

Bref, dans l'exercice dont je vous parle ce soir, il va de soi que ce contenu va être copié et intégré à la présentation, pour appuyer les explications.

Là non : plein d'images, aucune issue de l'article.

Et puis des diagrammes à la con, du genre un de ces trucs qui de loin ressemble à 4 axes avec éléments positionnés de manière qualitative, du genre le mème classique ci-dessous.

Sauf que là les noms des axes ont un vague rapport avec l'article, et les items disposés sont des mots-clefs de l'article, mais qui n'ont aucun rapport avec les axes. Du pur charabia graphique qui sent son IA générative à plein nez.

J'oublie de préciser : sur l'unique diapo qui présente les résultats de l'article, il y a des bullet points (pas clairs, et mentionnant des chiffres dont je ne suis même pas sûr qu'ils soient dans l'article) et...

...

une image générée par une IA représentant un graphe scientifique générique. Je vous le reproduis ci-dessous tellement j'ai halluciné.

Il y a 10 figures de vrais résultats scientifique dans l'article, mais l'étudiant.e nous colle une fausse figure scientifique.

Pour... Pour montrer à des scientifiques (nous, dans le jury) à quoi ressemble un graphe scientifique en général ?

A quoi ça rime ?

(à rien)

Démonstration finale qu'on avait bien affaire à un LLM incarné et pas à un humain : doutant sérieusement de la compréhension du papier, et après quelques questions sans réponse, ou avec réponse fausse, je demande : "c'est quoi la fonction schmürz* ?"

Le schmürz en question, c'est un truc hyper classique, utilisé dans l'article et que l'étudiant.e a mentionné plusieurs fois pendant la présentation confuse qui avait précédé les questions.

* : cette fonction a demandé à garder l'anonymat

Là, au lieu de dire juste "je sais pas", l'étudiant.e prend une craie se tourne vers le tableau et écrit "schmürz =" et s'arrête là.

Comme si écrire ces deux mots allait nécessairement permettre de prédire le prochain item le plus probable et donc de finir l'explication...

@LegalizeBrain quand je lis ça et avec ce que je vois, je me pose plein de questions. La première est que je vois beaucoup d'étudiants qui ont très peur de faire des erreurs. Il faut qu'il y ait un algorithme de réponse aux questions posées car sinon "je ne sais pas faire". L'impression que j'en ai c'est qu'il y a une vraie peur de ne pas savoir et une incapacité à tourner autour du problème, à chercher à le résoudre par eux-mêmes. Ils préfèrent de loin chercher sur internet que d'essayer et se tromper.

(+ les étudiants flemmards, pour quelques raisons que ce soit, et ceux qui pensent qu'ils vont s'en sortir en pipotant)

Je me demande dans ceux qui ont utilisé les IA génératives la part de la première catégorie et la part de la seconde.

@CCochard @LegalizeBrain
Un exemple : dans la résolution d'un problème de maths, il est souvent nécessaire d'identifier quelle partie du cours, quel théorème va être utile pour répondre à la question posée. Sans ça, on a des réponses qui consistent en un gloubiboulga de trucs du cours concluant par « donc x=0 ». (Cf les blagues sur l'âge du capitaine !)

Dans son travail, @ClaireLomme a montré comment elle adaptait les énoncés et vérifiait que ses élèves comprenaient la situation décrite. (C'est la seule fois que j'ai vu cette question importante prise au sérieux.)

À l'inverse, dans les futurs programmes de cycle 1 ou 2, la méthode suggérée pour vérifier que les élèves comprennent bien les consignes et n'ont pas mécaniquement effectué la seule opération plausible consiste à les « piéger » : l'exemple donné consiste à ajouter le mot « plus » alors qu'il faudra faire une soustraction...

Je conçois bien qu'avec une telle pédagogie, on construit des étudiants anxieux de ne pas comprendre ce qu'ils font.

@antoinechambertloir @LegalizeBrain @ClaireLomme J'ai essayé de trouver un peu les ressources sur le blog, mais ce que je trouve n'est pas ce que je cherchais.

Vue que le problème est généralisée dans mes classes (et celles de mes collègues), j'imaginais que le problème n'est pas moi, mais qu'ils arrivent dans cet état de stress.
C'est quand même très frustrant car je n'ai pas envie qu'ils apprennent juste par coeur les définitions et faire les 3 exercices qu'on a fait en classe, mais qu'ils comprennent un peu les concepts...