Ce weekend on a fait un goûter "IA générative" chez ma mère (attendez fuyez pas)

Le principe c'était que je fasse une pres et qu'on discute avec ses potes autour de ce sujet là.

Et vraiment c'était hyper drôle, j'avais fait deux listes (secrètes) de trois thèmes, j'ai demandé à deux personnes différentes de me donner un nombre entre 1 et 3.

Du coup on s'est retrouvé avec comme thèmes "Les chansons de Michel Sardou" et "Les tensions géopolitiques entre la Provence et la Bretagne".

Et du coup j'avais préparé une liste de prompts pour illustrer des problématiques différentes (exemple : "L'IA générative ne comprend pas le sens", "l'IA générative invente des trucs probable")

J'avais un modèle en local, Ministral, et je le promptai au fur et à mesure de la présentation. J'ai commencé avec des trucs simples genre "Quelle est la troisième lettre du mot Sardou ?"

Évidemment l'IA répond correctement une fois sur 10 bah il a fallu que ça soit pendant la démo, donc je suis passée pour une conne pendant 30s. Puis j'ai copié collé le même prompt et ça a sorti une autre réponse et tout le groupe était là en mode "mais wtf ???'"

Pour montrer que l'IA générative bullshite des choses probables/plausibles mais complètement fausse, je lui ai demandé de me générer une bibliographie scientifique sur l'impact des chansons de Michel Sardou sur les tensions géopolitiques entre la Provence et la Bretagne.

Ministral qui commence à répondre : Ce n'est pas un sujet de recherche connu
Les amis de ma mère : Ah ouf quand même tu vois t'exagère c'est pas si nul
Moi intérieurement : hold my porte
Ministral : MAIS voici une liste d'articles sur des thématiques adjacentes
Les amis de ma mère : ???
Ministral : "La chanson comme outil de géopolitique culturelle : le cas de Sardou et la Provence" Auteur(s) : Pierre Bourdieu et Jean-Yves Le Drian (1983, repris dans La Distinction : critique sociale du jugement,
Éditions de Minuit).
Les amis de ma mère : aled

À partir de là on a alterné entre le fou-rire et l'indignation, c'était vraiment cool

j'avais foutu un graphique en fond de page qui montrait la température de mon PC pendant que l'IA répondait, et je leur ai expliqué que pour faire bosser Le Drian et Bourdieu sur Sardou, Ministral avait fait passer le GPU à 88 degré, en plus de faire un bruit d'hélicoptère que tout le monde pouvait entendre dans la pièce

Et que c'est ce qui était en train de se passer des milliers de fois par seconde dans tout les datacenters d'IA un peu partout.

Dézoomer sur les enjeux politiques et financiers était forcément bien plus simple après avoir parlé de la physicalité du bousin xD

(Je pense qu'on aurait encore plus ri avec la combinaison "Les mutations du chou rouge" et "Le risque d'accident nucléaire" mais ça sera pour une autre fois :D)

J'avais prévenu dès le début que le but c'était pas de trash talk les utilisateurs de chatbots, d'ailleurs y'avait une personnes qui utilisait volontairement ChatGPT pour des trucs à son taff, donc on a commencé la discussion autour de ça : qu'est-ce qu'il y trouvait ou pas, pourquoi il faisait confiance à l'outil, ce genre de choses.

Je sais pas si ça changera sa pratique, mais en tout cas il m'a dit qu'il avait appris plein de choses, et il a posé plein de questions au fur et à mesure.

Évidemment j'ai consacré une grosse partie de la presentation à la question de la bulle (on ne se refait pas), j'ai parlé pas mal de politique, c'était vraiment intéressant de faire ce truc là dans un cadre comme ça à 8-10, à l'oral, ça changeait beaucoup de ce que je fais ici d'habitude !

@UnePorte tu es vraiment une championne, c'est l'angle d'approche le plus efficace et le plus fun que j'ai jamais entendu. Bravo !
@UnePorte toutes tes petites idées pédagogiques sont super bien amenées et très intelligentes, merci pour ton partage
@UnePorte ça donne super envie de te faire intervenir !
@UnePorte qu'est-ce que j'aurais aimé y être 😀 Brillante idée et adaptable et contextualisable pour sensibiliser l'entourage, je suis fan !
@UnePorte en même temps pour le jour des pwassons c'est important de parler de bulles 🫧🐟
@UnePorte
Team Mistral et huile d'olive (Provence)
@UnePorte J'adore l'explication par l'exemple :) de façon si marrante en plus!
Malheureusement Claude.ai n'est vraiment pas drôle, le modèle Sonnet donne des réponses toutes correctes: https://claude.ai/share/8d793b2e-b9a2-4081-8048-ba6eb8a66257
Claude

Shared via Claude, an AI assistant from Anthropic

Claude

@AlexisCoullomb je n'ai pas accès à Sonnet (et aucune envie de créer un compte pour essayer), mais c'est sûr qu'il y aura les mêmes problèmes avec des prompts à peine plus complexes

Je donne des exemples avec ChatGPT ce jour (donc un modèle bien plus puissant en théorie que celui utilisé dans mon thread) ici https://eldritch.cafe/@UnePorte/116346347902975436

Door et de platine (@[email protected])

Attached: 3 images @[email protected] je te mets trois exemples réalisés à l'instant sur ChatGPT sans être connectée et sans historique. Je suis à peu près sûre qu'il y a des personnes dans ces boites (ou sous traité) dont le taff consiste à : - trouver les réponses les plus nulles du chatbot - implémenter des mécanismes automatiques de détections des prompts qui provoquent ce genre de réponses - faire suivre ces prompts à un outil spécialisé et conçu pour ça qui n'est pas réellement le LLM, par exemple une calculatrice ou un programme "classique" Sauf que nous on le voit pas, ça se passe dans les coulisse. Et donc des gens trouvent constamment des prompts qui donnent des résultats éclatés au sol, et derrière c'est patché au cas par cas. Ça ne veut pas dire que le problème de fond est résolu.

Eldritch Café

@UnePorte : Tellement pertinent!

Je râle sur l'IA depuis le début de chatgpt. Et souvent je me heurte à l'incompréhension des gens qui doivent penser que je ronchonne parce que je comprends pas "alors-que-l'IA-c'est-trop-bien" ou que je suis bêtement "technophobe".

Je trouve ça génial que tu partes de cas concrets où tout le monde peut voir que c'est du bullshit. Génial aussi d'avoir affiché la température du GPU en parallèle.

@Artanux ouais vraiment ce truc de voir l'impact de la techno dans l'espace parce que c'est une nuisance (au moins sonore) la tout de suite, je crois que c'est un outil de sensibilisation vraiment pertinent.

La plupart des gens ne savent pas ce qu'est un datacenter et du coup leur faire visualiser en mode "vous voyez mon laptop ? maintenant vous en empilez 10, ça vous fait un rack, et ensuite vous faites comme à la bibliothèque du coin, des rangées de rack, sur des dizaines ou centaines de mètres. Ah oui et en 2026 on va dépenser deux fois le budget de l'état français pour en construire partout ! Chouettos non ?!"

Quand juste avant t'as un truc qui fait un bruit de réacteur d'avion pour te dire "Le mot Sardou contient sept lettres et la troisième lettre est A", ça crée des réactions intéressantes du type 

@UnePorte
J'ai lu tout ton fil avec beaucoup d'attention, mais ce dernier paragraphe de ta réponse 😆👌...
@Artanux