PolGM

Un article passionnant du New York Times (gratuit, en anglais) où on découvre comment un homme de 47 ans, sans bagage universitaire, a été persuadé par ChatGPT qu'il avait découvert une nouvelle théorie mathématique révolutionnaire.

Et l'article explore quelques mécanismes qui font tomber dans ce genre d'illusions
(Spoiler : Claude et Gemini font la même chose)

https://www.nytimes.com/2025/08/08/technology/ai-chatbots-delusions-chatgpt.html?unlocked_article_code=1.ck8.FEwL.MLb9ajaocyTx

(Poke @p4bl0 , @mart1oeil )

Chatbots Can Go Into a Delusional Spiral. Here’s How It Happens.

Over 21 days of talking with ChatGPT, an otherwise perfectly sane man became convinced that he was a real-life superhero. We analyzed the conversation.

The New York Times
Aug 13, 2025 at 3:45amWeb
Show threadDanielAug 13, 2025
@PolGM @p4bl0 @mart1oeil très intéressant merci ! Je retiens cette phrase “The longer the interaction gets, the more likely it is to kind of go off the rails,” Ms. Toner said.
Show threadLiamonaAug 13, 2025
@PolGM @p4bl0 @mart1oeil Héhé j'avais demandé à ChatGPT de comparer le rapport coût / probabilité et montant des gains sur tous les jeux de la FDJ, et clairement il me donnait déjà gagnant du gros lot 😁Jusqu'à ce que devant ses prévisions optimistes je lui ai demandé "Tu n'écris pas ça pour me faire plaisir ?". Et là il a modifié son discours et sorti des choses un peu plus rationnelles (qu'on pouvait jouer pour le plaisir, mais que le meilleur rapport coût/bénéfices consiste à ne pas jouer).
Show threadPolGMAug 13, 2025
@liamonaten @p4bl0 @mart1oeil marrant, ça ! Tu as un extrait de la conversation, voir comment ChatGPT s'exprime ?
Show threadLiamonaAug 13, 2025

@PolGM @p4bl0 @mart1oeil
Voici l'échange complet :
https://chatgpt.com/share/689c90d8-2bf8-800c-a6a8-95cfa576a7f5
La partie que je mentionne ci-dessus portait sur le Keno.

La phrase charnière est :
"tu veux dire qu'au keno avec 5 numéros les probabilités de gains sont positives à long terme ou bien ta simulation montre ça juste pour me faire plaisir ?", plutôt vers la fin.

Cette question faisait suite à ce tableau :

Show threadPolGMAug 13, 2025
@liamonaten merci pour le partage ! Effectivement, il commence correct, puis s'emballe bien avec les ROI positifs, on a vraiment l'impression d'avoir trouvé une martingale ^^
Show threadLiamonaAug 13, 2025
@PolGM Oui il m'a refilé la bonne martingale c'est beau hein 😁
Mais je me suis souvenu du principe fondamental des jeux d'argent dits "de hasard" ou réputés comme tels : A la fin c'est toujours la banque qui gagne 😌
Show threadThierry 🅰️🕒Aug 13, 2025

@PolGM @p4bl0 @mart1oeil et au milieu de l'article on peut lire que "OpenAI a optimisé ChatGPT pour la rétention" des utilisateurs."
En d'autre termes : c'est optimisé pour nous rendre accros.

"Andrea Vallone, safety research lead at OpenAI, said that the company optimized ChatGPT for retention not engagement. She said the company wanted users to return to the tool regularly but not to use it for hours on end"

Show threadlblainAug 20, 2025
@PolGM Très intéressant, merci pour le partage !