MartinC'est dimanche soir, une mild take sur l'IA avant d'aller me coucher : ayant été, en tant que traducteur, obligé de bosser avec les LLM depuis qu'ils existent, (a) je reste ahuri que tant de gens le fassent de leur plein gré, voire avec enthousiasme, mais du coup (b) j'aurais cru qu'à ce stade, on serait en train de discuter des difficultés concrètes inhérentes au travail avec les LLM, je veux dire l'attention constante qui est requise pour repérer et corriger leurs conneries, la difficulté à recalibrer son attention face à des problèmes très différents de ceux qu'on rencontre en supervisant le boulot d'un humain (tout le monde dit "les IA c'est comme un junior/stagiaire", ce n'est pas mon expérience du tout — les LLM disent n'importe quoi d'une manière très différente d'un humain incompétent).
Ça fait des années que j'essaie de produire des textes corrects à partir de traductions machine, c'est éreintant, vraiment c'est une des tâches les plus pénibles intellectuellement que je connaisse, et le résultat n'est jamais mieux que passable. Je n'arrive tout simplement pas à croire que tant de gens se disent "Ah trop cool ça ira bien comme ça allez hop".
Joachim
@joachim le truc c'est que de mon point de vue c'est pas médiocre, c'est non fonctionnel. Quand ton illustration est activement laide, quand tes phrases sont vides, je comprends pas ce qui pousse à se dire "ah oui, c'est bien". S'il y avait une machine à faire des t-shirts gratuits mais dont les manches seraient trois fois trop longues, je me dis que les gens qui en porteraient seraient quand même en train de réfléchir à des stratégies pour les replier, mais là tout le monde se promène avec les manches qui trainent par terre.
a.@martin j’ai pas de conclusion à ce que je vais ajouter mais je suis de ton avis et ça m’y a fait penser : récemment des médecins (des gens avec un très haut niveau de connaissances et de technicité) disaient "oui c’est vrai que ça marche plutôt bien c’est fou, si on rentre le bon prompt ça donne des protocoles qui tiennent la route" et c’est que quand j’ai pointé que de fait ça n’offre aucun intérêt : ils connaissent les protocoles adaptés et la machine ne propose rien de mieux et en plus faut lui donner le bon prompt pour que la réponse soit correcte, qu’ils ont réalisé qu’en fait c’est juste tester les compétences de la machine et donc inutile…
@martin donc c’est pas que c’est médiocre c’est que ça répond à un problème qui ne se pose pas (je tiens à préciser que les médecins en question n’utilisent pas actuellement les LLM pour cet usage mais c’était une discussion en réaction au fait que des patients vont chercher des réponses que les médecins n’auraient pas avec les LLM et qu’ils ont pu tester comment ça fonctionnait par curiosité)
@martin bref, je crois qu’il y a un truc à comprendre du côté *magique*, incroyable ça fonctionne (mal, bien, utilement ou non, peu importe). Ou du côté du divin aussi, comme s’il s’agissait d’une entité omnisciente (je pense à d’autres exemples rencontrés avec des patients) qui a un savoir supérieur au savoir humain profane d’une certaine façon, donc ça donne une valeur en soi à toutes les productions des LLM, même si les productions en question sont des tshirts avec des manches qui traînent au sol.
Couscous@unluckyhaircut
clairement pas mal de gens s'en servent comme d'un ouija 🙃
Frédéric Meurin
skullette couille@unluckyhaircut c’est marrant que vous compariez à une planche de Ouija parce que beaucoup de gens qui aiment les LLMs et croient à un futur complètement révolutionnaire d’ici quelques mois grâce à eux m’ont toujours donné un ressenti de voir des membres d’une religion voire culte : tu ne peux pas argumenter contre car il y a une sorte de foi absolue qui fait que tes arguments sont invalides sans qu’une preuve soit déployée. Les gens sont persuadés d’aller bcp plus vite au travail avec alors que la seule étude qu’on a sur le sujet montre l’inverse dans mon domaine et que c’est pas mon expérience du tout avec, MAIS on veut quand même que je m’en serve parce qu’on est persuadé que je serai plus productif avec, c’est comme une vérité absolue, indéniable, et c’est impossible de nuancer la conversation autour.
Mes réunions de rétrospective pour parler de nos outils et protocoles sont devenus des séminaires LLMs, et une fois que j’ai appris le contexte de bulle spéculative autour, j’avais l’impression de vivre un truc surréel où tout le monde était subjugué, échangeant sur les personnalités et les compétences de chaque LLM selon l’usage et le domaine appliqué, et se disant que « ça ne va que s’améliorer avec le temps !! » alors que la vibe actuelle semble indiqué qu’on a déjà culminé sur la qualité de ce que ça produit et qu’on régresse maintenant.