C'est dimanche soir, une mild take sur l'IA avant d'aller me coucher : ayant été, en tant que traducteur, obligé de bosser avec les LLM depuis qu'ils existent, (a) je reste ahuri que tant de gens le fassent de leur plein gré, voire avec enthousiasme, mais du coup (b) j'aurais cru qu'à ce stade, on serait en train de discuter des difficultés concrètes inhérentes au travail avec les LLM, je veux dire l'attention constante qui est requise pour repérer et corriger leurs conneries, la difficulté à recalibrer son attention face à des problèmes très différents de ceux qu'on rencontre en supervisant le boulot d'un humain (tout le monde dit "les IA c'est comme un junior/stagiaire", ce n'est pas mon expérience du tout — les LLM disent n'importe quoi d'une manière très différente d'un humain incompétent).
Ça fait des années que j'essaie de produire des textes corrects à partir de traductions machine, c'est éreintant, vraiment c'est une des tâches les plus pénibles intellectuellement que je connaisse, et le résultat n'est jamais mieux que passable. Je n'arrive tout simplement pas à croire que tant de gens se disent "Ah trop cool ça ira bien comme ça allez hop".

Pour faire une analogie, parce qu'apparemment j'aime bien chercher les emmerdes :

https://boitam.eu/@martin/116195801144544770

(je mute la conversation, sinon je vais passer la journée à ressasser alors que je suis censé réviser mon examen de demain)
@martin Des gens mettent volontairement sur leur site pro des images avec du texte qui n'est même pas du bon alphabet.
Ils ne vont pas être gênés par le style...
https://eldritch.cafe/@temptoetiam/116125602468351895
@martin c’est médiocre mais c’est gratuit 
@joachim le truc c'est que de mon point de vue c'est pas médiocre, c'est non fonctionnel. Quand ton illustration est activement laide, quand tes phrases sont vides, je comprends pas ce qui pousse à se dire "ah oui, c'est bien". S'il y avait une machine à faire des t-shirts gratuits mais dont les manches seraient trois fois trop longues, je me dis que les gens qui en porteraient seraient quand même en train de réfléchir à des stratégies pour les replier, mais là tout le monde se promène avec les manches qui trainent par terre.
@martin @joachim je voudrais pas être déprimant-du-dimanche-soir, mais il n'est pas complètement impossible que les personnes qui utilisent ces horreurs telles quelles ne réalisent pas vraiment à quel point elles sont non-fonctionnelles. Et donc c'est considéré comme "suffisamment bon" (à plus forte raison si ça a l'avantage d'être facile et pas cher, et que de toute manière "tout le monde utilise l'IA aujourd'hui")
@yhancik c'est précisément ce que j'ai tant de mal à croire — j'ai tout le temps envie de dire "mais ça te gêne pas les manches qui traînent par terre ?? Tu veux pas les couper ou quoi ? — Non c'est bon tkt"
@martin @yhancik c'est devenu un style les manches qui traînent par terre. Ça montre que les gens font partie du club.
@martin @yhancik Pour continuer dans les analogies j'aime beaucoup l'analyse de Norman Ajari pour comprendre l'attrait irrationnel pour l'IA. Pour lui cet attrait s'inscrit dans une continuité culturelle coloniale. Sa thèse est qu'on ne peux pas comprendre l'esclavage que d'un point de vu économique, il faut aussi prendre en compte l'aspect psychologique de la jouissance de posséder des êtres humains. L'attrait pour l'Ia résidant dans cette logique, une sorte de simulation d'esclave. (1/2)
@martin @yhancik On lui demande de répondre à nos moindres désirs, l'important n'est pas la qualité du résultat mais simplement la sensation d'avoir du pouvoir sur un objet anthropomorphique. L'IA s'avère être une sorte de forme légale pour goûter quel effet ça produit de posséder un humain. Il note aussi que ce n'est pas un hasard si les plus plus grands promoteurs de l'IA sont des blancs originaires d'Afrique du sud (Thiel, Musk) du bon côté de l'apartheid. (2/2)
@martin j’ai pas de conclusion à ce que je vais ajouter mais je suis de ton avis et ça m’y a fait penser : récemment des médecins (des gens avec un très haut niveau de connaissances et de technicité) disaient "oui c’est vrai que ça marche plutôt bien c’est fou, si on rentre le bon prompt ça donne des protocoles qui tiennent la route" et c’est que quand j’ai pointé que de fait ça n’offre aucun intérêt : ils connaissent les protocoles adaptés et la machine ne propose rien de mieux et en plus faut lui donner le bon prompt pour que la réponse soit correcte, qu’ils ont réalisé qu’en fait c’est juste tester les compétences de la machine et donc inutile…
@unluckyhaircut @martin merci, c’est exactement mon sentiment souvent : « ok mais a quoi bon ? »
@martin donc c’est pas que c’est médiocre c’est que ça répond à un problème qui ne se pose pas (je tiens à préciser que les médecins en question n’utilisent pas actuellement les LLM pour cet usage mais c’était une discussion en réaction au fait que des patients vont chercher des réponses que les médecins n’auraient pas avec les LLM et qu’ils ont pu tester comment ça fonctionnait par curiosité)
@martin bref, je crois qu’il y a un truc à comprendre du côté *magique*, incroyable ça fonctionne (mal, bien, utilement ou non, peu importe). Ou du côté du divin aussi, comme s’il s’agissait d’une entité omnisciente (je pense à d’autres exemples rencontrés avec des patients) qui a un savoir supérieur au savoir humain profane d’une certaine façon, donc ça donne une valeur en soi à toutes les productions des LLM, même si les productions en question sont des tshirts avec des manches qui traînent au sol.

@unluckyhaircut
clairement pas mal de gens s'en servent comme d'un ouija 🙃

@martin

@couscous @unluckyhaircut @martin meilleure comparaison que j’aie jamais lue. Merci.

@unluckyhaircut c’est marrant que vous compariez à une planche de Ouija parce que beaucoup de gens qui aiment les LLMs et croient à un futur complètement révolutionnaire d’ici quelques mois grâce à eux m’ont toujours donné un ressenti de voir des membres d’une religion voire culte : tu ne peux pas argumenter contre car il y a une sorte de foi absolue qui fait que tes arguments sont invalides sans qu’une preuve soit déployée. Les gens sont persuadés d’aller bcp plus vite au travail avec alors que la seule étude qu’on a sur le sujet montre l’inverse dans mon domaine et que c’est pas mon expérience du tout avec, MAIS on veut quand même que je m’en serve parce qu’on est persuadé que je serai plus productif avec, c’est comme une vérité absolue, indéniable, et c’est impossible de nuancer la conversation autour.
Mes réunions de rétrospective pour parler de nos outils et protocoles sont devenus des séminaires LLMs, et une fois que j’ai appris le contexte de bulle spéculative autour, j’avais l’impression de vivre un truc surréel où tout le monde était subjugué, échangeant sur les personnalités et les compétences de chaque LLM selon l’usage et le domaine appliqué, et se disant que « ça ne va que s’améliorer avec le temps !! » alors que la vibe actuelle semble indiqué qu’on a déjà culminé sur la qualité de ce que ça produit et qu’on régresse maintenant.

@martin

@unluckyhaircut
baaaaah... c'est pas précisément ce pour quoi les IA sont vendues ? fournir une réponse mauvaise à des gens qui ne savent pas ce qu'est une réponse valable (au dépens de chaque spécialiste de que les IA touchent, qui savent parfaitement à quel point ça déconne mais dont le taf ne devient plus que de corriger cet outil à donner du pouvoir aux gens qui ne savent pas quoi en faire mais en tirent de la satisfaction)

@martin

@unluckyhaircut
je me souviens précisément de mes premières années de batterie, et surtout quand j'étais revenu à des morceaux que j'avais repris à mes débuts (tout à fait satisfait de moi), et à ce moment là j'ai réalisé que je n'avais littéralement pas entendu des tonnes de finesses dans ce que j'écoutais... littéralement mon incompétence était un point aveugle dans ma perception

et je trouve logique qu'une société qui produit de la médiocrité pousse les gens à de fier aux IA
@martin

@couscous @unluckyhaircut @martin

Bonjour,

Il y aurait aussi un biais à évaluer (et si l'on n'en a pas les moyens ça ajoute encore à la parano systématique à déployer sur chaque réponse d'IA, démontrant encore plus que c'est de la perte de temps quand ce n'est pas de la désinformation via "hallucinations" ("délires" serait plus ... idoine) : les réponses d'emblée volontairement biaisées et/ou à pertinence minimisée voire anihilée par le vendeur du service pour pousser sa clientèle à cracher au bassinet afin d'avoir "la version pro", "plus intelligente", etc. avec, en plus, des popup de pub pour le leur "rappeler".

#IA #LLM

@couscous @unluckyhaircut @martin

Je voudrais revenir aussi sur l'adjonction des LLM dans les interfaces d'applis de traductions automatiques :
Outre les délires et autres conneries liées à l'apprentissage des LLMs, les dégradations volontaires de la qualité des résultats dans un but de rançonnage sont aussi beaucoup plus présents aujourd'hui que ce qu'on obtenait d'eux avant l'IA.

Je me souviens d'avoir utilisé le "Google Translate" pour me faire une idée des grands textes à traduire afin de gagner un peu de temps parce que ça donnait quand même un squelette fiable et assez peu de contresens bien que ça ait été une belle source de perversions du français tant par la ponctuation anglaise qui ne correspond pas toujours à celle du français (p.ex. pas de virgule avant une conjonction de coordination, etc.) que par l'emploi littéral des termes anglais comme s'ils avaient toujours la même signification en français, ce qui est souvent faux et qui nous a imposé des dérives barbares comme sociétal à la place de social, performance à la place de spectacle, déconstruction à la place de démontage ou démolition (c'est pas du tout pareil) et plein d'autres débilités passées dans le langage écrit courant grâce à l'ignorance+incompétence des rédacteur.ices qui se sont ensuite replié.e.s derrière un snobisme ridicule pour maintenir leurs conneries et surtout pour continuer à ne pas se relire après avoir fait un travail de sagouins.

Aujourd'hui je n'utilise même plus ces traducteurs automatiques, tous, parce que non seulement grammaire et orthographe sont toujours aussi régulièrement massacrées avec pour résultat l'introduction permanente de confusions dans le français lui-même comme s'il y avait la volonté de le détruire mais en plus les contre-sens sont devenus si fréquents et si bien maquillés par l'IA que ça en exige de revoir tout le source mot par mot pour arriver à pondre un texte traduit raccord avec son signifié original. => Ici, "l'apport de l'IA" c'est clairement le confusionnisme, la désinformation et la perte de temps. Je soupçonne d'ailleurs et en plus l'existence dans les LLMs de règles cherchant à traduire à l'inverse de ce qui est originellement écrit quand ça concerne "certains sujets sensibles" tels que Gaza, Epstein, etc., chose qui, évidemment, n'arrange rien et qui m'inquiète sur la diffusion automatique des intox chez et par les journaleux les plus paresseux et/ou "neurologiquement déficients" ainsi que sur la pollution que ça implique dans la tête des gens faisant confiance à ces systèmes automatiques pour croire extraire la signification de textes d'une langue leur étant totalement inconnue : c'est comme rouler dans une caisse dont on sait que la colonne de direction est cassée, peut refuser de répondre à n'importe quel moment et ce sans prévenir. Ça ne peut pas louper et l'effet de masse induit me fait peur.

@martin @joachim Exactement. J'ai un groupe d'étudiant qui a clairement fait son diaporama avec un LLM et de la genAI pour ses illustrations.
1er effet : ça claque. Puis au bout de 3 s:
- le discours est artificiel, l'illustration n'est même pas utilisée dans la présentation
- l'illustration explique absolument n'importe quoi
- mais le discours lui-même c'est n'importe quoi en fait ?
@martin @joachim Le pire : ils avaient l'air de se débrouiller sur le sujet sans avoir besoin d'IA, mais chatGPT les a tellement embrouillés qu'ils n'ont ni réussi à terminer leur analyse QGIS (bloqués sur les retours du LLM alors qu'il fallait juste explorer 5 min les données) et ni à presenter correctement leur travail alors que je leur avais répété une 10aine de fois l'articulation attendue (ils ont préféré la merde pondue par le LLM...)
@martin Sur la machine a tee-shirt gratuits : J'en connais personnellement, iels en sont à un stade où iels envisagent une chirurgie pour se raccourcir/rallonger les bras à chaque nouveau tee-shirt, voir qui feraient tout pour mettre un pantalon sur le torse : Après tout "Il est sorti de la machine à tee-shirt" et moi j'y connais rien je l'utilise même pas chuis pas dans l'air du temps   @joachim
@martin @joachim j'aime bien l'image du t-shirt 👕
@martin @joachim

C'est toujours pareil: c'est non-fonctionnel pour toi qui es expert du milieu. Pour toustes les autres qui n'y connaissent rien, c'est acceptable
@joachim @martin Et si le client se plaint de la qualité, eh bien c’est parce que nous ne sommes pas des traducteurs-réviseurs compétents, et non parce qu’on nous a donné une demi-heure pour réviser 2000 mots qu’un pigiste a fait traduire par DeepL sans ne serait-ce qu’y passer Antidote avant de nous le renvoyer!

@joachim @martin

C'est pas gratuit, c'est offert comme les premières doses de crack.

Il faudrait des abonnements à quelques centaines / milliers d'euros par mois pour que ce soit rentable actuellement.

@martin Il me faut littéralement plus de temps pour remanier un texte « prétraduit » par l’un ou l’autre de nos systèmes d’IA que si je l’avais traduit moi-même dès le départ. Je refuse de niveler mon travail par le bas. S’il fallait que mon nom soit associé à une traduction que je considère n’être que passable, j’aurais trop honte. Pourtant, je n’ai pas le choix. C’est déjà beau si les pigistes ont même relu la traduction de l’IA avant de nous la renvoyer…

C’est épuisant. C’est abrutissant.

@martin c’est quoi un LLM?
@martin @starslibe large language model. En gros c'est une machine qui fait des probabilités et "devine" des suites de mots en fonction des mots autour, en fonction de référentiels qui lui ont été fournis. C'est comme ça que fonctionnent chatGPT et autres. Du coup ils ne donnent pas une réponse quand on leur pose une question. Ils donnent un truc qui ressemble probablement à la réponse.
@PeryleneBleu @martin merci. De ce que je comprends votre travail avec cet outil vous pose des difficultés. Cet outil dit intelligent est né avec des milliards de connaissances mais sans le savoir-faire.
La bêtise ne peut pas l’épargner, il est une invention humaine.
Avant de pouvoir tous nous remplacer, il doit être collecter le savoir-faire auprès de ses utilisateurs. Certaines sont plus facile à obtenir que d’autres.