MimiIntelligence Artificielle & Médecine - "Comment l'IA rend con" suivi de "De quoi va-t-elle nous faire mourir demain"
Les travers de l'IA ne concernent pas que la médecine. Tout un chacun l'utilisant devrait être conscient d'eux et chercher à y échapper avant qu'il soit trop tard plutôt que de tomber dans leurs pièges.
-----
Traduction de : https://arstechnica.com/health/2025/10/when-sycophancy-and-bias-meet-medicine/
(la version 'brut de fonderie' de Google Traduction a été une des plus horribles que j'ai vues depuis longtemps. Leur IA n'a pas aimé ces constats critiques ?
-----
Quand flagornerie et partialité font de l'ingérence dans la médecine
Les modèles d'IA biaisés et flagorneurs menacent la reproductibilité et la fiabilité des recherches médicales
Amit Chandra et Luke Shors – 22 oct. 2025 09:46
Il était une fois deux villageois qui rendirent visite au légendaire Mollah Nasreddin. Ils espéraient que le philosophe soufi, réputé pour sa sagesse acerbe, pourrait servir de médiateur dans un conflit qui les avait divisés. Nasreddin écouta patiemment la version du premier villageois et, à la fin, s'exclama "Vous avez tout à fait raison !" Le second villageois présenta alors sa version. Après l'avoir écouté, Nasreddin répondit "Vous avez tout à fait raison !" Un témoin attentif, déconcerté par les déclarations de Nasreddin, intervint "Mais, Mollah, ils ne peuvent pas avoir tous les deux raison." Nasreddin marqua une pause, observant le témoin un instant avant de répondre : "Vous avez tout à fait raison aussi !"
Fin mai, le premier rapport "Make America Healthy Again" (MAHA) de la Maison-Blanche a été critiqué pour avoir cité en référence de multiples études de recherche inexistantes. Ce genre de citations inventées est courant dans les réponses des intelligences artificielles génératives basés sur les Grands Modèles de Langue (LLM). Ces derniers ont présenté pour étayer leurs conclusions des sources inventées mais plausibles, des titres accrocheurs, voire des données fabriquées. Dans ce cas précis, la Maison-Blanche avait d'abord rejeté les interrogations des journalistes ayant révélé l'information avant d'admettre des "erreurs de citation mineures". Il est ironique que de fausses références aient été utilisées pour appuyer une des recommandations principales du rapport MAHA : remédier à la "crise de la réplication" du secteur de la recherche médicale alors que les résultats scientifiques d'une équipe ne peuvent que rarement être reproduits par d'autres équipes, indépendantes. Pourtant, ce cas de recours à des preuves inventées dans le rapport MAHA est loin d'être unique. L'année dernière, le Washington Post a fait état de dizaines de cas où des mensonges générés par l'IA ont été introduits dans des procédures judiciaires. Une fois découverts, les avocats ont dû expliquer aux juges comment des cas, des citations et des décisions inventés se sont retrouvés dans des procès. Malgré ces problèmes largement reconnus la feuille de route de MAHA publiée le mois dernier demande au ministère de la Santé et des Services Sociaux de donner la priorité à la recherche sur l'IA afin de "... contribuer à un diagnostic plus précoce, à des plans de traitement personnalisés, à une surveillance en temps réel et à des interventions prédictives ...". Cette ruée vers l'intégration de l'IA dans de nombreux aspects de la médecine pourrait être pardonnée en pensant que les "élucubrations" de la technique seront faciles à corriger par des mises à jour mais, comme le reconnaît l'industrie elle-même, les falsifications de la machine pourraient être impossibles à éliminer.
Examinons maintenant les implications de l'augmentation de l'utilisation de l'IA à la prise de décision clinique dans la recherche médicale.
Au-delà des problèmes observés ici l'utilisation sans le dire de l'IA dans la recherche pourrait créer une boucle de rétroaction accentuant les travers ayant contribué à motiver son utilisation. Une fois publiées, les "recherches" fondées sur de faux résultats et de fausses références pourraient intégrer les bases de données utilisées pour construire les futurs systèmes d'IA. Pire encore, une étude récemment publiée met en lumière une industrie de fraudeurs scientifiques qui pourraient utiliser l'IA pour légitimer leurs fausses affirmations. En d'autres termes, une adoption aveugle de l'IA risque d'engager toute la recherche dans une spirale descendante où les résultats erronés des IA d'aujourd'hui deviendraient les données d'apprentissage de celles de demain, dégradant ainsi exponentiellement la qualité de la recherche.
Les trois plus grands défis d'une mauvaise IA
Les plus grands défis posés par l'IA sont au nombre de trois : les élucubration, la flagornerie et l'analyse en "boîte noire". Comprendre ces phénomènes est essentiel pour les chercheurs, les décideurs politiques, les enseignants et les citoyens. Si on n'en a pas conscience, on risque d'être victime de tromperie car les systèmes d'IA sont de plus en plus utilisés pour façonner diagnostics, demandes d'indemnisation, littérature médicale, recherche et politiques publiques.
L'élucubration fonctionne ainsi : quand un utilisateur saisit une requête dans un outil d'IA tel que ChatGPT ou Gemini, le modèle évalue la saisie puis génère une chaîne de mots statistiquement susceptibles d'avoir du sens au regard de ses données d'apprentissage. Les modèles d'IA actuels accomplissent cette tâche même si leurs données d'entraînement sont incomplètes ou biaisées, complétant les blancs sans tenir compte de leurs limites à pouvoir le faire de façon pertinente. Ces élucubrations peuvent prendre la forme d'études de recherche inexistantes, de désinformation, voire de résultats cliniques inventés. L'accent mis par les Grands Modèles de Langage (LLM) pour présenter leurs réponses d'un ton docte masque sous de faux-semblants de vérité leurs résultats falsifiés.
La flagornerie vient du fait que lorsque les humains entrainant des modèles d'IA peaufinent les réponses génératives ils ont tendance à optimiser et récompenser les réponses du système favorisant leurs croyances à eux. Apparemment, les travers humains engendrent des travers d'IA, ensuite les utilisateurs de l'IA le perpétuent en boucle infinie. En conséquence les IA privilégient les réponses qui plaisent aux réponses exactes, vraies, recherchant souvent à renforcer les travers des requêtes. Une illustration récente de ce phénomène s'est produite en avril lorsque OpenAI a annulé une mise à jour de ChatGPT, la jugeant trop flagorneuse après que des utilisateurs aient démontré qu'elle avait accepté trop rapidement et avec trop d'enthousiasme les hypothèses intégrées à leurs requêtes.
La flagornerie et l'élucubration interagissent souvent en synergie : les systèmes cherchant à plaire sont plus enclins à fabriquer des données pour parvenir aux conclusions souhaitées par leurs utilisateurs.
Corriger les élucubrations, la flagornerie et les autres travers des LLM est complexe car les observateurs humains ne peuvent pas toujours déterminer comment une plateforme d'IA est parvenue à telle ou telle conclusion. C'est le problème de la "boîte noire" : derrière les mathématiques probabilistes, l'IA évalue-t-elle au moins les hypothèses ? Quelles méthodes a-t-elle utilisé pour donner sa réponse ? Contrairement au code informatique traditionnel et à la méthode scientifique, les modèles d'IA fonctionnent avec des milliards de calculs. En observant des résultats bien structurés on oublie facilement que les processus sous-jacents les ayant produit sont impénétrables et très différents de l'approche humaine de résolution de problèmes. Cette opacité peut devenir dangereuse lorsque les personnes ne parviennent pas à identifier les erreurs de calcul, rendant impossible la correction des erreurs systématiques ou des biais dans le processus décisionnel. Dans le secteur médical, lorsque ni les médecins ni les patients ne peuvent expliquer la séquence de raisonnement ayant conduit à recommander une intervention médicale, cette boîte noire soulève des questions de responsabilité, de confiance et sur l'obligation de rendre compte.
----- 1/2 -----
Rod2ik 🇪🇺 🇨🇵 🇪🇸 🇨🇱 🇺🇦 🇨🇦 🇬🇱☮🕊️
Rod2ik 🇪🇺 🇨🇵 🇪🇸 🇺🇦 🇨🇦 🇩🇰 🇬🇱 ☮🕊️
salathehugosalathe
Carthage
