Si on appliquait au domaine de l’IA la rigueur épistémologique qu’on demande aux sciences biomédicales, 95% de ses publications « scientifiques » seraient à jeter dans la fosse à purin.
C’est le royaume de la non-reproducibilité, du cherry-picking, des statistiques invraisemblables, de la post-rationalisation et de l’exagération.
[…]
J’ai commencé dans un sous-domaine de l’IA qui était dans un état déplorable niveau épistémologique. En dix ans, on a collectivement réussi à le mettre à peu près au carré.
Et puis est arrivé la mode du Deep Learning. Et depuis, à travers tout le domaine, c’est la merde intégrale.
[…]
On en est à un niveau où je me fais jeter si dans une review j’exige plus que n=2 pour calculer une moyenne.
Où mes collègues refusent qu’on affiche clairement les conclusions d’une étude qu’on fait qui montre que telle méthode à la mode fait de la merde. Parce que ça fait mauvais genre.
Où ça passe mieux si tu cherry-pick un exemple qui marche parmi 99 qui ne marchent pas.
Je dis qu’on a un putain de problème dans ce milieu.
[…]
@Florian Oui et non. Ça ne se présente pas directement comme ça. C’est simplement une conséquence de plein de leviers systémiques.
Le politique a détruit l’organisation de la recherche scientifique pour la mettre à sa botte, et ça a marché, en gros.
nojhan, Cassandre de l’analyse systémique
Florian Judith