Mastodawn

Nouvel effet secondaire pervers du pillage massif du web par les entreprises d'IA (oui parce que je pense que vous n'étiez pas assez en colère déjà). Une de mes collègues en charge du dépôt légal du web à la #BnF nous signale que, face à cette menace, les sites se barricadent de plus en plus. Résultat : les robots de la BnF se retrouvent le bec dans l'eau. Les collectes sont massivement en échec.
1/2

Bertrand Caron Mar 16

L'effort de préservation du web français, que l'institution mène depuis environ 2010 (avec des collections qui remontent jusqu'en 1996) est en péril.

Seule solution que nos collègues envisagent jusqu'ici : contacter individuellement les producteurs pour leur expliquer la démarche et leur demander de lever les barrières. Autant vous dire que ça ne va pas marcher.

2/2

@BertrandCaron il me souvient en effet que le BnF avait contacté SPIP pour ça. Je ne sais plus si ç'avait été réglé. Je me demande s'il n'y aurait un genre de patte blanche à montrer.

Bertrand Caron Mar 16

@Ysabeau je crois que nos collègues ont l'habitude de discuter avec des gens / organisations qui maintiennent des sites web pour trouver des solutions. Sauf que là ça devient généralisé, et elles ne sont pas assez nombreuses pour engager autant de négociations.

@BertrandCaron Du coup, je pense qu'inventer un système de patte blanche ets peut-être vraiment un bonne idée. Je ne sais du tout comment ça peut se concrétiser cela dit.

Bertrand Caron Mar 16

@Ysabeau effectivement, ça semblerait une solution possible, mais d'ici à ce que ça émerge, il va sans doute y avoir plusieurs années blanches... (je frôle l'ultra-crépidarianisme là parce que ça n'est que mon avis peu informé, mais il s'appuie juste sur une petite expérience de la normalisation et du temps INFINI que ça prend).

@BertrandCaron Mais on peut imaginer des solutions que chacun dans son coin (je pense surtout aux hébergeurs et CMS) pourrait mettre en place déjà.
Après uniformisation etc., c'est une autre paire de manche (bon je ne sais pas de quoi je parle sur le plan technique, une fois de plus).

Tuxicoman Mar 16

Il n'y avait pas de soucis avec Facebook, LinkedIn, et autre plage privée ou les gens publient leur contenu?

Bertrand Caron Mar 16

@tuxicoman la #BnF ne moissonne que le web public. Exit facebook, Linkedin et toute autre plateforme derrière authentification. Sauf cas très particuliers, à la suite de négos avec les producteurs (par ex., le robot s'authentifie sur les sites de presse quotidienne régionale pour aller chercher les PDF des fascicules, mais c'est un processus qui est mis en place après accord explicite).

Alex Rock Mar 16

@BertrandCaron @tuxicoman Y'a genre 15 ans je bossais pour une filiale d'un très grand groupe d'analytics, section "réputation publique", et on faisait exactement ça : "aspirer" des informations issues de sites (news, blogs, forums, etc.).

Déjà à l'époque on commençait à avoir des restrictions...

Très honnêtement, je vois mal une solution "fiable" apparaître.

C'est exactement comme les spams : si on restreint trop, on rate des choses, si pas assez, on est surchargés :(

Alex Rock Mar 16

@BertrandCaron @tuxicoman
On aurait pu imaginer des "plugins" pour tous les softwares open source (spip, wordpress, drupal, et tous les autres) afin que ces outils permettent "d'autoriser" la BnF.
Sauf que (et je le fais souvent moi-même) parfois la restriction est direct côté serveur, infrastructure réseau, etc., et dans un tel cas, ce n'est peut-être pas le même interlocuteur.
Reste la solution considérablement moins performante mais ""peut-être + efficace" de passer par un "vrai browser"...

Alex Rock Mar 16

@BertrandCaron @tuxicoman En gros : spawn un navigateur quelconque (firefox, chrome...) avec le WebDriver, et le contrôler avec des scripts pour naviguer sur certains sites. Lorsqu'une restriction est rencontrée (type "captcha" ou autre), faire une alerte pour essayer de voir si un humain peut le remplir, ou essayer d'utiliser un autre User-Agent, ou une autre adresse IP, bref, tenter d'autres choses.

Dans tous les cas, ça rend le travail beaucoup plus difficile :(

Alex Rock Mar 16

@BertrandCaron @tuxicoman L'autre solution serait "une participation citoyenne" : idem que pour les wordpress, drupal et autres, fournir un outil qui va faire l'inverse : fournir à la BnF les données directement, et donc il serait à la charge des hébergeurs d'installer ces outils et d'activer une exécution régulière de ceux-ci pour donner les infos à la BnF. Mais encore une fois, c'est "détourner le problème".

Cela dit : mieux vaut plein de solutions pas ouf plutôt qu'une seule inefficace :(

Julien Falgas 🪡Mar 16

Quid d'organiser un archivage contributif avec l'aide d'internautes en chair et en os ?

Avec needle.social on s'efforce de concevoir un réseau "par les internautes pour les internautes". Chacun‧e indexe les pages (mais aussi livres, films, musiques) qui comptent vraiment à ses yeux.

Nous ne prenons que le lien. Mais dans une démarche d'archivage encadré, la page pourrait être scrappée et parsée via l'internaute au moyen d'une extension de navigateur.

On résoudrait le problème de sauvegarde tout en ciblant les contenus les plus pertinents au profit de l'intelligence collective... Puisque les gens pourraient de croiser a passage.

Lutin Discret Mar 16

@julienfalgas est-ce que tu connais #zkTLS ? La limite de la solution que tu proposes est qu'une capture façon scrapping ne peut pas être authentifié et on risque la compromission de l'archive par des injections malveillantes (cf la récente affaire du sute d'archive dont wikipédia a supprimé les liens)

Julien Falgas 🪡Mar 16

@lutindiscret Je ne connaissais pas. Ma partie c'est plutôt les usages et la conception de dispositifs d'information et de communication.

Ce pourrait être enrichissant de réfléchir à tout ça à partir des besoins concrets de la BnF. Avoir des gens compétents en sécurité ou en crypto serait sans doute un plus.

Je suis certain qu'on doit pouvoir mettre en place des garde-fou ou des moyens de réagir à des injections malveillantes. Sinon, autant jeter le web : lui non plus n'est pas à l'abri de l'injection de contenus malveillants.

Le Monolecte 😷🤬🐧

Si le robot agent de la bnf est clairement identifiable, on devrait pouvoir le laisser passer !

archeenerd Mar 16

@BertrandCaron Effectivement, j'ai constaté ça aussi, les outils mis en place (Anubis chez nous) soulagent bien les serveurs face à la pression des robots mais les crawlers web "légitimes" sont des victimes collatérales de ces mesures. Du coup, des sites institutionnels ne peuvent de facto plus être archivés.
Les guillemets autour de légitime sont volontaires, car qu'est-ce qui distingue (hors système de patte blanche) un robot légitime d'un robot illégitime? L'agressivité de la capture?

Bertrand Caron Mar 16

@archeenerd excellente question à laquelle je laisse de plus experts que moi répondre 😃 ! Et merci du retour !

PulkoMandy Mar 16

@archeenerd @BertrandCaron le simple fait d'utiliser un user agent précis indiquant qui est le robot serait déjà très bien et permettrait de bloquer les robots jugés indésirables assez facilement (à chacun de choisir qui est désirable ou indésirable sur son site). Actuellement il y a beaucoup de robots prétendant être diverses versions de navigateurs classiques, pour ne pas se faire repérer.

Bertrand Caron Mar 16

@pulkomandy @archeenerd dans mon souvenir, le robot de la BnF se présente comme Heritrix (https://en.wikipedia.org/wiki/Heritrix), ce qui le rend déjà assez repérable comme provenant d'une institution de préservation.

Heritrix - Wikipedia

PulkoMandy Mar 16

@BertrandCaron @archeenerd oui, je pense que la BNF fait bien les choses, mais les protections de type Anubis (qui bloquent de façon assez large) sont mises en place surtout à cause de robots ne respectant pas ces règles. En principe Anubis laisse passer les robots qui se déclarent clairement dans le user agent et n'intercepte que les humains et les robots essayant de se faire passer pour des humains. Je ne sais pas ce que font les solutions concurrentes

PulkoMandy Mar 16

@archeenerd @BertrandCaron La deuxième chose serait de respecter le fichier robots.txt et en particulier la règle crawl-delay (qui autorise par exemple pas plus d'une requête toutes les 30 secondes). Mais ceci n'est pas vraiment standardisé, et implémenté seulement par quelques robots.

Là aussi à chacun de décider quelles sont les limites, mais ça ne peut fonctionner que si les robots s'identifient, pas s'ils se font passer pour des utilisateurs "normaux" humains

Bertrand Caron Mar 16

@pulkomandy @archeenerd je crois que la loi sur le dépôt légal l'emporte sur les exigences de robots.txt. Après on fait de la désindexation des collections sur demande des producteurs, mais comme un site web public est considéré au même titre que toute autre production culturelle librement accessible, la BnF a le droit et le devoir de les collecter et de les préserver.

@BertrandCaron As-tu une idée de si c'est la cause du dysfonctionnement actuel de l'accès à EuroPresse auquel l'abonnement BnF permet habituellement d'accéder ?

Bertrand Caron Mar 16

@mab alors pour le coup - non pas vraiment. Si j'ai bien compris, le nombre d'accès par mois à Europresse a été à nouveau atteint, la BnF a négocié une rallonge, qui a été ou est en passe d'être consommée. Europresse semble penser que des lecteur·ice·s pourraient utiliser ces accès pour les moissonner. Apparemment le torchon brûle entre l'institution et Europresse.

@BertrandCaron À tout juste la moitié du mois… ça craint.

J'espère qu'ils trouveront un accord. Mais effectivement, la problématique de moissonage de données n'est probablement pas simple à traiter, surtout en limitant les couts.

Bertrand Caron Mar 16

@mab c'est clair...

C'est étonnant, j'ai fait exactement le même pouet à un an de distance. Il se passe quoi en mars ???

https://digipres.club/@BertrandCaron/114246719859432298

Bertrand Caron (@[email protected])

Les adeptes de l'abo #BnF pour la presse : vous êtes des gourmand·e·s et avez consommé la totalité des articles par mois de notre abonnement à Europresse. Comme le mois passé. Donc c'est diète jusqu'à début avril. Réflexion en cours pour savoir comment on gère cet engouement. (Je fais comme si j'étais acteur là-dedans mais je ne fais que relayer une info.)

digipres.club

@BertrandCaron Alors pour ma part c'est le moment de renouvellement de mon abo BnF !

Mais ma conso EuroPresse se limite à un ou deux articles par semaine en moyenne 🙃

Poslovitch Mar 16

@BertrandCaron donc la BNF archive... Mon blog?

Bertrand Caron Mar 16

@Poslovitch très probablement ! S'il est en .fr, à coup sûr.

Poslovitch Mar 16

@BertrandCaron il est en .fr ! Il y a moyen de savoir si un site est archivé ?

Florent Palluault Mar 16

@Poslovitch @BertrandCaron
Il y a un poste de consultation du DL web à la Bibliothèque Stanislas. Vous pouvez allez voir ce que donne l'archivage dans l'application conçue par la BnF.

@leflaneur19 @Poslovitch @BertrandCaron Sur le site BnF, il y a aussi la liste des sites aspirés, mais pour les consulter il faut effectivement venir sur place ou dans une bibliothèque partenaire en province

Criminelle Onctueuse Mar 16

@BertrandCaron il faudrait un genre de systeme de confiance, la chose la plus simple à laquelle je pense serait un système de whitelist par ip vu qu'on suppose que des organismes tels que internet archive ont des ip fixes facilement identifiables

Stéphane Bortzmeyer Mar 18

@BertrandCaron Oui, je me souviens il y a presque un an les gens de Common Crawl se plaignant de ça. Comme souvent en sécurité, les réactions irréfléchies aux problèmes causent davantage d'ennuis que les problèmes originels.

François Lemaire 🏴‍☠️Mar 19

@BertrandCaron
Vous n'y pouvez rien, mais en tant que développeur et hébergeur de sites webs, je peux vous dire que les scrappers sont un vrai problème. Mes sites publics se tapent du 90% de trafic de scrappers, et dès qu'on bloque, les serveurs respirent nettement mieux. Un petit rappel : nous faisons des sites pour que des humains les lisent, et surdimensionner l'hébergement et la consommation énergétique et matérielle correspondante pour accomoder des robots, ça me gonfle. Grave.

Bertrand Caron Mar 19

@sossalemaire J'imagine. Mais la BnF n'abuse pas : un passage par an, un nombre limité de rebonds (donc même pas la totalité du site en profondeur) - sauf si vous avez l'honneur d'avoir été sélectionné par un·e bibliothécaire, auquel cas la fréquence et la profondeur peuvent être plus importants.

Patrick Prémartin Mar 19

@sossalemaire Sans compter qu'être saturé en bots ça coûte cher en temps, en énergie, en bande passante et donc en argent. Manque de bol c'est une lutte sans fin : les éditeurs qui passent leur temp à voler les contenus n'en ont rien à faire de la santé des sites qu'ils pillent. @BertrandCaron

@BertrandCaron il y a des gens qui réfléchissent à des solutions techniques alternatives pour remettre l'humain au centre du web. Par exemple cette proposition de webring (en anglais) par @mttaggart . L'idée étant de recréer des cercles de serveurs ayant confiance mutuellement les uns dans les autres. L'idée étant de vérifier à la fois identité et réputation.
https://taggart-tech.com/ringspace/

Introducing Ringspace: A Proposal for the Human Web

For months, I've been working on a project to demonstrate how we can preserve humanity on the web. It's finally ready for testing.