Il fait beau mais je reste assis devant mon PC depuis ce matin.
Comme d'autres, j'ai commencé une guerre : celle contre les bots IA.
Nous sommes littéralement envahis (comme tous les sites Web) par ces robots crawlers IA qui viennent voler les contenus... et pire encore, ils viennent surcharger les sites internet jusqu'à les faire plier pour certains !
Nous n'échappons pas à la règle. Si on peut être content que notre trafic a fortement augmenté ces derniers mois, il faut se rendre à une triste réalité : énormément de trafic de robots.
Et ils ne sont pas faciles à détecter car ils avancent masqués : adresses IP multiples et résidentielles, User-Agents trompeurs, aucun respect du robot.txt... Bref, ils se comportent comme les voyous que sont leurs commanditaires.
Je vais donc mettre en place une protection anti-IA, que je teste en ce moment même en pilote sur Lemmy. N'hésitez pas à y faire un tour et dites-moi svp si vous êtes bloqués ou gênés, c'est sur https://links.gayfr.online
Je vais voir comment cela se comporte, si c'est efficace et si ça ne gêne pas l'expérience utilisateur (ça ne devrait pas).
Déjà plusieurs bots par seconde sont bloqués en continu ! Le défi est de ne pas bloquer le trafic légitime.
Je vous en dirai plus quand je généraliserai... à suivre.