heise DeveloperNachruf: Abschied von robots.txt (1994-2025)
Das freiwillige Compliance-Protokoll, das das Internet zivilisierte, ist von uns gegangen, es verabschiedet sich Henning Fries.
Leela Torres@heisedeveloper
😭 The first line of defense is lost
😭 The first line of defense is lost
Momo@heisedeveloper
The queen is dead, long live the queen!
"Die Permission-based Modelle, die entstehen, sind das Gegenteil dessen, wofür robots.txt einst stand. Statt eines einfachen "Bitte nicht" erfordern sie komplexe Authentifizierung, Zahlung und rechtliche Verträge. Das Internet wird erwachsen – und verliert dabei seine Unschuld."
Wahre Worte. Letztendlich war sie aber genauso wie Do Not Track ein Gentlemens Agreement: Sie wird nichtig, sobald jemand aufhört Gentleman zu sein.
Auggie@heisedeveloper
Ich habe auf meiner Webseite die meisten KI Crawler schon seit ca. 1 1/2 Jahren geblockt, per IP Blocking und anhand des User Agent.
Gerade Anthropics hat sich sehr negativ verhalten.
Gab aber auch vereinzelt SEO Bots, die sich einen Dreck um die robots.txt geschert.
Ich habe auf meiner Webseite die meisten KI Crawler schon seit ca. 1 1/2 Jahren geblockt, per IP Blocking und anhand des User Agent.
Gerade Anthropics hat sich sehr negativ verhalten.
Gab aber auch vereinzelt SEO Bots, die sich einen Dreck um die robots.txt geschert.
elgreenshook
Daniel@heisedeveloper Wollen wir einfach ein neues Internet machen? Und das Fediverse in der Zwischenzeit ins Tor-Netzwerk umziehen? 
Crazy-to-Bike
wrdlbrmpft@heisedeveloper Ich kann das bestätigen. Es gibt verstärkt Zugriffe aus Hostingnetzen, die sich als normale Browser tarnen bzw. Headless-Browser nutzen, die verstärkt PDFs abgrasen und keinerlei noindex, nofollow Links oder gar robots.txt beachten.
Literatopia"Mit dem Aufkommen der künstlichen Intelligenz verwandelte sich das Internet von einem kollaborativen Raum in eine Extraktionszone."
Leider sehr gute Zusammenfassung der Situation ☹️