Alex ClaesOct 15
CCC
Die Welt nach robots.txt: Mit dem Aufkommen der „KI“-Akteure verwandelte sich das Internet von einem kollaborativen Raum in eine Extraktionszone https://www.heise.de/hintergrund/Nachruf-Abschied-von-robots-txt-1994-2025-10752448.html?seite=all
Nachruf: Abschied von robots.txt (1994-2025)

Das freiwillige Compliance-Protokoll, das das Internet zivilisierte, ist von uns gegangen. Es verabschiedet sich Henning Fries.

Developer
Oct 15 at 12:46pmWeb
Show threadZeroniorOct 15
@CCC Hat nur außer einer handvoll Menschen und dem CCC keiner mitbekommen. Datenschutzerklärungen liest sich ja keiner durch. Ausnahmen bestätigen die Regel.
Show threadChristian ThäterOct 16
@CCC Also die urls die bei mir im robots.txt verboten werden führen auch gleich zum blacklisting des entsprecheden /24 wenn sie aufgerufen werden 👍