Amazonbot is finally respecting robots.txt

https://xeiaso.net/notes/2026/amazonbot-respecting-robots-txt/

#HackerNews #Amazonbot #robots #txt #web #crawling #tech #news

Смотрите, я сделал поиск по новостям

Привет! У многих разработчиков есть периоды, когда хочется сделать гениальный пет проект на 300кк в наносекунду. Весеннее обострение не обошло меня стороной, и мне захотелось сделать свой Palantir. На момент старта я еще не до конца понимал, что хочу сделать, но было видение и вдохновление - большего, обычно, не нужно - даже свободное отобранное время находится само по себе. Вернемся к проблеме: а что мы делаем, и, естественно, второстепенный вопрос, - зачем? Вдохновившись видео про завайбкоженный палантир , у меня появилась первый тезис - "Хочу получить полную картину об интересующем событии". Это уже дает некие очертания - какой-то сервис, который соберет за меня релевантную информацию и предоставит удобный отчет. /cut Что этот безумец натворил читать в ...

https://habr.com/ru/articles/1019058/

#новости #claude #mcp #crawling #scraping #api #агрегатор

Standing Up Now Illegal After Snake Fossil Discovery

Nation forced to crawl. Developers rush to build flat apartments.

#AltAndPaperEN #crawling #law #absurd #ShortComic