Kéž by byl svět tak jednoduchý, že by se před publikací na #juniorguru dalo zkontrolovat, zda nabídka náhodou není už prošlá, tím, že bych udělal jeden HTTP požadavek a mrknul, jestli to není 404, nebo snad ještě lépe 410.
Ach jo. To zas bude zbytečné infrastruktury navíc… přitom taková blbost. Stačilo by, aby lidstvo používalo internet tak, jak si ho vymyslelo.
Když jsem psal ten předchozí příspěvek, tak jsem na tom začal pracovat. Od té doby jsem na tom dělal, téměř nonstop během pracovních hodin.
Teď jsem skončil s tím, že to teda asi nějak konečně funguje a dokážu před publikací na #juniorguru naráz zkontrolovat platnost třeba 120 inzerátů. Trvá to nešťastné 3-4min a musel jsem na to vybudovat dedikovaný on demand scraper na #apify, který proplouvá nekonečným množstvím #antiscraping ochran.
Kolik dní mi to řešení zabralo, to si spočítejte sami.
@honzajavorek
> Stačilo by, aby lidstvo používalo internet tak, jak si ho vymyslelo.
Co tím myslíš? Aby na to bylo třeba volné api, které bys mohl dotazovat?
@SuperBobo Ne. Aby normálně fungovalo HTTP. Pošlu obyčejný HTTP požadavek, GET či HEAD. Dostanu 200, tak je inzerát ještě platný. Když 404 nebo 410, tak už vypršel. Toto je ovšem naprostá utopie.
Weby si kolem sebe nasadí hradbu Cloudflarů a kdo ví čeho, takže HTTP požadavek, který není z proxy a netváří se jako browser mojí mámy, na server nikdy ani nedorazí. Že bych jich poslal víc za sebou, to vůbec. A že by někdo obsloužil HEAD nebo používal adekvátně HTTP status, to dřív uvidím jednorožce.
@goodmirek @SuperBobo Z hlediska zákona jsem
OK, protože soudy se shodují, že pokud dàm něco volně na web, tak je to volně ke čtení, podmínky nepodmínky.
Nikomu nekradu dílo - chci se jen podívat, zda je inzerát stále aktuální.
Od některých mám dokonce svolení scrapovat, protože neumí vytvořit API 😀 Někteří mi API slíbili, ale skutek utek. Takže asi tak.
Dneska je taková doba, že lidi nastaví Cloudflare tak, že nevědomky zablokujou RSS čtečky na svých vlastních RSS feedech 🤷♂️
@honzajavorek @SuperBobo CloudFlare tak nastavi proto, ze to jinak neumi a nastavit jej lepe by stalo penize, coz se jim asi dle jejich mineni nevyplati.
To je ale odlisny problem od toho, proc vubec CloudFlare maji. Mali scraperi by je moc netrapili, ale kdyby CloudFlare nemeli, tak jim botnety budou posilat tisice pozadavku za minutu, coz pusobi zhorseni sluzby pro cilove uzivatele a take to prodrazuje infrastrukturu.
@honzajavorek @SuperBobo Na ucel webu ma mnoho provozovatelu webovych stranek jiny nazor. Jednoho meho zakaznika stoji scrapovani nemale penize navic za infrastrukturu a CloudFlare s tim dokaze castecne pomoci.
Osobne radeji spolupracuji s tim, kdo o to stoji a sdili me hodnoty, nez se vnucovat nekam kde me nechteji. Kdyz scrapujete a zadarmo propagujete inzeraty tech, kdo o to nestoji (ac na tom mozna vydelaji), tak tim podporujete jejich pristup a hodnoty, ktere se vam vlastne nelibi.
@goodmirek @SuperBobo Pokud mají monopol, nemám na vybranou. Nedělám to nakonec pro sebe.
Chci, aby si junior mohl pohodlně najít práci. Scrapování a filtrování inzerátů mě stojí ohromné množství energie a dokonce i peníze. Mám z toho nula korun příjem a traffic posílám normálně dál na původní weby.
Nemůžu si vybrat, kde najdu relevantní inzeráty pro juniory. Chci jim zvýšit šanci, že jich najdou co nejvíc. Tak holt musím trpět, jako Robin Hood 😀
Honza Javorek
SuperBobo
Mirek Svoboda