@manualdousuario foi uma boa função nova, já dava pra ver muito na cara que as empresas estavam desobedecendo as regras do arquivo robots.txt dos site, até porque o robots.txt não serve pra bloquear nada, ele meramente existe pra falar as páginas que a gente não quer serem acessados por bots mas o cara não quiser obedecer ele vai acessar mesmo assim, por isso é bom ter empresas como a Cloudflare pra poder configurar o tráfego