Aurin Azadî Jun 6

Gibt es einen Trick, um fail2ban beizubiegen, daß es Hosts bannen soll, die vor dem Abgreifen von, sagen wir, JPGs, nichts anderes von der Site geholt haben?

#fail2ban #aicrawlers

Show thread[Nein.]

@atarifrosch

Ich habe mal im Netz gesucht und folgende Zeile gefunden:

"ignoreregex =.*(robots.txt|favicon.ico|jpg|jpeg|png|gif|css)"

Das ist doch, was Du brauchst, nicht wahr?

Quelle:

"Using fail2ban to block unfriendly web requests"

https://andreas.scherbaum.la/post/2022-12-09_using-fail2ban-to-block-unfriendly-web-requests/

PS: Ich benutze fail2ban nicht, habe mich damit noch nie beschäftigt.

Using fail2ban to block unfriendly web requests

Every time I peek into the webserver logfiles, I find quite a few 404 requests trying to figure out if certain exploits exist on this server. Now I get that these are automated attempts, and the number of requests coming from one IP show that they try several different exploits and path names. Nevertheless I thought that I don’t need this in my log, and on my webserver. fail2ban for the rescue.

ads' corner
Jun 6 at 11:23amWeb
Show threadAurin Azadî Jun 6
@Elektrotier Nein. ignoreregex wird verwendet, um den Abruf bestimmter Dateien/Dateitypen nicht mitzuzählen, wenn ein Host sich ansonsten daneben benimmt.
Show thread[Nein.]Jun 6

@atarifrosch

Ach so, Danke für die Info, dann kann ich Dir auch leider nicht helfen.

Show threadAurin Azadî Jun 6
@Elektrotier Was ich will ist: Host greift ein JPG ab, ohne vorher eine normale Seite abgerufen zu haben -> Ban. Die Links zu den eigentlichen Bildern bekommen solche Hosts nämlich von übergeordneten Hosts, die vorher die Seiten abgreifen und die Links zu den Bildern an andere Bots weiterreichen.
Show thread#5251Jun 7

@atarifrosch @Elektrotier senden die Bots einen "Referer"-Header? Falls nicht, evtl. darüber filtern bzw. blocken. Wobei das wahrscheinlich nicht lange funktioniert.

Alternativ eine "PoW Challange" vor schalten, z.B. mit https://anubis.techaro.lol/

Anubis: Web AI Firewall Utility | Anubis

Weigh the soul of incoming HTTP requests to protect your website!

Show threadAurin Azadî Jun 7

@no5251 @Elektrotier Den Referer sendet laut der Logs ein Teil mit. Wobei nicht der genauer Referer genommen wird, sondern nur die Domain, also ohne die eigentliche Seite. Ich hab schon überlegt, ob sich daraus was basteln läßt.

Anubis sieht aber gut aus, schau ich mir mal näher an, danke.