Wie kann man schwer erkennbare Bots blockieren?

WA24

Hallo zusammen,

mir macht zur Zeit ein Bot-Phänomen zu schaffen und mir fehlt eine Idee wie ich das blocken kann.
Ich habe nur ein gewisses Limit bei API-Anfragen zur Verfügung, daher kann ich solche Anfragen
nicht brauchen, Verschiedene IP´s - verschiedene Agents - hunderte oder tausende pro Tag
Keiner der Zugriffe taucht in Analytics auf - also definitiv ein Bot

Hat jemand ne Idee wie ich sowas blocken kann?

Code: Alles auswählen

194.87.74.95 - - [01/May/2021:00:00:18 +0200] "GET /[...]filter1=Audi HTTP/1.1" 200 30675 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.71 Safari/537.36" 
194.87.32.221 - - [01/May/2021:00:00:43 +0200] "GET /[...]filter1=AX7 HTTP/1.1" 200 29314 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:41.0) Gecko/20100101 Firefox/41.0" 
5.181.170.238 - - [01/May/2021:00:01:08 +0200] "GET /[...]filter1=B5003 HTTP/1.1" 200 23313 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.71 Safari/537.36" 
46.161.61.110 - - [01/May/2021:00:01:36 +0200] "GET /[...]filter1=Barockfelge HTTP/1.1" 200 29871 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.71 Safari/537.36" 
83.171.253.39 - - [01/May/2021:00:02:03 +0200] "GET /[...]filter1=Benz HTTP/1.1" 200 30458 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:41.0) Gecko/20100101 Firefox/41.0" 
185.14.194.135 - - [01/May/2021:00:02:33 +0200] "GET /[...]filter1=BLACK HTTP/1.1" 200 30209 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36" 
185.88.36.100 - - [01/May/2021:00:03:24 +0200] "GET /[...]filter1=C63 HTTP/1.1" 200 30085 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/601.1.56 (KHTML, like Gecko) Version/9.0 Safari/601.1.56" 
195.133.59.160 - - [01/May/2021:00:03:49 +0200] "GET /[...]filter1=C63s HTTP/1.1" 200 29739 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" 
5.183.255.21 - - [01/May/2021:00:04:15 +0200] "GET /[...]filter1=C205 HTTP/1.1" 200 29953 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:41.0) Gecko/20100101 Firefox/41.0" 
193.202.10.72 - - [01/May/2021:00:04:41 +0200] "GET /[...]filter1=C217 HTTP/1.1" 200 29529 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.71 Safari/537.36"

WA24 hat geschrieben: ↑01.05.2021, 20:42Keiner der Zugriffe taucht in Analytics auf - also definitiv ein Bot

Es gibt auch Leute, die Analytics blockieren. Viele Werbeblocker können das.
Also nur weil jemand nicht in Analytics auftaucht, kannst du nicht davon ausgehen, dass es sich um einen Bot handelt.

Über welche API-Anfragen reden wir hier, und wo/wann genau führst du die aus? In PHP direkt beim Laden der Seite? Über JavaScript direkt beim Laden der Seite? Oder erst nach einer Interaktion?

Bekannte "böse IP-Adressen" kannst du auch über diverse öffentlich verfügbare Blacklists identifizieren, z. B. DNS-basierte wie die von Spamhaus (https://www.spamhaus.org/).

WA24

Ich habe vergessen zu erwähnen, dass [...] immer die gleiche URL ist.

Das Muster zieht sich dann mit verschiedenen URL´s über den Tag verteilt.
Pro URL werden immer alle zur Verfügung stehenden "filter1" nacheinander gecrawlt. Das macht kein Mensch.

Das Programm, dass die API-Anfragen erhält (darauf habe ich keinen Zugriff) ist bereits über diverse Spam-Filter abgesichert. Vielleicht nicht gut genug. Ich schaue mir mal den Tipp mit dem spamhaus an. Vielen Dank Hanzo.