ich arbeite gerade an meiner .htaccess-Datei, um böse Bots u.ä. auszusperren. Ein ganz kleiner Auszug:
Code: Alles auswählen
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Alexibot [OR]
RewriteCond %{HTTP_USER_AGENT} ^asterias [OR]
...
...
# die etwas gefaehrlicheren Regeln weil komplexer und vielleicht zu viel verboten wird
RewriteCond %{HTTP_USER_AGENT} collect [NC,OR]
RewriteCond %{HTTP_USER_AGENT} crawl [NC,OR]
...
...
# geblockte IP Adressen
RewriteCond %{REMOTE_ADDR} ^195\.166\.237\.
RewriteRule ^.*$ spider\.htm [L]1. Angenommen, ich möchte den User-agent TollerCrawler, der ja auch von
RewriteCond %{HTTP_USER_AGENT} crawl [NC,OR]
erfasst wird, von der Verbotsliste ausschließen, ihm das Spidern meiner Website also erlauben: Wie geht das?
2. Angenommen, ich möchte nur die IPs 195.166.237.30 bis 195.166.237.40 sperren: Wie geht das?
3. Hat jemand Interesse daran, dass ich meinen "vollständigen" Regelkatalog, sobald er fertig ist, hier poste? (Kann im schlechtesten Fall noch ein bis zwei Wochen dauern.)
LG, Hobby-SEO
