Email harvester und unerwünschte Bots mit .htaccess sperren

Caterham

die robost.txt liegt doch dort wo auch die index.html von der webseite ist oder.?

genau.

Wo liegt den die .htaccess bzw wo muss ich die anlegen.?

ebenfalls dort, sofern die dortigen Regeln für die komplette Webseite gelten sollen. Nutzt du sonst noch mod_rewrite in Unterverzeichnissen?

Grüße
Robert

mg8

Nutzt du sonst noch mod_rewrite in Unterverzeichnissen?

Ich hab nur ne ganz normale html seite ohne forum etc.... also nicht.
Wo findet den mo_rewrite verwendung.?

mfg
mg8

bull

https://www.google.de/search?hl=de&c2co ... %3Dlang_de

robbelsche

mg8 hat geschrieben:die robost.txt liegt doch dort wo auch die index.html von der webseite ist oder.?
Wo liegt den die .htaccess bzw wo muss ich die anlegen.?
mfg
mg8

Wenn die Regeln für die Serverkonfiguration für die gesammte Domain gelten sollen, wie das bei dem Aussperren irgendwelcher unerwünschter User-Agents ja der Fall ist, auch im Wurzelverzeichnis.

mg8

kann ich davon aussgehen das alle bots/cralwer die keine robots.txt anfordner Spambots/"Böse" sind, oder kann man das so pauschal nicht sagen.?

Chris2005

Hallo,

habe bisher nichts in der Richtung finden können und auch das mod-rewrite forum bringt nichts zum Vorschein

Ich hatte kürzlich einen Zugriff auf meine Page ohne User-Agent. Muss ja prinzipiell nichts schlimmes sein, finde ich aber trotzdem etwas merkwürdig.

Wie kann ich sowas per .htaccess und mod_rewrite ausperren?

Würde das so funktionieren?

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; " "
RewriteRule ^.*$ - &#91;F&#93;

Danke im Voraus für die Antwort.

Chris

bull

Nein, würde nicht.

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; ^$
RewriteRule ^.*$ - &#91;F&#93;

Siehe aber auch:
https://www.abakus-internet-marketing.d ... html#95159

Chris2005

Danke. Ich hatte den Thread vor ein paar Tagen durchgearbeitet, aber da war das "Problem" noch nicht vorhanden

sri für die Bandbreite.

Edit: Nochmal ich

. Wenn ich dem "User" mit dem leeren Useragent nun keine Fehlermeldung wie z.B. forbidden entgegenwerfen will, sondern eine z.B. die Datei /user.html. Was muss ich da eintragen?

Problem gelöst:

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; ^$ 
RewriteCond %&#123;REQUEST_FILENAME&#125; !-f
RewriteRule &#40;^.*&#41; http&#58;//www.domain.tld/useragent.html &#91;R,L&#93;

Bei meinen Tests mit dem Wannabrowser funktionierte das so, wie ich wollte. Habe ich da jetzt noch nen Denkfehler drin, oder passt das "universal"? Ich überlege noch, ob ich aus dem 302er einen 301er mache. Aber nicht, dass eine Suchmaschine sich sowas einfängt und nur die Fehlermeldung indexiert

bull

Machs einfach ohne Umleitung, so daß ein 200 OK zurückgegeben wird:

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; ^$
RewriteRule ^.* useragent.html &#91;L&#93;

Chris2005

Vielen Dank. Ich hatte etwas ähnliches auch ausprobiert, allerdings hatte ich vor der useragent.html noch einen / und damit hat es nicht funktioniert.

Jetzt klappt es und es besser versteckt, dass eine Umleitung stattfindet!

Iq100

Ganz großer Dank und ganz großes Lob an bull!!!

Habe dank deines Spidertutors und der hier befindlichen hilfen einiges dazugelernt

Ich selbst habe bisher mit SetEnvIf u.d.G. (Serverkonfig) gearbeitet und musste nun aber erschreckend feststellen das die ganze Sache nicht greift?! Deswegen jetzt .htaccess

Hätte aber auch noch eine Frage:
Obwohl mein SSL gesondert behandelt wird und auch seperat geloggt wird (SSL-Logfiles) erscheinen in den HTTP-Logfiles (Apachelog) dennoch immer Hex-Requests die mir wie SSL aussehen. Weißt du bzw. weiß irgendwer wie ich das aussperre?

Beispiel:

[Thu Mar 03 06:16:23 2011] [error] [client xxx.xxx.xxx.xxx] Invalid URI in request \xdc\x8d\xe1\xd5\xb3\x04\xb3\xe1)\xabN8\xcaeY

Danke und Grüße
Iq100

Danny3254

Gibt es denn eine neue Liste mittlerweile oder wird diese noch aktualisiert ?
Ist doch schon über 10 Jahre alt =).

ElCattivo · Zuletzt geändert von ElCattivo am 12.02.2018, 04:25, insgesamt 1-mal geändert.

Hallo!

Um das mal wieder anzustoßen...

Seine .htaccess muss man laufend anpassen nachdem man natürlich immer wieder seine access.log Dateien analysiert.

Viele Sachen werden hier auch falsch gemacht (Redundanz, aufwendige Instruktionen), da kann man mit der .htaccess schonmal ne Menge Serverlast erzeugen oder ein 500/503 erzeugen. Mit Regulären Ausdrücken sollte man auch sehr aufpassen. Es ist z.B. völlig unnötig für das einfache Blocken die Rewrite Engine zu bemühen, zumal nicht jedes Hosting das Modul mod_rewrite in der .htaccess unterstützt.

Hier mal ein kleiner Ausschnitt meiner .htaccess:

Code: Alles auswählen

SetEnvIf Request_Method "&#40;DEBUG|DELETE|OPTIONS|PUT|TRACE|TRACK|&#40;UN&#41;?LINK&#41;" bad
SetEnvIfNoCase Request_URI "&#40;\/\.\.|ckeditor|drupal|joomla|trackback|upload|wp-&#40;admin|content|includes|json|login&#41;|wordpress&#41;" bad
SetEnvIfNoCase User-Agent "^&#40;-?|Asperatusbot|Google\ ?Bot|Mozilla&#40;\/.\..&#41;?|QCrawl|Ruby|robot&#41;$" bad
SetEnvIfNoCase User-Agent "^&#40;'|=|\/|BUFF|HELLO|Jersey|Mozilla.*Mozilla|Pcore|pshtt|User.?Agent&#41;" bad
SetEnvIfNoCase User-Agent "&#40;\\x|\"\&#41;|\ \ Safari|\&#40;compatible;?&#40;\ &#41;?\&#41;|\&#40;Mobile;\ rv&#58;|rv&#58;.\..&#40;a|b&#41;&#91;0-9&#93;\&#41;\ Gecko|0\ Gecko|Firefox\/&#40;3\.8|40\.1&#41;|Mozilla\/5.*MSIE\ &#91;2-8&#93;|MSIE\ &#40;9|1&#91;01&#93;&#41;.*\.NET|Windows&#40;\ &#40;10|NT\&#41;|XP\&#41;&#41;|\&#41;&#41;|X\ 10_10_0&#41;" bad
SetEnvIfNoCase User-Agent "&#40;aylienbot|BegunAdvertising|betaBot|Bitvore|BoogleBot|cmscrawler|CommonCrawler|curl|devworx|Diffbot|Digincore|domain|evc-batch|exif-search|Feosey|FOCA|GarlikCrawler|Genieo|Getintent|Http.?Client|HTTrack|HubSpot|HybridBot|Indy|ips&#40;-agent|\ Community&#41;|Java\/1|Kemvibot|KomodiaBot|lib&#40;http|www&#41;|MailDBBot|mfibot|MixrankBot|Nutch|\ oBot|OSSProxy|PHP\/|Pulsepoint|Python|Scrapy|semantic|SiteTruth|Stratagems|Surdotly|Synapse|TWMBot|uCrawler|Web&#40;Copy|collage|Fuck&#41;|Wget|WinHttp|wonderbot|YisouSpider|zgrab\/&#41;" bad
SetEnvIf Request_URI "^/robots\.txt$" ok
SetEnvIf Request_URI "/403\.php$" ok

Order deny,allow

deny from env=bad
allow from env=ok

Als kleine Hilfestellung zu Regulären Ausdrücken: "^" = beginnt (mit), "." = irgendein Zeichen, ".*" = beliebig viele irgendwelche Zeichen, "|" = oder, "?" = das davor stehende Zeichen kann (!) vorkommen, "()?" = die in der Klammer stehende Zeichengruppe (inkl weiterere Verschachtelungen und "oder") kann (!) vorkommen. Alle solche Operatoren sowie Leerzeichen und einige weitere müssen mit einem "\" (Backslash) einzeln maskiert werden, wenn das Zeichen und nicht der Operator gemeint ist.

Dazu sollte aber noch IP-Blocking (ich sag nur Amazon, Hetzner, OVH) stattfinden, da viele Bots UA Spoofing betreiben, wovon die blödesten Versuche oben schon mit abgedeckt sind. Da ich kein WP/Joomla/Drupal nutze, werden alle entsprechenden Zugriffe auch generell geblockt - wichtig für Leute mit diesen "CMS" (nicht selbst aussperren).

Wichtig ist außerdem, dass alle Bots Zugriff auf die robots.txt haben, um die darin stehenden Anweisungen befolgen zu können - falls es sich um "good bots" handelt.

Die Profis für solche Sachen sitzen übrigens im UA-Forum von webmasterworld.com.

Viele Grüße
ElCattivo

Ein besonders wichtiger Ratschlag bezüglich .htaccess: Benutze sie nicht

Wie du wahrscheinlich weißt, werden .htaccess-Dateien bei jeder Abfrage neu interpretiert und in jedem Unterverzeichnis gesucht. Wenn möglich, sollte man solche Regeln global im VHost definieren und .htaccess komplett verbieten (nur dann gewinnt man):
https://haydenjames.io/disable-htaccess ... rformance/

ElCattivo

Wenn man alles richtig macht, kostet das keine große Performance - da ist WP und Konsorten viel ressourcenfressender. Meine .htaccess hat über 1200 Zeilen und meine Seite ist trotzdem verdammt schnell, da nur HTML/CSS. Außerdem hat nicht jeder Zugriff auf höhere Serverkonfiguration (wie z.B. ich auf nem shared Hosting).

Viele Grüße
ElCattivo