registrieren registriertes Mitglied


Anzeige

Anzeige

Email harvester und unerwünschte Bots mit .htaccess sperren

Alles zu Domain-Umzug, Weiterleitungen und Robots diskutiert Ihr hier.
Benutzeravatar
mario
PostRank 10
PostRank 10
Beiträge: 3112
Registriert: 15.08.2003, 06:46

Beitrag mario » 26.09.2004, 15:52 Email harvester und unerwünschte Bots mit .htaccess sperren

...dann gehört diese Adresse wohl nicht in die email-hervester-Kategorie... aber ich denke, dass der Archiver für die wenigsten sehr wichtig ist... trotzdem vielen Dank, Jörg

Anzeige von:

Personal Branding mit ABAKUS:
  • Höhere Glaubwürdigkeit
  • Hervorhebung Ihrer Kompetenz
  • Stärkung Ihrer Alleinstellungsmerkmale
  • Abhebung von Namensvettern
Profitieren Sie von unserer Erfahrung!
0511 / 300325-0

Benutzeravatar
luminatus
PostRank 4
PostRank 4
Beiträge: 125
Registriert: 22.10.2002, 13:29
Wohnort: Hannover
Kontaktdaten:

Beitrag luminatus » 28.09.2004, 11:30 Email harvester und unerwünschte Bots mit .htaccess sperren

bei mir hat die version von web4free auch nicht funktioniert, die von viggen schon.
da ich aber echt genervt bin von den spam bots, hab ich per hand zeile fuer zeile
der mir fragwuerdig erscheinenden spider in viggens version uebernommen.

zum glueck hab ich hinten angefangen. nachdem die zeile
RewriteCond %{HTTP_USER_AGENT} ^Web Sucker [OR]
drin war, bekam ich auch den internal server errror.

welche anderen zeilen noch fuer den fehler sorgen, weiss ich nicht. ich
kann nur sagen, dass es nicht die einzige zeile ist, die probleme macht.

gruesse
luminatus

Benutzeravatar
bull
PostRank 9
PostRank 9
Beiträge: 2166
Registriert: 20.09.2003, 21:57
Wohnort: Vèneto

Beitrag bull » 28.09.2004, 17:05 Email harvester und unerwünschte Bots mit .htaccess sperren

welche anderen zeilen noch fuer den fehler sorgen, weiss ich nicht.
Es wurde doch schon darauf hingewiesen, daß bestimmte Zeichen, darunter Leerzeichen und Punkte, "escaped" werden müssen. Dann muß man sich halt die Zeit nehmen und jede Zeile durchgehen.

Bevor hier 14 User-agents à la Web Sucker gepostet werden, ist es durchaus sinnvoller,

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^Web [OR]
zu verwenden.
Weiterhin kommen hinzu (Überschneidungen mit bereits erwähnten sind möglich) :

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^HLoader [OR]
RewriteCond %{HTTP_USER_AGENT} Lite\ Bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Demo\ Bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Production\ Bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla\/3\.0\ \(compatible\) [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla\/4\.0\ \(compatible\) [OR]
RewriteCond %{HTTP_USER_AGENT} research [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Full\ Web\ Bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^CherryPicker [OR]
RewriteCond %{HTTP_USER_AGENT} ^Franklin [OR]
RewriteCond %{HTTP_USER_AGENT} Extract [NC,OR]
RewriteCond %{HTTP_USER_AGENT} MFC\ Foundation\ Class\ Library [OR]
RewriteCond %{HTTP_USER_AGENT} DTS\ Agent [OR]
RewriteCond %{HTTP_USER_AGENT} ^Industry\ Program [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mac\ Finder [OR]
RewriteCond %{HTTP_USER_AGENT} ^Program\ Shareware [OR]
RewriteCond %{HTTP_USER_AGENT} locator [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^[A-Z]Surf [OR]
RewriteCond %{HTTP_USER_AGENT} ^[A-Z]Browse [OR]
RewriteCond %{HTTP_USER_AGENT} ^WEP\ Search [OR]
RewriteCond %{HTTP_USER_AGENT} ^Missouri\ College [OR]
RewriteCond %{HTTP_USER_AGENT} ^HTTPLib [OR]
RewriteCond %{HTTP_USER_AGENT} Wavepluz [OR]
RewriteCond %{HTTP_USER_AGENT} ^Educate\ Search [OR]
Weiterhin erscheint es sinnvoll, User-agents, welche mit Kleinbuchstaben oder Zahlen beginnen, auszuschließen, einige wie msnbot hingegen nicht. Es gab letzthin immer wieder zufällige User-agents, welche mit Kleinbuchstaben begannen.

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^[a-z0-9]+
RewriteCond %{HTTP_USER_AGENT} !^msnbot
RewriteCond %{HTTP_USER_AGENT} !^contype
RewriteCond %{HTTP_USER_AGENT} !^wwwster
RewriteCond %{HTTP_USER_AGENT} !^ia_archiver
RewriteCond %{HTTP_USER_AGENT} !^arianna\.libero
Heute war hier ein gewisser Faxobot von faxo.com - Nach Besichtigung der Seite habe ich ihn gleich mit in die Liste aufgenommen.

edit: gerade frisch
218.217.200.111 - - [28/Sep/2004:22:16:39 +0200] "GET / HTTP/1.1" 403 1286 - "-" "dsdl0" "-"
hat gleich das passende bekommen. Kann also das Antikleinbuchstabenskript nur empfehlen.

edit2: noch ein Kollege, der automatisch geblockt wurde
216.55.190.25 - - [29/Sep/2004:05:53:06 +0200] "GET /verzeichnis/ HTTP/1.0" 403 1286 - "-" "booch_1.0.7 tankvit@e-mail.ru" "-"

fool
PostRank 5
PostRank 5
Beiträge: 200
Registriert: 28.03.2004, 13:12

Beitrag fool » 09.10.2004, 21:41 Email harvester und unerwünschte Bots mit .htaccess sperren

Hallo Bull,
ich finde die Idee mit der Kleinbuchstabensperre ganz gut, habe sie auch in meine htaccess eingebaut und sehe seitdem auch keine spider/robots mit Kleinbuchstaben am Anfang mehr. Allerdings sehe ich auch den msnbot nicht mehr.
Irgendwas habe ich da wohl falsch gemacht.

So sieht das bei mir am Ende der RewriteGeschichte jetzt aus:

RewriteCond %{HTTP_USER_AGENT} ^[a-z0-9] +
RewriteCond %{HTTP_USER_AGENT} !^msnbot
RewriteRule ^.*$ - [F]

Was ist falsch

fragt sich
fool

Beste Grüße

Caterham
PostRank 5
PostRank 5
Beiträge: 329
Registriert: 20.09.2004, 20:12

Beitrag Caterham » 10.10.2004, 21:56 Email harvester und unerwünschte Bots mit .htaccess sperren

Was ist falsch
Du kannst ja mal versuchen, das umzudrehen

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} !^msnbot 
RewriteCond %{HTTP_USER_AGENT} ^[a-z0-9]+ 
RewriteRule ^.*$ - [F] 
Du postest hier zw. "9] +" ein Leerzeichen, dort darf jedoch keins gesetzt werden.

Gruß
Robert

Anzeige von: