registrieren registriertes Mitglied


Anzeige

Anzeige

Email harvester und unerwünschte Bots mit .htaccess sperren

Alles zu Domain-Umzug, Weiterleitungen und Robots diskutiert Ihr hier.
viggen
PostRank 10
PostRank 10
Beiträge: 6249
Registriert: 12.05.2003, 15:44

Beitrag viggen » 08.08.2003, 11:02 Email harvester und unerwünschte Bots mit .htaccess sperren

Macht das noch jemand?
Über Robots.txt bots zu bannen ist ja toll, wenn sich die bots an die robot.txt befehle halten, wenn nicht nützt robot.txt leider nichts.

Habe daher vor ein paar Wochen meine .htaccess file umgeändert und die von mir gebannten Eindringlinge sind nie wieder gesehen.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule ^.* - [F]
Die sind diejenigen die mir bisher aufgefallen sind und daher gebannt wurden, ich füge bei bedarf einfach eine zeile mit dem namen des neuen Eindringlins ein.

Funktioniert nur mit Apache server.

Anzeige von:

Zur Verstärkung unseres OffPage-SEO Teams suchen wir zum nächstmöglichen Zeitpunkt einen

Junior SEO Offpage in Vollzeit in Hannover

Die Stelle umfasst die Betreuung und Projektverwaltung von und für Kunden und Kooperationspartner. Wir erstellen Content- und Wettbewerbsanalysen, mit denen nachhaltige und effiziente Linkaufbaukampagnen entwickelt und durchgeführt werden.


viggen
PostRank 10
PostRank 10
Beiträge: 6249
Registriert: 12.05.2003, 15:44

Beitrag viggen » 09.08.2003, 07:39 Email harvester und unerwünschte Bots mit .htaccess sperren

In meinen Logs sah ich heute früh das ein gewisser
"MSIE 5.0; Windows NT; DigExt; DTS Agent" direkt auf meine Kontaktseite ging.

Bei DTS Agent handelt es sich um einen Email Sammler auch unter Beijing Express E-mail Address Extractor bekannt. Eine kurze Zeile in meiner .htaccess file

RewriteCond %{HTTP_USER_AGENT} "DTS Agent" [OR]

check mit Wannabrowser, und weg mit dem Spammer.

Southmedia
PostRank 10
PostRank 10
Beiträge: 7325
Registriert: 20.07.2003, 20:56

Beitrag Southmedia » 09.08.2003, 12:50 Email harvester und unerwünschte Bots mit .htaccess sperren

Für sowas sollte man mal eine richtig große Datenbank anlegen wo jeder hinzufügen kann mit Begründung und so damit da ALLE Zugriff drauf haben, denn ich denke dass es ja auch im Interesse von allen liegt.

Benutzeravatar
Webby
Administrator
Administrator
Beiträge: 5420
Registriert: 17.10.2001, 02:00
Kontaktdaten:

Beitrag Webby » 09.08.2003, 13:52 Email harvester und unerwünschte Bots mit .htaccess sperren

Ich hab auch eine menge schon in meine robots.txt.

https://www.abakus-internet-marketing.de/robots.txt
Obwohl .htaccess ist sicherer. Mindestens kann mann die user agents sehen.

viggen
PostRank 10
PostRank 10
Beiträge: 6249
Registriert: 12.05.2003, 15:44

Beitrag viggen » 10.08.2003, 10:38 Email harvester und unerwünschte Bots mit .htaccess sperren

Also ich werde wenn ich weitere unfreundliche Eindringlinge finde die hier melden, wenn wir genug beinander haben kann vielleicht Webby dann eine Seite den Widerlingen widmen.

Anzeige von: