Email harvester und unerwünschte Bots mit .htaccess sperren

[viggen]

Macht das noch jemand?
Über Robots.txt bots zu bannen ist ja toll, wenn sich die bots an die robot.txt befehle halten, wenn nicht nützt robot.txt leider nichts.

Habe daher vor ein paar Wochen meine .htaccess file umgeändert und die von mir gebannten Eindringlinge sind nie wieder gesehen.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule ^.* - [F]

Die sind diejenigen die mir bisher aufgefallen sind und daher gebannt wurden, ich füge bei bedarf einfach eine zeile mit dem namen des neuen Eindringlins ein.

Funktioniert nur mit Apache server.

[viggen]

In meinen Logs sah ich heute früh das ein gewisser
"MSIE 5.0; Windows NT; DigExt; DTS Agent" direkt auf meine Kontaktseite ging.

Bei DTS Agent handelt es sich um einen Email Sammler auch unter Beijing Express E-mail Address Extractor bekannt. Eine kurze Zeile in meiner .htaccess file

RewriteCond %{HTTP_USER_AGENT} "DTS Agent" [OR]

check mit Wannabrowser, und weg mit dem Spammer.

[Southmedia]

Für sowas sollte man mal eine richtig große Datenbank anlegen wo jeder hinzufügen kann mit Begründung und so damit da ALLE Zugriff drauf haben, denn ich denke dass es ja auch im Interesse von allen liegt.

[Webby]

Ich hab auch eine menge schon in meine robots.txt.

https://www.abakus-internet-marketing.de/robots.txt
Obwohl .htaccess ist sicherer. Mindestens kann mann die user agents sehen.

[viggen]

Also ich werde wenn ich weitere unfreundliche Eindringlinge finde die hier melden, wenn wir genug beinander haben kann vielleicht Webby dann eine Seite den Widerlingen widmen.

[bugscout]

moin viggen,

wäre toll, wenn die ein wenig gruppiert wären,

ich z.b. habe was gegen email-harvester, wogegen
mir der einsatz von black widow zum offline anschauen
relativ egal ist.

grüsse

[viggen]

werde ich machen, welche gruppierung sollten es sein?

Würde diese Unterteilung reichen?

Email-harvester (gibts ein deutsches word dafür[das auch verwendet wird]?)

Offline Browser

Suchmaschinen

Andere

Vorschläge?

[bugscout]

moin moin,

das ist doch schon ganz gut, bei bedarf und neuen ideen der "kollegen" kann man das noch erweitern.

ich hab letzt irgendwo mal nen tip zum sammeln der bots, die sich nicht an disallow halten gelesen

1) unsichtbares gif mit link auf ein verzeichnis (z.b. boesewichte)
2) eine leere oder unsinnige datei darein
3) robots.txt disallow boesewichte

alle die da spidern halten sich nicht an die regeln.

werds mal ausprobieren

<edit>

seite steht "verein für angewandte thermodynamik"

mit einem script, dass immer erstmal 100 adressen von vereinsmitgliedern produziert.

</edit>

grüsse

[web4free]

Hi all,

würde mich gerne mal hinsetzen und ein solches Script schreiben.
Natürlich nur wenn noch Interesse daran besteht.

Vorstellen könnte ich es mir dann so:
Einer von Euch kennt so einen Eindringling.
z.B.: BlackWidow

Der Eintrag in der .htaccess würde ja dann so aussehen:
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow

Den Namen BlackWidow könnte man dann über ein Eingabefeld in die Datenbank speisen.
Und dann gibt es noch die Möglichkeit alle gesammelten .htaccess konform anzeigen zu lassen.

In der Startphase würden aber alle auf einmal angezeigt werden.
Also kein Katalog wo ich auswählen kann.
Ich kann aber schon in der Startphase mehrere Felder mit einbinden,
damit die Abfrage später umso feiner wird.

Wenn Ihr immer noch Interesse daran habt gebt mir hier bitte (gerne auch mit Vorschlägen) Bescheid.

Eine Anfangsliste wäre ja hier schon gepostet.

Würde mich freuen auf zahlreiche Vorschläge!

PS: Ich nehme an, dass ich ca. 2 Tage brauchen würde um das Script ordentlich anbieten zu können.

lG. aus Wien
Werner

[Waldeule]

Würde diese Unterteilung reichen?

Downloadmanager wie

RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]

sollten auch eine eigene Kategorie bekommen. Bei mir dürfen die nämlich saugen.

[Webby]

Willkommen am Board Web4Free
Sowas zum basteln hat sicheriulich ein nutzt. Ich wird auch persönlich interessiert in so eine script.
Alan

[web4free]

Hi,

Na ich werd mich da mal ransetzen und es auf meiner Seite online stellen.
Sobald ich damit online bin werd ich mich hier wieder melden.

lG.
Werner

[Halli]

Werner,

1. wie wärs mal mit ner URL in Deinem Profil?

2. Dann kannst Du gleich auch noch 'HTTrack' mit aufnehmen. Dieser Offline-Reader hat mir letzten Monat 1GB an Traffic verursacht bis ich ihm auf die Schliche gekommen bin.

[web4free]

Hab ich doch glatt mein Profil nicht bearbeitet gehabt!
Sorry!
Ab sofort mit ICQ und WWW

lG. aus Wien
Werner

[web4free]

Hi Leute,

Bin jetzt mal fertig geworden mit der Erstfassung der Spamdatenbank.
Zu finden unter https://www.web4free.at/modules.php?Use ... e=Antispam

Aus einem anderen Forum hab ich mal so an die 181 Robots gefunden, die ich auch gleich eingetragen hab.
Nachteil: Diese sind noch nicht kategorisiert.
Es ist aber jeder herzlichst dazu eingeladen, wenn er zu den einen ader anderen rob was weiß, es mir per Mail zukommen zu lassen.

Ich hoffe, dass ich hiermit ein brauchbares Projekt herausgestampft hab und Ihr alle fleißig Einträge hinterlässt damit diese Datenbank wirklich groß und brauchbar wird.

lG. aus Wien
Werner