registrieren registriertes Mitglied


Anzeige

Anzeige

Email harvester und unerwünschte Bots mit .htaccess sperren

Alles zu Domain-Umzug, Weiterleitungen und Robots diskutiert Ihr hier.
Benutzeravatar
web4free
PostRank 2
PostRank 2
Beiträge: 41
Registriert: 30.01.2004, 14:43

Beitrag web4free » 20.02.2004, 19:59 Email harvester und unerwünschte Bots mit .htaccess sperren

manute hat geschrieben:ach shit, jetzt fällt mir ein, ich hab das problem ja auf meinem hosteurope-server. die sind bei sowas total unflexibel, da komm ich nicht ran.
heißt das, ich bekommen den ausschluss der harvester nun garnicht hin - gibt's keine andere möglichkeit?
Servus,

Naja bleibt ja nur noch die robots.txt über.
Wenn Du php nutzt, könntest Du natürlich auch in der index.php eine Abfrage der UserAgenten machen und dann bei Bedarf umleiten.

Ob das aber das gelbe vom Ei ist, na ich weiß nicht!

lG.
Werner

Anzeige von:

Personal Branding mit ABAKUS:
  • Höhere Glaubwürdigkeit
  • Hervorhebung Ihrer Kompetenz
  • Stärkung Ihrer Alleinstellungsmerkmale
  • Abhebung von Namensvettern
Profitieren Sie von unserer Erfahrung!
0511 / 300325-0

Boa
PostRank 9
PostRank 9
Beiträge: 1170
Registriert: 11.11.2003, 00:19
Wohnort: Bremen

Beitrag Boa » 20.02.2004, 20:22 Email harvester und unerwünschte Bots mit .htaccess sperren

Der von Viggen funst sogar bei Schlund. Und das will was heissen. Probier den mal ohne Deine Einträge das müsste gehen. Bei Dir scheinen einträge einen 500 herhorzurufen und nicht der Aufbau.

Benutzeravatar
web4free
PostRank 2
PostRank 2
Beiträge: 41
Registriert: 30.01.2004, 14:43
Wohnort: Wien
Kontaktdaten:

Beitrag web4free » 21.02.2004, 19:06 Email harvester und unerwünschte Bots mit .htaccess sperren

callimann hat geschrieben:Der von Viggen funst sogar bei Schlund...
Hi,

Schlund hab ich nie gehabt. Da kenn ich mich nicht so aus.
Aber ich dürfte da generell ein Pech haben.
Muss mal mit meinem Betreuer reden.

Bei mir funktionieren im Moment nicht mal mehr normale ErrorDocument ... in der .htaccess

Und das ist schon ärgerlich!!
Nicht dass es bei mir nur Fehlerseiten gibt.
Aber in geschützten Bereichen ist eine eigene Seite immer noch schöner als ein hässlicher 403er

FutureCrash
PostRank 1
PostRank 1
Beiträge: 1
Registriert: 16.04.2004, 22:38
Wohnort: Nürnberg
Kontaktdaten:

Beitrag FutureCrash » 16.04.2004, 22:41 Email harvester und unerwünschte Bots mit .htaccess sperren

Das Thema ist jetzt zwar schon ein bisschen älter, aber mal ein kleiner Tipp von mir:

Das mit der .htaccess sollte funktionieren, wenn du Leerzeichen in den Hostnamen quotest.

Hulot
PostRank 2
PostRank 2
Beiträge: 55
Registriert: 07.03.2004, 02:43

Beitrag Hulot » 17.04.2004, 01:36 Email harvester und unerwünschte Bots mit .htaccess sperren

Moin!

@Manute
Hatte mir auch schon gedacht, dass da etwas fehlt: Die Maskierung von Leerzeichen.
RewriteEngine On

#The next lines check for Robots and redirect them to a fake page
RewriteCond %{HTTP_USER_AGENT} ^Alexibot [OR]
RewriteCond %{HTTP_USER_AGENT} ^asterias [OR]
RewriteCond %{HTTP_USER_AGENT} ^BackDoorBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Black.Hole [OR]
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^BlowFish [OR]
RewriteCond %{HTTP_USER_AGENT} ^BotALot [OR]
RewriteCond %{HTTP_USER_AGENT} ^BuiltBotTough [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bullseye [OR]
RewriteCond %{HTTP_USER_AGENT} ^BunnySlippers [OR]
RewriteCond %{HTTP_USER_AGENT} ^Cegbfeieh [OR]
RewriteCond %{HTTP_USER_AGENT} ^CheeseBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^CherryPicker [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^CopyRightCheck [OR]
RewriteCond %{HTTP_USER_AGENT} ^cosmos [OR]
RewriteCond %{HTTP_USER_AGENT} ^Crescent [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DittoSpyder [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailCollector [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf\ 1.00 [OR]
RewriteCond %{HTTP_USER_AGENT} ^EroCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Foobot [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot-Image [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^Harvest [OR]
RewriteCond %{HTTP_USER_AGENT} ^hloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} ^httplib [OR]
RewriteCond %{HTTP_USER_AGENT} ^HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} ^humanlinks [OR]
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^Indy\ Library [OR]
RewriteCond %{HTTP_USER_AGENT} ^InfoNaviRobot [OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^JennyBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Kenjin.Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Keyword.Density [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^LexiBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^libWeb/clsHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^LinkextractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^LinkScan/8.1a.Unix [OR]
RewriteCond %{HTTP_USER_AGENT} ^LinkWalker [OR]
RewriteCond %{HTTP_USER_AGENT} ^lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mata.Hari [OR]
RewriteCond %{HTTP_USER_AGENT} ^Microsoft.URL [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIIxpc [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister.PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^moget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla.*NEWT [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/2 [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/3.Mozilla/2.01 [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetMechanic [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^NICErsPRO [OR]
RewriteCond %{HTTP_USER_AGENT} ^NPBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Openfind [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^ProPowerBot/2.14 [OR]
RewriteCond %{HTTP_USER_AGENT} ^ProWebWalker [OR]
RewriteCond %{HTTP_USER_AGENT} ^QueryN.Metasearch [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^RepoMonkey [OR]
RewriteCond %{HTTP_USER_AGENT} ^RMA [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SlySearch [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^SpankBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^spanner [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^suzuran [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^Telesoft [OR]
RewriteCond %{HTTP_USER_AGENT} ^The.Intraformant [OR]
RewriteCond %{HTTP_USER_AGENT} ^TheNomad [OR]
RewriteCond %{HTTP_USER_AGENT} ^TightTwatBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Titan [OR]
RewriteCond %{HTTP_USER_AGENT} ^toCrawl/UrlDispatcher [OR]
RewriteCond %{HTTP_USER_AGENT} ^True_Robot [OR]
RewriteCond %{HTTP_USER_AGENT} ^turingos [OR]
RewriteCond %{HTTP_USER_AGENT} ^TurnitinBot/1.5 [OR]
RewriteCond %{HTTP_USER_AGENT} ^URLy.Warning [OR]
RewriteCond %{HTTP_USER_AGENT} ^VCI [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web.Image.Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebBandit [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebEMailExtrac.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebEnhancer [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebmasterWorldForumBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website.Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^Webster.Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZip [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWW-Collector-E [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xenu's [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule .* - [F,L]
Habs bei mir getestet. Dann dürftest Du keinen 500er mehr bekommen.

Gruß Hulot

Anzeige von:


Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

sam
PostRank 1
PostRank 1
Beiträge: 27
Registriert: 22.11.2003, 10:28

Beitrag sam » 19.06.2004, 20:26 Email harvester und unerwünschte Bots mit .htaccess sperren

Hulots htaccess Datei ist recht groß, und sperrt vielleicht zuviele Robots (z.B.:Google-Images) aus.

Welche Robots sollte man wirklich aussperren, bzw. welche Robots verursachen im Durchschnitt viel Traffic?

Gruß

Stehbrettsegler
PostRank 1
PostRank 1
Beiträge: 10
Registriert: 23.09.2004, 15:12

Beitrag Stehbrettsegler » 23.09.2004, 15:16 Email harvester und unerwünschte Bots mit .htaccess sperren

Hallo!

Habe ich mich gerade taufrisch registriert, weil ich hier nämlich genau die gesuchten Infos gefunden habe.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
usw.

in der htaccess funzt bei mir aber anscheinend nicht.

HTTrack kann weder mit htaccess noch robots.txt aussperren

Grüße

Luckybuy3000
PostRank 7
PostRank 7
Beiträge: 543
Registriert: 07.11.2003, 08:49
Wohnort: Essen

Beitrag Luckybuy3000 » 23.09.2004, 15:44 Email harvester und unerwünschte Bots mit .htaccess sperren

Zu IBM_Planetwide sehe ich aber in der htacess oben keine Eintragung. :roll:
Nachdem wir ständig Besuch von IBM-Planetwide haben, mir hier leider keiner etwas dazu sagen konnte, habe ich folgendes eingefügt:

RewriteCond %{HTTP_USER_AGENT} ^IBM_Planetwide [NC,OR]


Zusätzlich ist er noch in der robots.txt gesperrt, kommt aber anscheinend immer noch oder es ist ein Klon.

Benutzeravatar
mauri
PostRank 8
PostRank 8
Beiträge: 672
Registriert: 15.08.2003, 07:04
Wohnort: Wo es keinen Schnee gibt.

Beitrag mauri » 26.09.2004, 08:23 Email harvester und unerwünschte Bots mit .htaccess sperren

das hoert sich ja sehr gut an, habs auch draufbekommen ohne jegliche fehlermeldung.
meine frage ist aber nun > wie kann ich ueberpruefen ob es geht? :roll:
gruss
mauri

Benutzeravatar
mario
PostRank 10
PostRank 10
Beiträge: 3112
Registriert: 15.08.2003, 06:46

Beitrag mario » 26.09.2004, 11:46 Email harvester und unerwünschte Bots mit .htaccess sperren


Benutzeravatar
mario
PostRank 10
PostRank 10
Beiträge: 3112
Registriert: 15.08.2003, 06:46

Beitrag mario » 26.09.2004, 12:42 Email harvester und unerwünschte Bots mit .htaccess sperren

@alle
und
@web4free zur Liste von @hulot

sind die email-hervester alle bekannt oder sperrt man mit der generellen Liste ungewollt auch ein paar wichtigere Adressen aus? Wer kontrolliert die registrierten Adressen die auf https://www.web4free.at/Antispam unter "Neuer Mailspam" eingegeben werden? Welches sind erfahrungsgemäss die "bösen" Robots die 80% des Spamverkehrs erzeugen? Wer kann dazu einigermaßen gesicherte Angaben machen?

Benutzeravatar
mauri
PostRank 8
PostRank 8
Beiträge: 672
Registriert: 15.08.2003, 07:04
Wohnort: Wo es keinen Schnee gibt.

Beitrag mauri » 26.09.2004, 12:50 Email harvester und unerwünschte Bots mit .htaccess sperren

hey hey hey, das ist ja ne ganz feine sache !!!!
danke web4free!!!! und danke mario fuer den link.
et funzt > 403 Forbidden
hehehe
gruss
mauri

Benutzeravatar
mario
PostRank 10
PostRank 10
Beiträge: 3112
Registriert: 15.08.2003, 06:46

Beitrag mario » 26.09.2004, 13:08 Email harvester und unerwünschte Bots mit .htaccess sperren

Hulot hat geschrieben:Moin!

@Manute
Hatte mir auch schon gedacht, dass da etwas fehlt: Die Maskierung von Leerzeichen.
RewriteEngine On

#The next lines check for Robots and redirect them to a fake page
RewriteCond %{HTTP_USER_AGENT} ^Alexibot [OR]
RewriteCond %{HTTP_USER_AGENT} ^asterias [OR]
RewriteCond %{HTTP_USER_AGENT} ^BackDoorBot [OR]
usw.
RewriteRule .* - [F,L]
Habs bei mir getestet. Dann dürftest Du keinen 500er mehr bekommen.
Gruß Hulot
funktioniert prima, keine Fehlermeldungen und der Test mit https://www.wannabrowser.com/ bestätigt die Sperrung der Bösewichter...

Benutzeravatar
mario
PostRank 10
PostRank 10
Beiträge: 3112
Registriert: 15.08.2003, 06:46

Beitrag mario » 26.09.2004, 13:11 Email harvester und unerwünschte Bots mit .htaccess sperren

mauri hat geschrieben:hey hey hey, das ist ja ne ganz feine sache !!!!
danke web4free!!!! und danke mario fuer den link.
et funzt > 403 Forbidden
hehehe
gruss
mauri
nun müsste noch jemand die Liste der "Gesperrten" bestätigen... und dann ist Verbreitung angesagt...

Jörg
PostRank 9
PostRank 9
Beiträge: 1168
Registriert: 03.07.2003, 08:06
Kontaktdaten:

Beitrag Jörg » 26.09.2004, 15:06 Email harvester und unerwünschte Bots mit .htaccess sperren

wenn man Wert darauf legt, dass das Internet Archive die eigenen Seiten erfasst, sollte man den ia_archiver nicht aussperren

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag