registrieren registriertes Mitglied


Anzeige

Anzeige

Email harvester und unerwünschte Bots mit .htaccess sperren

Alles zu Domain-Umzug, Weiterleitungen und Robots diskutiert Ihr hier.
Boa
PostRank 9
PostRank 9
Beiträge: 1170
Registriert: 11.11.2003, 00:19

Beitrag Boa » 16.02.2004, 16:06 Email harvester und unerwünschte Bots mit .htaccess sperren

The World Wide Web Worm

Gibt mir die Statistik als Spider an. Sollte man den mit bannen?

Anzeige von:

Personal Branding mit ABAKUS:
  • Höhere Glaubwürdigkeit
  • Hervorhebung Ihrer Kompetenz
  • Stärkung Ihrer Alleinstellungsmerkmale
  • Abhebung von Namensvettern
Profitieren Sie von unserer Erfahrung!
0511 / 300325-0

Benutzeravatar
web4free
PostRank 2
PostRank 2
Beiträge: 41
Registriert: 30.01.2004, 14:43
Wohnort: Wien
Kontaktdaten:

Beitrag web4free » 16.02.2004, 17:03 Email harvester und unerwünschte Bots mit .htaccess sperren

Hi,

Ja natürlich!
Du kannst jeden Spider, Bot udg. bei uns in die Datenbank eintragen (wenn Du willst) :D .
Dafür wären wir sehr dankbar.

Den Eintrag kannst Du unter https://www.web4free.at/modules.php?User ... e=Antispam hinterlassen.

Herzlichen Dank und
lG. aus Wien
Werner

Boa
PostRank 9
PostRank 9
Beiträge: 1170
Registriert: 11.11.2003, 00:19
Wohnort: Bremen

Beitrag Boa » 16.02.2004, 17:25 Email harvester und unerwünschte Bots mit .htaccess sperren

Hallo. Das habe ich gesehen. Aber da sind ja nicht nur Schädlinge drauf oder?

Benutzeravatar
web4free
PostRank 2
PostRank 2
Beiträge: 41
Registriert: 30.01.2004, 14:43
Wohnort: Wien
Kontaktdaten:

Beitrag web4free » 16.02.2004, 17:33 Email harvester und unerwünschte Bots mit .htaccess sperren

Hi,

ist richtig!
Wir dachten uns, dass wir doch auch alle nehmen könnten.
Bei der Eintragung kann man den Bot mal kategorisieren und Ihn auch einstufen.

Die Ausgabe ist noch nicht ganz fertig.
Da soll dann eine Auswahlmöglichkeit bestehen und aufgrund dieser Einstellung soll dann die Liste erzeugt werden.

Wir sind bemüht die Abfrage so rasch als möglich zu integrieren.
Dabei ist es weniger der Aufwand als eher die Zeit die uns im Moment etwas fehlt.

Würden uns aber dennoch über den Eintrag freuen.
lG.
Werner

Benutzeravatar
manute
PostRank 10
PostRank 10
Beiträge: 3010
Registriert: 22.07.2003, 12:02

Beitrag manute » 16.02.2004, 21:38 Email harvester und unerwünschte Bots mit .htaccess sperren

klingt interessant. aber mit ner kompletten liste kann ich nichts anfangen, mozilla wollte ich doch eher nicht sperren. ;-)
melde dich mal nochmal, wenn die liste kategorisiert ist, danke!

Anzeige von:

Content Marketing Strategie von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

Benutzeravatar
web4free
PostRank 2
PostRank 2
Beiträge: 41
Registriert: 30.01.2004, 14:43
Wohnort: Wien
Kontaktdaten:

Beitrag web4free » 19.02.2004, 14:42 Email harvester und unerwünschte Bots mit .htaccess sperren

Hi,

So die Abfrage für die Liste wäre geschafft.
Jetzt kann man sich die Liste nach seinen Wünschen ausgeben lassen.

Hoffe das dies mal ein guter Anfang ist und das viele Einträge folgen, damit die DB auch wirklich schön groß wird.

lG.
Werner

Boa
PostRank 9
PostRank 9
Beiträge: 1170
Registriert: 11.11.2003, 00:19
Wohnort: Bremen

Beitrag Boa » 19.02.2004, 15:38 Email harvester und unerwünschte Bots mit .htaccess sperren

Sieht schon recht gut aus. Nun noch die Bewertungen vervollständigen dann ist es perfekt.

<off>RewriteCond %{HTTP_USER_AGENT} ^Googlebot [OR]</topic>

Benutzeravatar
manute
PostRank 10
PostRank 10
Beiträge: 3010
Registriert: 22.07.2003, 12:02
Wohnort: Hamburg
Kontaktdaten:

Beitrag manute » 20.02.2004, 17:09 Email harvester und unerwünschte Bots mit .htaccess sperren

also ich hab mir mal folgende rules gegen die email-harvester genommen und ausprobiert:

RewriteEngine On

#The next lines check for Robots and redirect them to a fake page
RewriteCond %{HTTP_USER_AGENT} ^Alexibot [OR]
RewriteCond %{HTTP_USER_AGENT} ^asterias [OR]
RewriteCond %{HTTP_USER_AGENT} ^BackDoorBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Black.Hole [OR]
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^BlowFish [OR]
RewriteCond %{HTTP_USER_AGENT} ^BotALot [OR]
RewriteCond %{HTTP_USER_AGENT} ^BuiltBotTough [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bullseye [OR]
RewriteCond %{HTTP_USER_AGENT} ^BunnySlippers [OR]
RewriteCond %{HTTP_USER_AGENT} ^Cegbfeieh [OR]
RewriteCond %{HTTP_USER_AGENT} ^CheeseBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^CherryPicker [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^CopyRightCheck [OR]
RewriteCond %{HTTP_USER_AGENT} ^cosmos [OR]
RewriteCond %{HTTP_USER_AGENT} ^Crescent [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DittoSpyder [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailCollector [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf 1.00 [OR]
RewriteCond %{HTTP_USER_AGENT} ^EroCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Foobot [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot-Image [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^Harvest [OR]
RewriteCond %{HTTP_USER_AGENT} ^hloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} ^httplib [OR]
RewriteCond %{HTTP_USER_AGENT} ^HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} ^humanlinks [OR]
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^Indy Library [OR]
RewriteCond %{HTTP_USER_AGENT} ^InfoNaviRobot [OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^JennyBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC Web Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Kenjin.Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Keyword.Density [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^LexiBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^libWeb/clsHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^LinkextractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^LinkScan/8.1a.Unix [OR]
RewriteCond %{HTTP_USER_AGENT} ^LinkWalker [OR]
RewriteCond %{HTTP_USER_AGENT} ^lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mata.Hari [OR]
RewriteCond %{HTTP_USER_AGENT} ^Microsoft.URL [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIIxpc [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister.PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^moget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla.*NEWT [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/2 [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/3.Mozilla/2.01 [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetMechanic [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^NICErsPRO [OR]
RewriteCond %{HTTP_USER_AGENT} ^NPBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Openfind [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^ProPowerBot/2.14 [OR]
RewriteCond %{HTTP_USER_AGENT} ^ProWebWalker [OR]
RewriteCond %{HTTP_USER_AGENT} ^ProWebWalker [OR]
RewriteCond %{HTTP_USER_AGENT} ^QueryN.Metasearch [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^RepoMonkey [OR]
RewriteCond %{HTTP_USER_AGENT} ^RMA [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SlySearch [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^SpankBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^spanner [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^suzuran [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^Telesoft [OR]
RewriteCond %{HTTP_USER_AGENT} ^The.Intraformant [OR]
RewriteCond %{HTTP_USER_AGENT} ^TheNomad [OR]
RewriteCond %{HTTP_USER_AGENT} ^TightTwatBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Titan [OR]
RewriteCond %{HTTP_USER_AGENT} ^toCrawl/UrlDispatcher [OR]
RewriteCond %{HTTP_USER_AGENT} ^True_Robot [OR]
RewriteCond %{HTTP_USER_AGENT} ^turingos [OR]
RewriteCond %{HTTP_USER_AGENT} ^TurnitinBot/1.5 [OR]
RewriteCond %{HTTP_USER_AGENT} ^URLy.Warning [OR]
RewriteCond %{HTTP_USER_AGENT} ^VCI [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web Image Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web.Image.Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebBandit [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebEMailExtrac.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebEnhancer [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebmasterWorldForumBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website.Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^Webster.Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZip [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWW-Collector-E [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xenu's [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule ^.*$ 403.php [L]

damit bekomm ich allerdings nen internal server error (500) - warum?

Benutzeravatar
web4free
PostRank 2
PostRank 2
Beiträge: 41
Registriert: 30.01.2004, 14:43
Wohnort: Wien
Kontaktdaten:

Beitrag web4free » 20.02.2004, 18:22 Email harvester und unerwünschte Bots mit .htaccess sperren

Hallo Manute,

Danke für die Nutzung!
Ich bekomme das selbe bei meinem Space.
Mache ich das selbe auf einem anderen Space funktionierts.

Ich bin mir jetzt nicht ganz sicher, aber ich glaub das LoadModule rewrite_module modules/mod_rewrite.so darf in der httpd.conf nicht ausdokumentiert sein.

Wenn Du Zugriff auf die .conf hast versuche das mal und restarte den Server, bzw. frage bitte bei Deinem Anbieter nach.

Ich hoffe nur, dass ich jetzt keinen allzugroßen Pfurz erzählt hab :)

lG. aus Wien
Werner
lG. aus Wien
A. Werner
Web4Free.at

Das Leben ist eine Community und ich bin immer da anzutreffen,
wo man mich gerade braucht.

Boa
PostRank 9
PostRank 9
Beiträge: 1170
Registriert: 11.11.2003, 00:19
Wohnort: Bremen

Beitrag Boa » 20.02.2004, 19:14 Email harvester und unerwünschte Bots mit .htaccess sperren

Habe ich auch gekriegt als ich das von web4free genommen habe. Mit dem von Viggen klappt das.

Benutzeravatar
bull
PostRank 9
PostRank 9
Beiträge: 2166
Registriert: 20.09.2003, 21:57
Wohnort: Vèneto

Beitrag bull » 20.02.2004, 19:44 Email harvester und unerwünschte Bots mit .htaccess sperren

RewriteCond %{HTTP_USER_AGENT} ^web [NC,OR]

reicht auch. Aus 21 Zeilen mach 1.

Benutzeravatar
manute
PostRank 10
PostRank 10
Beiträge: 3010
Registriert: 22.07.2003, 12:02
Wohnort: Hamburg
Kontaktdaten:

Beitrag manute » 20.02.2004, 19:49 Email harvester und unerwünschte Bots mit .htaccess sperren

Danke für die Nutzung!
kwark, danke für die bereitstellung. :wink:
und danke für diesen tipp, ich werde mal beim hoster nachfragen.

Benutzeravatar
manute
PostRank 10
PostRank 10
Beiträge: 3010
Registriert: 22.07.2003, 12:02
Wohnort: Hamburg
Kontaktdaten:

Beitrag manute » 20.02.2004, 19:51 Email harvester und unerwünschte Bots mit .htaccess sperren

ach shit, jetzt fällt mir ein, ich hab das problem ja auf meinem hosteurope-server. die sind bei sowas total unflexibel, da komm ich nicht ran.
heißt das, ich bekommen den ausschluss der harvester nun garnicht hin - gibt's keine andere möglichkeit?

Benutzeravatar
web4free
PostRank 2
PostRank 2
Beiträge: 41
Registriert: 30.01.2004, 14:43
Wohnort: Wien
Kontaktdaten:

Beitrag web4free » 20.02.2004, 19:56 Email harvester und unerwünschte Bots mit .htaccess sperren

callimann hat geschrieben:Habe ich auch gekriegt als ich das von web4free genommen habe. Mit dem von Viggen klappt das.
Hi,

ist auch interessant das der Teil von Viggen funktioniert und meiner nicht.
Hab extra geschaut, dass es gleich aufgebaut ist wie das von Viggen.

Bei mir funktioniert das von Viggen genausowenig wie das meinige.
Liegt aber an dem Problem an dem gerade manute scheitert.

Das ist eine Einstellung am Webserver.

Benutzeravatar
manute
PostRank 10
PostRank 10
Beiträge: 3010
Registriert: 22.07.2003, 12:02
Wohnort: Hamburg
Kontaktdaten:

Beitrag manute » 20.02.2004, 19:58 Email harvester und unerwünschte Bots mit .htaccess sperren

Das ist eine Einstellung am Webserver.
*grmbl* ich bin heute sowieso schon vom unflexiblen hosteurope genervt... :evil:

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag