ich hatte zunächst eine Lösung over IP für diesen "Spastikus"-Bot (oder wie auch immer er heißen mag), da er es schamlos übertreibt. Den kompletten IP-Bereich seines Hosters gesperrt. Ein Besuchereinbruch war dadurch nich zu verzeichnen, denn über solche Sumas kommen keine Besucher, liegt auch nicht im Interesse des Betreibers, da ist Adsenseklicken gefragt.
Viel kommt dabei für den Betreiber augenschenlich nicht rum, denn wie gesehen, werden Kostenloscounter benutzt - wie armselig!
Nun, wie ich seinerzeit schon erwähnte, ist der zuvor benannte Bot nur einer unter vielen, die Nachahmer schießen wie Pilze aus dem Sumpf des Netzes. Also galt es, einen Bot als solchen zu erkennen, bevor er tätig wird - geht natürlich nicht.
Also kann die Lösung nur sein, ersteinmal die Domain für Alle zu sperren, und nun die gewünschten Besucher herein zu lassen. Dies kann man anhand des Useragenten, anhand des Referrers, anhand der IP. Und Besucher, welche die nach diesem Muster gesetzten Kriterien nicht erfüllen, werden auf eine besondere Auswahlseite geschickt, oder z.B. yahoo_japan.
Ein einfaches Beispiel: der Referrer muß Google, yahoo, MSN oder die eigene Domain sein, sonst kein Zugriff, Ausnahme Googlebot, msnbot, slurp, Ausnahmen doppelt over IP sichern.
Diese Möglichkeiten lassen sich vielfach variieren, und je unterschiedlicher sie sind, um so unmöglicher für die Schmarotzer, die Sperren zu umgehen.
Nach diesem Muster wurde meine Lösung "gestrickt". Ein anderer Webmasterkollege, hat es über JS gelöst.
Useragenten lassen sich sicherlich beliebig bei diesen Bots einstellen, IP-Adressen noch nicht.
Aktuelle IP-Listen zu Google, MSN und yahoo, gibt es im Netz, must Du mal nach googlen.