amoklaufender YandexBot/3.0

[robo]

Hi,

ich habe seit einiger Zeit auf einer Domain das Problem, dass der YandexBot total blödsinnige URLs aufruft, und das im 10-Sekunden-Takt. Und er hört damit einfach nicht auf.

Hier einer der Requests, wie er heute stattgefunden hat, /index.php steht immer am Anfang, was dahinter kommt, wechselt wild durcheinander:

Code: Alles auswählen

GET /index.php/Reisen/Mietwagen/Hotels/Laender/ HTTP/1.1

Die Verzeichnisse Reisen, Mietwagen, Hotels und Laender gibt es auf der Domain, aber jedes für sich vom Wurzelverzeichnis aus und nicht so als Pfad, wie es im Request steht. Vereinzelt sind auch Verzeichnisse dabei, die es auf der Domain überhaupt nicht gibt.

Ich habe gestern schon eine Mail an support (at) search (punkt) yandex (punkt) com geschrieben, aber bisher hat sich nichts getan und ich habe auch keine Antwort erhalten.

Seit gestern liefere ich für deratige Requests auch einen 403 aus, was den YandexBot aber bisher nicht beeindruckt.

Code: Alles auswählen

RewriteRule ^index\.php\/.+ - [F]

Hat jemand ein ähnliches Verhalten beobachtet oder hat jemand einen Tip für mich, wie ich dem Bot das abgewöhne? Achja, alle diese Requests kommen von 141.8.147.14. Und ganz vereinzelt werden sogar korrekte URLs abgerufen.

cu Robo

[MeNoZony]

Blockieren.
Bei mir läuft seit Tagen die 199.21.99.114 komplett aus dem Ruder.
Rein in die .htaccess und gut is'.
Generell ist zum Russen zu sagen, daß er es langsam ein wenig übertreibt-nur spidern reicht auch nicht und die Referrer-Spams sind eher lächerlich...

[Zweipunkt]

Ich habe das gleiche Problem. Der Yandex - Bot kommt täglich vorbei und verursacht übelst viel Aufrufe im Shop. Wäre kein so großes Problem, allerdings berechnet der Shop-Provider seine Kosten über die Seitenzugriffe. Deshalb habe ich ihn in die .htaccess eingetragen, um den Bot zu blockieren. Allerdings kommt er trotzdem mehrmals täglich wieder und scannt den Shop.

In meine .htaccess hab ich jetzt folgendes eingetragen:

...
RewriteCond %{HTTP_USER_AGENT} ^Yandex [OR]
...
RewriteRule ^.* - [F]

Reicht das aus, um diesen Bot auszusperren? Hat jemand Erfahrungswerte, wann der Yandex-Bot aufgibt, sobald man den Zugriff verweigert hat? Er hat jetzt allein im Januar bereits über 300.000mal auf den Shop zugegriffen...

[MonikaTS]

ich nehm da die robots.txt zu hilfe

User-agent: Eurobot
Crawl-delay: 5

User-agent: dotbot
Crawl-delay: 5

User-agent: ShopWiki
Crawl-delay: 5

User-agent: Slurp
Crawl-delay: 5

User-agent: sitebot
Crawl-delay: 5

User-agent: bingbot
Crawl-delay: 5

User-agent: msnbot
Crawl-delay: 5

User-agent: MJ12bot
Crawl-delay: 5

User-agent: Yandex
Crawl-delay: 5

damit schränkst du die saugenden Bots ein,

oder du nutzt

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^BOTNAME1 [OR]
RewriteCond %{HTTP_USER_AGENT} ^BOTNAME2
RewriteRule ^.* - [F,L]
</IfModule>

[robo]

Problem gelöst. Der Statuscode 403 hat den YandexBot nicht interessiert, allerdings bekam ich doch noch eine Antwort vom Yandex-Support mit der Lösung, die da heißt: robots.txt

Code: Alles auswählen

User-agent: Yandex
Disallow: /index

Und seitdem ist schlagartig Ruhe und der YandexBot beschränkt sich auf gültige URLs.

cu Robo

[jaqqDE]

wie schon von robo mitgeteilt wurde, würde ich such folgendes empfehlen

Code:User-agent: Yandex 
Disallow: /index

[Inter47]

@jaqqDE

Also wenn man schon unbedingt einen Link unterbringen will, wäre es vielleicht geschickter, dafür neue Threads zu nutzen, als alte hervorzuholen und irgendwelche nutzlosen Kommentare zu hinterlassen ...