Konkret gings mir dabei herauszufinden in welchem Verhältnis die Crawl Leistung der jeweiligen Bots gemessen am Ertrag ist, also was dadurch Nutzer auf die Seite kommen. Wie man an den beiden Grafiken unschwer erkennen kann, scheint es bei Bing absolut keinen Plan zu geben. Gibt man dem Bingbot freien Lauf und grenzt man die Crawl Intensität je nach Tageszeit nicht ein, crawled dieser von 00:00 bis 24:00. Größtenteils ist der Bingbot sogar parallel mit 2 Bots gleichzeitig unterwegs.
Beim Googlebot sieht das komplett anders aus. In den Webmaster Tools gibt es zwar auch eine Statistik für den Crawler, aber diese weicht gegenüber meiner Erhebung um bis zu 20% ab, zeigt also um diese 20% weniger an. Wobei man nicht wissen kann, was bei Google für einen Crawler Aufruf steht. Bei Google lässt sich zumindest interpretieren, dass es hier eine Art Plan geben muss. So lässt sich z.B. herauslesen, dass wann immer es ein Google Update gibt, dann auch die Crawl Leistung exorbitant ansteigt. Gleiches gilt, wenn man z.B. die Sitemap aktualisiert.
Letztendlich bedeutet die Gegenüberstellung zumindest für mich, dass man bei Bing zwar Unmengen an Daten sammelt, aber man offensichtlich nicht weiß, was man damit anfangen soll. Hier werden ungleich mehr Ressourcen aufgewendet, ohne dass sich das halbwegs irgendwo niederschlägt.
Bingbot
- bingbot.png (24.36 KiB) 11270 mal betrachtet
Googlebot
- googlebot.png (25.73 KiB) 11269 mal betrachtet
