Aus der Neugierde heraus und auch weil ich bestimmte Funktionen in Matomo aka Piwik bislang vernachlässigte hatte, tracke ich seit einiger Zeit nicht nur meine Besucher, sondern nun auch Bots, wobei maßgeblich den Googlebot und den Bingbot. Das Ganze aber differenziert voneinander, wobei ich zu Beginn keine konkrete Zielsetzung hatte.
Dieses Bot Tracking läuft zwar erst seit 4 Wochen, aber es scheint sich jetzt schon herauszukristallieren, dass besonders der Googlebot kein fixes Crawling Budget zu besitzen scheint. Zumindest ich ging immer davon aus, dass die Crawling Leistung nahezu immer gleich wäre. Wenn ich aber besondere analoge Ereignisse wie aktuell mit Corona und den diversen Lockerungsmaßnahmen, den Zugriffszahlen der normalen Nutzer UND jetzt mit dem Crawling Verhalten der Bots abgleiche, scheint es so zu sein, dass v.a. Google sich adaptiv verhält. Dieses adaptive Crawling Verhalten macht sich gleich bei mehreren Kennzahlen bemerkbar, also Sitzungsdauer, Anzahl der ge-crawle-ten Seiten, usw.
Der Punkt daran ist nur, dass sich daraus aus der Distanz nichts handfestes ableiten lässt, außer der gemutmaßten Erkenntnis, dass besonders Google kein fixes Budget zu haben scheint. Vielleicht fällt jemandem ja was dazu ein...?!
