Hallo,
der Google Adbot überprüft die Landing Pages der SEA-Anzeigen. Der Googlebot 2.1 ist für SEO unterwegs. Soweit, so klar.
Nun habe ich mir das Server Logfile eines Projekts angeschaut und 70% der vom Googlebot 2.1 besuchten Seiten sind Landing Pages, die im Google Shopping Feed übergeben werden (erkennbar an den entsprechenden Parametern). Im Grunde also wasted crawl budget, da die Seiten auf noindex stehen und für SEO nicht relevant sind.
Jetzt überlege ich, die Seiten über die robots.txt für alle User Agents global auszuschließen. Entscheidend ist hier jedoch, welcher Bot für Google Shopping die Qualitätsprüfung auf den übermittelten Landing Pages durchführt? Ist das der Google Adbot oder der Googlebot?
Im letzteren Fall würde ich mit der robots.txt-Angabe mein eigenes GoogleShopping deaktivieren. Im ersten Fall wäre es egal, weil der Google Adbot globale Anweisungen in der robots.txt ja ignoriert.
Viele Grüße
Thomas
