Stimmt es, dass Googlebot manchmal die robots.txt ignoriert?

[csx]

Hab mich schon längere Zeit nicht mehr intensiv mit SEO-Themen beschäftigt, arbeite selbst als Web-Programmierer. Gestern hatte ich eine Diskussion mit einem unserer Inhouse-SEOs.

Es ging um Googlebot Crawling-Budgets. Er meinte, Google würde die robots.txt ab und zu ignorieren, und dort geblockte URLs trotzdem spidern (und damit geblockte/unnütze Seiten crawlen, und Crawling-Budget verschwenden).

Ist das so? Warum sollte Googlebot die robots.txt teilweise ignorieren und dort geblockte URLs crawlen? War etwas überrascht, das zu hören.

[Bodo99]

Ist Quatsch, denke ich. Entweder ein Bot spidert und ignoriert die robots.txt oder er spidert nicht und beachtet die robots.txt.

Dein Inhouse-SEO sollte lieber belegen können warum ausgerechnet nur manchmal der Spider die robots.txt ignorieren sollte.

[arnego2]

Sagen kann man viel, belegen bleibt die Kunst.

[Cin Media]

csx:

1. Ab und zu ignorieren gibt es nicht. Wenn dein Kollege richtig gemacht hat, dann wird es blockiert.
2. Es kann auch eventuell länger dauern bis eine Seite blockiert ist. Vielleicht bisschen Geduld haben.
3. Vielleicht hat er etwas falsch gemacht oder Dir etwas falsches erzählt.

Wir können von hier nicht wissen, was der genau in seinem WMT gemacht hat.

Viele Grüße

[csx]

Danke erstmal für die Antworten. Passiert ist bisher nix. Er hat nur Sorge wegen GET-Parametern in XHR-Requests, weil Google die eventuell aus dem HTML/JavaScript auslesen und dann crawlen könnte.

Wenn es irgendjemand schon mal erlebt hat, dass Googlebot URLs gecrawlt hat, die durch robots.txt gesperrt waren, würde mich das interessieren. Ansonsten gehe ich erstmal davon aus, dass es Quatsch ist, und Google die robots.txt so beachtet, wie sie es hier beschreiben.

[/Affilitiv/]

Crawling-Budget verschwenden).

Wenn die Polizei ..... einfach so rumfährt
dann ist das Benzinverschwendung?

Früher machten Die das
Früher war die Welt besser?
Früher konnte man Angst haben erwicht zu werden
Heute kann BöSE machen was es will (ohne das ZUFÄLLIG die Polizei vorbei kommt)

1. Ab und zu ignorieren gibt es nicht.

Ab und Zu
ignoriert jemand im Supermarkt die Kasse

3. Vielleicht hat er etwas falsch gemacht oder Dir etwas falsches erzählt.
Wir können von hier nicht wissen, was der genau in seinem WMT gemacht hat.

Wo war die Rede von WMT?
https://www.webspeyer.de/robots.txt was hat das mit WMT zu tun?

3. Vielleicht

Vielleicht kuckt Google "ab und zu" nach was so versteckt wird?

Was würdest Du tun wenn Du Google wärst?
Ich würde tun was ich tun kann

"dont be evil"
if you do it
then i hau dir dein Ranking ....

[Cin Media]

/Affilitiv/:

Sorry, aber ich verstehe Dich nicht. Ich als Migrant tue es mir sogar schwer deine Sätze zu verstehen. Ich glaube Dir, dass Du kein Drogen nimmst.

Die Welt braucht solche Menschen wie Dich, sonst wäre sie langweilig.

Viele Grüße

[Cash]

Durchaus möglich, dass ein Bot namens Googlebot die robots.txt ignoriert.
Das ist doch nichts neues oder?

Fast jeder getarnte SEO gibt sich als Googlebot aus und versucht damit hinter die Geheimnisse so macher Seite zu kommen.
Wenns denn klappt damit!

[Panelo]

@csx: Rein technisch ist es durchaus möglich. Mit Gewissheit wird es einem aber nur Google sagen können...

[csx]

@Cash: Bin mir sicher, dass die den Googlebot nach IP erkennen. Ist keine kleine Firma.

@Panelo: Klar ist es technisch "möglich". Ich hab nur gefragt um zu sehen ob irgendjemand eventuell schon Belege hat / es jemandem schonmal passiert ist.

Ich selbst habe in 15+ Jahren noch nie gesehen, dass ein echter Googlebot auf einer meiner Seiten eine robots.txt-gesperrte Seite gecrawlt hätte. Aber das mag bei anderen anders sein.

[Melegrian]

Die Frage beantwortet doch Google seit eh und je allein:

Zwar crawlt oder indexiert Google die von der robots.txt-Datei blockierten Inhalte nicht, aber es ist dennoch möglich, dass nicht zugelassene URLs auf anderen Seiten im Internet gefunden und indexiert werden.

https://support.google.com/webmasters/a ... 2608?hl=de

Soll heißen, der Bot sieht nur die URL und weiß nicht, ob er die Seite besuchen darf oder nicht. Die können teilweise gut und gerne dann ohne Description in den Serps auftauchen und verschwinden erst nach einiger Zeit wieder aus den Serps. Zumindest war es einst so, jetzt habe ich das schon ewig nicht mehr kontrolliert.