Googlebot findet x-robots Header Noindex - ist aber nicht!

[staticweb]

> Nein. Wird nicht ausgegeben.

Im Falle eines falschen Wertes kann es zu Problemen kommen.

> Sieht der Googlebot vielleicht irgenwie noch eine gecachte Version von damals als noch das Meta-Tag mit Noindex vorhanden war?

Der Google Bot nutzt eigentlich kein client-seitiges caching. Es könnte aber sein, dass der Bot das crawling unterlässt, wenn er falsche Signale bezüglich der Aktualität des Dokuments bekommt.

[supervisior]

Es gäbe noch eine weitere Variante. Nachdem es in der Vergangenheit immer wieder mal zu einem Missbrauch der "last modified" Angabe als Meta Angabe kam, akzeptiert Google diesen Meta Tag nicht. Ob eine Seite aktualisiert wurde, verwendet Google die content length und wenn sich daran nichts verändert hat, gibts für Google auch keinen Anlass die Seite neu zu indexieren. Es wäre also denkbar, ich betone denkbar, dass das der Schlüssel ist, warum Google die Seite nicht neu indexieren will, wenn sich an der content length nichts oder nur unwesentliches verändert hat.

[sergejs]

@supervisior: Das könnte der ausschlaggebende Punkt sein.

Ich hatte tatsächlich das "last modified" aktualisiert (aber erst nachdem ich die Inhalte auf den Seiten angepasst habe).

Geändert hatte ich an der Seite bereits vieles. Ich habe sogar die Seiten komplett umgestellt (Inhalte, Aufbau).

Im Google-Forum habe ich den Tipp bekommen von Hand nachzuhelfen, indem man betroffene URLs meldet. Da ist nach 5 URLs/Tag aber das Kontingent erschöpft. Bin jetzt dabei das nach Priorität zu sortieren und abzuarbeiten...mühselig aber ich sehe im Moment keine andere Chance.

Wenn jemand eine Idee hat, immer her damit.

Übrigens besten Dank für euren Einsatz.

[supervisior]

Ohne konkrete URL zu Deiner Seite, ist alles weitere nur rätselraten...

[Lyk]

Ohne konkrete URL zu Deiner Seite, ist alles weitere nur rätselraten...

das wars schon von anfang an, trotz deiner bemühungen^^
lagst zwar mit deinem allerersten satz richtig aber dann biste abgedriftet^^

[staticweb]

Der "If-Modified-Since HTTP header" funktioniert zuverlässig (200 <--> 304)?

Ohne weitere Infos, wie z.B. eine anonymisierte HTTP-Kommunikation, ist ein weiterer Support sinnlos!

[sergejs]

Hier ist eine Beispiel-URL, die von der SC gemeldet wird als Noindex https://bit.ly/2JszbDS

[supervisior]

@sergejs

Wenn Du etwas an der Seite änderst, also inhaltlich, werden diese Änderungen sofort sichtbar oder dauert das ein wenig?


Ich hege mal einen Verdacht. Vorausgesetzt Du hast nicht doch irgendwo einen Fehler gemacht, könnte womöglich Euer Server das Problem sein, bzw. Cloudflare. Cloudflare cached je nach Einstellung die Inhalte. Du kannst jetzt also mal 2 Dinge ausprobieren:

1.) Cloudflare deaktivieren, sodass der Zugriff auf Euren realen Server erfolgt. Nach dem umschalten aber nicht sofort testen, ob der Fehler immer noch existiert. Das kann durchaus 24 Std. oder gar länger dauern. Auch wenn Du siehst, dass der Zugriff auf Euren richtigen Server erfolgt, kann sich das bei Google womöglich noch länger auswirken. Im Idealfall eher 3 Tage warten.

2.) Die Cache Einstellungen bei Cloudflare prüfen.

[sergejs]

Wenn ich an der Seite etwas ändere, dann ist es sofort sichtbar.

Das war meine Vermutung mit dem Caching. Aber scheinbar macht Google kein clientseitiges Caching.

Cloudflare ist aber auch erst knapp über ein Monat aktiviert. Ich schaue gerade in alle Richtungen, um die Seite wieder fit zu bekommen.

Dennoch habe ich den Developement-Modus (ohne Caching) jetzt aktiviert.

[staticweb]

Ich konnte auch keine Probleme feststellen und vermute, dass es daran liegt, dass in der Sitemap ein aktuelles Änderungsdatum steht, sich die Seite aber nur bei den METAs geändert hat.

Scheinbar sieht Google da keinen Anlass den Bot übermäßig zu beschäftigen. Da kannst du nur durch OnPage - Signale den Bot auf die betreffenden Seiten locken.

[supervisior]

Aber scheinbar macht Google kein clientseitiges Caching.

Wenn von Caching als Ursache die Rede war, dann natürlich in keinem Fall ein Client seitiges Caching insbesondere bei Google.

Dennoch habe ich den Developement-Modus (ohne Caching) jetzt aktiviert.

Wenn Du Änderungen sofort siehst, aber der Dev Mode vorher nicht aktiv war, passt das aber irgendwie nicht zusammen. An Deinen Cloudflare Einstellungen muss irgendwas faul sein, weshalb ich Dir deshalb auch geschrieben habe, dass Du Cloudflare komplett deaktivieren sollst, sodass die Abrufe direkt von Eurem richtigen Server kommen. Solange man Cloudflare als möglich Ursache nicht gänzlich ausschließen kann, wirst Du nur irgendwann und durch Zufall auf die Ursache kommen.

Aber mal was Grundsätzliches über das Cachen von Seiten. Cache ist aber nicht gleich Cache. Es spricht absolut nichts dagegen einen Cache einzusetzen. Problematisch wirds aber nicht selten, wenn man z.B. nicht nur einen Server seitigen Cache nutzt von dem es für sich selbst schon mehrere unterschiedliche Cache Funktionen gibt. Wenn man da schon anfängt nicht nur 1 Cache Art zu nutzen, sondern wie im konkreten Fall auch noch Cache Plugins im Einsatz sind, dann sind die Probleme vorhersehbar. Das schließt das Cachen von unterschiedlichen Cache Arten nicht gänzlich aus, aber es übersteigt 99 von 100 die Ursache bei einem Problem finden zu können.

Für Dich heißt das konkret alles abschalten, was irgendwie mit Cache zu tun hat. Auch Dein Wordpress Cache Plugin. Wenn Du dem nicht folgen willst, um das Problem noch weiter einkreisen zu können, dann ist Dir auf diesem Wege ehrlich gesagt nicht zu helfen.

[sergejs]

@supervisior: Cloudflare habe ich jetzt komplett deaktiviert. Wie geschrieben hatte ich Cloudflare aber erst seit ca. 1,5 Monaten aktiviert. Davor gab es nur ein Caching-Plugin (selbst das hatte ich ausgetauscht und nutze derzeit WP-Rocket).

Ein Caching-Plugin müsste ich aber aktiv lassen, weil ich sonst Probleme mit der Seitenladezeit bekomme (war auch eine der Vermutungen bei einem SEO-Audit, weshalb Rankings heruntergegangen sein sollen). den WP-Rocket-Cache habe ich mehrfach geleert.

@staticweb: Meinst du mit Onpage-Signalen, dass man die Texte anpasst? Das hatte ich bereits. Ich hatte auch Title- und Description angepasst.

Hast du da einen weiteren Tipp, um den Google-Bot anzuregen? Mir hatte man auch den Tipp gegeben die Seiten unter neuer URL zur veröffentlichen. Ich fürchte dann aber, dass die Rankings dann weg sind. Wenn ich die Seiten jetzt manuell indizieren lasse, dann sind die Rankings ja gleich wieder da.

[supervisior]

Du brauchst das Cache Plugin ja nicht dauerhaft deaktiviert lassen. Mal 3 Tage ohne Plugin lässt die Welt nicht untergehen. Wenn Du alle auch indirekten Ursachen ausschließen willst, dann musst Du auch das deaktivieren. Auch dieses Rocket Plugin könntest Dir sparen, wenn Du etwas mehr Sorgfalt darauf legen würdest, was Du da so alles "unnützes" in den Code eingebaut hast

Mal was ganz anderes.

Bei Deinen Seiten handelt es sich ja um eine große Anzahl an Dubletten, nicht wirklich DC, aber doch sehr nahe dran. Dein Problem steht in einem doch sehr nahen zeitlichen Zusammenhang mit dem letzten Core Update bei dem es teilweise tiefgreifende Änderungen gab. Es ist zwar nur eine Vermutung, aber ausschließen darf man nix, wenn man die Ursachen nicht identifizieren kann. Es wäre deswegen nicht gänzlich auszuschließen, dass Google solche Seiten wie die Deinen nicht mehr ganz so lieb hat.

[sergejs]

Mal was ganz anderes.

Bei Deinen Seiten handelt es sich ja um eine große Anzahl an Dubletten, nicht wirklich DC, aber doch sehr nahe dran. Dein Problem steht in einem doch sehr nahen zeitlichen Zusammenhang mit dem letzten Core Update bei dem es teilweise tiefgreifende Änderungen gab. Es ist zwar nur eine Vermutung, aber ausschließen darf man nix, wenn man die Ursachen nicht identifizieren kann. Es wäre deswegen nicht gänzlich auszuschließen, dass Google solche Seiten wie die Deinen nicht mehr ganz so lieb hat.

Das Plugin lasse ich jetzt deaktiviert.

Das ist leider auch meine große Vermutung, dass es am DC liegen könnte. Dagegen spricht aber, dass Wettbewerber ähnlich vorgehen und teils sogar nur die Städtenamen austauschen. Irgendeine Seite muss Google ja anzeigen - nur scheint es nicht mehr meine zu sein.

Beim letzten March-Update hat meine Seite etwas profitiert.

Den Abwärtstrend gab es beim August-Update (2018). Dem wollte ich entgegensteuern indem ich Stadteile und Dörfer aus dem Index per Noindex nehme (Linkjuice besser verteilen). Das war scheinbar ein großer Fehler, weil dann die Umsätze total eingebrochen sind. Bin gerade echt am Ende.

Die Frage ist wie ich das mit dem DC am besten löse.
- Ich habe teils bei großen Städten individuelle Beschreibungen eingefügt.
- Ich habe bei vielen Gemeinden Daten zur Breitbandverfügbarkeit von LTE, DSL, Glasfaser usw. regional eingefügt.
- Anhand der Daten gebe ich dem Besucher eine Empfehlung für eine Technologie.
- Ich liste teils regionale Anbieter, die in den jeweiligen Städten aktiv sind.
- Die Besucher können Störungen in einer Stadt melden -> wird entsprechend in dem Ort angezeigt.
- Es werden Speedtest-Ergebnisse bei den jeweiligen Städten (Postleitzahlen) eingebunden.

Wenn noch jemand Ideen oder Vorschläge hat, wäre ich extrem dankbar. Gerne auch im Austausch auf FB oder Telefon.

[supervisior]

Nehmen wir mal rein spekulativ an es wäre so, wie ich meinte, dann ist das aber weniger ein DC Problem, zumindest nicht das, was man ansonsten unter DC versteht. Seiten wie Deine gibt es auch bei anderen Themen zu Hauf und, sorry für den Ausdruck, müllen quasi die SERPS zu, weil wann immer ein Ortsname und was DSL artverwandtes in der Suchanfrage steht, tauchen auch Seiten wie die Deine auf. Es könnte, ich betone es könnte nun so sein, dass sich Google daran stört, weil die Vielfalt == Qualität verlorengehen könnte. Google's KI scheint solche Seiten eine Art Stempel aufgedrückt zu haben, sodass man auch nichts dagegen machen kann. Deswegen könnte man daraus schlussfolgern, dass Google Deine und ähnlich geartete Seiten gar nicht mehr in den Index aufnimmt, sondern nur mehr Übersichtsseiten. Also z.B. nur mehr noch die Landkreis Seiten und nicht mehr auch noch jedes Kuhdorf einzeln.

Diese Mutmaße kommt nicht von irgendwo. Ich hatte ein sehr ähnliches Problem. Zwar ein komplett anderes Seitenthema, aber nahezu identische Auswirkungen, was ich aber schon vor dem Going Public erahnt hatte. Es ließ sich aber nichts dagegen unternehmen, weil hätte ich die Seitenzahl beschnitten/reduziert, hätte ich dem Nutzer nicht mehr das geben können, wonach er suchte. Also habe ich es belassen. Stattdessen habe ich diese besagten Übersichtsseiten weiter ausgebaut und mich mehr darauf konzentriert mit der Konsequenz, dass ich zwar deutlich weniger Seiten im Index habe, aber Google so intelligent ist die Inhalte aus den Detailseiten mit den Übersichtsseiten zu assoziieren, zumindest ergibt es sich so für mich. Es scheint so zu sein, dass die Inhalte aus den Detailseiten bei den Übersichten mit einfließen, sodass im Umkehrschluss ich mit Inhalten auf der ersten Seite ranke, obwohl die Suchbegriffe oftmals bei den Übersichten nur artverwandt sind.

Ich würde an Deiner Stelle 2-gleisig fahren. Versuche das ursprüngliche Problem wie auch immer zu lösen und konzentriere Dich parallel mehr auf die Übersichten und auf die Orte mit einer höheren Einwohnerzahl. Die Übersichten würde ich aber nicht einfach nur mit mehr Content zumüllen, sondern das Thema mit weniger Content auf den Punkt bringen, um damit mehr an Vielfalt und Kundeninteresse abschöpfen zu können.

Nur als Anmerkung: Bing reagiert auf so was ganz anders, was bei mir dazu geführt hat, dass meine Seiten nicht selten bei Bing die ersten 5 bis 8 Plätze auf der ersten Seite einnehmen, ohne dass ich dafür irgendwas schummelliges gemacht hätte.