Cookie Consent Tool und Googe Indexierung

[Sven T.]

Hallo,

viele Cookie Consent Tools sind so ausgelegt, dass wenn man als Besucher der Webseite nichts auswählt (wie z.B. "Alle Cookies akzeptieren", oder "nur notwendige akzeptieren" oder "Konfigurieren"), kann man nicht weiter auf der Seite surfen. Was ist dann aber mit dem Googlebot zur Indexierung? Verliert man dadurch nicht sein Ranking, da der Google-Bot nicht mehr weiter crawlen kann? Sollte man sicherheitshalber lieber ein Consent Tool verwenden, wo man trotzdem auf der Seite weitersurfen kann, auch wenn man nichts ausgewählt hat. Oft bleibt dann das Tool unten bestehen.

Grüße
Sven

[supervisior]

Es ist nur konsequent, wenn diese Tools so funktionieren. Von daher gäbs da nix zu beanstanden. Nachdem diese Tools aber zumeist mit Javascript funktionieren, Google zwar .js kann, aber beim crawlen der Code nicht geparsed wird, bekommt Google von diesem Constent eigentlich nichts mit, zumal man davon ausgehen darf, dass diese Tools zumindest den User Agent checken, um im Falle dessen den Consent Hinweis gar nicht anzeigen.

Du bist für eine qualifiziertere Aussage aber besser aufgehoben, wenn Du das den jeweiligen Anbieter fragst. Hier bekommst Du nur spekulative Antworten.

[Hanzo2012]

Infos zum Thema Google Crawler und JavaScript:
- https://developers.google.com/search/do ... javascript
- https://developers.google.com/search/do ... seo-basics

[supervisior]

Es steht außer Frage, dass Google auch Javascript kann und hatte ich explizit auch angegeben. Der Punkt ist aber, dass zum Zeitpunkt des Aufrufs einer Seite durch den Googlebot nur das Hauptdokument geladen, aber nicht gerendert wird. Das schließt auch statische Sourcen ein. Wie und wann der Googlebot dann die Seite rendert, steht auf einem anderen Blatt Papier, ist aber für die Fragestelltung des TE zunächst mal nicht relevant, weil es darum geht, ob der Googlebot beim Aufruf einer Seite auch das Consent Tool lädt und den Indexierung Vorgang nicht fortsetzen kann, wenn keine Auswahl getroffen wird. Und das schließe ich aus. Nicht nur wegen der o.g. Begründung, sondern weil ich den Herstellern solcher Consent Tools unterstelle, dass diese den UA abfragen.

[staticweb]

> Was ist dann aber mit dem Googlebot zur Indexierung? Verliert man dadurch nicht sein Ranking, da der Google-Bot nicht mehr weiter crawlen kann?

Der Google Bot agiert inzwischen wie ein vollwertiger Browser, kann aber von den gängigsten CC-Tools ermittelt und mit einer Ausnahme belegt werden. Falls das nicht passiert wäre es in der Tat interessant zu erfahren wie die Auswirkungen auf das Ranking wären.

[/Affilitiv/]

> Was ist dann aber mit dem Googlebot zur Indexierung? Verliert man dadurch nicht sein Ranking, da der Google-Bot nicht mehr weiter crawlen kann?

Der Google Bot agiert inzwischen wie ein vollwertiger Browser, kann aber von den gängigsten CC-Tools ermittelt und mit einer Ausnahme belegt werden. Falls das nicht passiert wäre es in der Tat interessant zu erfahren wie die Auswirkungen auf das Ranking wären.

Hallöle StaticWEB

war das hier dein Post 1971? die Zahl steht gerade bei deinem Counter (das Jahr meiner Geburt)

als das Netz noch klein war, wuchs es mit statischen Seiten ....
... so ein CookieDing ist nicht statisch, das ist Ajax; Und so ein Ajax macht es möglich das im "statischen Teil" der Seite kein Inhalt drin ist ....
... sie YouTube-Seiten, da fehlen die Kommentare und die Relatet Videos, die kommen erst über einen AjaX-Afterload

Wenn ein CookieDing die Seite mit einem Layer schützt und vielleicht dunkel macht ....
.... dann kann der Mensch jicht lesen (oder scrollen)
wenn der Seiteninhalt schon komplet da ist (also kein Ajax Afterload) dann kann der Google da allerdings schon alles lesen, denn vom dunkelMacher oder LayerBrett-vorderMaus läßt der sich nicht abhalten


analogie
nimm aus jedem Volk jemand
(also, jede Sprache inkl dem Volk Brail)
tu die in ein Zimmer zum Biebel lesen

wenn nun der Hausmeister Krause das Licht ausmacht ....
.. dann ist schlecht lesen ..... der mit der BrailZeile kann lesen, der liest immer ohne Licht

schlecht ist, wenn nach dem Lichtaus einer der nicht blind ist die Bibeln erstmal verteilen soll ... das wäre der AjaxAfterLoad



Fazit bezüglich Ranking
kommt dein Kontent
oder kommt dein Kontent nicht ..... daran schüttelt sich das Bier (oder war das nicht von ShakesBier?)






jetzt echt nochmal voll ernsthaft
da kommt die Seite, kommplett ausgeliefert
dann kommt ein Layer der sich über den Text legt
nun sagt der GoogleBot (die Maschine) oh mist, ich kann den Text nicht lesen

und
vor Jahren gabs doch so ein Ding das man Google einen Zugang zu "Usercontent" geben soll ....
... z.B. dem Forenbereich den nur eingelogte sehen können (also, der Googlebot ist ja gewöhnlich nicht eingelogt)
wenn dein Keksmonster mit AjaxAfterLoad krümmelt ... dann gib dem Google doch ne Zunge für hintenrum

[staticweb]

> war das hier dein Post 1971? die Zahl steht gerade bei deinem Counter (das Jahr meiner Geburt)

Ja, glaube schon.

> da kommt die Seite, kommplett ausgeliefert dann kommt ein Layer der sich über den Text legt nun sagt der GoogleBot (die Maschine) oh mist, ich kann den Text nicht lesen

Die Bots sollten die CC-Box eigentlich nicht zu sehen bekommen. Es könnte aber auch sein, dass Google CC-Boxen von bestimmte Tools erkennt, da sie sehr häufig vorkommen.

[Sven T.]

...sondern weil ich den Herstellern solcher Consent Tools unterstelle, dass diese den UA abfragen.

also kommt es darauf an von welchem "Hersteller" man das Tool hat? Es gibt ja Tools die sperren das Weitersurfen, bis man seine Auswahl getroffen hat (Consent Tool im Vordergrund, Webseite im Hintergrund dunkel). Andere lassen einem weitersurfen, bleiben nur unten im Browser aktiv. Solche Tools sind im Zweifel dann wohl besser (googlebot crawling-mäßig gesehen), oder?

[supervisior]

Also kommt es darauf an von welchem "Hersteller" man das Tool hat? Es gibt ja Tools die sperren das Weitersurfen, bis man seine Auswahl getroffen hat (Consent Tool im Vordergrund, Webseite im Hintergrund dunkel). Andere lassen einem weitersurfen, bleiben nur unten im Browser aktiv. Solche Tools sind im Zweifel dann wohl besser (googlebot crawling-mäßig gesehen), oder?

Wenn man zunächst mal das "Wie" außen vor lässt, braucht es unweigerlich eine Identifizierung des Nutzers, um im Zweifelsfalle z.B. Google nicht zu blocken. Für die Identizierung gibt es 3 Möglichkeiten:

User Agent: Geht schnell, ist aber fehlertorlant und lässt sich von jedem mit einem Browser Plugin faken.
IP Adresse: Ginge auch schnell, weil die IP Bestandteil eines HTTP Requests ist. Hat nur den Haken, dass diese auch fehlertolerant ist. Nicht weil man IP Adressen faken könnte, sondern weil nicht zu 100% gewährleistet ist, dass sich hinter z.B. 66.249.xxx.xxx immer der Googlebot verbirgt.

Um ein Identizierung fälschungssicher machen zu können, muss eine Reverse DNS Abfrage machen. Die Info darüber bekommt man aber erst auf eine erneute Abfrage. Das geht zwar auch schnell, aber deutlich langsamer wie die Abfrage der IP oder des UA.

Alle bis dato erhältlich Consent Tools sind im Wesentlichen nicht nur inkonsequent, sondern lassen sich alle umgehen, weil diese Javascript gesteuert sind. Entweder wird damit nur eine visuelle Blockade erreicht oder wenn besser, aber immer noch nicht perfekt, dann mittels Client Side Include das Erlaubte je nach Nutzerauswahl nachgeladen. Ist zwar sicherer, aber lässt sich ganz einfach durch Javascript OFF umgehen.

Das was wirklich konsequent, nicht umgehbar und im Falle dessen auch absolut rechtssicher ist, bietet nach meinem Wissen derzeit kein Tool kann. Ich bezweifle aber, dass sich das jemand machen traut, weil das unweigerlich die Ladezeiten deutlich beeinflusst und Google dazu verleiten könnte zu glauben, dass der Nutzer einen anderen Content bekommt als Google. Das Problem daran ist aber, dass das zwingend notwendig wäre. Alles andere ist weder rechtssicher noch stellt es sicher, dass man es nicht doch umgehen kann.

[/Affilitiv/]

Die Bots sollten die CC-Box eigentlich nicht zu sehenbekommen.

das wäre Cloacking und das ist böse ...

.. oder
Google weis das das gemacht werden soll
Google sieht das du es nicht machst ...
... Google sagt "Du mahst böse" = ranking in den Mülleimer

Also kommt es darauf an von welchem "Hersteller" man das Tool hat? Es gibt ja Tools die sperren das Weitersurfen, bis man seine Auswahl getroffen hat (Consent Tool im Vordergrund, Webseite im Hintergrund dunkel). Andere lassen einem weitersurfen, bleiben nur unten im Browser aktiv. Solche Tools sind im Zweifel dann wohl besser (googlebot crawling-mäßig gesehen), oder?

Wenn man zunächst mal das "Wie" außen vor lässt, braucht es unweigerlich eine Identifizierung des Nutzers, um im Zweifelsfalle z.B. Google nicht zu blocken. Für die Identizierung gibt es 3 Möglichkeiten:

kuckt einfach mal eine GoogleCacheSeite an ....
... ist da der Content komplet drin?
dann sagt mir mal warum Google den vorhandenen Content nicht auswerten sollte?

[supervisior]

kuckt einfach mal eine GoogleCacheSeite an ....
... ist da der Content komplet drin?
dann sagt mir mal warum Google den vorhandenen Content nicht auswerten sollte?

Also zwischen Anzeigen und Auswerten sehe ich da schon einen himmelweiten Unterschied. Vor allen Dingen den Content so bewerten, dass dieser zur Wertigkeit des Seitencontext (Thema der Webseite) beiträgt. Das schließt aber nicht aus, dass eine höhere Zugriffszahl auf das Gästebuch nicht doch dazu beitragen könnte, dass es ein grundlegendes Interesse auf Nutzerseite geben kann. Die Kommentare selbst werte ich aber als wenig gehaltvoll.

[staticweb]

> das wäre Cloacking und das ist böse ...

Theoretisch schon, aber anders funktioniert es halt nicht. Und wenn einen Gegenprüfung erkennt, dass nur die CC-Box betroffen ist sollte es auch keine Konsequenzen geben, denn die Inhalte bleiben die gleichen.

[Bodo99]

Mal eine andere Frage: Welches Cookie Consent Tool setzt ihr ein? Ich kann mich irgendwie nicht entscheiden, zumal manche auch Geld kosten, was ich vermeiden will.

[Hanzo2012]

Soweit ich weiß, braucht man dieses Consent-Gedöns nur für Nutzer aus der EU. Der Googlebot kommt nicht aus der EU, also kriegt er auch kein Consent-Gedöns zu sehen, wenn man GeoIP nutzt. Das wäre dann kein Cloaking, und man bräuchte auch gar keinen speziellen Aufwand zu treiben, um den Googlebot zu erkennen. Alle wichtigen Crawler kommen wahrscheinlich eh aus den USA, der Rest kann einem egal sein.

[supervisior]

Soweit ich weiß, braucht man dieses Consent-Gedöns nur für Nutzer aus der EU. Der Googlebot kommt nicht aus der EU, also kriegt er auch kein Consent-Gedöns zu sehen, wenn man GeoIP nutzt.

Netter Gedankengang! Damit implizierst Du aber, dass der Googlebot eine natürliche Person ist und Persönlichkeitsrechte hätte, die man verletzten könnte.