Ich blocke Google

[supervisior]

Hi Folks,

schön, dass es Euch noch gibt. Ich hatte mich von diesem Forum zwar verabschiedet, schaue aber als stiller Leser dann doch zwischendurch mal vorbei.

Wie es der Titel dieses Threads bereits sagt, ich blockiere Google. Nicht überall auf meinen Seiten, sondern nur die Pfade, bzw. den Content auf den Google besonders scharf ist, weil er mit großer Wahrscheinlichkeit für das KI Training ("Data Mining") genutzt wird. Angesichts dessen, dass allen voran Google weder einen separaten Crawler für das KI Training verwendet, geschweige denn sonst irgendeinen Header, um das Datensammeln zu verhindern, bleibt nur diese harte Methode. Das schließt außerdem ein, dass es kein wirksames Signal gibt, um KI Bots zu signalisieren, dass eine Source nicht verwendet werden darf.

Es gibt auf politischer Seite zwar links und rechts vom großen Teich inzwischen ein Bewusstsein dafür, dass es eine Regulierung braucht, aber bis so was dann eingeführt wird, werden sicherlich noch Jahre vergehen.

Und um es nicht ungesagt zu lassen, OpenAI, bzw. ChatGPT verschleiert inzwischen augenscheinlich seine Identität, zumindest durch Weglassen des typischen User-Agents. Stattdessen verwendet ChatGPT den signature-agent header nebst signature. Wer also bereits ChatGPT blockiert und das über den UA macht, der sollte sich da mal einlesen:

https://help.openai.com/de-de/articles/ ... lowlisting

[Hanzo2012]

Oha. Und sind diese Seiten jetzt aus der Google-Suche schon komplett verschwunden? Wie viel Traffic bußt du ein? Ich könnte mir das nicht erlauben, andererseits habe ich aber auch keinen Content, mit dem ein KI-Crawler viel anfangen könnte.

Natürlich könnte Google (und andere) auch ganz hinterlistig sein und Seiten über Proxys, VPN oder unschuldig wirkende Endbenutzer-IPs abgrasen.

[supervisior]

Oha. Und sind diese Seiten jetzt aus der Google-Suche schon komplett verschwunden? Wie viel Traffic bußt du ein? Ich könnte mir das nicht erlauben, andererseits habe ich aber auch keinen Content, mit dem ein KI-Crawler viel anfangen könnte.

Dazu kann ich noch keine Aussage machen, weil erst gestern gemacht. Selbst wenn die betreffenden URLs verschwinden, ergibt sich daraus nicht wirklich ein Verlust, weil der Verlust bereits in erheblichem Maße vor dem Blocken eingetreten ist. Wenn Google den betreffenden Content nicht nur zum Trainieren verwendet, sondern auch für die KI Zusammenfassung in den Suchergebnissen, dann kann man stark davon ausgehen, dass Nutzer gar keine nachfolgenden Ergebnisse mehr anklicken. Das ist ja der eigentliche Hintergrund dafür, dass ich Google blocke.

[staticweb]

> Wenn Google den betreffenden Content nicht nur zum Trainieren verwendet, sondern auch für die KI Zusammenfassung in den Suchergebnissen, dann kann man stark davon ausgehen, dass Nutzer gar keine nachfolgenden Ergebnisse mehr anklicken. Das ist ja der eigentliche Hintergrund dafür, dass ich Google blocke.

Aus Qualitätsgründen werden Modelle heutzutage nicht mehr so stark mit freiem Content trainiert. Das jetzige Problem sind eher die Indexierung durch diverse KI Anbieter und KI Agenten die Webseiten auf Anfrage abgrasen.

Deine Taktik macht aber nur Sinn wenn man einzigartige Inhalte hat nach denen aktiv gesucht wird und Google nichts anderes anbieten kann in der AIO. Und das ist ja in den meisten Fällen nicht so.

[supervisior]

Aus Qualitätsgründen werden Modelle heutzutage nicht mehr so stark mit freiem Content trainiert. Das jetzige Problem sind eher die Indexierung durch diverse KI Anbieter und KI Agenten die Webseiten auf Anfrage abgrasen.

Ob es so ist, wie Du sagst, ist dahingestellt. Tatsächlich be- oder widerlegen kann man das nicht. Allerdings kann man schlussfolgern, dass es doch so ist, wie ich meine. Allen voran Google verwendet keinen speziellen Bot zum Erfassen von Daten für das Training, sodass es nur schlüssig sein muss, dass der klassische Googlebot die "gescrapten" Inhalte auch für das Training verwendet.

Deine Taktik macht aber nur Sinn wenn man einzigartige Inhalte hat nach denen aktiv gesucht wird und Google nichts anderes anbieten kann in der AIO. Und das ist ja in den meisten Fällen nicht so.

Also Taktik will ich das nicht nennen. Es ist eine Konsequenz. Angesichts dessen, dass bei den KI Providern kein Bewusstsein dafür besteht, dass man sich fremder Inhalte bedient, um daraus Profit zu schlagen und es auch keinen Monetarisierungsausgleich gibt, warum sollte ich das unterstützen? Nur angemerkt, durch das selektive und kontextabhängige Blocken von Google, ChatGPT, usw. entstehen täglich fast 10.000 weniger Aufrufe. Die Betonung liegt auf täglich, sodass Du daraus schließen kannst, dass es um einzigartige Inhalte gehen muss.

Übrigens bin ich nicht der einzige:

https://blog.cloudflare.com/uk-google-a ... er-policy/

[arnego2]

Wenn Google den betreffenden Content nicht nur zum Trainieren verwendet, sondern auch für die KI Zusammenfassung in den Suchergebnissen, dann kann man stark davon ausgehen, dass Nutzer gar keine nachfolgenden Ergebnisse mehr anklicken. Das ist ja der eigentliche Hintergrund dafür, dass ich Google blocke.

Nicht alle nutzen Google's KI. oder die KI anderer.
Es gibt inzwischen auch mehr Aktivitäten auf den nachfolgenden SERP, denn die erste Resultate Seite hat oft andere Themen als die gesuchten. Da wird gern interpretiert, die Leiste, die "du meinst sicher xxxxx?" kommt immer öfter.

Da wird Ads zu ADHS und schon muss man sehen wie es anders formuliert wird

[supervisior]

@arnego2

Du verkennst die Situation, aber gänzlich! Es geht nicht um das bewusste Einsetzen/Verwenden von KI, ganz im Gegenteil! Allen voran Google verwendet KI in der Zusammenfassung onTop in den Suchergebnissen. Bereits die Zusammenfassung ist KI generiert, ob Du es willst oder nicht. Was Google damit macht, ist eine weitere Nutzer Konditionierung, die einen Schmerz zumindest lindert oder nennen wir es der Nutzer Bequemlichkeit zu entsprechen. Der Schmerz entsteht durch das lästige Abklappern und lesen von Suchergebnissen. Vor KI gab es nur die Snippets in den Suchergebnissen, die aber kein Garant dafür waren, ob das Gesuchte dem entspricht, wonach man sucht. Inzwischen ist die Akzeptanz und Glaubwürdigkeit dieser Zusammenfassung so ausgeprägt, dass es in nicht unerheblichem Maße das Nutzerverhalten so stark verändert, dass es Auswirkungen auf das Click Verhalten nachstehender Suchtreffer nimmt.

Will man das weiterspinnen, wird SEO obsolete, aber das war es schon vor KI.....

[supervisior]

Gibt es noch weitere Sparring Partner, die sich der Bedeutung dieses Threads stellen wollen? Sei Dir gewiss, ich werde jedes Argument in seine Einzelteile zerlegen.... !

@Hanzo2012

Du kämst mir sehr gelegen.... historisch bedingt.

[Hanzo2012]

Ich sehe das ähnlich kritisch.

SEO wird teilweise abgelöst oder zumindest ergänzt durch KI-Optimierung. Wie kann man die KI-Zusammenfassungen oder (zukünftige) KI-Modelle so beeinflussen, dass sie eher das eigene Produkt bzw. die eigene Dienstleistung empfehlen oder eine für einen selbst vorteilhafte Meinung vertreten?

Wenn jedoch die Dienstleistung nur aus der Bereitstellung von Content/Fakten besteht und man von Werbeeinnahmen oder Affiliate-Provisionen lebt, dann bringt einem das nichts. Denn die KI wird immer direkt Antworten liefern und nicht den Benutzer auffordern, eine bestimmte Seite zu besuchen und selbst zu lesen. Die Seite wird höchstens als Quelle angegeben werden, was jedoch kaum jemanden interessieren dürfte.

Meine Seiten sind von diesen KI-Zusammenfassungen kaum betroffen, da sie ein interaktives Tool anbieten und die Benutzer auch explizit nach einem solchen Tool suchen. KI selbst betrifft mich allerdings auch sehr stark, da die KI auch das machen kann, was mein Tool kann, wenn auch vielleicht nicht ganz so schön. Mittlerweile sind meine Einnahmen vom Höhepunkt um 90% zurückgegangen.

Ich bin froh, dass ich einige sehr gute Jahre hatte und mein Geld nicht verprasst, sondern angelegt habe, so dass ich alleine mit Dividenden schon gut über die Runden komme.

[staticweb]

> Gibt es noch weitere Sparring Partner, die sich der Bedeutung dieses Threads stellen wollen? Sei Dir gewiss, ich werde jedes Argument in seine Einzelteile zerlegen.... !

Du schreibst oben, dass du es am Mittwoch erst eingebaut hast und willst jetzt schon über die Ergebnisse / Folgen diskutieren. Das klingt nicht gerade seriös.

[Hanzo2012]

Laut Google reicht es übrigens aus, "Google-Extended" in der robots.txt zu blockieren, um zu verhindern, dass die Daten für KI-Training verwendet werden. Da Google denselben Crawler für Suche und KI-Training verwendet, wirst du diesen User Agent allerdings nicht in deinen Server-Logs finden. Es wird aber wohl trotzdem geprüft, ob dieser User Agent blockiert ist, und wenn ja, dann fließen die Daten nicht ins Training ein. Das sagt jedenfalls Google. Ob's stimmt, sei mal dahingestellt.

[arnego2]

Laut Google reicht es übrigens aus, "Google-Extended" in der robots.txt zu blockieren, um zu verhindern, dass die Daten für KI-Training verwendet werden.

Na ob das hinhaut? Google hat erst 2024 einen Vergleich angestrengt um der Strafe zu entgehen, da sie auch Private Tabs tracken.

https://www.abc.net.au/news/2023-12-29/ ... /103272730

[supervisior]

Du schreibst oben, dass du es am Mittwoch erst eingebaut hast und willst jetzt schon über die Ergebnisse / Folgen diskutieren. Das klingt nicht gerade seriös.

Wo hab ich denn geschrieben, dass ich diskutieren will? Die Folgen liegen doch auf der Hand. Warum über das Unvermeidbare spekulieren?!

[supervisior]

Ob's stimmt, sei mal dahingestellt.

Genau....

[Hanzo2012]

Ich wollte es nur erwähnt haben, dass es laut Google diese Möglichkeit gibt. Es ist natürlich sehr schwierig nachzuvollziehen, ob sich Google daran hält. Dazu müsste man gezielt irgendwelche obskuren Daten veröffentlichen, dann warten, bis ein neues Gemini-Modell trainiert wurde, und testen, ob das Modell diese Daten kennt.