Nachdem Google Seiten die Antworten auf eine Fragestellung geben offenbar favorisiert, missbrauche ich diese Unart zu meinen Zwecken.
Worum geht es also nun? Es geht darum, dass Google schon seit einigen Jahren nicht mehr automatisch alle URLs crawled, geschweige denn indexiert. Eine Problemsituation, die man zu Hauf findet, wenn man Google mit dieser Fragestellung konfrontiert. Dem Newbie sei gesagt, nur weil man eine Webseite betreibt, heißt das noch lange nicht, dass Google sich dafür interessiert und man ungeachtet dessen in den Suchergebnissen landet.
Warum ist das so? Einfach weiterlesen.
Ich habe in den letzten Jahren gleich mehrere Projekte an den Start gebracht. Aber erst seit 2022 war ich, warum auch immer, erst in der Lage das Crawl Verhalten, insbesondere von Google, ganz gezielt zu tracken, was mich aber schon immer interessiert hat, weil ich den Auskünften von Google schlichtweg noch nie getraut habe.
Es ist defacto so, dass so ziemlich jede Suchmaschine ein Problem damit hat die gigantischen Datenmenge des Internet zu qualifizieren. Eine Qualifizierung ist aus Sicht von Suchaschinen aber unabdingbar, weil der Nutzer darüber entscheidet, ob eine Suchmaschine nun gut oder schlecht ist, bzw. diese dem Nutzer das liefert, wonach der Nutzer sieht. Der Nutzer kann die Probleme von Suchmaschinen auf Grund der Datenmengen nicht wissen. Wie sollte er das auch wissen?! Letztendlich entscheidet aber das Suchergebnis darüber, ob ein Nutzer die jeweilige Suchmaschine auch weiterhin benutzt.
Man sollte nun davon ausgehen, dass eine Qualifzierung des Contents nur dann erfolgen kann, wenn man (Google) den Content gelesen hat. Klingt zunächst mal logisch, zumindest nach menschlichem Ermessen, weil warum sollte man einen anderen Menschen nur an Hand seines Aussehens (die URL) qualifizieren (in die passende Schiublade schieben), wenn man ihn normalerweise erst persönlich kennenlernen muss, um feststellen, ob er mir sympathisch ist oder er ein Vollarsch ist, den man nicht ausstehen kann?!
Würden alle, auch Google, so handeln wie ein Mensch, dann gäbe es die Fragestellung, warum Google meine (deine) Seite nicht indexiert, geschweige denn nicht crawled, nicht. Google ist aber kein Mensch. Google steht wie unzählige andere Suchmaschinen vor dem Problem, wie man die Unmengen an Daten so qualifiziert, damit der Suchende findet wonach dieser Sucht. Eben weil das Suchergebnis davon abhängt, ob man die jeweilige Suchmaschine auch weiterhin nutzt. Dem Nutzer fällt es im Traum nicht ein, dass die Qualität des Suchergebnisses von seiner Suchanfrage abhängt. Wie sollte er auch?
Nachdem meine vorausgehende Beschreibung nur logisch und somit richtig sein muss, behaupte ich aber, dass diese Logik falsch sein muss. Oder in anderer Sprache ausgrückt. Don't care about the content. Care about your URLs. Eigentlich war ich über viele Jahre ein Anhänger dafür, dass nur der Content matters. Inzwischen habe ich diese Überzeugung über Board geworfen. Der Inhalt und die Qualität des Content zählt (zunächst) mal überhaupt nicht. Klingt zunächst mal paradox und ist es auch, aber nicht generell.
Generell geht es mal darum Google davon zu überzeugen, dass man wertvollen Content hat. Google schert sich zunächst aber mal wenig um den Content, sondern interessiert sich zunächst mal für die URLs. Vor dem inwischen schon mehrfachen Verweis, dass der (zu) viele Content es den Suchmaschinen nicht leicht macht, was nun guter oder schlechter Content ist, ist diese Annahme mit großer Wahrscheinlichkeit richtig.
Ich behaupte nun auf Basis von nun unzähligen Projekten und der Möglichkeit besonders von Google und dem Verhalten des Googlebots, dass der Content einer Seite zunächst mal nachrangig ist und in erster Linie die URL und deren gemutmaßter Content die allen voran wichtigste Rolle spielt. Diese Behauptung lässt sich indirekt sogar qualifizieren, weil so ziemlich jeder, der die die Google Webmaster Tools verwendet, festellen kann, dass Google zwar viele URLs gefunden hat, aber aus vermeintlich unerklärlichen Gründen viele URls nicht indexiert oder nicht indexieren will.
Warum ist das so? Einfach weiterlesen.
Der intelligente Leser sollte nun erkennen, worauf ich hinaus will oder warum Google sich so verhält, wie sich Google verhält? Nun, die These ist nun diejenige, dass Google und mittels KI (Künstlicher Intelligenz) den Content und worum es bei dem Content geht, kumuliert, also gewissermaßen schlussfolgert, dass eine URL mit einem bestimmten Wortlaut nur einer ganz bestimmter Thematik zuzuweisen ist. Diese Zuweisung mag fehlertolerant sein, aber die Trefferquote sollte > 99% sein. In jedem Fall dient die URL in erster Linie dafür, um darüber zu entscheiden, ob es die jeweilige URL wert ist diese zu crawlen, bzw. zu indexieren und letztlich in den Suchindex aufzunehmen.
Ich gebe zu, dass sich meine Theorie verwegen lesen mag, aber bei der Bewertung dieser Theorie zählen keineswegs menschliche Bewertungskriterien, sondern maximal das, was aus Sicht von Google und Dank KI logisch und richtig sein muss. Ich darf daran erinnern, dass Google 98% seiner Einnahmen aus Werbung bezieht. Deswegen zählt für Google nur der Content der für viele Nutzer interessant ist. Folgerichtig hat jeder Content, bzw. URL für Google keine Daseinsberechtigung, wenn sich keine Sau dafür interessiert oder es für die jeweilige Themathik schon (zu) viele Seiten gibt. Warum also noch mehr Content indexieren, wenn der gegenwärtig verfügbare Content ausreicht, um darüber Geld zu verdienen?
Mal ehrlich, währt Ihr Google, würdet Ihr es anders machen?
[EDIT]
Für den interessierten Leser dieses Threads, erspart euch das Geplänkel dieser Diskussiun und springt besser gleich zum Ende. Dort findet ihr die Bestätigung dessen, was ich zunächst nur theoretisieren konnte!!!
