[Lösung] Warum indexiert Google meine Seite nicht?

[staticweb]

> Was ist daran so abwegig, dass Google den Wotlaut einer URL verwendet, um daraus Dank mit oder ohne KI zu dem Ergebnis kommt, dass es die oder die andere URL nicht wert ist diese zu crawlen,

Wie bereits "gesagt", wenn Spam Muster erkannt werden kann es auch sein, dass anhand der URL das Crawling zurück gefahren wird. Aber nur dann. Alles andere sind Gründe die sich auf die gesamt Website beziehen.

> geschweige denn in den Suchindex aufzunehmen? Es liegt doch schon fast nahe, dass es so ist?!

Du vermischst hier 2 verschiedene Dinge Crawling <--> Indexierung und hast nur eine These. Du machst es dir halt sehr einfach.

[supervisior]

Ich mache es mir alles andere als einfach. Du scheinst immer noch zu denken, dass ich eines morgens aufgewacht bin und mir bei der Morgentoilette diese Idee eingefallen ist den @staticweb zu penetrieren?!

Bevor ich überhaupt auf die Idee kam auf die besagte Thematik zu kommen, stand zunächst mal die Idee im Raum wie ich es hinbekomme das, was auf meinem Server so passiert zu visualisieren. Damit ist nicht gemeint den User zu tracken, sondern alles, was eben kein natürlicher User. Man kann zwar sehr viel Zeit damit verbringen logfiles duchzusehen, aber ich wollte es erstens einfach, schneller und eben visualisiert haben und zwar in der Form, wie man normalerweise Tracking Software verwendet, aber eben nicht für User, sondern alles andere. Dazu gehören auch fehlerhafte Zugriffe usw. Das einzige, was mir damit entgeht, sind 403er und 301er, aber nur wenn diese auf externe Quellen gehen. Ansonsten sehe ich nun alles grafisch aufbereitet und das in sekundenschnelle, ohne erst zeitaufwendig Logfiles durchwühlen zu müssen.

Dazu musste ich Matomo das erst mal beibringen, bzw. Matomo das zu entlocken, was normalerweiser unterdrückt, bzw. gar nicht getrackt wird. Dafür gibts zwar die Matomo PHP API, aber die ist zunächst auch mal nur darauf getrimmt den natürlichen User zu tracken und eben nicht Bots und anderes Zeugs. Am Ende wars zwar einfach, aber in Ermangelung einer Doku darüber hat es dann doch Wochen gedauert bis ich das so weit hatte, wie ich es wollte.

Erschwerend kam hinzu, dass ich bekannterweise einen Page Cache verwende und sich gecachte Seiten überhaupt nicht mit PHP vertragen, weil wenn im Cache, dann nix mehr tracken möglich. Da war also viel Hirnschmalz und Zeit dafür notwendig, wobei ich erst nachdem ich das nun so hatte wie ich es wollte sehen konnte, was und welche Suchmaschinen wann und wie oft machen. Nach Monaten an Zeit dafür bin ich überhaupt erst in der technischen Lage nicht nur einfach Schlussfolgerungen zu ziehen, sondern jetzt qualifizierte NAchweise dafür habe, was ich über viele Jahre nur mutmaßen konnte.

Komm' Du mir also bitte nicht damit daher ich würde es mir einfach machen! Alles was Du als möglichen Einwand einbringst, sind in Ermangelung auch nur ansatzweiser Belege dafür nur wilde Spekulationen im Vergleich zu dem, was ich für einen Aufwand aufwenden musste, um überhaupt in die Nähe von so einer Überlegung zu kommen.

[staticweb]

> Komm' Du mir also bitte nicht damit daher ich würde es mir einfach machen!

Einfach bezog sich alleinig auf deine These.

> Alles was Du als möglichen Einwand einbringst, sind in Ermangelung auch nur ansatzweiser Belege dafür nur wilde Spekulationen im Vergleich zu dem, was ich für einen Aufwand aufwenden musste, um überhaupt in die Nähe von so einer Überlegung zu kommen.

Da du bisher weder konkrete Zahlen genannt hast, noch deine Methoden preisgibst weiß ich nicht was ich mit deinen reichhaltigen textuellen Informationen anfangen soll. Ich weiß auch nicht warum man so einen Aufwand betreiben muss um Logdateien auszuwerten. Visualisierungs-Tools gibt es doch bei Github jede Menge.

Und noch einmal meine Hauptkritik. Du wirfst Crawling und Indexing in eine Kiste obwohl es 2 verschiedene Dinge sind.

[supervisior]

> Komm' Du mir also bitte nicht damit daher ich würde es mir einfach machen!

Einfach bezog sich alleinig auf deine These.

Auf Grundlage dessen, was ich für einen technischen Aufwand betreibe, bzw. betrieben habe und der Daten, die mir vorliegen, weiß ich welche Suchmaschine was wann macht. Das ist mal 100 mal mehr als was Du noch nicht mal theoretisch wissen kannst. Nur als Anmerkung, du bist Lichtjahre davon entfernt. Aber ungeachtet dessen, wenn ich für mich und der vorliegenden Daten den Nachweis erbringe und diese Daten mit denen von Google in Abgleich bringe, ergibt sich ein Zusammenhang. Ein Zusammenhang insofern, als dass ich wie schon gesagt mit Nachweis belegen kann, dass es eine Diskrepanz zwischen der Menge an URLs gibt, die Google bekannt, aber nicht nicht gecrawled, bzw. auch nicht indexiert wurden. Hätte Google darauf zugegriffen, wüsste ich davon. Und um mehr geht das zunächst mal nicht, aber daraus ergeben sich Fragen, warum Google diese nur bekannten URLs nicht crawled.

Komm jetzt aber bitte nicht wieder mit Überlastung oder Budget daher. Diese Argumente will ich deswegen aber nicht weg dividieren. Natürlich kann dies einen Einfluss nehmen, aber wenn ich so ein Verhalten über Jahre, projekt- oder themenübergreifend vor allem bei neuen Seiten feststelle und sich daran auch nach vielen Monaten nichts ändert, sind diese Argumente außen vor.

Was ist an meiner "These" so abstrakt für Dich? Bist Du nicht im Stande Dich in die Lage von Google zu versetzen? Was würdest Du tun, wenn Du die Unmengen an Daten des Internet so zu managen hättest, sodass sich daraus einerseits ein Nutzeffekt für den User ergibt, aber Du von irgendwas leben musst? Und darum geht, bzw. muss es Google vorrangig gehen und zwar mit einem Wachstumsfaktor. Wenn Du auch nur halbwegs gebildet bist, dann versuche doch bitte mal in die Thematik einzusteigen.

Und nochmal, es gibt einen belegbaren Faktor, den Du selbst schon vorgetragen hast und das ist der Faktor, warum Google einen erheblichen Anteil an URLs zwar kennt, aber diese noch nicht mal crawled. Welchen Aufwand ich dafür betrieben habe, ist komplett gegenstandslos. Es geht nur darum diese eine Frage schlüssig zu beantworten.

[staticweb]

Mal anders.

Du hast also herausgefunden, dass Google bestimmte URLs nicht crawlt und das kannst du an der URL-Struktur bzw. an der URL selbst festmachen.

So weit, so gut.

Aber was soll ich jetzt mit dieser Information anfangen, die mir maximal META-Informationen vermittelt und sonst keinerlei Nutzen? Da diese Aussage völlig argumentlos ist, könnte man sie nicht einmal widerlegen.

Und dann kommt das ins Spiel: "[Lösung] Warum indexiert Google meine Seite nicht?"

Wo ist denn deine Lösung für dieses Problem???

[supervisior]

Wo ist denn deine Lösung für dieses Problem???

Thja das ist die Gretchenfrage, aber vielleicht strengst Du Dich zur Abwechslung mal an und schlägst was vor?

[supervisior]

Ich kann Dir aber versichern, dass mich die Erkenntnis zu meiner "These" nicht zufriedengestellt hat, zumal ich zumindest für mich einen Beleg gebraucht habe, bzw. immer noch brauche. Nachdem alle meine Seiten davon betroffen sind und das mit einem erheblichen Schweregrad, musste also was geschehen, aber nicht planlos. In erster Linie ging es mal nur um 1 Seite. Diese hatte ursprünglich zwar nur 5 Seiten, bzw. URLs, aber 1 dieser URLs hat sich Google ständig geträubt diese crawlen. Das ist insofern verhängnisvoll, weil es die wichtigste URL von allen ist und seit ein paar Wochen auch die Unterseiten davon betroffen sind. Die Unterseiten tragen in der URL den Namen der darüberliegenden Seite.

Ich habe nun heute eine Änderung der URLs vorgenommen, wobei man unterscheiden muss. Die URL ist nicht gleich der Titel der jeweiligen Seite, aber beides beinhaltet in Teilen Begriffe des anderen. Vorteilhaft bei dieser Änderung ist, dass die alten URLs nicht ins Leere greifen, weil es eine automatische Umleitung auf die neuen URLs gibt. Trotz dieser automatischen Umleitung mag sich das vielleicht negativ auswirken, aber der größere Schaden war ja schon vorher vorhanden, weil Google diese URL zwar kennt, aber eben nie gecrawled, gschweige denn indexiert hat.

Nun gilt also abzuwarten, ob sich durch diese Änderung irgendwas ergibt....

[heinrich]

Ich weiß nicht, ab das jetzt dafür relevant ist, aber ich habe bei einigen Seiten festgestellt, dass die je nach Suchposition (also Region bzw. Kontinent) auftauchen oder auch nicht. Ich hab das einmal mit signifikanten Zeichenketten probiert und einige Freunde im fremdsprachgen Raum ebenfalls danach suchen lassen - sie waren nicht überall in den SERPs drinnen. Auch gibt es das Phänomen, dass diese Zeichenketten manchmal nur auf Überblicksseiten indexiert sind, nicht aber die Originalseite - manchmal tauchen die aber in den "ausgeblendeten" Seiten auf …

[supervisior]

@heinrich

Was Du da ansprichst, hat nichts mit der Thematik hier zu tun, sorry.

[supervisior]

[UPDATE]
NAchdem ich vorgestern, wie vorausgehend beschrieben, die URLs geändert hatte, kann ich heute eine Erfolgsmeldung berichten. Heißt, Google hat nach 9 Monaten zum ersten die URLs aufgerufen, die es die ganze Zeit verweigert hatte zu crawlen. Durch den unmittelbaren zeitlichen Zusammenhang scheint es so, als dass ich mit meiner These richtig liege.