registrieren registriertes Mitglied


Anzeige

Google Bot crawled sich einen Wolf

Alles zu Domain-Umzug, Weiterleitungen und Robots diskutiert Ihr hier.
supervisior
PostRank 9
PostRank 9
Beiträge: 1898
Registriert: 26.06.2006, 09:11

Beitrag supervisior » 22.01.2018, 10:14 Google Bot crawled sich einen Wolf

Hi Folks,

wir haben auf unserer Seite je nach Kategorie eine Filterfunktion zum Eingrenzen einer Listung. Diese Filterfunktion ist rel. einfach gehalten, also nix AJAX, sondern ganz normale <select> Menüs, die bei jeder Auswahl eine neue URL mit GET Variablen generieren. Man braucht aber Javascript, da es keinen "GO" Button gibt, sondern der Aufruf unmittelbar nach der Auswahl erfolgt. Bislang hatte ich diese Auswahl vor Google "versteckt", weil ich nicht davon ausgegangen bin, dass Google zwar Javascript kann, aber nicht ahnen konnte, dass Google auch ein <form> aktiv abschicken kann.

Nun habe ich diesen Filter aber auch für Google wieder sichtbar gemacht und fand nach kurzem in der Google Search Console unter URL-Parameter entsprechende Einträge, die ich manuell geändert habe, da jede URL, bzw. Parameter einer "Eingrenzung" entspricht. Das Problem ist nun, dass durch die Sichtbarkeit für Google rein rechnerisch ca. 20.000.000 Mio. URLs generiert werden. Nachdem die Auswahl zu dem vom Gerät abhängig ist, also Desktop, Mobile und Tablet und zu dem der Code einer jeden Seite je nach Gerät auch noch unterschiedlich ist, verdreifachen sich dadurch diese URLs. Also roundabout 60 Mio.

Google crawled täglich im Durchschnitt ca. 500.000 Seiten und darunter auch die o.g. Filterfunktion, aber angesichts der Menge an möglichen Seiten wird Google im Grunde genommen nie fertig, weil ja auch fast täglich neue Seiten hinzubekommen, bzw. wegfallen und vorhandene Seiten geändert werden.

Ich frag mich also grad, ob ich mir mit der Sichtbarkeit für Google nicht ins Bein geschossen haben?!

Was meint ihr?

Anzeige von: