registrieren registriertes Mitglied


Anzeige

Anzeige

Funktionierende Crawlersteuerung ?

Alles über Google diskutieren wir hier.
nanos
PostRank 8
PostRank 8
Beiträge: 927
Registriert: 02.08.2008, 16:00

Beitrag nanos » 28.02.2016, 10:57 Funktionierende Crawlersteuerung ?

Hey,

wie kann man es wirkungsvoll verhindern, dass Google URLs indexiert ?
Wir haben es bislang immer per robots.txt versucht, aber gerade in letzter Zeit hält sich da Google anscheinend überhaupt nicht mehr dran und indexiert immer mehr Seiten die wir per robots.txt seit Monaten gesperrt haben (alles korrekt eingebunden und per GSC-Robots.txt-Tester gestestet).
Ein Noindex auf diesen Seiten macht ja auch wenig Sinn.

Ergo, wie soll man eine vernünftige Crawlersteuerung hinbekommen, wenn Google dennoch die gesperrten URLs crawlt und sogar indexiert ?

Anzeige von:

Zur Verstärkung unseres OffPage-SEO Teams suchen wir zum nächstmöglichen Zeitpunkt einen

Junior SEO Offpage in Vollzeit in Hannover

Die Stelle umfasst die Betreuung und Projektverwaltung von und für Kunden und Kooperationspartner. Wir erstellen Content- und Wettbewerbsanalysen, mit denen nachhaltige und effiziente Linkaufbaukampagnen entwickelt und durchgeführt werden.


Can
PostRank 9
PostRank 9
Beiträge: 1035
Registriert: 30.10.2010, 13:47

Beitrag Can » 28.02.2016, 11:55 Funktionierende Crawlersteuerung ?

Google hält sich exakt daran. Wenn du sie in der Robots vom crawlen ausschließt kann er kein noindex finden. Verlinkt jetzt irgendwas diese Seite kann sie somit in den Index.

Von daher ist es kein Problem dem Google Bot "Zugriff" zu gewähren.

vg

nanos
PostRank 8
PostRank 8
Beiträge: 927
Registriert: 02.08.2008, 16:00

Beitrag nanos » 28.02.2016, 12:57 Funktionierende Crawlersteuerung ?

Can hat geschrieben:Google hält sich exakt daran. Wenn du sie in der Robots vom crawlen ausschließt kann er kein noindex finden. Verlinkt jetzt irgendwas diese Seite kann sie somit in den Index.

Von daher ist es kein Problem dem Google Bot "Zugriff" zu gewähren.

vg
Wenn eine Seite Noindex ist, crawlt Google sie ja. Das will ich aufgrund des Crawlingbudgets verhindern, indem ich die Seiten per robots.txt aussperre.
Nun ist es aber nicht so, dass Google sich exakt dran hält sondern Google hat jetzt alle Urls (über 50.000), die per robots.txt gesperrt sind, indexiert.

Wenn Google eine Seite nicht cralen darf, dann kann sie doch unmöglich indxiert werden. Außer Google hat sich nicht an das Crawlverbot der robots.txt gehalten...

Can
PostRank 9
PostRank 9
Beiträge: 1035
Registriert: 30.10.2010, 13:47

Beitrag Can » 28.02.2016, 13:31 Funktionierende Crawlersteuerung ?

Doch.



Hatte noch nie Seiten die nicht mehr indexiert wurden weil das Crawling Budget aufgebraucht war. Daher robots freigeben, dann wird noindex gewertet. Teste es halt.

nanos
PostRank 8
PostRank 8
Beiträge: 927
Registriert: 02.08.2008, 16:00

Beitrag nanos » 28.02.2016, 17:34 Funktionierende Crawlersteuerung ?

Can hat geschrieben:Doch.



Hatte noch nie Seiten die nicht mehr indexiert wurden weil das Crawling Budget aufgebraucht war. Daher robots freigeben, dann wird noindex gewertet. Teste es halt.
Du verstehst glaube ich nicht was ich meine. Ich will den Crawler entlasten und daher per robots die URLs aussperren, die keinen Mehrwert für ihn haben. Diese URLs DÜRFEN dann ja nicht mehr vom Crawler gecrawlt werden und können somit eigentlich NICHT indexiert werden.
Da Google aber anscheinend die Anweisung in der robots ignoriert, crawlt Google die unwichtigen URLs und indexiert sie.

Das ich mit noindex URLs aus dem Index bekomme ist mir vollkommen klar. Jedoch ist das nicht Sinn und Zweck der Aktion. Sinn und Zweck ist es, dass Google die Seiten gar nicht erst besucht/crawlt!

Anzeige von: