Hallo,
ich habe in Google einige Seiten drin, die ich so schnell wie möglich raushaben möchte. Folgendes habe ich dazu getan:
1. Seiten gelöscht (werden nicht mehr benötigt)
2. In robots.txt mit Disallow die Seiten zusätzlich gesperrt.
Nun meine Frage: Ist das überhaupt sinnvoll diese nicht mehr vorhandenen Seiten per Disallow zu sperren?
Ich frage mich ob der Bot es nicht schneller merkt, wenn er einfach auf den 404 Error läuft, oder wenn er sich die robots.txt holt?
Wie wir wissen, sind die Seiten die per robots.txt gesperrt wurden ja trozdem in G drin, eben nur ohne Inhalt...
Grüsse Mario
