Bestimmte Suchseiten crawlen lassen?

Kakaro · **Kakaro** » 12.02.2018, 21:51 **Bestimmte Suchseiten crawlen lassen?**

Hallo,

Gibt es eine Möglichkeit, bei Suchseiten übergeordnete Verzeichnisse vom Crawler zu sperren, aber gleichzeitig spezielle Suchseiten zuzulassen? Zum Beispiel:

Disallow: /suche/
allow: /suche/ausnahme

Oder gilt das Disallow /suche/ ausnahmslos für alle weiteren Pfade?

arnego2 · **arnego2** » 12.02.2018, 22:11 **Bestimmte Suchseiten crawlen lassen?**

Kakaro hat geschrieben: Oder gilt das Disallow /suche/ ausnahmslos für alle weiteren Pfade?

Wenn du auf den Robots.txt dazu nutzen wirst gelten die Pfade ausnahmslos ist nach meinem Verständnis des Themas.

chris21 · **chris21** » 12.02.2018, 23:01 **Bestimmte Suchseiten crawlen lassen?**

Wenn du auf den Robots.txt dazu nutzen wirst gelten die Pfade ausnahmslos ist nach meinem Verständnis des Themas.

Falsch.

(wie immer)

@Kakaro:

Dein Weg ist möglich, siehe hier:

https://support.google.com/webmasters/a ... 2596?hl=de

unter "Weitere Beispieldatei".

arnego2 · **arnego2** » 12.02.2018, 23:04 **Bestimmte Suchseiten crawlen lassen?**

chris21 hat geschrieben:
Wenn du auf den Robots.txt dazu nutzen wirst gelten die Pfade ausnahmslos ist nach meinem Verständnis des Themas.
Falsch.

(wie immer)

@Kakaro:

Dein Weg ist möglich, siehe hier:

https://support.google.com/webmasters/a ... 2596?hl=de

unter "Weitere Beispieldatei".

So I stand corrected. Na und irren ist menschlich. Immerhin hat er seine Lösung bekommen obwohl nicht alles was Google von sich gibt auch der Wahrheit entspricht.