robots.txt: Unterseiten von dir/ sperren, aber "dir/&am

[umwelt]

Hallo,
ich möchte gerne per robots.txt die Unterseiten eines Verzeichnisses dir/ schützen, aber nicht die Verzeichnis-Hauptseite selbst (default).

es geht um eine Community, die aus geschützten Seiten besteht (Login). Allerdings ist die Hauptseite auch die Login-Seite, wo wichtige Infos zur Community sind, die indexiert werden sollten.

Hat jemand einen Tipp?

dir/* würde ja Unterseiten UND Hauptseite sperren.

[mogli]

es geht um eine Community, die aus geschützten Seiten besteht (Login). Allerdings ist die Hauptseite auch die Login-Seite, wo wichtige Infos zur Community sind, die indexiert werden sollten.

Vorab gilt es zu klären, was dein Ziel ist. Indexierung kann auch trotz einer korrekten robots.txt Anweisung passieren - diese Datei ist kein valides "noindex"-Hilfsmittel.

[umwelt]

das ist mir bewusst. es ist ja auch kein passwortschutz, sondern nur ein Hinweis an Google und Co, dass die internen community-Seiten (wo für den Bot sowieso nur ein Login-Feld erscheint), nicht indiziert werden sollen.
Hat jemand einen Tipp, wie ich es hinbekomme, dass domain.com/dir/ zugänglich ist, nicht aber domain.com/dir/123
Viele Grüße!

[mogli]

das ist mir bewusst. es ist ja auch kein passwortschutz, sondern nur ein Hinweis an Google und Co, dass die internen community-Seiten (wo für den Bot sowieso nur ein Login-Feld erscheint), nicht indiziert werden sollen.
Hat jemand einen Tipp, wie ich es hinbekomme, dass domain.com/dir/ zugänglich ist, nicht aber domain.com/dir/123
Viele Grüße!

Wie gesagt: die robots.txt stellt keinen noindex Hinweis dar.

[umwelt]

also nur per meta noindex, richtig?

[arnego2]

also nur per meta noindex, richtig?

Laut Google ist meta der sichere Weg sich nicht indexen zu lassen.