mal angenommen ich will innerhalb der robots.txt eine von extern stark verlinkte HTML-Seite aussperren, kann diese doch trotzdem durch ihre externe Verlinkung von den Crawlern erreicht bzw erkannt werden oder?
Nehmen wir mal an ich möchte die gleiche HTML-Seite innerhalb der robots.txt aussperren und füge noch ein follow/noindex innerhalb des Quellcodes hinzu, nun wird gesagt das die Crawler die Robots-Angabe nicht erkennen weil diese für die Seite ausgesperrt ist, obwohl die Crawler durch die externe Verlinkung doch auf die Seite kommen.
Das scheint mir ein wenig widersprüchlich, könnte das jemand aufklären? Wahrscheinlich habe ich etwas nur falsch verstanden.
Wichtig ist eine Unterscheidung zwischen "Crawling" und "Indexierung" bzw. was man überhaupt mit den Mitteln "robots.txt" und Meta-Angaben wie "follow" oder "noindex" erreichen will.