registrieren registriertes Mitglied


Anzeige

Anzeige

Robots.txt und externe Verlinkung

Hier kannst Du Deine Fragen zum Thema Suchmaschinenoptimierung (SEO) stellen.
Benutzeravatar
Guy-Incognito
PostRank 4
PostRank 4
Beiträge: 196
Registriert: 29.09.2011, 10:28

Beitrag Guy-Incognito » 06.04.2016, 18:10 Robots.txt und externe Verlinkung

Hallo,

mal angenommen ich will innerhalb der robots.txt eine von extern stark verlinkte HTML-Seite aussperren, kann diese doch trotzdem durch ihre externe Verlinkung von den Crawlern erreicht bzw erkannt werden oder?

Nehmen wir mal an ich möchte die gleiche HTML-Seite innerhalb der robots.txt aussperren und füge noch ein follow/noindex innerhalb des Quellcodes hinzu, nun wird gesagt das die Crawler die Robots-Angabe nicht erkennen weil diese für die Seite ausgesperrt ist, obwohl die Crawler durch die externe Verlinkung doch auf die Seite kommen.

Das scheint mir ein wenig widersprüchlich, könnte das jemand aufklären? Wahrscheinlich habe ich etwas nur falsch verstanden.

Anzeige von: