Noindex via robots.txt oder Metatag?

[jeffe]

Hallo zusammen,

ich mache gerade meine ersten Schritte in der SEO-Praxis und habe folgende Frage:

Wenn ich möchte, dass etwas nicht von einer Suchmaschine indexiert wird, sollte ich das über den Metatag
<meta name="robots" content="noindex, follow" />
auf der jeweiligen Seite umsetzen oder besser mit der robots.txt arbeiten?

Falls ich einen Fehler beim Posten gemacht habe, bitte darauf hinweisen.


Beste Grüße

[mogli]

Da die robots.txt eine Indexierung durch Google nicht zwangsläufig ausschließt, würde ich an deiner Stelle den ersten Ansatz verfolgen. Wichtig: dann aber auch die robots.txt bei diesen Seiten aus dem Spiel lassen, damit der Crawler auch die Meta-Angaben finden kann.

[Spaci75]

Ich würde auch <meta name="robots" content="noindex, follow" /> bevorzugen

[e-fee]

Da die robots.txt eine Indexierung durch Google nicht zwangsläufig ausschließt, würde ich an deiner Stelle den ersten Ansatz verfolgen. Wichtig: dann aber auch die robots.txt bei diesen Seiten aus dem Spiel lassen, damit der Crawler auch die Meta-Angaben finden kann.

So und nicht anders!

[Vegas]

Wichtig: dann aber auch die robots.txt bei diesen Seiten aus dem Spiel lassen, damit der Crawler auch die Meta-Angaben finden kann.

Das noch dreimal fett unterstrichen, insbesondere wenn bereits Seiten im Index sind, die raus sollen, denn dann verhindert die Robots.txt eher das, was Du eigentlich willst.

[jeffe]

Vielen Dank für Eure Mühe!

Zusatzfrage: Wenn der noindex bereits in der robots.txt erfolgt, würde es dann noch Sinn machen das Ganze anzupassen und mit Metatag umzusetzen?

[Spaci75]

Macht auf jeden fall sinn, da der bot wieder vorbei kommt und somit die meta daten auslesen wird.

[ewigerlaie]

Vielen Dank für Eure Mühe!

Zusatzfrage: Wenn der noindex bereits in der robots.txt erfolgt, ...

Noindex in der robots.txt?

Du meinst bestimmt den meta name="robots" im jeweiligen Dokument. Soweit mir bekannt ist das nur dort möglich z.B. <meta name="robots" content="noindex,nofollow">

[mogli]

Vielen Dank für Eure Mühe!

Zusatzfrage: Wenn der noindex bereits in der robots.txt erfolgt, ...

Noindex in der robots.txt?

Du meinst bestimmt den meta name="robots" im jeweiligen Dokument. Soweit mir bekannt ist das nur dort möglich z.B. <meta name="robots" content="noindex,nofollow">

Naja, das stimmt so nicht ganz. Tatsächlich kannst du in der robots.txt auch explizite Noindex-Direktiven setzen. Das sieht dann beispielsweise so aus:

Noindex: /meine-seite/

Google beachtet das sogar, aber das gilt nicht zwangsläufig für andere Crawler und auch Googles Verhalten dazu kann sich ändern, weil es eben nur eine Direktive ist und laut John Mueller auch einen eher experimentellen Status hat (siehe Video ab Minute 47:58 ):

https://www.youtube.com/watch?v=yIIRyBMSPUk

Ansonsten gibt es natürlich noch Optionen des x-robots-tag in der .htaccess oder via php etc. zu definieren. Das ist aber in der Regel umständlicher als durch die Meta-Angabe.

[jeffe]

Super, vielen Dank Euch!