Trotz robots disallow und meta noindex Seiten im Index

[elmex]

Ich habe mal eine eher unübliche Frage. Ich möchte auf einem Projekt, dass die Seiten nicht indexiert werden.

Daher habe ich dort eine robots.txt mit

Code: Alles auswählen

User-agent: *
Disallow: /

angelegt und zusätzlich noch im Header

Code: Alles auswählen

<meta name="robots" content="noindex,nofollow,noarchive" />

eingetragen, und das seit die Domain im DNS ist.

Das interessiert Google aber mal so gar nicht und es indexiert die Seiten trotzdem.

Wie kann ich mich dagegen wehren und dies unterbinden?

[mogli]

Den Part mit der robots.txt auslassen. So darf der Google Bot auf deine Seite (was bisher nicht der Fall war), sieht die noindex-Angabe und hält sich auch entsprechend daran.

[elmex]

Danke für die Antwort @mogli

Ich verstehe sie aber ehrlich gesagt nicht so ganz von der Logik. Augenscheinlich ignoriert ja google die robots.txt eh, sonst hätte es die Seiten ja nicht indexiert. Wenn es sie indexiert, sollte es doch aber auch das meta-tag gefunden haben?

[loronorzorro]

Kannst du bitte einen Link posten oder mir via PM schicken, hab vielleicht eine Idee.

Edit:
Ja das noindex ignoriert er. Vielleicht hilft ein X-Robots-Tag im Header: https://developers.google.com/webmaster ... _tag?hl=de

[Can]

Danke für die Antwort @mogli

Ich verstehe sie aber ehrlich gesagt nicht so ganz von der Logik. Augenscheinlich ignoriert ja google die robots.txt eh, sonst hätte es die Seiten ja nicht indexiert. Wenn es sie indexiert, sollte es doch aber auch das meta-tag gefunden haben?

Ne das ist ganz einfach: Zum Indexieren ist nicht zwingend ein Crawling notwendig. Wenn z.B. genug Links drauf zeigen kommt die Seite dennoch in den Index.

[elmex]

@can - das erklärt es

@loronorzorro - Danke dir, ich werde das x-robots tag setzten und dann noch den googlebot per cloaking ein anderes ergebnis zeigen

Ich kämpfe schon eine Weile damit, wie mich das ärgert, weil da sind phpmyadmin und awstats verlinkt, die waren bis ich ein Passwortschutz draufgelegt habe auch im index, und wurden dann ständig attackiert.