robots.txt wird von Google indexiert

[mits]

Weiss jemand woran das liegt, sowas ist ja komplett "neben den Schuhen"..!


Beweis:

[ElCattivo]

Die robots.txt ist halt genauso Inhalt der indexiert wird...ich finde das manchmal (wenn ich nach robots.txt Kram suche) sogar ziemlich praktisch. Mich stört aber genauso, dass man da kein "noindex" o.ä. setzen kann.

Ergo ich weiß auch keine Lösung. Es gibt höchstwahrscheinlich auch keine, solange Google selbst das nicht checkt.

Viele Grüße
ElCattivo

[mits]

Hallo ElCattivo

Danke für Dein Feedback.

Wenn mich die Sache ernsthaft zu stören beginnt, dann werde ich die robots.txt halt nächstens entfernen... Google scheint es offenbar sowieso sonst wo vorbeizugehen, was in der robots.txt steht: Ich habe sämtliche Seiten nun mit /site1 UND /site1/ ("disallow") eingetragen, trotzdem indexiert Google munter weiter... und das Problem tritt selbst dann auf, wenn in den betreffenden Seiten "<meta
name="robots" content="noindex,follow" />" steht. Am "follow" wird's wohl kaum liegen, solange "noindex" da steht sollte die Seite in keinem Fall indexiert werden...

Sonst muss man halt etwas "basteln", was auf "user-agent: GoogleBot" prüft, und dann bei diesem user-agent die Auslieferung der HTTP(S)-Response blockieren. Radikal halt. (?)

[mits]

...und auch wenn man in der Google Search Console den Eintrag manuell entfernent, was Google zulässt EBEN WEIL IN DER robots.txt ein entsprechender Eintrag vorhanden ist, dann ist die Seite für kurze Zeit aus dem Index raus, aber eben nur für (sehr) kurze Zeit... hmmmmmm... irgendwie total schräg, das Ganze..

[mogli]

Falls ihr mit einer .htaccess arbeiten könnt, lässt sich das noindex auch darüber realisieren:

<FilesMatch "robots\.txt">
Header set X-Robots-Tag "noindex"
</FilesMatch>

Dann hat sich das Problem erledigt.

[mits]

Vielen Dank, ich denke das ist eleganter gelöst als wenn ich irgendwo im WordPress-Quelltext auf die URL /seite1 oder /seite1/ sowie "user-agent: GoogleBot" prüfe und dann die Auslieferung der Response verweigere!

Natürlich auch für robots.txt!!

[mits]

Da die Webseite im Hintergrund über shared hosting gehostet wird, ist mod_headers scheinbar nicht verfügbar...

Ohne die If-Tags bekomme ich einen 500er, mit den If-Tage gibt das nicht mehr, allerdings zieht die Einstellung nicht. (Gestestet unter https://www.webconfs.com/https-header-check.php )

Da ich aber zusätzlich einen Vserver als mod_proxy habe, löse ich es darüber:

Code: Alles auswählen

<LocationMatch "/robots.txt">
	ProxyPass http&#58;//www.abc.info.tm/robots.txt
	ProxyPassReverse http&#58;//www.abc.info.tm/robots.txt
	Header add X-Robots-Tag "noindex, follow"
	RequestHeader set X-Robots-Tag "noindex, follow"
</LocationMatch>

(Der shared Hoster hostet die info.tm-Domain (eigentlich obsolet), welche vom mod_proxy-Vserver nach aussen als vollwertige .xyz-Domain zur Verfügung gestellt wird..)