X-Robots-Tag per htaccess für ganzen Ordner

[webpilot]

Ich würde gerne verhindern, das System-Dateien von Wordpress im Google-Index erscheinen. Wenn ich jeweils eine htaccess-Datei in einen Ordner mit folgendem Inhalt lege, schütze ich damit vor einer Indexierung aller darin befindlichen Dateien?

Code: Alles auswählen

<Files ~ "*">
Header set X-Robots-Tag "noindex, follow"
</Files>

z.B.

Code: Alles auswählen

example.com/wp-content/plugins/.htaccess
example.com/wp-content/themes/.htaccess

Google hat somit Zugriff auf CSS- und JS-Dateien ("follow"), nimmt diese aber nicht in den Index auf ("noindex"). Korrekt?

Ohne das "follow" meckert Google sonst, da kein Zugriff.

Hat das jemand so schon einmal umgesetzt oder kann dazu was sagen?

Danke vorab.

[Melegrian]

Ich habe nun bereits wiederholt von ähnlichen Mitteilungen seitens G gelesen, selbst jedoch noch keine erhalten. Verstehe es auch nicht, wenn ich nicht möchte, dass G eine Image- oder JS-Datei indiziert, wem oder was will G dann noch folgen? Ist mir zu hoch. In einer HTML-Seite wäre es verständlich, dass G den in dieser Datei enthaltenen Links folgen kann, auch wenn die Seite nicht im Index landen soll. Aber wem soll bitte schön in einer JS-Datei gefolgt werden?

Oder einfacher, warum da ein follow oder nofollow angeben, wenn es nichts zum Folgen gibt in den Dateien? Ich hätte es weggelassen, nur irren ist menschlich, vielleicht irre ich mich auch.

Richten kannst Du Dich nach diesen Beispielen:

https://developers.google.com/webmaster ... _tag?hl=de

Meine für Images sehen so aus, die Images verschwanden nach und nach aus der Bildersuche, nofollow halte ich bei Images einfach für überflüssig:

Code: Alles auswählen

<ifModule mod_headers.c>
  <FilesMatch "\.&#40;jpg|png&#41;$">
    Header set X-Robots-Tag "googlebot-image&#58; noindex"
  </FilesMatch>
</ifModule>

Die andere Frage ist, warum willst Du das eigentlich machen? Bei Images habe ich einen Grund, doch welchen Grund gibt es für CSS Dateien und andere? Damit werden die doch nicht wirklich gesperrt, sondern es wird nur den großen Suchmaschinen mittgeteilt, dass sie diese nicht indizieren sollen. Alle anderen Bots hältst Du damit nicht ab.

[elmex]

Bei meinen Seiten damit hat Google diesen Header bisher hartnäckig ignoriert

[heinrich]

Ich würde gerne verhindern, das System-Dateien von Wordpress im Google-Index erscheinen.

??? Welche Systemdateien erscheinen denn im Index?
Ich hab einige WP-Installationen aber habe noch nie eine Systemdatei im Index erlebt?

[Melegrian]

Die landen ja eigentlich nicht im Index. Habe mal einen kleinen Test gemacht und finde praktisch nichts, was wirklich angezeigt wird. Es kommen zwar Treffer in der Suche, doch ergeben die keine verwendbaren Resultate.

suchbegriff filetype:js

Mit

suchbegriff filetype:pdf

werden dagegen sauber nur PDFs zum Suchbegriff aufgelistet.

Bei meinen Seiten damit hat Google diesen Header bisher hartnäckig ignoriert

Bei den Images hat es etwa 2 bis 3 Monate gedauert, einige wenige befinden sich noch in der Bildersuche. Ging mir bei einer Site gegen den Strich, 80 bis 90 Prozent nur über die Bildersuche und die Beiträge, in denen die Bilder eingebunden waren, wurden kaum noch aufgerufen. Nun gut, darunter viele ältere Pressemitteilungen, die Images alterten halt nicht so schnell. Doch auch bei anderen Beiträgen sah es nicht viel besser aus.

[webpilot]

Vielen Dank für die zahlreichen Antworten.

Ihr habt Recht, Google räumt von selbst schon einiges auf. Worum es mir ging, sind die ganzen nicht-Content-Seiten wie Wordpress-Dateien. Davon gibt es einige - z.B. Login-Seite, Plugin-Files, etc.

Oder einfacher, warum da ein follow oder nofollow angeben, wenn es nichts zum Folgen gibt in den Dateien? Ich hätte es weggelassen, nur irren ist menschlich, vielleicht irre ich mich auch.

Nein, Du hast Recht. Follow macht in da wirklich keinen Sinn.

Die Frage ist also eigentlich nur, ob dies so "abwärts" im jeweiligen Ordner greift:

Code: Alles auswählen

<Files ~ "*"> 
Header set X-Robots-Tag "noindex" 
</Files>

Somit alle Files im darunterlegenden Ordner davon betroffen sind? Kennt sich damit wer aus? Gehen wir mal von Content-Seiten aus, welche ich nicht im Index haben möchte:

Code: Alles auswählen

example.com/noindex-files/.htaccess

Code: Alles auswählen

example.com/noindex-files/bitte-nicht-indexieren.jpg
example.com/noindex-files/micht-auch-nicht.jpg
example.com/noindex-files/noindex-bitte.txt
example.com/noindex-files/no-no-no.doc
example.com/noindex-files/bitte-nicht-indexieren.jpg
example.com/noindex-files/versteckt.pdf

...unabhängig vom Filetype.

[heinrich]

https://selfhtml.org/ ist dein Freund!

[elmex]

Code: Alles auswählen

example.com/noindex-files/.htaccess

Wenn Du eine .htaccess von Dir im Google Index findest, solltest du rasant schnell den Server vernünftig konfigurieren!

[Melegrian]

Davon gibt es einige - z.B. Login-Seite, Plugin-Files, etc.

Noch einmal, mit noindex bekommst Du nichts geschützt, da kein Befehl, der befolgt werden muss. Wenn es Dir um den Schutz einzelner Dateien geht, wie der Login-Seite, musst Du zu anderen Mitteln greifen.