registrieren registriertes Mitglied


Anzeige

Google Zugang zu Verzeichnis versperren

Hier kannst Du Deine Fragen zum Thema Suchmaschinenoptimierung (SEO) stellen.
Joe85
PostRank 1
PostRank 1
Beiträge: 18
Registriert: 23.08.2019, 16:27

Beitrag Joe85 » 14.09.2019, 11:42 Google Zugang zu Verzeichnis versperren

Also irgendwie werden mein .htaccess, robots.txt und ich keine Freunde mehr werden. Ich wollte nämlich Google den Zugang zu einem Verzeichnis "hiddenfolder" verwehren, das alle anderen aber weiter nutzen können sollen.

Nach ein bisschen Googlen hab ich diese Zeilen am Ende meines .htaccess gesetzt:

Code: Alles auswählen

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot) [NC]
RewriteRule ^hiddenfolder/ - [L,F,NC]
Dann wollte ich hier ( http://www.botsimulator.com/index.php ) kontrollieren, ob Google auch wirklich der Zugang versperrt wird. Ergebnis: Keine Änderung, Google kann weiter auf das Verzeichnis zugreifen. Weiß einer, was ich hier falsch mache?

Eine Alternative wäre wohl, einen Ordner "hiddenfolder" zu erstellen und dort eine .htaccess zu platzieren. Allerdings wird www.meinesite.de/hiddenfolder dann gar nicht mehr angezeigt.

Anzeige von:

Content Marketing Strategie von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

Benutzeravatar
PascalC
PostRank 1
PostRank 1
Beiträge: 6
Registriert: 08.09.2019, 21:03
Wohnort: Berlin
Kontaktdaten:

Beitrag PascalC » 14.09.2019, 16:17 Google Zugang zu Verzeichnis versperren

Das Tool, das du benutzt (den botsimulator) scheint nicht die richtigen Informationen zu geben. Das liest nur die robots.txt aus aber nicht die robots meta tags auf der angegebenen Webseite.

Falls du eine Page nicht in Google haben willst solltest du die robots meta tags nehmen und sie auf der individuellen Seite im Header einfügen:

<meta name="googlebot" content="noindex" />

Wenn du den Zugang zu der Seite sperrst, kann Google den Link trotzdem indexieren wenn du oft zu ihm linkst. Das liegt dadran, dass wenn Google die Seite nicht lesen kann, dann erhält es auch nicht die Anweisung die Seite nicht zu indexieren. Der Link selbst kann indexiert werden, falls er besonders wichtig erscheint, er wird lediglich ohne Beschreibung angezeigt.

Joe85
PostRank 1
PostRank 1
Beiträge: 18
Registriert: 23.08.2019, 16:27

Beitrag Joe85 » 15.09.2019, 00:12 Google Zugang zu Verzeichnis versperren

Falls du eine Page nicht in Google haben willst solltest du die robots meta tags nehmen und sie auf der individuellen Seite im Header einfügen
So hab ich das bisher geregelt, allerdings gilt das leider nicht mehr ( siehe z.B.: https://moz.com/blog/nofollow-sponsored-ugc oder https://www.seo-suedwest.de/5209-google ... -tags.html ).
Wenn du den Zugang zu der Seite sperrst, kann Google den Link trotzdem indexieren wenn du oft zu ihm linkst. Das liegt dadran, dass wenn Google die Seite nicht lesen kann, dann erhält es auch nicht die Anweisung die Seite nicht zu indexieren. Der Link selbst kann indexiert werden, falls er besonders wichtig erscheint, er wird lediglich ohne Beschreibung angezeigt.
Schon klar. Indexieren ist okay, ich will nur nicht, dass Google die Seiten crawlt.

elmex
PostRank 9
PostRank 9
Beiträge: 1097
Registriert: 03.05.2005, 10:09

Beitrag elmex » 16.09.2019, 00:39 Google Zugang zu Verzeichnis versperren

Joe85 hat geschrieben:
15.09.2019, 00:12
So hab ich das bisher geregelt, allerdings gilt das leider nicht mehr ( siehe z.B.: https://moz.com/blog/nofollow-sponsored-ugc oder https://www.seo-suedwest.de/5209-google ... -tags.html ).
Du verwechselst jetzt gerade nofollow und noindex. Noindex in META Tags (sollte) weiterhin funktionieren...

fragichmich
PostRank 1
PostRank 1
Beiträge: 23
Registriert: 28.05.2019, 13:52

Beitrag fragichmich » 16.09.2019, 08:53 Google Zugang zu Verzeichnis versperren

elmex hat geschrieben:
16.09.2019, 00:39
Du verwechselst jetzt gerade nofollow und noindex. Noindex in META Tags (sollte) weiterhin funktionieren...
Nur zur Vollständigkeit - und "nofollow" in den META Tags natürlich auch.

Anzeige von: