Disallow und Allow in einer Robots.txt?

web-timo · **web-timo** » 11.04.2016, 10:06 **Disallow und Allow in einer Robots.txt?**

Moin zusammen,

wir möchten gerne unsere noch im Aufbau befindliche Seite nur für bestiummte Crawler freigeben. Diese sollen aber auch noch in dem was Sie crawlen können eingeschränkt werden.

Kann somit folgende robots.txt Datei funktionieren? (es handelt sich um einen Shopware shop)

# allgemeiner Ausschluss

User-agent: *
Disallow: /
Disallow: /compare
Disallow: /checkout
Disallow: /register
Disallow: /account
Disallow: /note
Disallow: /listing
Disallow: /ticket

# Sonderregel

User-agent: GoogleBot
User-agent: Googlebot-Image
User-agent: Mediapartners-Google
User-agent: AdsBot-Google
User-agent: Googlebot-Mobile
User-agent: GoogleBot
User-agent: Googlebot-Video
User-agent: Bingbot
User-agent: BingPreview
User-agent: MSNBot
User-agent: Slurp
User-agent: FAST-WebCrawler
User-agent: sistrix
User-agent: SearchmetricsBot
Allow: /

Falls nicht, was muss ich dann eintragen? Danke

Erfolgreiche und optimale Nutzung mit Shopware Shopsystemen! Nutzen Sie unsere jahrelange Erfahrung mit Suchmaschinenoptimierung für Shopware und lassen Sie sich beraten!

Lesen Sie die wichtigsten Shopware-Optimierungsmaßnahmen oder kontaktieren Sie uns direkt unter: 0511 / 300325-0

Can · **Can** » 11.04.2016, 10:29 **Disallow und Allow in einer Robots.txt?**

Lass sie crawlen aber stell auf noindex.

Bei Disallow landen die Links nämlich trotzdem im Index.

web-timo · **web-timo** » 11.04.2016, 12:21 **Disallow und Allow in einer Robots.txt?**

Danke für die Antwort. Es geht ja nicht ums indexieren sondern dass ich den Bots erst gar nicht den Zugriff auf der Seite ermöglichen will.

Und was ist mit der robots.txt? Kann das so funktionieren?

top · **top** » 11.04.2016, 13:04 **Disallow und Allow in einer Robots.txt?**

Die robots.txt ist so ähnlich wie ein Schild "Rasen betreten verboten!".
Die guten Jungs werden sich daran halten, die bösen Jungs interessiert das nicht.

Ich würde mich auch nicht darauf verlassen, dass "Allow" von den von dir gewünschten Bots richtig verstanden wird. Gut möglich, dass du dadurch nur die falschen Bots aussperrst...

web-timo · **web-timo** » 11.04.2016, 14:08 **Disallow und Allow in einer Robots.txt?**

Und was muss ich angeben, dass mein Szenario funktioniert? Das die "bösen" sich daran nicht halten ist auch blöd.

mogli · **mogli** » 11.04.2016, 14:16 **Disallow und Allow in einer Robots.txt?**

web-timo hat geschrieben:Und was muss ich angeben, dass mein Szenario funktioniert? Das die "bösen" sich daran nicht halten ist auch blöd.

Du hast es fast richtig aufgeschrieben. Die von dir direkt benannten Crawler beachten die Anweisungen der Gruppe * nicht, da diese nur ergänzend und nicht überschreibend wirkt. Allerdings müsstest du die Ausgrenzung deiner Unterverzeichnisse nochmals benennen.

web-timo · **web-timo** » 11.04.2016, 15:09 **Disallow und Allow in einer Robots.txt?**

mogli hat geschrieben:
web-timo hat geschrieben:Und was muss ich angeben, dass mein Szenario funktioniert? Das die "bösen" sich daran nicht halten ist auch blöd.
Du hast es fast richtig aufgeschrieben. Die von dir direkt benannten Crawler beachten die Anweisungen der Gruppe * nicht, da diese nur ergänzend und nicht überschreibend wirkt. Allerdings müsstest du die Ausgrenzung deiner Unterverzeichnisse nochmals benennen.

Hey Mogli, danke für die Antwort. Aber so richtig verstehe ich das noch nicht. Was heißt nicht überschreibend?

Habe es mal angepasst, so wie ich dich verstanden habe.

# allgemeiner Ausschluss

User-agent: *
Disallow: /

# Sonderregel

User-agent: GoogleBot
User-agent: Googlebot-Image
User-agent: Mediapartners-Google
User-agent: AdsBot-Google
User-agent: Googlebot-Mobile
User-agent: GoogleBot
User-agent: Googlebot-Video
User-agent: Bingbot
User-agent: BingPreview
User-agent: MSNBot
User-agent: Slurp
User-agent: FAST-WebCrawler
User-agent: sistrix
User-agent: SearchmetricsBot
Disallow: /compare
Disallow: /checkout
Disallow: /register
Disallow: /account
Disallow: /note
Disallow: /listing
Disallow: /ticket

Ist das so richtig?
Vielen Dank

elmex · **elmex** » 12.04.2016, 02:28 **Disallow und Allow in einer Robots.txt?**

Offiziell gibt es keine Allow Regel in der robots.txt? Insbesondere ein Allow: / macht null Sinn...

Um "pöse" Bots auszusperren, ist etwas wie bot-trap.de definitiv wirksamer...

web-timo · **web-timo** » 12.04.2016, 13:10 **Disallow und Allow in einer Robots.txt?**

Und was muss ich stattdessen eintragen?

top · **top** » 12.04.2016, 13:33 **Disallow und Allow in einer Robots.txt?**

Du kannst auf dein Verbotsschild / deine robots.txt auch schreiben: "Bei Zuwiderhandlungen gibt es Popoklopfe mit Anlauf" - wird aber nichts bringen.
Du musst schon jemanden neben deinen Rasen stellen, der auch tatsächlich Gegenmaßnahmen ergreift, wenn sich die bösen Buben blicken lassen.

Mit bot-trap.de hat dir elmex schon eine Möglichkeit genannt. Hast du dir das mal angeschaut?