BSI-Anforderung "robots.txt löschen" - Alternative

msoler2013

Hallo,
wir haben vom BSI nach Prüfung einer Kundenseite (Politiker) die Anforderung bekommen, die robots.txt zu löschen.

Wie kann man das aus SEO-Sicht handhaben?
Ist die Robots verschmerzbar? Der Umfang der Seite ist nicht sehr groß/komplex und es besteht kein Bedarf Verzeichnisse vom Crawling auszuschließen.

Vielen Dank für eure Hilfe!

SEO-Toni

Wenn alle Seiten gecrawlt werden können, muss dort auch keine robots.txt sein. Oder habe ich die Frage falsch verstanden?

xoni

wir haben vom BSI nach Prüfung einer Kundenseite (Politiker) die Anforderung bekommen, die robots.txt zu löschen.

Begründung?

SEO-Toni

Ich glaub ich steh ein wenig auf dem Schlauch. Also in dieser Datei gibst du an, welche Projektverzeichnisse nicht ausgelesen werden dürfen. Du sagst es kann alles ausgelesen werden, also benötigst du im Prinzip auch keine robots.txt

Unifex

Absurd. Vielleicht willst du ja auch bestimmte Crawler auf der Seite nicht haben. Ohne robots.txt wird es da schwer.

Warum sollten die denn sowas fordern? Das kann denen doch egal sein.

Boa

Wahrscheinlich weil man da sehen kann welche Verzeichnisse nicht für die Öffentlichkeit gedacht sind. Was für ein perfekter Schutz oO

hanneswobus

loesche die datei und loese das aussperren von bots etc. via htaccess.
gruß

Vegas

Die Anwort findest Du unter https://www.bsi.bund.de/DE/Themen/ITGru ... 04400.html und der Grund ist genau der, den Boa nennt. Am einfachsten ist es, wenn Du die Prüffragen am Ende der Seite Stück für Stück durchgehst.

xoni

Zitat:

Damit die Einträge in der Datei robots.txt einem Angreifer keine Hinweise auf sicherheitskritische Ressourcen der Webanwendung geben, sollten alle zu schützenden Verzeichnisse nach Möglichkeit in einem gesonderten Verzeichnis der Webanwendung zusammengefasst werden. Ausschließlich dieses Verzeichnis sollte in die Datei robots.txt eingetragen werden, sodass diese keine internen Verzeichnisstrukturen mit sicherheitsrelevanten Informationen enthält.

seonewbie

Das BSI vergisst dabei aber das man auch per wildcard aussperren kann.

Die Wahrheit ist natürlich das man keine Verzeichnisse oder Dateien direkt dort
nennen sollte die Sicherheitsrelevant sind aber z.b.

Code: Alles auswählen

/*.php
/*.pdf
/language*

[/quote]

sind natürlich e.v.t. sinvoll.

Und jetzt mal zu Belustigung: https://www.bsi.bund.de/robots.txt

Tata das BSI hat selber eine robots.txt

seonewbie

Es gelingt sogar die Verzeichnisse in den ausgesperrten Verzeichnissen zu finden.
Man muß da nur mal ein bisschen bei den üblichen Verdächtigen schmuddel crawlern
suchen die sich an nix halten.

Vielleicht sollte das BSI mal selber seinen Modsecurity vernünftig einstellen

Das wäre dann nämlich ein echter Schutz.

https://www.modsecurity.org/

top

Prinzipiell sollte man bei der robots.txt daran denken, dass man dadurch auch auf Bereiche aufmerksam machen kann, welche man eigentlich verstecken will.
Es gibt bestimmt auch "Experten", die so was da rein packen:

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /admin.php
Disallow&#58; /geheimes_Admin-Passwort.txt
...

Was natürlich kein Grund ist auf die robots.txt ganz zu verzichten.

msoler2013

Danke für eure Hilfe. Es ging tatsächlich laut BSI um Sicherheitsaspekte. Mir ist die fragliche Sinnhaftigkeit dieser "Sicherheitsmaßnahme" auch bewusst, ich wollte mich bzgl. der robots.txt aus allgemeiner SEO-Sicht nur noch mal absichern.