registrieren registriertes Mitglied


Anzeige

Anzeige

BSI-Anforderung "robots.txt löschen" - Alternative

Hier kannst Du Deine Fragen zum Thema Suchmaschinenoptimierung (SEO) stellen.
msoler2013
PostRank 2
PostRank 2
Beiträge: 31
Registriert: 07.10.2013, 11:44

Beitrag msoler2013 » 04.02.2015, 17:36 BSI-Anforderung "robots.txt löschen" - Alternative

Hallo,
wir haben vom BSI nach Prüfung einer Kundenseite (Politiker) die Anforderung bekommen, die robots.txt zu löschen.

Wie kann man das aus SEO-Sicht handhaben?
Ist die Robots verschmerzbar? Der Umfang der Seite ist nicht sehr groß/komplex und es besteht kein Bedarf Verzeichnisse vom Crawling auszuschließen.

Vielen Dank für eure Hilfe!

Anzeige von:

Zur Verstärkung unseres OffPage-SEO Teams suchen wir zum nächstmöglichen Zeitpunkt einen

Junior SEO Offpage in Vollzeit in Hannover

Die Stelle umfasst die Betreuung und Projektverwaltung von und für Kunden und Kooperationspartner. Wir erstellen Content- und Wettbewerbsanalysen, mit denen nachhaltige und effiziente Linkaufbaukampagnen entwickelt und durchgeführt werden.


SEO-Toni
PostRank 2
PostRank 2
Beiträge: 31
Registriert: 30.01.2015, 22:56
Kontaktdaten:

Beitrag SEO-Toni » 04.02.2015, 17:51 BSI-Anforderung "robots.txt löschen" - Alternative

Wenn alle Seiten gecrawlt werden können, muss dort auch keine robots.txt sein. Oder habe ich die Frage falsch verstanden?

xoni
PostRank 8
PostRank 8
Beiträge: 692
Registriert: 22.08.2007, 13:14

Beitrag xoni » 05.02.2015, 09:13 BSI-Anforderung "robots.txt löschen" - Alternative

wir haben vom BSI nach Prüfung einer Kundenseite (Politiker) die Anforderung bekommen, die robots.txt zu löschen.
Begründung?

SEO-Toni
PostRank 2
PostRank 2
Beiträge: 31
Registriert: 30.01.2015, 22:56
Kontaktdaten:

Beitrag SEO-Toni » 05.02.2015, 09:58 BSI-Anforderung "robots.txt löschen" - Alternative

Ich glaub ich steh ein wenig auf dem Schlauch. Also in dieser Datei gibst du an, welche Projektverzeichnisse nicht ausgelesen werden dürfen. Du sagst es kann alles ausgelesen werden, also benötigst du im Prinzip auch keine robots.txt

Unifex
PostRank 9
PostRank 9
Beiträge: 1024
Registriert: 25.12.2005, 10:43

Beitrag Unifex » 05.02.2015, 10:11 BSI-Anforderung "robots.txt löschen" - Alternative

Absurd. Vielleicht willst du ja auch bestimmte Crawler auf der Seite nicht haben. Ohne robots.txt wird es da schwer.

Warum sollten die denn sowas fordern? Das kann denen doch egal sein.

Anzeige von:

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Boa
PostRank 9
PostRank 9
Beiträge: 1170
Registriert: 11.11.2003, 00:19
Wohnort: Bremen

Beitrag Boa » 05.02.2015, 11:16 BSI-Anforderung "robots.txt löschen" - Alternative

Wahrscheinlich weil man da sehen kann welche Verzeichnisse nicht für die Öffentlichkeit gedacht sind. Was für ein perfekter Schutz oO

hanneswobus
PostRank 10
PostRank 10
Beiträge: 6737
Registriert: 16.03.2008, 01:39
Kontaktdaten:

Beitrag hanneswobus » 05.02.2015, 11:27 BSI-Anforderung "robots.txt löschen" - Alternative

loesche die datei und loese das aussperren von bots etc. via htaccess.
gruß

Vegas
PostRank 10
PostRank 10
Beiträge: 5238
Registriert: 27.10.2007, 14:07
Kontaktdaten:

Beitrag Vegas » 05.02.2015, 11:37 BSI-Anforderung "robots.txt löschen" - Alternative

Die Anwort findest Du unter https://www.bsi.bund.de/DE/Themen/ITGru ... 04400.html und der Grund ist genau der, den Boa nennt. Am einfachsten ist es, wenn Du die Prüffragen am Ende der Seite Stück für Stück durchgehst.

xoni
PostRank 8
PostRank 8
Beiträge: 692
Registriert: 22.08.2007, 13:14

Beitrag xoni » 05.02.2015, 11:45 BSI-Anforderung "robots.txt löschen" - Alternative

Zitat:
Damit die Einträge in der Datei robots.txt einem Angreifer keine Hinweise auf sicherheitskritische Ressourcen der Webanwendung geben, sollten alle zu schützenden Verzeichnisse nach Möglichkeit in einem gesonderten Verzeichnis der Webanwendung zusammengefasst werden. Ausschließlich dieses Verzeichnis sollte in die Datei robots.txt eingetragen werden, sodass diese keine internen Verzeichnisstrukturen mit sicherheitsrelevanten Informationen enthält.

seonewbie
PostRank 9
PostRank 9
Beiträge: 1939
Registriert: 21.10.2006, 21:50

Beitrag seonewbie » 05.02.2015, 15:35 BSI-Anforderung "robots.txt löschen" - Alternative

Das BSI vergisst dabei aber das man auch per wildcard aussperren kann.

Die Wahrheit ist natürlich das man keine Verzeichnisse oder Dateien direkt dort
nennen sollte die Sicherheitsrelevant sind aber z.b.

Code: Alles auswählen

/*.php
/*.pdf
/language*
[/quote]

sind natürlich e.v.t. sinvoll.

Und jetzt mal zu Belustigung: https://www.bsi.bund.de/robots.txt

Tata das BSI hat selber eine robots.txt ;-)

seonewbie
PostRank 9
PostRank 9
Beiträge: 1939
Registriert: 21.10.2006, 21:50

Beitrag seonewbie » 05.02.2015, 15:40 BSI-Anforderung "robots.txt löschen" - Alternative

Es gelingt sogar die Verzeichnisse in den ausgesperrten Verzeichnissen zu finden.
Man muß da nur mal ein bisschen bei den üblichen Verdächtigen schmuddel crawlern
suchen die sich an nix halten.

Vielleicht sollte das BSI mal selber seinen Modsecurity vernünftig einstellen ;-)
Das wäre dann nämlich ein echter Schutz.

https://www.modsecurity.org/

top
PostRank 8
PostRank 8
Beiträge: 730
Registriert: 14.07.2005, 17:09

Beitrag top » 05.02.2015, 17:09 BSI-Anforderung "robots.txt löschen" - Alternative

Prinzipiell sollte man bei der robots.txt daran denken, dass man dadurch auch auf Bereiche aufmerksam machen kann, welche man eigentlich verstecken will.
Es gibt bestimmt auch "Experten", die so was da rein packen:

Code: Alles auswählen

User-agent: *
Disallow: /admin.php
Disallow: /geheimes_Admin-Passwort.txt
...
:roll:

Was natürlich kein Grund ist auf die robots.txt ganz zu verzichten.

msoler2013
PostRank 2
PostRank 2
Beiträge: 31
Registriert: 07.10.2013, 11:44

Beitrag msoler2013 » 09.02.2015, 11:05 BSI-Anforderung "robots.txt löschen" - Alternative

Danke für eure Hilfe. Es ging tatsächlich laut BSI um Sicherheitsaspekte. Mir ist die fragliche Sinnhaftigkeit dieser "Sicherheitsmaßnahme" auch bewusst, ich wollte mich bzgl. der robots.txt aus allgemeiner SEO-Sicht nur noch mal absichern.

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag
  • Neueste Blogbeiträge