registrieren registriertes Mitglied


Anzeige

Anzeige

Archive.org beachtet nicht mehr die Robots.txt

Hier findest Du News aus der SEO-Welt.
superolli
PostRank 8
PostRank 8
Beiträge: 724
Registriert: 22.07.2007, 15:17

Beitrag superolli » 10.05.2017, 08:44 Archive.org beachtet nicht mehr die Robots.txt

So wie ich das verstehe, will archive.org die robots.txt nicht mehr beachten:

https://blog.archive.org/2017/04/17/rob ... -archives/

Oder lest ihr das anders bzw. was haltet ihr eigentlich davon?

Ich finde es eine Frechheit. Wenn ich jemandem sage "bleib draussen, du betrittst mein Haus nicht", dann hat er sich gefälligst dran zu halten.

Anzeige von:


Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

top
PostRank 8
PostRank 8
Beiträge: 706
Registriert: 14.07.2005, 17:09

Beitrag top » 10.05.2017, 09:51 Archive.org beachtet nicht mehr die Robots.txt

superolli hat geschrieben:...

Ich finde es eine Frechheit. Wenn ich jemandem sage "bleib draussen, du betrittst mein Haus nicht", dann hat er sich gefälligst dran zu halten.
Schon klar, aber seine Haustür schließen die meisten Menschen auch ab, so dass man bei jedem Besuch entscheiden kann wen man ins Haus lassen will.

Webseiten sind in der Regel aber für jedermann offen wie ein Einkaufszentrum. Wenn man da zuverlässig sicherstellen will, dass dort niemand unerwünschtes das Gebäude betritt, reicht es nicht wenn dafür Hinweistafeln an den Eingängen angebracht werden. Wer sich schon ein Hausverbot vom Betreiber hat einfangen lassen, den interessieren solche Verbotsschilder meistens auch nicht mehr. Große Spielkasinos nutzten daher schon seit einiger Zeit Videoüberwachung mit automatischer Gesichtserkennung. Wer da einmal bei 17und4 beim Kartenzählen erwischt wurde, muss damit rechnen, dass er weltweit schon beim Betreten eines Spielkasinos nachhaltig gebeten wird das Gebäude freiwillig zu verlassen.

Auf Webseiten übertragen: Du musst deinen Server schon so einrichten, dass unerwünschte Besucher an der IP erkannt werden und entsprechend gefiltert wird. (Und selbst das ist kein 100%tiger Schutz um die bösen Jungs draußen zu lassen.)

superolli
PostRank 8
PostRank 8
Beiträge: 724
Registriert: 22.07.2007, 15:17
Wohnort: Hadamar
Kontaktdaten:

Beitrag superolli » 10.05.2017, 13:14 Archive.org beachtet nicht mehr die Robots.txt

Also wenn Du im Stadtpark ein Schild siehst "Betreten verboten" gehst Du da trotzdem weiter, weil man ja auch einen hohen Zaun hätte bauen können und die Gemeinde es ja selber Schuld ist wenn sie so eine schöne Wiese dahin setzt? Also jetzt nicht du persönlich .. :-)

Also ich weiss nicht. Wenn ich auf technischer Ebene klar formuliere, dass ich keinen Besuch vom Crawler will, dann muss ich nicht mit dem diskutieren, ob er nicht vielleicht doch darf. Und dass die dann mit dem Argument der geparkten Seiten zu kommen, ist echt eine Frechheit.
Klar ist das für die ein Problem, aber deswegen müssen sie doch trotzdem weiterhin die Beschilderung beachten und können deren Problem nicht zu meinem machen.

Leider gibt es auch sehr viele SEO Bots aus Deutschland (auch hier agierende) die sich genauso ignorant verhalten.

Ich weiss, dass ich das effektiver sperren kann -. wie ich ja auch meine Haustür abschließe - aber richtig ist das trotzdem nicht.

Benutzeravatar
arnego2
PostRank 9
PostRank 9
Beiträge: 2209
Registriert: 23.02.2016, 13:55
Kontaktdaten:

Beitrag arnego2 » 10.05.2017, 15:25 Archive.org beachtet nicht mehr die Robots.txt

top hat geschrieben: Webseiten sind in der Regel aber für jedermann offen wie ein Einkaufszentrum.
Tja nur die Lagerräume darf das Publikum im Allgemeinen nicht betreten. Und gerade im Webseiten Bereich gibt es so einige Dateien die offlimit und für die Indexierung irrelevant sind
Arnego2 <Webseiten Neu & Umbau ab 80 Euro>

RH666
PostRank 4
PostRank 4
Beiträge: 171
Registriert: 17.10.2015, 23:22

Beitrag RH666 » 10.05.2017, 17:58 Archive.org beachtet nicht mehr die Robots.txt

Ist halt wie im echten Leben ..die Gesellschaft verroht zusehends.

Regeln und Respekt finden immer weniger Beachtung.

Anzeige von: