Archive.org beachtet nicht mehr die Robots.txt

[top]

Und würde Google erklären, dass eine lange und kontinuierliche Entwicklung einer Seite bei Archive.org als positiver Rankingfaktor gewertet wird, würden Heerscharen von SEOs ihre eigenen Backups ausgraben und Bettel-E-Mails an Archive.org senden, in der Hoffnung, dass diese im Archiv nachgetragen werden...

[afb]

Oder lest ihr das anders bzw. was haltet ihr eigentlich davon?

Ich finde es auch unmöglich. Wenn ein Websitebetreiber durch die robot.txt den Wunsch äußert, dass bestimmte Dienste draußen bleiben, dann gebietet es m.E der Anstand, dass diese Dienste dem Wunsch zu entsprechen.
Ich bin überrascht, dass dies archive.org anders handhabt (handhaben will), insbesondere, weil die Betreiber von archive.org ja etwas gutes machen wollen.

Als Stümper SEO wie die meisten User es hier sind jeden Tag den Datenschutz mit Füßen treten aber dann meckern wenn Archive.org eine Robots.txt Datei ignoriert und sich wie ein echter Besucher im Netz bewegen kann.

Lächerlich..

Ich weiß nicht, ob der Threadersteller ein Stümper ist (das zu beurteilen, würde ich mir nie anmaßen), aber abgesehen davon, finde ich es generell fragwürdig, das Fehlverhalten von A durch das Fehlverhalten von B zu rechtfertigen.
Und davon unabhängig: archive.org ist kein normaler Besucher, denn normale Besucher machen keine komplette Kopie der Website und stellen diese öffentlich aus. Wie sieht es hier eigentlich mit dem Urheberrecht aus?

[superolli]

Als Stümper SEO wie die meisten User es hier sind jeden Tag den Datenschutz mit Füßen treten aber dann meckern wenn Archive.org eine Robots.txt Datei ignoriert und sich wie ein echter Besucher im Netz bewegen kann.

Lächerlich. Danke den Jungs von Archive. So eine super Seite, so ein super Service. Das Internet ist öffentlich, Besucher beachten deine Robots.txt auch nicht. Archive macht einen tollen Job.

Mit etwas Interpunktion in Deinen Wutanfällen würde ich Stümper SEO vielleicht verstehen, was Du willst. So kann ich leider nichts konstruktiv antworten.

PS: Als SEO müsste ich hier nicht regelmäßig Fragen stellen.

PSS: Ich gehe da mit sachlichem Menschenverstand ran. Und der sagt mir, dass Can sich mit Aussagen wie " Besucher beachten deine Robots.txt auch nicht" selber fachlich disqualifiziert. Oder das Thema nicht verstanden hat.

[alex2004]

Hat mir schon mehrfach bei Unterlassungsklagen von agressiven Mitbewerbern aus der Patsche geholfen.

Konnte stets damit nachweisen das der Sachverhalt ein anderer war wie vorgetragen.

[superolli]

Hat mir schon mehrfach bei Unterlassungsklagen von agressiven Mitbewerbern aus der Patsche geholfen.

Konnte stets damit nachweisen das der Sachverhalt ein anderer war wie vorgetragen.

DAS ist aber auch der EINZIGE Grund der mit sinnvoll einfällt.

[web334]

Hallo Leute,
was muss ich denn konkret tun, um meine Webseite bei Archive.org entfernen zu lassen?

[daniel5959]

Hallo,

Wie kann ich die Seiten meiner Site vom Wayback-Rechner ausschließen oder daraus entfernen?

Sie können eine E-Mail-Anfrage an info@archive.org mit der URL (Webadresse) im Text Ihrer Nachricht senden.

Quelle: https://help.archive.org/hc/en-us/artic ... ck-Machine (Übersetzung mit Google)

daniel5959

[web334]

Danke für deine Antwort!

Hat jemand Erfahrung, ob das ganze dann auch gelöscht wurde und wenn ja, wie lange das gedauert hat?