registrieren registriertes Mitglied


Anzeige

Anzeige

Archive.org beachtet nicht mehr die Robots.txt

Hier findest Du News aus der SEO-Welt.
superolli
PostRank 8
PostRank 8
Beiträge: 724
Registriert: 22.07.2007, 15:17

Beitrag superolli » 10.05.2017, 08:44 Archive.org beachtet nicht mehr die Robots.txt

So wie ich das verstehe, will archive.org die robots.txt nicht mehr beachten:

https://blog.archive.org/2017/04/17/rob ... -archives/

Oder lest ihr das anders bzw. was haltet ihr eigentlich davon?

Ich finde es eine Frechheit. Wenn ich jemandem sage "bleib draussen, du betrittst mein Haus nicht", dann hat er sich gefälligst dran zu halten.

Anzeige von: