da es den ein oder anderen bestimmt interessiert und von Vorteil ist, möchte ich euch meine Google Chrome Extension robots.txt viewer vorstellen.
robots.txt viewer Chrome Webstoere
Was kann die Extension?
Mithilfe der Erweiterung kannst du mit einfachen Klick auf das Icon im Chrome Fenster den Inhalt der robots.txt Datei von der aktuell aufgerufenen Webseite betrachten. Für wiederholte Anfragen wird der aktuelle Inhalt für eine Stunde zwischengespeichert, um A. die Ladezeit zu erhöhen und um B. den Server zu schonen (Traffic).
Nähere Informationen + Statistiken findet ihr auf meiner Projektseite: https://www.nokes.de/projekte/robotstxt-viewer
Verbesserungsvorschläge oder Fehler könnt ihr mir gerne mitteilen
