Warum registrieren? Nur als registriertes Mitglied vom ABAKUS SEO Forum hast Du vollen Zugriff auf alle Funktionen unserer Website.


Anzeige

Ich bau' mir einen Crawler

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
supervisior
PostRank 9
PostRank 9
Beiträge: 1803
Registriert: 26.06.2006, 09:11

Beitrag von supervisior » 21.05.2020, 09:07

Ich bau' mir einen Crawler, der nix anderes macht als bestimmte Response Header auszulesen, was eigentlich keine Hexerei ist. Viel schwieriger ist da schon eher an die Domain Namen zu kommen und wundere mich bei jedem Mal, wenn ich eine neue Domain registriere und kurz drauf schon die ersten Zugriffe erfolgen. Irgendwie muss es eine Möglichkeit geben IP Adressen abzugrasen um darüber die aufgelösten Domain Namen zu bekommen. Öffentliche und frei zugängliche Verzeichnisse/Datenbanken scheint es nicht zu geben. Hat da jemand eine Idee?

Anzeige von: