registrieren registriertes Mitglied


Anzeige

Anzeige

Scraper: Google Suche: Too many Requests. Wer hat Erfahrung?

Fragen zur Interpretation der Daten, Funktionsweisen, Features und aktuelle Veränderungen der zahlreichen SEO-Tools? Dann schreibt hier rein.
Steppke030
PostRank 5
PostRank 5
Beiträge: 216
Registriert: 22.04.2014, 14:42

Beitrag Steppke030 » 24.12.2020, 18:03 Scraper: Google Suche: Too many Requests. Wer hat Erfahrung?

Hallo Freunde,

mit PHP und Perl habe ich mir einen kleinen Scraper geschrieben (den ich lokal unter XAMPP laufen lasse), mit dem ich das Ranking meiner ca. 200 Keywords einmal täglich erfassen (und in der Datenbank abspeichern) möchte.

Das funktioniert auch wunderbar nur habe ich das Problem, dass der Scraper nur ca. 20 bis 30 Abfragen tätigen kann, bevor Google die weitere Ausgabe mit "Error: Too many Requests" verweigert.

Zwischen den Abfragen lasse ich per "rand" und "sleep" zwischen 20 bis 70 Sekunden Zeit. Ich dachte, dass das ausreicht, was aber scheinbar nicht der Fall ist.

Abhilfe schafft dann nur ein Routerneustart mit neuer IP.

Hat jemand Erfahrung mit diesem Thema und kann mir sagen, wieviel Zeit zwischen den Request liegen muss, damit Google nicht herummotzt und mit "Too many Requests" das scrapen verhindert?


Danke und Gruß
Steppke

Anzeige von: