Scraper: Google Suche: Too many Requests. Wer hat Erfahrung?

[Steppke030]

Hallo Freunde,

mit PHP und Perl habe ich mir einen kleinen Scraper geschrieben (den ich lokal unter XAMPP laufen lasse), mit dem ich das Ranking meiner ca. 200 Keywords einmal täglich erfassen (und in der Datenbank abspeichern) möchte.

Das funktioniert auch wunderbar nur habe ich das Problem, dass der Scraper nur ca. 20 bis 30 Abfragen tätigen kann, bevor Google die weitere Ausgabe mit "Error: Too many Requests" verweigert.

Zwischen den Abfragen lasse ich per "rand" und "sleep" zwischen 20 bis 70 Sekunden Zeit. Ich dachte, dass das ausreicht, was aber scheinbar nicht der Fall ist.

Abhilfe schafft dann nur ein Routerneustart mit neuer IP.

Hat jemand Erfahrung mit diesem Thema und kann mir sagen, wieviel Zeit zwischen den Request liegen muss, damit Google nicht herummotzt und mit "Too many Requests" das scrapen verhindert?


Danke und Gruß
Steppke

[/Affilitiv/]

Zwischen den Abfragen lasse ich per "rand" und "sleep" zwischen 20 bis 70 Sekunden Zeit. Ich dachte, dass das ausreicht, was aber scheinbar nicht der Fall ist.



Hat jemand Erfahrung mit diesem Thema und kann mir sagen, wieviel Zeit zwischen den Request liegen muss, damit Google nicht herummotzt und mit "Too many Requests" das scrapen verhindert?

Hast dus schon mit einer Pause von 15 Minuten probiert?


200 Keywords? da ist die maximalPause, damit du die in einem Tag durch bekommst, 432 Sekunden = 7 Minuten

[supervisior]

Hat jemand Erfahrung mit diesem Thema und kann mir sagen, wieviel Zeit zwischen den Request liegen muss, damit Google nicht herummotzt und mit "Too many Requests" das scrapen verhindert?

Was ich darüber weiß, ist dass Du das Problem nicht durch längere Timeouts lösen kannst, aber vielleicht hilft Dir das weiter:

https://support.google.com/gsa/answer/4411411#requests

Das gilt aber nur für den Fall, dass es tatsächlich Google ist, das Dir diesen Fehler zurückgibt.

[staticweb]

> Das funktioniert auch wunderbar nur habe ich das Problem, dass der Scraper nur ca. 20 bis 30 Abfragen tätigen kann, bevor Google die weitere Ausgabe mit "Error: Too many Requests" verweigert.

- längere Pausen
- IP Wechsel über Proxy Server
- Captcha Dienste nutzen

[Mµ]

Hallo, ich nutze das Programm "Serposcope", dass jede Nacht auf dem Raspberry meine Positionen mehrerer Websites ermittelt. Insgesamt habe ich derzeit 128 Keywords auf dem Monitor, die innerhalb von ca. 6,5 Stunden "abgeklappert" werden. Morgens schaue ich sie mir dann an. Meine Einstellungen hier:

serpo.png (41.45 KiB) 1587 mal betrachtet

Alle 9 tage ca. läuft da was schief und der Vorgang muss wiederholt werden. Meist funktioniert dies jedoch (ohne Proxies, ohne IP-Wechsel).

[staticweb]

> Alle 9 tage ca. läuft da was schief und der Vorgang muss wiederholt werden. Meist funktioniert dies jedoch (ohne Proxies, ohne IP-Wechsel).

Hatte ich auch lange genutzt. Wenn man die Pausen und die Anzahl der Keywords vernünftig setzt gibt es damit kaum Problem. Ansonsten muss man halt die enthaltenen Möglichkeiten zum IP Wechsel oder den Captcha Diensten nutzen.

[Steppke030]

Update:

Ich habe jetzt die Zeit (zwischen den Requests) auf 60 bis 110 Sekunden (rand) erhöht.

Das funktioniert wunderbar und der Spider kann dauerhaft laufen.

Wenn ich morgens den Rechner anmache, starte ich gleich den Spider und dann läuft der im Hintergrund und ist gegen Mittag fertig. Perfekt.

Jetzt suche ich mir noch ein Chart-Module, werde noch ein paar zusätzliche Gimmicks programmmieren, die Ansichten mit Ajax machen und dann habe ich hier endlich mein eigenes kleines Monitoring-Tool.

@Mµ

... dass jede Nacht auf dem Raspberry meine Positionen mehrerer Websites ermittelt ...

Die Idee mit dem Raspberry ist SUPER! Mein Desktop-PC verbraucht viel Strom und daher lasse ich ihn nachts nicht laufen. Ein Raspberry hingegen ist für den 24-Stunden-Betrieb perfekt geeignet. Darauf kann man einen Spider wunderbar laufen lassen.

Ich werde mir mal einen kaufen und damit testen (bisher habe ich mit dem Raspberry noch keine Erfahrung).

Danke an alle und Gruß
Steppke

[staticweb]

> Ich habe jetzt die Zeit (zwischen den Requests) auf 60 bis 110 Sekunden (rand) erhöht. Das funktioniert wunderbar und der Spider kann dauerhaft laufen.

Genau so ist es.

> Jetzt suche ich mir noch ein Chart-Module, werde noch ein paar zusätzliche Gimmicks programmmieren, die Ansichten mit Ajax machen und dann habe ich hier endlich mein eigenes kleines Monitoring-Tool.

chart.js eignet sich wunderbar.

> Die Idee mit dem Raspberry ist SUPER! Mein Desktop-PC verbraucht viel Strom und daher lasse ich ihn nachts nicht laufen.

200 * 1,5' = 300'

Ich glaube nicht, dass du einen extra Server benötigst. Das kannst du auch am Desktop im Background laufen lassen.

[Mµ]

@Steppke: Bei meinem Raspberry (Modell 3B) habe ich ca. 3 Watt im Betrieb gemessen, also äußerst gering. Meiner läuft seit drei Jahren kontinuierlich durch.