registrieren registriertes Mitglied


Anzeige

Anzeige

Scraper: Google Suche: Too many Requests. Wer hat Erfahrung?

Fragen zur Interpretation der Daten, Funktionsweisen, Features und aktuelle Veränderungen der zahlreichen SEO-Tools? Dann schreibt hier rein.
Steppke030
PostRank 5
PostRank 5
Beiträge: 221
Registriert: 22.04.2014, 14:42

Beitrag Steppke030 » 24.12.2020, 18:03 Scraper: Google Suche: Too many Requests. Wer hat Erfahrung?

Hallo Freunde,

mit PHP und Perl habe ich mir einen kleinen Scraper geschrieben (den ich lokal unter XAMPP laufen lasse), mit dem ich das Ranking meiner ca. 200 Keywords einmal täglich erfassen (und in der Datenbank abspeichern) möchte.

Das funktioniert auch wunderbar nur habe ich das Problem, dass der Scraper nur ca. 20 bis 30 Abfragen tätigen kann, bevor Google die weitere Ausgabe mit "Error: Too many Requests" verweigert.

Zwischen den Abfragen lasse ich per "rand" und "sleep" zwischen 20 bis 70 Sekunden Zeit. Ich dachte, dass das ausreicht, was aber scheinbar nicht der Fall ist.

Abhilfe schafft dann nur ein Routerneustart mit neuer IP.

Hat jemand Erfahrung mit diesem Thema und kann mir sagen, wieviel Zeit zwischen den Request liegen muss, damit Google nicht herummotzt und mit "Too many Requests" das scrapen verhindert?


Danke und Gruß
Steppke

Anzeige von:

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Benutzeravatar
/Affilitiv/
PostRank 7
PostRank 7
Beiträge: 648
Registriert: 11.08.2015, 12:50
Kontaktdaten:

Beitrag /Affilitiv/ » 25.12.2020, 04:29 Scraper: Google Suche: Too many Requests. Wer hat Erfahrung?

Steppke030 hat geschrieben:
24.12.2020, 18:03

Zwischen den Abfragen lasse ich per "rand" und "sleep" zwischen 20 bis 70 Sekunden Zeit. Ich dachte, dass das ausreicht, was aber scheinbar nicht der Fall ist.



Hat jemand Erfahrung mit diesem Thema und kann mir sagen, wieviel Zeit zwischen den Request liegen muss, damit Google nicht herummotzt und mit "Too many Requests" das scrapen verhindert?
Hast dus schon mit einer Pause von 15 Minuten probiert?


200 Keywords? da ist die maximalPause, damit du die in einem Tag durch bekommst, 432 Sekunden = 7 Minuten
Sonntagmorgen beginnt der wievielte Tag?

supervisior
PostRank 9
PostRank 9
Beiträge: 2718
Registriert: 26.06.2006, 09:11

Beitrag supervisior » 25.12.2020, 10:41 Scraper: Google Suche: Too many Requests. Wer hat Erfahrung?

Steppke030 hat geschrieben:
24.12.2020, 18:03
Hat jemand Erfahrung mit diesem Thema und kann mir sagen, wieviel Zeit zwischen den Request liegen muss, damit Google nicht herummotzt und mit "Too many Requests" das scrapen verhindert?
Was ich darüber weiß, ist dass Du das Problem nicht durch längere Timeouts lösen kannst, aber vielleicht hilft Dir das weiter:

https://support.google.com/gsa/answer/4411411#requests

Das gilt aber nur für den Fall, dass es tatsächlich Google ist, das Dir diesen Fehler zurückgibt.

staticweb
PostRank 9
PostRank 9
Beiträge: 2351
Registriert: 04.05.2016, 14:34

Beitrag staticweb » 25.12.2020, 11:39 Scraper: Google Suche: Too many Requests. Wer hat Erfahrung?

> Das funktioniert auch wunderbar nur habe ich das Problem, dass der Scraper nur ca. 20 bis 30 Abfragen tätigen kann, bevor Google die weitere Ausgabe mit "Error: Too many Requests" verweigert.

- längere Pausen
- IP Wechsel über Proxy Server
- Captcha Dienste nutzen

PostRank 4
PostRank 4
Beiträge: 146
Registriert: 09.10.2010, 09:55

Beitrag » 26.12.2020, 09:06 Scraper: Google Suche: Too many Requests. Wer hat Erfahrung?

Hallo, ich nutze das Programm "Serposcope", dass jede Nacht auf dem Raspberry meine Positionen mehrerer Websites ermittelt. Insgesamt habe ich derzeit 128 Keywords auf dem Monitor, die innerhalb von ca. 6,5 Stunden "abgeklappert" werden. Morgens schaue ich sie mir dann an. Meine Einstellungen hier:
serpo.png
serpo.png (41.45 KiB) 523 mal betrachtet
Alle 9 tage ca. läuft da was schief und der Vorgang muss wiederholt werden. Meist funktioniert dies jedoch (ohne Proxies, ohne IP-Wechsel).

staticweb
PostRank 9
PostRank 9
Beiträge: 2351
Registriert: 04.05.2016, 14:34

Beitrag staticweb » 26.12.2020, 12:12 Scraper: Google Suche: Too many Requests. Wer hat Erfahrung?

> Alle 9 tage ca. läuft da was schief und der Vorgang muss wiederholt werden. Meist funktioniert dies jedoch (ohne Proxies, ohne IP-Wechsel).

Hatte ich auch lange genutzt. Wenn man die Pausen und die Anzahl der Keywords vernünftig setzt gibt es damit kaum Problem. Ansonsten muss man halt die enthaltenen Möglichkeiten zum IP Wechsel oder den Captcha Diensten nutzen.

Steppke030
PostRank 5
PostRank 5
Beiträge: 221
Registriert: 22.04.2014, 14:42

Beitrag Steppke030 » 27.12.2020, 10:21 Scraper: Google Suche: Too many Requests. Wer hat Erfahrung?

Update:

Ich habe jetzt die Zeit (zwischen den Requests) auf 60 bis 110 Sekunden (rand) erhöht.

Das funktioniert wunderbar und der Spider kann dauerhaft laufen.

Wenn ich morgens den Rechner anmache, starte ich gleich den Spider und dann läuft der im Hintergrund und ist gegen Mittag fertig. Perfekt.

Jetzt suche ich mir noch ein Chart-Module, werde noch ein paar zusätzliche Gimmicks programmmieren, die Ansichten mit Ajax machen und dann habe ich hier endlich mein eigenes kleines Monitoring-Tool. ;-)

@Mµ
... dass jede Nacht auf dem Raspberry meine Positionen mehrerer Websites ermittelt ...
Die Idee mit dem Raspberry ist SUPER! Mein Desktop-PC verbraucht viel Strom und daher lasse ich ihn nachts nicht laufen. Ein Raspberry hingegen ist für den 24-Stunden-Betrieb perfekt geeignet. Darauf kann man einen Spider wunderbar laufen lassen.

Ich werde mir mal einen kaufen und damit testen (bisher habe ich mit dem Raspberry noch keine Erfahrung).

Danke an alle und Gruß
Steppke

staticweb
PostRank 9
PostRank 9
Beiträge: 2351
Registriert: 04.05.2016, 14:34

Beitrag staticweb » 27.12.2020, 12:18 Scraper: Google Suche: Too many Requests. Wer hat Erfahrung?

> Ich habe jetzt die Zeit (zwischen den Requests) auf 60 bis 110 Sekunden (rand) erhöht. Das funktioniert wunderbar und der Spider kann dauerhaft laufen.

Genau so ist es.

> Jetzt suche ich mir noch ein Chart-Module, werde noch ein paar zusätzliche Gimmicks programmmieren, die Ansichten mit Ajax machen und dann habe ich hier endlich mein eigenes kleines Monitoring-Tool. ;-)

chart.js eignet sich wunderbar.

> Die Idee mit dem Raspberry ist SUPER! Mein Desktop-PC verbraucht viel Strom und daher lasse ich ihn nachts nicht laufen.

200 * 1,5' = 300'

Ich glaube nicht, dass du einen extra Server benötigst. Das kannst du auch am Desktop im Background laufen lassen.

PostRank 4
PostRank 4
Beiträge: 146
Registriert: 09.10.2010, 09:55

Beitrag » 27.12.2020, 15:45 Scraper: Google Suche: Too many Requests. Wer hat Erfahrung?

@Steppke: Bei meinem Raspberry (Modell 3B) habe ich ca. 3 Watt im Betrieb gemessen, also äußerst gering. Meiner läuft seit drei Jahren kontinuierlich durch.

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag