Ungültige Zugriffe große Katastrophe

[JanKrohn]

Moin,

Vor gut einer Woche ist mein Adsense-Konto wegen ungültiger Zugriffe eingeschränkt worden. Betroffen ist dabei das gesamte Konto, und nicht nur eine einzelne Webseite.

Als Maßnahmen erwartet Google von mir, dass ich nicht auf eigene Anzeigen klicke (habe ich in meinem Leben noch nicht gemacht...) sowie meine Partner zu überprüfen, von denen ich Traffic erwerbe (????) - es ist komplett alles organischer Traffic - das letzte Mal hatte ich vor ca. drei Jahren eine kleine Facebook-Campagne zur Traffic-Generierung auf einer neuen Seite...

Das habe ich dem Adsense-Support auch erklärt. Es kam lediglich eine etwas schroffe Antwort, dass ich die Maßnahmen befolgen soll. Ich fühle mich ehrlich gesagt etwas verarscht von denen.

Es geht insgesamt um 5 Seiten, mit insgesamt monatlich 1,35 Millionen eindeutigen Besuchern, 1,9 Millionen Besuchen, und 11,5 Millionen Seitenaufrufen (Daten vom April, ungesehener Traffic bereits abgezogen).

Da drin die Ursache zu finden dürfte die sprichwörtliche Suche nach der Nadel im Heuhaufen um ein vielfaches Übersteigen... Mir wird ja selbst die Auskunft verweigert, welche der fünf Webseiten angeblich ungültige Zugriffe verursacht.

Wenn jemand eine Idee hat, wie ich vorgehen kann, oder jemand empfehlen kann für professionelle Hilfe, das wäre super.

Danke und Gruß,
Jan

[supervisior]

Wärst Du denn auch bereit Geld dafür auszugeben, wenn man diese ungültigen Zugriffe identifiziert?

[JanKrohn]

Aber sicher!

[supervisior]

Na dann meld' Dich mal per PM bei mir.

[Hanzo2012]

Ich habe eine zeitlang auch viele ungültige Zugriffe gehabt. In meinem Fall lag es daran, dass meine Seiten untereinander verlinkt waren. Google sah seltsamerweise den Traffic, der von meinen anderen Seiten über den Link kam, als ungültig an. Ich konnte das mit Analytics nachvollziehen, denn der Betrag, der bei AdSense abgezogen wurde, deckte sich recht genau mit dem Betrag, den mir Analytics für den von meiner anderen Seite kommenden Traffic anzeigte. Voraussetzung für solche Untersuchungen ist natürlich, dass du AdSense und Analytics verknüpft hast.

[supervisior]

Na dann musst Du aber an Deine Links irgendwas reingebastelt haben, dass z.B. den Referrer verschleiert o.ä., weil ein normaler Link ja nicht Anstoß für so was geben kann.

[Hanzo2012]

Na dann musst Du aber an Deine Links irgendwas reingebastelt haben, dass z.B. den Referrer verschleiert o.ä., weil ein normaler Link ja nicht Anstoß für so was geben kann.

Nö, das waren ganz normale Links.
Tatsächlich waren das sogar nur Links zur gleichen Seite in einer anderen Sprache (andere Domain, da Domain-Name sprachspezifisch).
Also im Sinne von: Auf der englischen Seite stand ein Link "[Seite] auf Deutsch", der zur deutschen Version führte, mit einer deutschen Flagge davor.
In Analytics hatte dieser Traffic tatsächlich einen stark überdurchschnittlichen RPM, und die angezeigten Einnahmen spiegelten recht exakt den wegen ungültiger Aktivität abgezogenen Betrag wider.
Meine Lösung war, AdSense für diesen Traffic nicht mehr anzuzeigen. Daraufhin gab es kaum noch Abzüge wegen ungültiger Aktivität.

[supervisior]

Das lässt sich dann vermutlich nur so erklären, dass Adsense ungeachtet der Traffic Überprüfung den Link Text als Anhalt nimmt, um darüber die Anzeigen auszusteuern und sich durch Deine Praktik in die Irre gefühlt sah. Ich hatte aber eine ähnliche Situation, aber von einer eigenen fremden Seite, wobei ich das, was Du gemacht hast, schon ungeachtet von Adsense so gemacht hatte.

Was diesen "unerlaubten" Traffic anbetrifft, hab ich aber spontan die Cloud Dienste von Google, Bing, und AmazonAWS im Fokus. Die werden zu Hunderten angemietet und scrapen recht fleißig, aber immer nur 1 Seite pro Sitzung, dafür aber rund um die Uhr. Deswegen hab ich da gleich die ganzen Class C Netzwerbereiche über die Firewall geblockt.

Nur mal so als Beispiel:

Code: Alles auswählen

104.199.96.0/19 googleusercontent
104.199.64.0/19 googleusercontent
104.199.0.0/19 googleusercontent
34.76.0.0/14  googleusercontent
104.199.32.0/19 googleusercontent
130.211.0.0/16 googleusercontent
35.208.0.0/12 googleusercontent
35.240.0.0/13 googleusercontent
35.224.0.0/12 googleusercontent
35.192.0.0/12 googleusercontent
35.184.0.0/13 googleusercontent
104.154.0.0/15 googleusercontent
146.148.0.0/17 googleusercontent
4.196.0.0/14 googleusercontent
107.178.192.0/18 googleusercontent
104.199.7.232 googleusercontent

[Hanzo2012]

Jo, diese ganzen Cloud-Dienste, Bots etc. kriegen bei mir auch kein AdSense zu Gesicht. Ich ziehe die Daten aus verschiedenen Quellen, u. a. auch DNS-Blacklists. Komplett blocken tue ich sie nicht, sondern nur diejenigen, die meine Seiten nach Schwachstellen abgrasen. Ich glaube, da hatten wir uns schonmal drüber unterhalten.

[supervisior]

Ich glaube, da hatten wir uns schonmal drüber unterhalten.

Yepp, wobei sich das bei mir im Wesentlichen auf Wordpress Installationen (wovon ich keine habe) UND die ganzen Open Port Seeker reduziert, wobei Letztere jeden Tag so um die 200 sind, aber nur für 1 Tag geblockt werden und auch nur ab einer bestimmten Menge in einem vordefinierten Zeitraum. Um aber die notorischen "Sünder" dauerhaft zu eliminieren, bzw. anfällige Provider zählt mein IDS mit wie oft eine IP schon mal geblockt wurde. Nach dem dritten Mal innerhalb 1 Woche gehts ab in die permanent blocklist. Ist aber auch nur ein Pseudo Schutz, weil die werden irgendwie nie weniger...

[Hanzo2012]

Erstellst du für jeden gebannten Host eine eigene iptables-Regel? Ich hatte das anfangs so gemacht, bin dann aber aus Performance-Gründen zu einer einzigen Regel übergegangen, die prüft, ob die Adresse in einem ipset enthalten ist. Mein Bann-Code manipuliert dann nur noch dieses ipset statt direkt die Firewall-Regeln. Auch darüber hatten wir, glaube ich, schonmal gesprochen

[supervisior]

Nö, ich hab doch nicht nur eine FW, sondern zusätzlich eine Art integriertes IDS. Da muss ich nicht extra jedes Mal was einstellen. Es gibt zwar Grunddefinitionen, die ich nur unwesentlich von der Standard Installation abweichend nachgeschärft habe, aber ansonsten muss ich mich da nicht großartig drum kümmern. Nur so dann und wann mal die logfiles überblicken, aber das dient nur zur Entspannung und wenn ich grad bei einem Problem nicht weiterkomme. Ist alles über GUI schnell und bequem administrierbar und als Plugin Bestandteil von cPanel: https://trycpanel.net/

https://www.configserver.com/cp/csf.html

Kostet mich zwar alles zusammen ~ 20,-/Monat für die Lizenzen, aber ich bekomme dadurch x-fach mehr als bei jedem handelsüblichen Provider, bin aber trotzdem gemanaged.

[supervisior]

Übrigens, um dem möglichen Performance Problem beim Blocken zu begegnen und weniger iptable entries zu erzeugen, empfieht sich z.B. die Nutzung von: http://ipdeny.com/, wenn es darum geht auf Länderebene zu blocken. Diese IP Datenbank lässt sich deutlich schneller nutzen und erzeugt weniger Last als z.B. MaxMind.

Alternativ dazu gäbs dann noch:

https://db-ip.com/db/lite.php
https://iptoasn.com/

[Hanzo2012]

... oder halt ipset. Da braucht es nur eine iptables-Regel. ipset ist Bestandteil vom Linux-Kernel und nutzt Hashing, um blitzschnell zu testen, ob eine IP in einem Set enthalten ist oder nicht. Geht auch mit Ranges/Masken, und auch eine Lebensdauer kann festgelegt werden (so dass eine IP nur eine gewisse Zeit im Set bleibt). Mit ein bisschen Trickserei kann man aber trotzdem noch individuelle Statistiken für jede IP kriegen, um diese "Wiederholungstäter" zu identifizieren und die Lebensdauer ihrer IP im Set zu erhöhen.

[supervisior]

Das Eine schließt ja das Andere nicht aus, bzw. es empfiehlt sich das Nutzen von beidem. Mit den optimierten IP Datenbanken und ipset gehts halt noch etwas schneller. Wenn dann noch ein Automatismus besteht, der nach vordefinierten Regeln alles wieder säubert/zurücksetzt, gehts eigentlich nicht noch besser.