registrieren registriertes Mitglied


Anzeige

Anzeige

Crawler/Bots am "Klicken" meiner Amazon-Links hindern

Hier kannst Du Deine Fragen zum Thema Suchmaschinenoptimierung (SEO) stellen.
Joe85
PostRank 1
PostRank 1
Beiträge: 18
Registriert: 23.08.2019, 16:27

Beitrag Joe85 » 23.08.2019, 16:58 Crawler/Bots am "Klicken" meiner Amazon-Links hindern

Hi Leute!

Ich hab mir vor einiger Zeit eine kleine Affiliate-Website aufgebaut, die so eine Mischung aus Affiliate-Shop und Magazin ist. Dort hab ich natürlich auch eine ganze Menge Affiliate-Links implementiert, momentan noch in erster Linie von/zu Amazon.

Das Problem, das ich damit habe, ist, dass sich auf meiner Seite auch Bots/Crawler von SEO-Tools wie Semrush rumtreiben, die genau diese Links massenweise anklicken. Und zwar genau jeden Sonntag und Montag. An sich ist das ja nicht schlimm, doch führt das dazu, dass meine Statistiken bei Amazon komplett unbrauchbar werden und meine Conversion-Zahlen in einen sehr niedrigen Bereich fallen.

Ich hab deshalb versucht, die Bots per robots.txt auszusperren - ohne Erfolg:

User-agent: *
Disallow: /produkt/

User-agent: seoscanners[.]net
Disallow: /

User-agent: Dotbot
Disallow: /

User-agent: SemrushBot
Disallow: /


Dann hab ich's per htaccess versucht und auch das hat nichts gebracht:

BrowserMatchNoCase "Dotbot" bots
BrowserMatchNoCase "SemrushBot" bots
BrowserMatchNoCase "Seoscanners[.]net" bots

Order Allow,Deny
Allow from ALL
Deny from env=bots

SetEnvIfNoCase User-Agent (Seoscanners[.]net|SemrushBot|Dotbot) bad_bot
Order Deny,Allow
Deny from env=bad_bot


Der letzte Versuch bestand darin, das Verzeichnis meiner Cloaked Links, die beim Laden der Site in Amazon-Links umgewandelt werden, mittels einer weiteren .htaccess im Verzeichnis für die Bots zu sperren - auch das ohne Erfolg ( https[:]//meinedomain[.]de/produkt/.htaccess ):

<Files "*">
Deny from all
</Files>


Bin ich wirklich der einzige, der dieses Problem hat? Hat einer von euch vielleicht eine Idee, was ich noch machen könnte? Optimal wäre es, wenn sich alle Bots und Crawler einfach nur von meinen Amazon-Links fernhalten ( z.B. https[:]//meinedomain[.]de/produkt/beispielprodukt/ ). Die zweitbeste Lösung wäre wohl, wenn zumindest alle Bots mit Ausnahme der Suchmaschinen-Crawler wie Google und Bing sich komplett von meiner Site fernhalten. Geht das?

Anzeige von:

Zur Verstärkung unseres OffPage-SEO Teams suchen wir zum nächstmöglichen Zeitpunkt einen

Junior SEO Offpage in Vollzeit in Hannover

Die Stelle umfasst die Betreuung und Projektverwaltung von und für Kunden und Kooperationspartner. Wir erstellen Content- und Wettbewerbsanalysen, mit denen nachhaltige und effiziente Linkaufbaukampagnen entwickelt und durchgeführt werden.


staticweb
PostRank 9
PostRank 9
Beiträge: 2394
Registriert: 04.05.2016, 14:34

Beitrag staticweb » 23.08.2019, 17:40 Crawler/Bots am "Klicken" meiner Amazon-Links hindern

Ungeprüft!

RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule .* - [R=403]

Joe85
PostRank 1
PostRank 1
Beiträge: 18
Registriert: 23.08.2019, 16:27

Beitrag Joe85 » 23.08.2019, 21:06 Crawler/Bots am "Klicken" meiner Amazon-Links hindern

Super, danke dir! Ich probier's mal aus.

nerd
PostRank 10
PostRank 10
Beiträge: 4334
Registriert: 15.02.2005, 04:02

Beitrag nerd » 23.08.2019, 22:50 Crawler/Bots am "Klicken" meiner Amazon-Links hindern

Hilft natuerlich nur bei bots die so nett sind ihre eigene kennung in den user agent zu schreiben - und nicht bei solchen die sich als google chrome, firefox, safari usw. tarnen

Joe85
PostRank 1
PostRank 1
Beiträge: 18
Registriert: 23.08.2019, 16:27

Beitrag Joe85 » 26.08.2019, 10:16 Crawler/Bots am "Klicken" meiner Amazon-Links hindern

Hat leider auch nichts gebracht. Gestern wieder 600% mehr Amazon-Klicks als an normalen Tagen "dank" der Bots. Hat jemand noch eine Idee?

Anzeige von: