registrieren registriertes Mitglied


Anzeige

Anzeige

Bots per htaccess aussperren: Bringt das noch was?

Alles zu Domain-Umzug, Weiterleitungen und Robots diskutiert Ihr hier.
Björn1
PostRank 2
PostRank 2
Beiträge: 43
Registriert: 06.07.2013, 15:29

Beitrag Björn1 » 08.11.2019, 10:15 Bots per htaccess aussperren: Bringt das noch was?

Hallo,

Frage siehe Überschrift: Bringt es noch etwas z.B. folgende Bots auszusperren, oder verlängert das nur die Datei htaccess unnötig?

RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Alexibot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Aqua_Products.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*asterias.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*b2w/0.1.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BackDoorBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BacklinkCrawler.*$ [NC,OR]

und viele weitere

Vielen Dank

Anzeige von:

Zur Verstärkung unseres OffPage-SEO Teams suchen wir zum nächstmöglichen Zeitpunkt einen

Junior SEO Offpage in Vollzeit in Hannover

Die Stelle umfasst die Betreuung und Projektverwaltung von und für Kunden und Kooperationspartner. Wir erstellen Content- und Wettbewerbsanalysen, mit denen nachhaltige und effiziente Linkaufbaukampagnen entwickelt und durchgeführt werden.


staticweb
PostRank 9
PostRank 9
Beiträge: 2394
Registriert: 04.05.2016, 14:34

Beitrag staticweb » 08.11.2019, 11:42 Bots per htaccess aussperren: Bringt das noch was?

> Bringt es noch etwas z.B. folgende Bots auszusperren, oder verlängert das nur die Datei htaccess unnötig?

Was verstehst du unter "Bringt es noch etwas"?

Hanzo2012
Community-Manager
Community-Manager
Beiträge: 2172
Registriert: 26.09.2011, 23:31

Beitrag Hanzo2012 » 08.11.2019, 11:45 Bots per htaccess aussperren: Bringt das noch was?

Also wenn schon, dann bitte in einer einzigen Regel alle kombinieren:

RewriteCond %{HTTP_USER_AGENT} AhrefsBot|Alexibot|Aqua_Products|...

Hast du tonnenweise Traffic von Bots, die deinen Server überlasten?

supervisior
PostRank 9
PostRank 9
Beiträge: 2718
Registriert: 26.06.2006, 09:11

Beitrag supervisior » 08.11.2019, 12:21 Bots per htaccess aussperren: Bringt das noch was?

Björn1 hat geschrieben:
08.11.2019, 10:15
Frage siehe Überschrift: Bringt es noch etwas z.B. folgende Bots auszusperren, oder verlängert das nur die Datei htaccess unnötig?
Wenn Du glaubst, dass es Dir ohne diese unerwünschten Bots besser geht, dann mache es so wie @Hanzo2012 es vorgschlagen hat. Es ist aber nicht so, dass blocken einfach nur blocken wäre. Auch das Blocken verbraucht Ressourcen und kann sich auf die Ladegeschwindigkeit auswirken, wenn Du es mit der Liste an Bots übertreibst UND Dein Server nur schwach auf der Brust ist.

So mache ich das:

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} "com.google.GoogleMobile|Photon|SemrushBot|HeadlessChrome|Uptimebot|Wappalyzer|WhatsApp|NetcraftSurveyAgent|contxbot|Gluten Free Crawler|facebookexternalhit|Dalvik|MJ12bot|WordPress|Apache-HttpClient|MSOffice|Dataprovider|www.ru|RU_Bot|FunWebProducts|netEstate|IndustryIndexBot|scrapy|Excel|Exabot|DomainStatsBot|DomainCrawler|Microsoft Windows Network Diagnostics|MegaIndex|oBot|spbot|AlphaBot|TinEye-bot|MauiBot|BacklinkCrawler|Guzzle|ImplisenseBot|Daum|pycurl|PHPCrawl|VelenPublicWebCrawler|Sogou|IndeedBot|HubSpot|WebDataStats|Wget|zgrab|libwww-perl|DotBot|CCBot|MSIE 6.0|MSIE 10.6|MSIE 10.0|MSIE 9.0|MSIE 8.0|Media Center PC|Java|NortheasternSysNetBot|Nimbostratus|Ruby|ZDM|SafeDNSBot|Apache HttpClient|Xbox|SMART-TV|TagVisit|TelegramBot|aiohttp|ZoomBot|WISE|SmartTV|WLMHttpTransport|AhrefsBot|TO-Browser|DomainCheck|Indy Library|serpstatbot|HTTPie|mattermost|CloudFlare|Discordbot|Chromexplorer|WinHttpRequest|YandexVideo|YahooCacheSystem|Test Certificate Info|CATExplorador|WLMHttpTransport|Cakemix|CloudFlare-AlwaysOnline|Viber|adscanner|CheckMarkNetwork|CloudFlare-AlwaysOnline|Link Checker|python-requests|Cakemix|curl|Darwin|DataXu" [NC]
RewriteRule .* - [F,L]

staticweb
PostRank 9
PostRank 9
Beiträge: 2394
Registriert: 04.05.2016, 14:34

Beitrag staticweb » 08.11.2019, 12:26 Bots per htaccess aussperren: Bringt das noch was?

> Auch das Blocken verbraucht Ressourcen

Das kannst du ignorieren, bei einer condition.

> HeadlessChrome | python-requests | curl | scrapy

Wer u.a. diese UAs nutzt kann ihn auch leicht anpassen, so dass du dir das sparen kannst.

Anzeige von: