registrieren registriertes Mitglied


Anzeige

Anzeige

Bots per htaccess aussperren: Bringt das noch was?

Alles zu Domain-Umzug, Weiterleitungen und Robots diskutiert Ihr hier.
Björn1
PostRank 2
PostRank 2
Beiträge: 43
Registriert: 06.07.2013, 15:29

Beitrag Björn1 » 08.11.2019, 10:15 Bots per htaccess aussperren: Bringt das noch was?

Hallo,

Frage siehe Überschrift: Bringt es noch etwas z.B. folgende Bots auszusperren, oder verlängert das nur die Datei htaccess unnötig?

RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Alexibot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Aqua_Products.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*asterias.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*b2w/0.1.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BackDoorBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BacklinkCrawler.*$ [NC,OR]

und viele weitere

Vielen Dank

Anzeige von:

Personal Branding mit ABAKUS:
  • Höhere Glaubwürdigkeit
  • Hervorhebung Ihrer Kompetenz
  • Stärkung Ihrer Alleinstellungsmerkmale
  • Abhebung von Namensvettern
Profitieren Sie von unserer Erfahrung!
0511 / 300325-0

staticweb
PostRank 9
PostRank 9
Beiträge: 2094
Registriert: 04.05.2016, 14:34

Beitrag staticweb » 08.11.2019, 11:42 Bots per htaccess aussperren: Bringt das noch was?

> Bringt es noch etwas z.B. folgende Bots auszusperren, oder verlängert das nur die Datei htaccess unnötig?

Was verstehst du unter "Bringt es noch etwas"?

Hanzo2012
Community-Manager
Community-Manager
Beiträge: 2005
Registriert: 26.09.2011, 23:31

Beitrag Hanzo2012 » 08.11.2019, 11:45 Bots per htaccess aussperren: Bringt das noch was?

Also wenn schon, dann bitte in einer einzigen Regel alle kombinieren:

RewriteCond %{HTTP_USER_AGENT} AhrefsBot|Alexibot|Aqua_Products|...

Hast du tonnenweise Traffic von Bots, die deinen Server überlasten?

supervisior
PostRank 9
PostRank 9
Beiträge: 2250
Registriert: 26.06.2006, 09:11

Beitrag supervisior » 08.11.2019, 12:21 Bots per htaccess aussperren: Bringt das noch was?

Björn1 hat geschrieben:
08.11.2019, 10:15
Frage siehe Überschrift: Bringt es noch etwas z.B. folgende Bots auszusperren, oder verlängert das nur die Datei htaccess unnötig?
Wenn Du glaubst, dass es Dir ohne diese unerwünschten Bots besser geht, dann mache es so wie @Hanzo2012 es vorgschlagen hat. Es ist aber nicht so, dass blocken einfach nur blocken wäre. Auch das Blocken verbraucht Ressourcen und kann sich auf die Ladegeschwindigkeit auswirken, wenn Du es mit der Liste an Bots übertreibst UND Dein Server nur schwach auf der Brust ist.

So mache ich das:

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} "com.google.GoogleMobile|Photon|SemrushBot|HeadlessChrome|Uptimebot|Wappalyzer|WhatsApp|NetcraftSurveyAgent|contxbot|Gluten Free Crawler|facebookexternalhit|Dalvik|MJ12bot|WordPress|Apache-HttpClient|MSOffice|Dataprovider|www.ru|RU_Bot|FunWebProducts|netEstate|IndustryIndexBot|scrapy|Excel|Exabot|DomainStatsBot|DomainCrawler|Microsoft Windows Network Diagnostics|MegaIndex|oBot|spbot|AlphaBot|TinEye-bot|MauiBot|BacklinkCrawler|Guzzle|ImplisenseBot|Daum|pycurl|PHPCrawl|VelenPublicWebCrawler|Sogou|IndeedBot|HubSpot|WebDataStats|Wget|zgrab|libwww-perl|DotBot|CCBot|MSIE 6.0|MSIE 10.6|MSIE 10.0|MSIE 9.0|MSIE 8.0|Media Center PC|Java|NortheasternSysNetBot|Nimbostratus|Ruby|ZDM|SafeDNSBot|Apache HttpClient|Xbox|SMART-TV|TagVisit|TelegramBot|aiohttp|ZoomBot|WISE|SmartTV|WLMHttpTransport|AhrefsBot|TO-Browser|DomainCheck|Indy Library|serpstatbot|HTTPie|mattermost|CloudFlare|Discordbot|Chromexplorer|WinHttpRequest|YandexVideo|YahooCacheSystem|Test Certificate Info|CATExplorador|WLMHttpTransport|Cakemix|CloudFlare-AlwaysOnline|Viber|adscanner|CheckMarkNetwork|CloudFlare-AlwaysOnline|Link Checker|python-requests|Cakemix|curl|Darwin|DataXu" [NC]
RewriteRule .* - [F,L]

staticweb
PostRank 9
PostRank 9
Beiträge: 2094
Registriert: 04.05.2016, 14:34

Beitrag staticweb » 08.11.2019, 12:26 Bots per htaccess aussperren: Bringt das noch was?

> Auch das Blocken verbraucht Ressourcen

Das kannst du ignorieren, bei einer condition.

> HeadlessChrome | python-requests | curl | scrapy

Wer u.a. diese UAs nutzt kann ihn auch leicht anpassen, so dass du dir das sparen kannst.

Anzeige von: