Bots per htaccess aussperren: Bringt das noch was?

[Björn1]

Hallo,

Frage siehe Überschrift: Bringt es noch etwas z.B. folgende Bots auszusperren, oder verlängert das nur die Datei htaccess unnötig?

RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Alexibot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Aqua_Products.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*asterias.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*b2w/0.1.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BackDoorBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BacklinkCrawler.*$ [NC,OR]

und viele weitere

Vielen Dank

[staticweb]

> Bringt es noch etwas z.B. folgende Bots auszusperren, oder verlängert das nur die Datei htaccess unnötig?

Was verstehst du unter "Bringt es noch etwas"?

[Hanzo2012]

Also wenn schon, dann bitte in einer einzigen Regel alle kombinieren:

RewriteCond %{HTTP_USER_AGENT} AhrefsBot|Alexibot|Aqua_Products|...

Hast du tonnenweise Traffic von Bots, die deinen Server überlasten?

[supervisior]

Frage siehe Überschrift: Bringt es noch etwas z.B. folgende Bots auszusperren, oder verlängert das nur die Datei htaccess unnötig?

Wenn Du glaubst, dass es Dir ohne diese unerwünschten Bots besser geht, dann mache es so wie @Hanzo2012 es vorgschlagen hat. Es ist aber nicht so, dass blocken einfach nur blocken wäre. Auch das Blocken verbraucht Ressourcen und kann sich auf die Ladegeschwindigkeit auswirken, wenn Du es mit der Liste an Bots übertreibst UND Dein Server nur schwach auf der Brust ist.

So mache ich das:

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} "com.google.GoogleMobile|Photon|SemrushBot|HeadlessChrome|Uptimebot|Wappalyzer|WhatsApp|NetcraftSurveyAgent|contxbot|Gluten Free Crawler|facebookexternalhit|Dalvik|MJ12bot|WordPress|Apache-HttpClient|MSOffice|Dataprovider|www.ru|RU_Bot|FunWebProducts|netEstate|IndustryIndexBot|scrapy|Excel|Exabot|DomainStatsBot|DomainCrawler|Microsoft Windows Network Diagnostics|MegaIndex|oBot|spbot|AlphaBot|TinEye-bot|MauiBot|BacklinkCrawler|Guzzle|ImplisenseBot|Daum|pycurl|PHPCrawl|VelenPublicWebCrawler|Sogou|IndeedBot|HubSpot|WebDataStats|Wget|zgrab|libwww-perl|DotBot|CCBot|MSIE 6.0|MSIE 10.6|MSIE 10.0|MSIE 9.0|MSIE 8.0|Media Center PC|Java|NortheasternSysNetBot|Nimbostratus|Ruby|ZDM|SafeDNSBot|Apache HttpClient|Xbox|SMART-TV|TagVisit|TelegramBot|aiohttp|ZoomBot|WISE|SmartTV|WLMHttpTransport|AhrefsBot|TO-Browser|DomainCheck|Indy Library|serpstatbot|HTTPie|mattermost|CloudFlare|Discordbot|Chromexplorer|WinHttpRequest|YandexVideo|YahooCacheSystem|Test Certificate Info|CATExplorador|WLMHttpTransport|Cakemix|CloudFlare-AlwaysOnline|Viber|adscanner|CheckMarkNetwork|CloudFlare-AlwaysOnline|Link Checker|python-requests|Cakemix|curl|Darwin|DataXu" [NC]
RewriteRule .* - [F,L]

[staticweb]

> Auch das Blocken verbraucht Ressourcen

Das kannst du ignorieren, bei einer condition.

> HeadlessChrome | python-requests | curl | scrapy

Wer u.a. diese UAs nutzt kann ihn auch leicht anpassen, so dass du dir das sparen kannst.

[supervisior]

> HeadlessChrome | python-requests | curl | scrapy

Wer u.a. diese UAs nutzt kann ihn auch leicht anpassen, so dass du dir das sparen kannst.

Erklär' mal bitte wie Du das meinst. Kann Dir grad nicht folgen...

[Hanzo2012]

Er meint, dass Leute, die solche Tools nutzen, einfach den User Agent ändern können, um deine Sperre zu umgehen. Prinzipiell schon, erfordert allerdings ein bisschen Arbeit und ist für viele Leute vielleicht schon zu viel verlangt.

[staticweb]

>> HeadlessChrome | python-requests | curl | scrapy
> Erklär' mal bitte wie Du das meinst. Kann Dir grad nicht folgen...

So wie ich es geschrieben habe.
Wer diese UA's nutzt, hat in der Regel auch die Möglichkeit diese bei Bedarf anzupassen, wenn sie geblockt werden.

Vor allem fehlt mindestens ein wichtiger UA.

[supervisior]

Das ist wohl war, gilt dann aber ausnahmslos für jeden anderen UA auch. Von daher ist Deine Anmerkung obsolet. Weiß aber worauf Du anspielen willst. Der Punkt ist aber, dass diese von Dir aufgeführten UAs zumeist Bestandteil oder Funktion von zum Scrapen benutzte Software/Scripten oder bestimmten Browser Versionen ist und die Nutzer dieser Software zumeist gar nicht wissen oder gar nicht die Möglichkeit haben den UA zu ändern.

[staticweb]

> gilt dann aber ausnahmslos für jeden anderen UA auch

Falsch!

> Der Punkt ist aber, dass diese von Dir aufgeführten UAs zumeist Bestandteil oder Funktion von zum Scrapen benutzte Software/Scripten oder bestimmten Browser Versionen ist und die Nutzer dieser Software zumeist gar nicht wissen oder gar nicht die Möglichkeit haben den UA zu ändern.

Bei deiner Aussage musst du schon zwischen Scripten, Online-Diensten und Software unterscheiden. Bei letzterer ist es in der Free-Version z.B. meist gesperrt.

[supervisior]

Warum soll das falsch sein?!

Du gehst bei Deiner Denke davon aus, dass sich bei der besagten Software immer Software handelt hat auf die man Zugriff hat und man diese ändern könnte. Die besagten UAs sagen absolut nichts darüber aus, ob es sich dabei um einen Dienst handelt oder um eine Software, die man selbst installiert nutzen und dann auch ändern kann.

Nur als Randbemerkung, ich beschäftige mich mit dem Thema ungeliebte Bots und Scraper schon ein paar Jahre und hab deswegen einen guten Überblick was es so am Markt gibt und was man damit machen kann. Wenn Du etwas zu sagen hast, dann wäre es schon gut, wenn Du Deine Aussage halbwegs begründen würdest. Einfach mal ein "Falsch" in den Raum werfen, zieht bei mir nicht.

[staticweb]

> Warum soll das falsch sein?!

Weil es auch Bots / Crawler gibt die den UA nicht ändern.

> Die besagten UAs sagen absolut nichts darüber aus, ob es sich dabei um einen Dienst handelt oder um eine Software, die man selbst installiert nutzen und dann auch ändern kann.

Mit einer gewissen Erfahrung, kann man die richtigen Rückschlüsse ziehen. Und nein der UA allein sagt noch gar nichts aus.

> ich beschäftige mich mit dem Thema ungeliebte Bots und Scraper schon ein paar Jahre und hab deswegen einen guten Überblick was es so am Markt gibt

Dann wundern mich deine Aussagen und deine condition.

> Einfach mal ein "Falsch" in den Raum werfen, zieht bei mir nicht.

Was bei dir zieht ist hier nicht von Bedeutung. Die Begründung steht bereits oben.

[supervisior]

> Warum soll das falsch sein?!

Weil es auch Bots / Crawler gibt die den UA nicht ändern.

Richtig, deswegen verstehe ich auch Deine Argumentation nicht?!

> Die besagten UAs sagen absolut nichts darüber aus, ob es sich dabei um einen Dienst handelt oder um eine Software, die man selbst installiert nutzen und dann auch ändern kann.

Mit einer gewissen Erfahrung, kann man die richtigen Rückschlüsse ziehen. Und nein der UA allein sagt noch gar nichts aus.

Du meinst JA, der UA allein sagt noch gar nichts aus.

> ich beschäftige mich mit dem Thema ungeliebte Bots und Scraper schon ein paar Jahre und hab deswegen einen guten Überblick was es so am Markt gibt

Dann wundern mich deine Aussagen und deine condition.

Weil Du nicht wissen kannst, dass ich es allein bei der UA Prüfung alleine nicht belasse. Das wäre dann etwas zu einfach.

> Einfach mal ein "Falsch" in den Raum werfen, zieht bei mir nicht.

Was bei dir zieht ist hier nicht von Bedeutung. Die Begründung steht bereits oben.

Begründet hast Du bis dato goar nix. Von daher ist Deine Argumentation sinnfrei und wertlos.