Wie man ("bad") Bots blocken kann - Neuer Versuch

[arnego2]

Ich halte von der Blocktiertaktik nicht viel.
Grund ist das du eventuell damit eventuell schlafende Geister weckst.

[supervisior]

Ich halte von der Blocktiertaktik nicht viel.
Grund ist das du eventuell damit eventuell schlafende Geister weckst.

Mit dieser pauschalierten EInstellung lehnst Du aber jegliche Form von Sicherheit ab.

[arnego2]

Das ist Interpretierung.
Ich halte es für Gefährlich wenn Firmen sich keine Sicherheit leisten, Sicherheit ist aber mit blockieren nicht getan. Offline gehen ist das einzige was 100 % Sicher ist.

[supervisior]

Das ist Interpretierung.

Nö, das ist einfach eine Schlussfogerung, weil Du Deine Aussage zumindest nicht relativiert, bzw. eingeschränkt hast.

Ich halte es für Gefährlich wenn Firmen sich keine Sicherheit leisten.

Schlussfolgerung: Du bist keine Firma und deswegen gilt Deine Regel für Dich nicht.

Sicherheit ist aber mit blockieren nicht getan.

Naja, wenn ich in Dein(e) Wohnung/Haus einbreche, willst Du ja auch, dass ich nicht reinkomme, also blockierst Du mich.
Richtig oder Falsch?

Offline gehen ist das einzige was 100 % Sicher ist.

...und weil es im Winter kalt ist, gehe ich (DU) nicht nach draußen.
...und weil ich nach dem Wassertrinken immer pinkeln muss, trinke ich kein Wasser.

[staticweb]

> Du denkst viel zu kompliziert. Ich mach Dir nochmal den Vorschlag, dass Du es einfach mal ausprobieren solltest. Also nicht gleich blocken, sondern die Requests einfach nur in ein, bzw. 2 separate Logfiles schreiben.

Ich würde vorschlagen du setzt mal ein anonymes Test Projekt auf und wir schauen dann in der Realität ob es funktioniert.

[Hanzo2012]

Siehst Du das Fragezeichen? Also ich sehe eines!

Wenn du fragst "Wie kann ich das universell einsetzbar machen?", ist dann meine Schlussfolgerung wirklich so abwegig, dass du genau das beabsichtigst?
Ist letztlich aber egal, ob du das beabsichtigst oder nicht, denn du hast danach gefragt und wolltest darüber diskutieren.

Für mich der falche Ansatz. (...)

Für deinen Einsatzzweck vielleicht, aber mir ging es um eine universell einsetzbare Lösung, da du ja danach gefragt hast und darüber diskutieren wolltest.

Für eine universell einsetzbare Lösung ist dein Ansatz zu radikal, wie ich sehr ausführlich dargelegt habe. Du müsstest tausende Ausnahmen definieren für Dinge, die nicht blockiert werden dürfen, weil sie für irgendjemanden wichtig sein könnten, was praktisch unmöglich ist. Beispiele habe ich genannt.
Mein Ansatz hingegen blockiert nur dann, wenn sehr sicher etwas faul ist.

@arnego2: Für mich geht es hier weniger um Sicherheit, sondern mehr darum, Ressourcen zu sparen. Wenn ich damit auf einfachste Weise viele als Browser getarnte Crawler aussperren kann, dann erspare ich meinem Server womöglich hunderttausende Requests.

Naja, wenn ich in Dein(e) Wohnung/Haus einbreche, willst Du ja auch, dass ich nicht reinkomme, also blockierst Du mich.
Richtig oder Falsch?

Um bei deiner Analogie zu bleiben: Du schmeißt jeden sofort von deinem Grundstück runter, der verdächtig aussieht und nicht auf deiner Ausnahmenliste steht, und vergisst dabei möglicherweise eine Ausnahme für den monatlich wechselnden Hermes-Boten zu machen, so dass deine Pakete nicht ankommen.

[supervisior]

Siehst Du das Fragezeichen? Also ich sehe eines!

Wenn du fragst "Wie kann ich das universell einsetzbar machen?", ist dann meine Schlussfolgerung wirklich so abwegig, dass du genau das beabsichtigst?

Ich hab es nun mehrfach zum Ausdruck gebracht. Willst Du es nicht akzeptieren oder kannst schlichtweg nicht? Zefünferl!

Für mich der falche Ansatz. (...)

Für deinen Einsatzzweck vielleicht, aber mir ging es um eine universell einsetzbare Lösung, da du ja danach gefragt hast und darüber diskutieren wolltest.

Für eine universell einsetzbare Lösung ist dein Ansatz zu radikal, wie ich sehr ausführlich dargelegt habe. Du müsstest tausende Ausnahmen definieren für Dinge, die irgendjemand nutzen könnte, was praktisch unmöglich ist. Beispiele habe ich genannt.
Mein Ansatz hingegen blockiert nur dann, wenn sehr sicher etwas faul ist.

Was heißt da für meinen Einsatzzweck? Ich bezwecke wenn, dann das Gleiche wie Du und was bitte ist daran radikal? Schwarz ist schwarz und weiß ist weiß. Warum denn noch hinterfragen, ob schwarz wirklich schwarz ist?

Naja, wenn ich in Dein(e) Wohnung/Haus einbreche, willst Du ja auch, dass ich nicht reinkomme, also blockierst Du mich.
Richtig oder Falsch?

Um bei deiner Analogie zu bleiben: Du schmeißt jeden sofort von deinem Grundstück runter, der verdächtig aussieht, und vergisst dabei möglicherweise eine Ausnahme für den monatlich wechselnden Hermes-Boten zu machen, so dass deine Pakete nicht ankommen.
Ich hingegen schmeiße nur diejenigen runter, die sich nachweislich als Bekannte von mir verkleiden. Und natürlich auch diejenigen, die sich an meiner Tür zu schaffen machen.

Auf der einen Seite willst Du nachweislich nur diejenigen rauswerfen, die sich als Bekannte verkleiden und Resourcen einsparen, auf der anderen Seite hinterfragst Du doch, ob schwarz wirklich schwarz ist und verwendest dafür weitere Prüffaktoren, die nicht weniger oder mehr sicherer sind als meine Vorgehensweise. Sorry, ich kann Deiner Logik nicht folgen. Aber wir wollen ja nur diskutieren, gell?

[Hanzo2012]

Was heißt da für meinen Einsatzzweck? Ich bezwecke wenn, dann das Gleiche wie Du und was bitte ist daran radikal? Schwarz ist schwarz und weiß ist weiß. Warum denn noch hinterfragen, ob schwarz wirklich schwarz ist?

Dein Einsatzzweck = unerwünschte Bots von deinem persönlichen Server fernzuhalten.

Radikal = alles zu blockieren, was diese Header nicht sendet und nicht auf der Ausnahmeliste steht.

Du betreibst offenbar keinen Online-Shop, nutzt kein LetsEncrypt und verdienst dein Geld nicht mit Werbung.
Darum ist es dir wurscht, ob PayPal blockiert wird, ob LetsEncrypt blockiert wird, ob Preisvergleichssuchmaschinen blockiert werden und ob ads.txt-Crawler blockiert werden.

Schön und gut, wenn das für dich funktioniert. Für eine universell einsetzbare Lösung, über die du diskutieren wolltest, ist das aber nicht akzeptabel!

[supervisior]

Sorry, Du redest Blödsinn und liest entweder nicht was ich schreibe oder willst es nicht verstehen. Also lassen wir (ich) das. Ich hätte es wissen müssen, dass man mit Dir nicht darüber diskutieren kann, weil Deine "Tonart" sich im Vergleich zum letzten Vorfall in keinster Weise geändert hat.

Ich bin hier raus und jetzt wirklich!

[arnego2]

Ich halte es für Gefährlich wenn Firmen sich keine Sicherheit leisten.

Schlussfolgerung: Du bist keine Firma und deswegen gilt Deine Regel für Dich nicht.

Falsch, Außerdem arbeiten wir recht häufig für Firmen

Offline gehen ist das einzige was 100 % Sicher ist.

...und weil es im Winter kalt ist, gehe ich (DU) nicht nach draußen.
...und weil ich nach dem Wassertrinken immer pinkeln muss, trinke ich kein Wasser.

Nö, Warm anziehen

[Hanzo2012]

Sorry, Du redest Blödsinn und liest entweder nicht was ich schreibe oder willst es nicht verstehen.

Toll, wie sachlich du argumentierst. Deinen Vorwurf kann ich nur erwidern.

Also lassen wir (ich) das. Ich hätte es wissen müssen, dass man mit Dir nicht darüber diskutieren kann, weil Deine "Tonart" sich im Vergleich zum letzten Vorfall in keinster Weise geändert hat.

Im Gegensatz zu dir habe ich hier nur sachlich argumentiert. Du bist derjenige, mit dem man nicht diskutieren kann, weil du dich stets persönlich angegriffen fühlst und auf logische Argumentation nur noch Aussagen entgegnest wie "du redest Blödsinn" oder "du willst es nicht verstehen", statt auf die Argumente einzugehen. Und wenn du damit nicht mehr weiterkommst, weil dein Gegenüber einen kühlen Kopf bewahrt und sich davon nicht beeindrucken lässt, dann schlüpfst du in die Opferrolle und machst einen Abgang.

Ich bin hier raus und jetzt wirklich!

Dann mach's mal gut.

[Steppke030]

Ich mache es so.

Ich logge alle 404er-Zugriffe (mein Content ändert sich regelmäßig) und habe auch hidden-nofollow-Links auf meiner Seite.

Dann schau ich mir die geloggten IPs an und wenn es die IP eines VPS/Serveranbieters ist, sperre ich, per ASN-Abruf, den gesamten IP-Bereich des Serveranbieters aus. OVH, aber auch Domainfactory, Greatnet und Hetzner (und zahllose andere Serveranbieter weltweit) sind vollständig geblockt, auch die Cloudanbieter.

Zusätzlich sind die Tor-Exitnodes gesperrt. Auch mehrere Länder (in Afrika und Asien) habe ich vollständig ausgesperrt.

Zusätzlich sind alle Bots dieser ganzen "SEO-Analyse-Firmen" gesperrt. Meine Seite taucht nirgends dort auf, man kann die Struktur meiner Seite über diese Dienste nicht analysieren. Bei Ahrefs & Co bin ich inexistent.

Die Blocklist gilt für 24 Stunden - nachts um 3 wird per Cron ein Shellscript gestartet, das die alte Liste löscht, per ASN alles neu einliest, auch die Tor-Exitnodes, eine neue Blockliste erstellt, die wiederum 24 Stunden aktiv bleibt. Alles automatisch.

Damit habe ich über 90 Prozent des ganzen Bullshits ausgesperrt.

Diejenigen, die über ihren Rootserver ein eigenes VPN betreiben, haben halt Pech gehabt. Eine vernachlässigbare Minderheit.

Der kleine Rest ist egal, denn wie hier schon erwähnt, sind 100 Prozent unmöglich und jedes Prozent mehr, kostet so viel Zeit, dass es sich einfach nicht lohnt.

Mit der Zeit kann man nämlich sinnvolleres machen (z.B. Geld verdienen).

Mir reicht das.

[Hanzo2012]

@Steppke030: Klingt im Prinzip gut, aber wenn du schreibst "Dann schau ich mir die geloggten IPs an", meinst du dann, dass du das per Hand machst?

[Steppke030]

@Steppke030: Klingt im Prinzip gut, aber wenn du schreibst "Dann schau ich mir die geloggten IPs an", meinst du dann, dass du das per Hand machst?

Nein, ich habe mir dafür ein kleines Script geschrieben, was das macht, und mir für die jeweiligen IPs gleich den ISP (mit Namen, URL zur Webseite) anzeigt, sortiert.

Damit kann man dann ganz schnell durchscrollen/durchklicken und die Übeltäter identifizieren.

Dann kommt die IP in meinen ASN-Identifier, per Ajax-Klick (hab mir da son Webinterface zusammengebastelt), das Shellscript holt sich die Daten, und die gesamten (Server)ISP-IP-Blöcke werden dann gesperrt, mit 24 stündigen refresh der IPs.

Und die ganzen Scraper und Scriptkiddies, die glauben, dass sie sich bei ihrem VPS/Server-ISP nur eine neue IP holen müssen, um weitermachen zu können, schauen frustriert und dauerhaft in die Röhre.