HowTo: Gelöscht

[supervisior]

Gelöscht

[Hanzo2012]

Nette Idee, ein Honey Pot.

Die Idee ist gut, um sich einen Überblick zu verschaffen, wer da so deine Seiten abgrast, um dann gezielt dagegen vorgehen zu können. Ich würde aber auf keinen Fall, so wie du es scheinbar tust, direkt automatisch die aufrufenden IPs sperren und rate allen davon ab, das zu tun.

Du würdest damit unter Umständen auch Suchmaschinen aussperren, die deine Seite indexieren. Du schreibst zwar, man soll den Link mit rel=nofollow auszeichnen, aber es halten sich nicht unbedingt alle Suchmaschinen daran. Und es ist auch nicht gesagt, dass der Link zur versteckten Seite nicht irgendwo anders auftaucht, meinetwegen auf einer dieser dieser zahllosen SEO-Analyse-Seiten, die automatisch generiert werden. Der Googlebot und andere brave Bots könnten dann über diese andere Seite zu deiner versteckten Seite gelangen und würden blockiert. Ein böser Konkurrent, der deine Masche durchschaut, könnte den Googlebot sogar gezielt zu deiner versteckten Seite hinschicken und dafür sorgen, dass du den Googlebot aussperrst - wenn du keine Whitelist drin hast.

Und was ist mit normalen Usern, deren Browser schon im Hintergrund verlinkte Seiten vorladen? Oder irgendwelche Antivirensoftware, die es sehr gut meint ...

[supervisior]

Du kannst es nur natürlich zerhackstücken wie Du es möchtest. Argumente dagegen gäbs theoretisch viele, aber wenn ich Dir sage, dass ich diese Mehode in der Hardcore Variante, also direkt in die .htaccess geschrieben seit mehreren Jahren projektübergreifend so einsetze, hab ich den praktischen Nachweis (für mich), dass es funktioniert und Du leider nur theoretisierst.

Aber selbst wenn es Einwände gäbe, der entscheidende Punkt ist ja, dass zunächst alles nur in eine Text Datei geschrieben wird und man selbst entscheiden kann, was man damit macht oder eben nicht. Von daher passiert also erstmal nichts, was irgendwie schaden könnte.

Das mit dem nofollow ist ja ganz bewusst für diejenigen gedacht, die sich nicht daran halten. Würde sich jeder daran halten, wäre der Link ja wertlos. Von daher, warum beanstandest Du das, wo der Sinn dahinter eindeutig ist?! Aber losgelöst davon, ich verwende dieses Attribut nicht, sondern habe den Link gleich vorweg von wellknown Bots ausgeschlossen.

[supervisior]

Und was ist mit normalen Usern, deren Browser schon im Hintergrund verlinkte Seiten vorladen? Oder irgendwelche Antivirensoftware, die es sehr gut meint ...

Da passiert nix, weil von dem Vorladen wovon Du sprichst der Link nicht betroffen ist. Der FF zum Beispiel lädt nur Seiten innerhalb einer Pagination vor. Und auch ansonsten gabs bei mir noch nie einen Fehlalarm.

[Hanzo2012]

Wie ich nachträglich noch hinzugefügt habe, könnte ja auch von extern ein Link auf deine versteckte Seite gesetzt werden (ohne nofollow) - ob in böser Absicht oder nicht. Dann würden auch gutartige Crawler/Bots auf der Blacklist landen, wenn man das nicht anderweitig verhindert.

Was ich sagen wollte: Die Idee an sich ist nicht verkehrt, aber wenn man nicht genau weiß, was man tut (und davon gibt's hier so einige, die solche Anleitungen ohne nachzudenken übernehmen), sollte man mit dem automatischen Blockieren sehr sehr vorsichtig sein.

[supervisior]

Wie ich nachträglich noch hinzugefügt habe, könnte ja auch von extern ein Link auf deine versteckte Seite gesetzt werden (ohne nofollow) - ob in böser Absicht oder nicht. Dann würden auch gutartige Crawler/Bots auf der Blacklist landen, wenn man das nicht anderweitig verhindert.

Dann mach das Attribut einfach weg. Es schadet der Funktion nicht, obgleich wenn die Seite leer ist, besteht wenig Anlass diese durch wen auch immer zu indexieren, bzw. zu veröffentlichen.

Was ich sagen wollte: Die Idee an sich ist nicht verkehrt, aber wenn man nicht genau weiß, was man tut (und davon gibt's hier so einige, die solche Anleitungen ohne nachzudenken übernehmen), sollte man mit dem automatischen Blockieren sehr sehr vorsichtig sein.

Deswegen hab ich auch nicht beschrieben, wie man das macht....

[supervisior]

Ich treibe diese Methode sogar auf die Spitze um besonders den Scrapern, also nicht Bots einen Riegel vorzuschieben. Ich habe den besagten Link in Listungen, bzw. Pagination Seiten intergiert und taucht dort wie die anderen Verweise als nicht sichtbarer Link auf, der aber das gleiche HTML Umfeld hat, wie alle Einträge in der Listung auch. Grund dafür ist die Methodik von Scripten, Software und auch Plugins, die sich bestimmte HTML Formatierungen oder Bezeichnungen für Klassen zunutze machen, um solche wiederkehrenden Links identifizieren zu können.

[staticweb]

Dass es dynamische IP Adressen gibt und "Netzwerke" die sich eine IP Adresse teilen sollte dir bekannt sein. Willst du dann alle in "Sippenhaft" nehmen?

[supervisior]

Warum hab ich wohl geschrieben, dass man IP Adressen nicht dauerhaft sperren soll und wenn überhaupt, dann nur nach eingehender Prüfung, wer sich hinter der IP verbirgt? Wobei sich das im Wesentlichen schon dadurch erübrigt, dass nur diejenigen in die Text Datei geschrieben werden, die man ohnehin im Fokus hat. Der normal sterbliche Nutzer kommt auf diese PHP Seite gar nicht und auch an Dich der Hinweis, ich habe das seit Jahren erfolgreich im Einsatz und einen Fehlalarm gab es bislang nicht, zumal ich bei jedem Aufruf auch eine email Benachrichtigung bekomme. So oft passiert das Ganze auch nicht. 1 oder max. 2x in 2 Wochen, wenn überhaupt.

Zumeist und in 99 von 100 Fällen verbirgt sich dahinter ein Aufruf von einem Server ausgehend. Von daher hat sich das mit dynamischen IP Adresssen ohnehin erledigt.

[staticweb]

Wie Hanzo 2012 schon schrieb, sollte diese honey pot Variante mit Vorsicht genutzt werden, wenn sie denn für eine "permante" Sperrung genutzt werden soll.

Wenn du nur einen Alarm pro Woche hast scheint da etwas nicht zu stimmen oder du hast einen Großteil der IPs bereits vorgefiltert.

Wie du schon schreibst wirst du "clientseitiges" scraping damit kaum ausbremsen können. "Serverseitige" Aktivitäten von Bot(s|netzwerken) dagegen schon.

[supervisior]

1.) Die Idee ist unschlagbar gut

2.) Ihr theoretisiert beide

3.) Ich praktiziere es erfolgreich und widerlege jeden theoretischen Einwand


Und jetzt Schluss mit Euren Theorien solange Ihr nichts besseres zu liefern habt!

[staticweb]

> 1.) Die Idee ist unschlagbar gut

Die hatten bestimmt schon andere.

2.) Ihr theoretisiert beide

Das ist korrekt.

3.) Ich praktiziere es erfolgreich und widerlege jeden theoretischen Einwand

Ja, prophylaktisch.

> Und jetzt Schluss mit Euren Theorien solange Ihr nichts besseres zu liefern habt!

Noch nicht ganz.

> Was es aber braucht, ist eine PHP Funktion, die nichts anderes macht als die Zeit des Aufrufs, die IP Adresse und den User Agent in eine Text Datei zu schreiben.

Speicherung nicht anonymisierter IP-Adressen. Was sagt eigentlich die DSGVO dazu?

>> Aber losgelöst davon, ich verwende dieses Attribut nicht, sondern habe den Link gleich vorweg von wellknown Bots ausgeschlossen.

Könnte als Cloaking gewertet werden.

[supervisior]

3.) Ich praktiziere es erfolgreich und widerlege jeden theoretischen Einwand

Ja, prophylaktisch.

Ja klar, anders machts ja keinen Sinn.

Speicherung nicht anonymisierter IP-Adressen. Was sagt eigentlich die DSGVO dazu?

Tu Dich bitte mal einlesen. Zur Gefahrenabwehr ist nicht nur das Speichern von IP Adressen erlaubt, sondern auch das zustimmungsfreie Setzen von Cookies. Aber wenn Du schon damit anfängst, dann verteufle bitte auch das Speichern der IP Adresse in die access_log. Bist Du jetzt päpstlicher als der Papst?

Lass das sinnlose und an den Haaren herbeigezogene Genörgle. Du bist aber gern eingeladen meine Idee zu verbessern.

>> Aber losgelöst davon, ich verwende dieses Attribut nicht, sondern habe den Link gleich vorweg von wellknown Bots ausgeschlossen.

Könnte als Cloaking gewertet werden.

Das kann nur der bewerten, der so was auch bewertet und wenn derjenige davon gleich überhaupt nichts mitbekommt, kann er auch nichts bewerten. Ist aber auch egal, die Seite hat keinen Content, also was soll das überflüssige Genörgle?

[Hanzo2012]

Nun komm mal runter ...

Ich habe doch gesagt, dass die Idee gut ist. Nur am automatischen Sperren habe ich mich gestört, denn deine erste Beschreibung las sich so:

„Ich sperre jeden, der meine versteckte Seite aufruft, deren URL ich überall verlinke. Gute Crawler gehen da nicht hin, weil ich rel=nofollow benutze.“

Da frage ich mich doch sofort, was passiert, wenn ein guter Crawler doch hinkommt, z. B. weil du mal vergisst das rel=nofollow einzubauen, oder weil ein Link von außen auf deine versteckte Seite zeigt.

Wenn du jedes Mal eine Mail kriegst und den Googlebot und andere Gute extra nochmal whitelistest, ist das ja alles kaum ein Problem. Davon stand allerdings nichts in deiner Beschreibung, das hast du erst später gesagt.

[supervisior]

Ich bin unten, rege mich aber trotzdem über sinnloses Genörgel auf, was sich aber nicht auf Dich bezieht.

Es lässt sich im Nachhinein zwar immer sagen, aber als ich das mit dem nofollow geschrieben habe, hatte ich schon beim Tippen meine Bedenken, dass das den Nörglern nicht gefallen wird.... Also lassen wir das mit dem Nofollow weg.

Dass ich das mit dem automatischen sperren, darfst mich gern kritisieren. Ist aber meine Sache, ätsch Und aus gutem Grund damit die Nörgler nichts zu nörgeln haben, habe ich es nicht beschrieben, wie man das mit dem automatischen Speichern macht. Also was soll das Genörgel?