registrieren registriertes Mitglied


Anzeige

Anzeige

Bot / Crawler erkennen

Alles zu Domain-Umzug, Weiterleitungen und Robots diskutiert Ihr hier.
nerd
PostRank 10
PostRank 10
Beiträge: 4269
Registriert: 15.02.2005, 04:02

Beitrag nerd » 17.06.2016, 00:34 Bot / Crawler erkennen

Can hat geschrieben: Bots sind im Internet so etwas wie Bakterien und erfüllen oft einen guten Zweck. Dein Vergleich hinkt, wer seine Seite nicht moderieren kann sollte keine Kommentarfunktion anbieten.
Schau dich mal auf "SEO dienstleistung"-seiten und marktplaetzen um und lies dir mal die angebote dam thema linkbuilding dort durch. Ein paar tausend links zum preis einer tasse kaffe? Glaubst du da sitzten leute dahinter die seine seite im browser besuchen und dein forum zuspammen? DAS sind die bots von dehnen hier die rede ist! Genauso wie bots die deine seite nach sicherheitsluecken in gaengigen CMS durchtesten, standard passwoerter durchprobieren oder andere skript-kiddies die deinen server nach offen mailservern, rdp-servern, ssh oder anderen diensten testen um dann die zugaenge zu verkaufen.

Can hat geschrieben:Ich hoffe, dass du kein Geld im Internet verdienst so wie du dich in ihm bewegst, deinen Posts nach sieht es aber ja so aus. Ich hab schon für mehrere Forschungsprojekte auf Bots zurückgegriffen und bin daher absolut gegen eine unnöttige Totalaussperrung.
Na ich hoffe mal du betreibst mit deinem optimismus keinen server am internet, der dann zur spamschleuder und zum problem fuer andere wird.
Ach ne, kriminelle und arschloescher gibts ja nicht im internet, und die 50% bottraffic auf deinem webserver sind alles harmlose studien der universitaet von narnia und klickbots die dein anzeigen budget bei google oder anderen werbenetzwerken weglicken und dich damit richtig geld kosten gibt es bei dir gluecklicherweise auch nicht ...

Anzeige von:


Hochwertiger Linkaufbau bei ABAKUS:
  • Google-konformer Linkaufbau
  • nachhaltiges Ranking
  • Linkbuilding Angebote zu fairen Preisen
  • internationale Backlinks
Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

superolli
PostRank 8
PostRank 8
Beiträge: 724
Registriert: 22.07.2007, 15:17
Wohnort: Hadamar
Kontaktdaten:

Beitrag superolli » 20.06.2016, 09:19 Bot / Crawler erkennen

"Sorry aber so etwas ist einfach Bullshit. Wieso sollte der Bot der Daten für ein Forschungsprojekt einer Universtiät in Indonesien sammelt nicht auf deine Seite kommen? Hast du Länder komplett ausgeschlossen? Was ist mit Urlaubern die deine Seite aus unerklärlichen gründen für so wichtig erachten dass sie sie im Urlaub aufrufen wollen?"

Hm, lass mich nachdenken. Wie wahrscheinlich ist es, dass indonesische Universitäten meine Seiten durchsuchen? Und wenn Urlauber ausgerechnet direkt vor ihrem Indonesienurlaub die Erkenntnis erlangen, dass sie ohne meine Seite nicht mehr weiterleben können, dann kommen sie nach dem Urlaub sowieso wieder.

Und da ich sogar über den Rand meines Gartens hinausschaue, habe ich für ausländische Freunde sogar einen Translation Button eingebaut habe.

Can, Leute wie DU sind der Grund, warum ich meine Seitenzugriffe einschränken möchte.

Never.Amused
PostRank 5
PostRank 5
Beiträge: 336
Registriert: 07.11.2008, 08:05

Beitrag Never.Amused » 01.08.2016, 14:47 Bot / Crawler erkennen

@superrolli:

Plugin Wordfence --> Advanced Blocking und Rate Limiting Rules in den Options einstellen (z.B. If anyone's requests exceed: 120 per Minute --> Throttle it usw... ) oder in der Pro version Country Blocking

Bei einem guten Proxy-Setup kann man halt nix machen. Bester Schutz gegen spidern (ich schätze jetzt einfach mal deine wirkliche intention ist, dass dein Content nicht repliziert wird) sind unstrukturierte Daten. Deine Zitate in der Zitateseite sind schon realtiv unstrukturiert, da sie keine schemas und keine seperaten seiten pro zitat haben und nur mit <li> strukturiert werden. Der Autor ist immer am Ende innerhalb des <li> getrennt mit ". " (r'\.\s') zu sehen --> also scrapable.

Alles in allem: Für jemanden der deine Daten wirklich strukturiert auslesen will, kein Problem. Einen 100% scraping schutz in Verbindung mit SEO-freundlichkeit gibt es nicht.

Have fun

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag