registrieren registriertes Mitglied


Anzeige

Anzeige

Ich werde von Robot-Bots blockiert - Hilfe !

Alles zu Domain-Umzug, Weiterleitungen und Robots diskutiert Ihr hier.
torstenv
PostRank 2
PostRank 2
Beiträge: 52
Registriert: 10.06.2014, 22:02

Beitrag torstenv » 16.03.2015, 11:51 Ich werde von Robot-Bots blockiert - Hilfe !

Hallo,

ich habe einen Server, auf dem 35 Webshops aufen.
Dier ist aber zur Zeit nicht erreichbar, da meine CPU-Auslastung über 400% liegt, weil SEO-Spider / Bots drauf zugreifen... !

Was kann ich tun, um dies zu verhindern ?

Meine robots.txt sieht derzeit so aus:

User-agent: *
Disallow: /xtLogs/
Disallow: /xtFramework/
Disallow: /xtCore/
Disallow: /xtAdmin/
Disallow: /templates/
Disallow: /templates_c/
Disallow: /cache/
Disallow: /conf/
Disallow: /db/
Disallow: /ioncube/
Disallow: /export/
Disallow: /lic/
Disallow: /plugins/
Disallow: /logs/
Disallow: /xtLogs/
Disallow: /pre_includes/
Disallow: /plugin_cache/
Disallow: /*?popup=true
Disallow: /*search
Disallow: /*cart
Disallow: /*customer
Disallow: /*checkout

Vielen Dank für Eure Hilfe !

VG,

Torsten

Anzeige von:

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Benutzeravatar
bbnetch
PostRank 8
PostRank 8
Beiträge: 869
Registriert: 02.06.2005, 18:24
Wohnort: Philippinen
Kontaktdaten:

Beitrag bbnetch » 16.03.2015, 15:39 Ich werde von Robot-Bots blockiert - Hilfe !

du solltest die spider direckt sperren, entweder per useragent, oder noch besser direckt die ip.
die meisten "boesen" spider ignorieren die robots.txt sowiso, darauf achten nur gerade serioese suchmaschinen.

wie man das macht findest du 1000fach im web.
https://www.google.de/search?q=htaccess ... aussperren

ich nutze dazu allerding ein service, der kostet allerdings einiges, aber damit hast du entgueltig ruhe, und kannst gezielt nach ip, proxy, tor, laender, sprachen und x andere dinge sperren.

https://www.blocked.com
absolut hammer das ding, und jeden cent wert :)
Geld verdienen im Schlaf und so ...Webmasterforum

Suche Linktausch Thema: Reisen, Philippinen, Ferienwohnung/Apartment, Tauchen, Urlaub etz. PN bitte!
.

nerd
PostRank 10
PostRank 10
Beiträge: 4186
Registriert: 15.02.2005, 04:02

Beitrag nerd » 16.03.2015, 22:39 Ich werde von Robot-Bots blockiert - Hilfe !

torstenv hat geschrieben: Dier ist aber zur Zeit nicht erreichbar, da meine CPU-Auslastung über 400% liegt
Prozentrechnung geht aber anders...
torstenv hat geschrieben: Meine robots.txt sieht derzeit so aus:
Die robots txt ist lediglich eine empfehlung, keine regel an die sich irgendwer halten muesste. Entweder du blockst die bots schon bevor sie bei dir aufschlagen mit einem externen dienst, oder du versuchst es mit .htaccess

ralf-isi
PostRank 4
PostRank 4
Beiträge: 123
Registriert: 03.01.2012, 21:03
Wohnort: Bülach / Schweiz

Beitrag ralf-isi » 17.03.2015, 08:18 Ich werde von Robot-Bots blockiert - Hilfe !

oder du versuchst es mit bot-trap. setze ich schon lange ein und funktioniert.

Rem
PostRank 10
PostRank 10
Beiträge: 3866
Registriert: 08.12.2005, 18:45

Beitrag Rem » 20.03.2015, 18:13 Ich werde von Robot-Bots blockiert - Hilfe !

nerd hat geschrieben:
torstenv hat geschrieben: Dier ist aber zur Zeit nicht erreichbar, da meine CPU-Auslastung über 400% liegt
Prozentrechnung geht aber anders...
Das meint 4 Kerne mit jeweils 100% Auslastung...

seonewbie
PostRank 9
PostRank 9
Beiträge: 1939
Registriert: 21.10.2006, 21:50

Beitrag seonewbie » 21.03.2015, 08:14 Ich werde von Robot-Bots blockiert - Hilfe !

Das hat nix mit Bots zu tun du hast einfach einen miesen Administrator.
Dein Server Swapped!!!

1 MySql tunen
2. Apache tunen
3. Firefall aufspielen
4 Den Kernel gegen dDos konfigurieren

Gerade das letzte bremst jeden Bot aus.

Gruß

Micha
Suche Linktausch zum Thema Mode. Bitte PM
Backlink-Generator | Artikelverzeichnis | PageRank | SEnuke X
Don't smoke, don't fight, don't light no cigarettes,
Or else you'll wind up in the can!
No jokes, no rights, sit tight, don't fool around,
You are a guest of Uncle Sam!
AC/DC "I'll be damned"

nerd
PostRank 10
PostRank 10
Beiträge: 4186
Registriert: 15.02.2005, 04:02

Beitrag nerd » 25.03.2015, 02:14 Ich werde von Robot-Bots blockiert - Hilfe !

Rem hat geschrieben:
nerd hat geschrieben:
torstenv hat geschrieben: Dier ist aber zur Zeit nicht erreichbar, da meine CPU-Auslastung über 400% liegt
Prozentrechnung geht aber anders...
Das meint 4 Kerne mit jeweils 100% Auslastung...
Moeglich; allerdings sollte man wohl den durchschnitt der einzelnen kerne nennen um die CPU auslastung zu bestimmen, statt einfach last1+last2 usw. zu addieren.
Wenn ich an 4 steckdosen 230V messe habe ich trotzdem keine 920V strom im haus :roll:

Rem
PostRank 10
PostRank 10
Beiträge: 3866
Registriert: 08.12.2005, 18:45

Beitrag Rem » 27.03.2015, 23:52 Ich werde von Robot-Bots blockiert - Hilfe !

Na ja. Du kannst aber auch keine Potentialdifferenz (vereinfacht also Druck von Wasser aus dem Wasserschlauch, der mit einem Stausee verbunden ist) mit einer Arbeitsleistung vergleichen.

Der Druck ist gleich. Aber mit vier gleichgrossen Schläuchen fliesst tatsächlich viermal soviel Wasser ab. Also in Watt. LOL

Aber klar: was Du meinst. Ob eine Software viermal so schnell läuft, hängt von der Programmierung ab.

Die wirklich interessante Frage ist doch, wie die Prozessorlast überhaupt gemessen wird. Denn wenn 100% oder 400% angezeigt wird, dann ist das so gegeben. Egal wieviel Reibung durch schlechte Programmierung entsteht. Es kann ja auch sein, dass die Messung an sich das Messergebnis bereits verfälscht etc.

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag