Ich werde von Robot-Bots blockiert - Hilfe !

torstenv

Hallo,

ich habe einen Server, auf dem 35 Webshops aufen.
Dier ist aber zur Zeit nicht erreichbar, da meine CPU-Auslastung über 400% liegt, weil SEO-Spider / Bots drauf zugreifen... !

Was kann ich tun, um dies zu verhindern ?

Meine robots.txt sieht derzeit so aus:

User-agent: *
Disallow: /xtLogs/
Disallow: /xtFramework/
Disallow: /xtCore/
Disallow: /xtAdmin/
Disallow: /templates/
Disallow: /templates_c/
Disallow: /cache/
Disallow: /conf/
Disallow: /db/
Disallow: /ioncube/
Disallow: /export/
Disallow: /lic/
Disallow: /plugins/
Disallow: /logs/
Disallow: /xtLogs/
Disallow: /pre_includes/
Disallow: /plugin_cache/
Disallow: /*?popup=true
Disallow: /*search
Disallow: /*cart
Disallow: /*customer
Disallow: /*checkout

Vielen Dank für Eure Hilfe !

VG,

Torsten

bbnetch

du solltest die spider direckt sperren, entweder per useragent, oder noch besser direckt die ip.
die meisten "boesen" spider ignorieren die robots.txt sowiso, darauf achten nur gerade serioese suchmaschinen.

wie man das macht findest du 1000fach im web.
https://www.google.de/search?q=htaccess ... aussperren

ich nutze dazu allerding ein service, der kostet allerdings einiges, aber damit hast du entgueltig ruhe, und kannst gezielt nach ip, proxy, tor, laender, sprachen und x andere dinge sperren.

https://www.blocked.com
absolut hammer das ding, und jeden cent wert

nerd · **nerd** » 16.03.2015, 22:39 **Ich werde von Robot-Bots blockiert - Hilfe !**

torstenv hat geschrieben: Dier ist aber zur Zeit nicht erreichbar, da meine CPU-Auslastung über 400% liegt

Prozentrechnung geht aber anders...

torstenv hat geschrieben: Meine robots.txt sieht derzeit so aus:

Die robots txt ist lediglich eine empfehlung, keine regel an die sich irgendwer halten muesste. Entweder du blockst die bots schon bevor sie bei dir aufschlagen mit einem externen dienst, oder du versuchst es mit .htaccess

ralf-isi

oder du versuchst es mit bot-trap. setze ich schon lange ein und funktioniert.

Rem · **Rem** » 20.03.2015, 18:13 **Ich werde von Robot-Bots blockiert - Hilfe !**

nerd hat geschrieben:
torstenv hat geschrieben: Dier ist aber zur Zeit nicht erreichbar, da meine CPU-Auslastung über 400% liegt
Prozentrechnung geht aber anders...

Das meint 4 Kerne mit jeweils 100% Auslastung...

seonewbie

Das hat nix mit Bots zu tun du hast einfach einen miesen Administrator.
Dein Server Swapped!!!

1 MySql tunen
2. Apache tunen
3. Firefall aufspielen
4 Den Kernel gegen dDos konfigurieren

Gerade das letzte bremst jeden Bot aus.

Gruß

Micha

nerd · **nerd** » 25.03.2015, 02:14 **Ich werde von Robot-Bots blockiert - Hilfe !**

Rem hat geschrieben:
nerd hat geschrieben:
torstenv hat geschrieben: Dier ist aber zur Zeit nicht erreichbar, da meine CPU-Auslastung über 400% liegt
Prozentrechnung geht aber anders...
Das meint 4 Kerne mit jeweils 100% Auslastung...

Moeglich; allerdings sollte man wohl den durchschnitt der einzelnen kerne nennen um die CPU auslastung zu bestimmen, statt einfach last1+last2 usw. zu addieren.
Wenn ich an 4 steckdosen 230V messe habe ich trotzdem keine 920V strom im haus

Rem · **Rem** » 27.03.2015, 23:52 **Ich werde von Robot-Bots blockiert - Hilfe !**

Na ja. Du kannst aber auch keine Potentialdifferenz (vereinfacht also Druck von Wasser aus dem Wasserschlauch, der mit einem Stausee verbunden ist) mit einer Arbeitsleistung vergleichen.

Der Druck ist gleich. Aber mit vier gleichgrossen Schläuchen fliesst tatsächlich viermal soviel Wasser ab. Also in Watt. LOL

Aber klar: was Du meinst. Ob eine Software viermal so schnell läuft, hängt von der Programmierung ab.

Die wirklich interessante Frage ist doch, wie die Prozessorlast überhaupt gemessen wird. Denn wenn 100% oder 400% angezeigt wird, dann ist das so gegeben. Egal wieviel Reibung durch schlechte Programmierung entsteht. Es kann ja auch sein, dass die Messung an sich das Messergebnis bereits verfälscht etc.