Das würde mich auch sehr interessierengzs hat geschrieben:haben, sich laufend darum zu kümmern.
Wie hast du denn das Aussperren gelöst? Manuell gepflegte htaccess? oder irgendwas automatisches?

Herzlich willkommen im SEO Forum der ABAKUS Internet Marketing GmbH
registrieren registriertes Mitglied
"Das Internet ist in der Hand bösartiger Bots"
Sichtbarer Text vs. Text im ausklappbaren Layer, Div o.ä.
Das würde mich auch sehr interessierengzs hat geschrieben:haben, sich laufend darum zu kümmern.
Wie hast du denn das Aussperren gelöst? Manuell gepflegte htaccess? oder irgendwas automatisches?
Schau mal z.B. in https://www.abakus-internet-marketing.de/robots.txt viele Bots halten sich daran.Andre (KM) hat geschrieben:Das würde mich auch sehr interessierengzs hat geschrieben:haben, sich laufend darum zu kümmern.
Wie hast du denn das Aussperren gelöst? Manuell gepflegte htaccess? oder irgendwas automatisches?
Ja, ist möglich, ich vermute das auch zu einem großen Teil.Beloe007 hat geschrieben:Schau mal z.B. in https://www.abakus-internet-marketing.de/robots.txt viele Bots halten sich daran.Andre (KM) hat geschrieben:Das würde mich auch sehr interessierengzs hat geschrieben:haben, sich laufend darum zu kümmern.
Wie hast du denn das Aussperren gelöst? Manuell gepflegte htaccess? oder irgendwas automatisches?
Die die sich daran nicht halten kann man dann später immer noch sperren.
@planta
Ich glaube schon das dies eher an der Geschwindigkeit liegt, wenn man sich mal die Statistiken anschaut, sind manche Bots extrem penetrant am crawlen, obwohl darüber nicht mal 0,01 % der Besucher kommen.
Ich würde aber nicht alle aussperren, sondern wirklich nur die für dich Schwachsinnigen, den restlichen ein Delay von 1-60 Sekunden o.ä.
Das würde ich mir bei meinem betroffenen Projekt auch wünschen. Hoffentlich tut sich dort noch was ... momentan sehe ich leider nichts.Ggreulich hat geschrieben:seit Gestern, da nur sporadisch, und heute andauernd riesige Positionsgewinne ... da tut sich ordentlich was