Um mir meine Arbeit mit dem Abnsichern inzwischen nicht mehr zählbarer Installation zu erleichtern, bin ich dazu übergegangen vor allem die ganzen Schmarotzer Bots zentral zu filtern. An sich funktioniert das auch wunderbar, was mir eine Unmenge an Zeit erspart. Allerdings hat das auch einen Haken.
Es ist zwar nur eine Vermutung, aber es soll auch Bots geben, die trotz Einbindung mit Adsense den Host selbst nochmal aufrufen, um was auch immer zu machen. Nachdem ich Adsense verwende, wäre es u.U. schlecht solche Bots, zu blocken, wenn diese also Konsequenz des Blockens keine Werbung mehr bei mir anzeigen (können).
Wenn dem so nun wäre, bin ich dazu übergegangen die Bots nicht mehr zu blocken, die eine URL im User Agent haben, was aber auch nur ein bedingter Indiz dafür sein kann, dass es sich um einen guten Bot handelt. Irgendwie fehlt mir da die Information seitens Adsense, ob es eine Relevanz hat, wenn ich einen Bot blocke, der Werbepartner von Adsense ist.
Irgendwelche Ideen dazu?
