FAST Enterprise Crawler 6 used by T-Info BI cluster

[bull]

Code: Alles auswählen

84.167.74.190 - - [25/Jul/2005:08:53:2 +0200] "GET /foo/bar.htm HTTP/1.1" 200 5719 "http://www.domain.com/foo/" "FAST Enterprise Crawler 6 used by T-Info BI cluster (Silvio.Mueller@b-s-s.de)" "-"
84.167.89.17 - - [25/Jul/2005:08:54:06 +0200] "GET /as/p468.js HTTP/1.1" 200 423 "http://www.domain.com/foo/bar.htm" "FAST Enterprise Crawler 6 used by T-Info BI cluster (Silvio.Mueller@b-s-s.de)" "-"

Hat robots.txt geholt, und holt auch Javascript, und zwar auch solches, welches durch robots.txt eigentlich gesperrt ist.
Da mir das nicht gefiel --> 403.
Faked Referer.