Eigentlich werden die Bots erkannt und dann auch keine Session vergeben. Wenn ich den Useragent in meinem Browser simuliere funktioniert das auch. Deshalb vermute ich, dass der BingBot in der Vergangenheit nicht richtig erkannt wurde und er die URLs mit Session ID in der Zeit abgespeichert hat.
Das Problem tritt auch nur beim BingBot auf. Google crawlt stehts ohne session ID.
Gibt es eine Möglichkeit per mod rewrite den user agent zu überprüfen und dann die SessionId zu entfernen ohne eventuell weitere parameter abzuschneiden?
Hier eine typische Zeile aus der LogDatei:
Code: Alles auswählen
msnbot-207-46-13-94.search.msn.com - - [22/Dec/2015:09:59:11 +0100] "GET /checkout_shipping.php?MODsid=k645dn0uc6mqv7etlofm2j37v0 HTTP/1.1" 301 910 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"