Ich lese immer wieder, dass die KI-Suchmaschinen weniger Ressourcen als Google haben, um Seiten zu crawlen. Außerdem ist ein vollständig Crawl aller Unterseiten einer Seite wohl sehr teuer. Ist es dann sinnvoll, einzelne Seiten zusammenzufassen, also statt 40 Unterseiten dann nur noch 25 Unterseiten zu haben, um bei KI-Suchen einen Vorteil zu haben?
Oder kann man einzelne Seiten irgendwie für die KI sperren?
