KI-Suche:Weniger Seiten anlegen bzw. Seiten sperren?

[ritchie276]

Ich lese immer wieder, dass die KI-Suchmaschinen weniger Ressourcen als Google haben, um Seiten zu crawlen. Außerdem ist ein vollständig Crawl aller Unterseiten einer Seite wohl sehr teuer. Ist es dann sinnvoll, einzelne Seiten zusammenzufassen, also statt 40 Unterseiten dann nur noch 25 Unterseiten zu haben, um bei KI-Suchen einen Vorteil zu haben?
Oder kann man einzelne Seiten irgendwie für die KI sperren?

[staticweb]

Dafür wurde die llms.txt erfunden, aber die wenigsten KI Anbieter lesen diese ein.

Man kann Seiten zusammenfassen, aber dann besteht natürlich die Gefahr das Inhalte abgewertet werden. Das muss man im Einzelfall entscheiden.

[daniel5959]

Hallo,

schön zu sehen wie aus SEO-Sklaven jetzt KI-Sklaven werden.

Gut wer sein Geschäft auch ohne Google betreiben kann - z.B. mein früherer Chef und sein Nachfolger, beide haben seit Jahrzehnten keine Webseiten und leben von zufriedenen Kunden. Ebenso mein Neffe als Maurermeister.

KI, der neue Müllproduzent im Internet, wird die Leute noch dümmer machen, denn man kann den massenhaft erzeugten Webseiten noch weniger glauben, da jeder X-Beliebige seinen Blödsinn einfacher und aufwändiger ins Netz stellen kann.

daniel5959

[staticweb]

> Gut wer sein Geschäft auch ohne Google betreiben kann - z.B. mein früherer Chef und sein Nachfolger, beide haben seit Jahrzehnten keine Webseiten und leben von zufriedenen Kunden. Ebenso mein Neffe als Maurermeister.

Das funktioniert vielleicht bei einem gestandenem Einzelunternehmen und speziell im Bereich Handwerk. Aber sobald es in den kompetitiven Bereich geht nicht mehr.

[arnego2]

KI, der neue Müllproduzent im Internet, wird die Leute noch dümmer machen, denn man kann den massenhaft erzeugten Webseiten noch weniger glauben, da jeder X-Beliebige seinen Blödsinn einfacher und aufwändiger ins Netz stellen kann.

daniel5959

Webseiten haben schon immer das Gelbe vom Ei versprochen, denn es sind die Personen, die dahinterstehen, die den Unterschied machen.

Was meinst du warum diese Trustpiloten so erfolgreich sind?

[supervisior]

Ich lese immer wieder, dass die KI-Suchmaschinen weniger Ressourcen als Google haben, um Seiten zu crawlen. Außerdem ist ein vollständig Crawl aller Unterseiten einer Seite wohl sehr teuer. Ist es dann sinnvoll, einzelne Seiten zusammenzufassen, also statt 40 Unterseiten dann nur noch 25 Unterseiten zu haben, um bei KI-Suchen einen Vorteil zu haben?
Oder kann man einzelne Seiten irgendwie für die KI sperren?

Der Post ist zwar schon etwas älter, aber das Thema für den stillen Leser vielleicht doch relevant.

Ich weiß nicht woher Du die Aussage hast, dass "KI-Suchmaschinen" weniger Ressourcen als Google hätten. Die Bezeichnung "Ressource" ist zwar ein dehnbarer Begriff, aber ich kann Dir nach 10 Jahren Tracking von "not human like" Tracking sagen, dass es wohl keine aggressiveren KI-Bots als die von OpenAI gibt, was aber nicht zwangsläufig bedeutet, dass diese OpenAI Bots alle URLs crawlen. OpenAI macht sich dafür die frei zugänglichen "CT Logs" https://certificate.transparency.dev/howctworks/ zunutze, um darüber zumindest alle (sub)-Domains zu erfassen und diese theoretisch zu crawlen.

Ob eine Seite/URI aber tatsächlich für einen Chatbot berücksichtigt wird, bzw. relevant ist, wird bereits durch die URI festgelegt. Das heißt, wenn die ach so suchmaschinenfreundliche URL impliziert, dass der Content für KI keine Relevanz hat, dann wird die jeweilige URL erst gleich gar nicht gecrawlt, geschweige denn der Content indexiert. Dann kannst mit den Händen noch so sehr rudern, aber das ändert nix daran, dass die jeweilige URL niemals, never, für egal welchen KI Zweck berücksichtigt wird. Dieses Verhalten ist nix für "KI-Suchmaschinen" spezielles, sondern so funktioniert auch Google. Folgerichtig kannst Du Dir jeglichen SEO Aufwand ersparen, um den Content einer URL für Suchmaschinen egal welcher Art interessanter zu machen. Wenn Dich jemand etwas anderes glauben lassen will, dann könnte man das als arglistige Täuschung verstehen!

[arnego2]

Teilweise die Seiten durchzugehen, gab es schon vor der KI.
Das ist eher ein Generationenwechsel.

Frühere Generationen machen eins nach dem anderen und die neuen Gen machen es lieber in mehreren Teilen.