Nachruf: Abschied von robots.txt (1994-2025)

[staticweb]

Gerade bei Heise gefunden und IMHO sehr lesenswert.

https://www.heise.de/hintergrund/Nachru ... 52448.html

[arnego2]

Es gibt ein Leben im WWW das mit KI 0 zu tun hat.
Es häufen sich die negativen Kommentare in Bezug zu Sozialen Netzen und die Unart KI Videos produzieren zu lassen.

Darauf komme ich da der Artikel KI als Hauptgrund angibt warum der Robots.txt stirbt. Was er nicht tut.

Anthropic fügte dem Leiden weitere Qualen hinzu. ClaudeBot, anthropic-ai und Claude-Web hämmerten auf Server ein, wobei iFixit eine Million Besuche in 24 Stunden und Freelancer.com fast vier Millionen in vier Stunden erlebte. Mit einem Crawl-to-Referral-Verhältnis von 73.000:1 überschritt Anthropic alle Grenzen des Anstands — es war, als würde man einem Nachbarn die Haustürschlüssel anvertrauen, damit er die Blumen gießt – nur um festzustellen, dass er den gesamten Hausrat abtransportiert hat.

Perplexity AI gehörte zu den aggressivsten Akteuren: Es nutzte verdeckte (undisclosed) IP-Adressen und Drittdienste, um Crawling-Aktivitäten zu verschleiern. Als CEO Aravind Srinivas öffentlich erklärte, robots.txt sei kein rechtliches Framework, war das ein offener Affront gegen das jahrzehntealte fragile Protokoll.

Es gibt Tausende von Suchmaschinen:
https://en.wikipedia.org/wiki/List_of_search_engines
Viele von denen richten sich nach dem Robots.txt.
Yandex schickt dir zum Beispiel eine Nachricht sollte er keinen Finden.

KI ist immer noch eine Kleiner Teil der Digitalen Welt.
Die Sitte bei vielen einen Nutzer anzulegen der bei allen Netzen Werken ein bis 100te von Konten hat verfälscht die Zahlen.
Was KI nicht hat sind zahlende Nutzer.

[staticweb]

> Es gibt ein Leben im WWW das mit KI 0 zu tun hat.

Noch. Und wer weiß wie lange es dieses Leben noch gibt.

> Was KI nicht hat sind zahlende Nutzer.

Das kann man so nicht mehr sagen. Open AI hat z.B. inzwischen 12 Milliarden Umsatz. Es stellt sich eher die Frage nach dem Gewinn.

[arnego2]

Das kann man so nicht mehr sagen. Open AI hat z.B. inzwischen 12 Milliarden Umsatz. Es stellt sich eher die Frage nach dem Gewinn.

bei voraussichtlichen 1.5 Trilliarden Einsatz ist es eher Peanuts.
https://www.gartner.com/en/newsroom/pre ... on-in-2025
Sehr wahrscheinlich etwas übertrieben.
Was nicht bedacht wird sind die laufenden kosten und die liegen dabei über den Umsatz.
https://www.ibm.com/think/insights/ai-e ... mpute-cost

“Even if something is technically feasible to do with AI, if the business case doesn’t stack up because of the cost of computing or the cost of training these models, then we’re not going to see the impact of AI on business activity that many people anticipate.”