Nachdem ich die letzten Tage etwas Luft hatte, habe ich mich mal mit Indexnow auseinandergesetzt. Indexnow, eine Alternative zur herkömmlichen Sitemap.xml mit der Idee die Suchmaschinenbots zu entlasten und dem vermeintlichen Vorteil, dass damit URLs schneller im Index landen sollen, was dann auch für Aktualisierungen gelten soll.
Ausgedacht hat sich Indexnow Microsoft, bzw. Bing, bzw Yandex. Das grundsätzliche Prinzip von Indexnow entspricht in etwa einem Ping, der neben der zu indizierenden URL einen Key und ein Keyfile an Bing sendet. Die Übermittlung kann entweder als ganz normaler Browser Request erfolgen oder bei Übertragung von mehreren URLs über einen POST JSON Request, was dann beispielsweise mit cURL oder wget erfolgen kann. Der Dokumentation nach, die nur aus 1 Seite besteht, erschien mir das schnell und einfach umgesetzt. Ziehe ich mir also eine Liste an URLs aus der DB, packe diese Liste in array und schicke diese Liste wie vorgegeben an Bing. Hätte ich vorher gewusst, wie die Sache ausgeht, hätte ich meine Zeit mit etwas anderem verplempert. ....
Zur Erfolgskontrolle, ob irgendwelche Fehler aufgetreten sind oder die übermittelten URLs fehlerfrei akzeptiert wurden, stellt Bing eine handvoll Status Codes bereit. Von diesen 6 Status Codes sind besonders 2 wichtig und zwar Status 403 und 429, wobei 403 etwas irreführend ist, weil der eigentlich aussagt, dass der Zugriff blockiert wurde. Für Bing bedeutet 403 aber, dass der übertragene key nicht valide wäre, bzw. das key file nicht gefunden wurde. Letzteres ist schlichtweg nur ein Textfile, das sich auf dem eigenen Host befindet und sowohl den Datei Namen als auch der Inhalt den key enthält.
Status Code 429 ist insofern wichtig, weil Bing darüber mitteilen will, das er/es keinen Bock hat Spam URLs zu akzeptieren. Die Frage ist dann nur, wie kommt Bing darauf, dass eine URL Spam ist? Ganz einfach, dieses Indexnow eignet sich bestenfalls zur Übermittlung von einer handvoll URLs oder idealerweise als Plugin integriert zur automatischen Übertragung des Ping nachdem man den Content einer URL geändert hat. Für Wordpress und Joomla gibt es dazu bereits diverse Plugins.
Alles, was darüber hinausgeht, interpretiert Bing offenbar als Spam und schickt den Status Code 429 zurück, sodass man Indexnow nicht als Alternative zur Sitemap.xml verwenden kann. Das musste ich schmerzlich erfahren als ich versucht hatte roundabout 6.000 URLs zu übertragen. Bei den ersten 2.000 ging noch alles gut, aber auch durch setzen einer Pause zwischen den Requests hat sich dadurch nichts geändert, wobei mein erster Versuch eigentlich über POST JSON erfolgte. Das hat aber nicht funktioniert, weil Bing meinte, dass das Format nicht stimmen würde, bzw. die URLs fehlerhaft wären. Wieso und weshalb die URLs fehlerhaft wären, lässt sich nicht debuggen. Deswegen habe ich die URLs einzeln übertragen.
Ungeachtet der Identifizierung als Spam konnte ich nach Übertragung einer jeden URL fast in Echtzeit feststellen, dass der Yandex Bot jede einzelne URL aufruft. Das erfolgte aber nicht serverschonend mit einer längeren Verzögerung zwischen jedem Request, sondern gleich ein halbes Dutzend gleichzeitig und das über 2 bis 3 Stunden hinweg. Wer meint Indexnow verwenden zu wollen und so wie ich eine größere Menge übertragen will, der sollte sich darüber im Klaren sein, dass das nicht für jedes Hosting geeignet ist. Ein Shared Hosting steigt da sehr schnell aus.
Ob das nun überhaupt was gebracht hat, kann ich noch nicht sagen. Was sich aber mit Sicherheit sagen lässt, ist, dass man Indexnow wenn überhaupt nur dazu nutzen kann, um einzelne URLs zu übertragen.
Von daher mein (vorläufiges) Fazit:
Gut gedacht, aber schlecht gemacht.
Siehe dazu:
https://www.indexnow.org/
https://www.bing.com/indexnow
