registrieren registriertes Mitglied


Anzeige

Anzeige

Sind hier Wordpress Nerds unterwegs?

Stell hier Deine Frage zu: HTML, CSS, PHP, MySQL, htaccess, robots.txt, Javascript usw
supervisior
PostRank 10
PostRank 10
Beiträge: 3389
Registriert: 26.06.2006, 09:11

Beitrag supervisior » 22.04.2022, 12:13 Sind hier Wordpress Nerds unterwegs?

Ich hab mit Unterstützung vom @HanzoDingenskirchen einen Crawler entwickelt, der dazu dient einen HTTP Cache aufzuwärmen. Nachdem ich diesen Crawler nun an die Bedürfnisse von WP anpasse, ist mir etwas aufgefallen, das sich so bei anderen CMS nicht finden lässt.

Um den Crawler auch für extreme Bedingungen zu testen, habe ich eine WP Installation mit mehreren 1000 Post befüllt und dann den Crawler darauf angesetzt. Das besondere an diesem Crawler ist, dass dieser parallel arbeitet und es dadurch möglich ist bis zu 100.000 URLs binnen 1 Std. zu crawlen und das auch auf einem Shared Hosting. Normalerweise würde man da bei der Script Ausführung als erstes ein Timeout Problem bekommen, aber das lässt sich beim LSWS deaktivieren. Nichtsdestotrotz steigt mir nach einer gewissen Zeit der Datenbank Server aus. Ich hatte erst den Verdacht, dass das durch die parallen Aufrufe kommt, weil ich Daten aus dem Response, bzw. aus dem Response Header in die DB schreibe. Daran liegts aber nicht. Es scheint wohl so zu sein, dass WP die Datenbank Verbindung nach einem Seitenaufruf nicht sofort wieder schließt. Wenn ich damit richtigliege, und danach sieht es aus, könnte man jede WP Installation mit vergleichsweise geringem Aufwand abschießen. Also noch nicht mal einen Denial of Service Angriff, sondern ganz einfach mit einem Crawler. Man muss nur genügend URLs aufrufen.

Weiß da jemand was darüber, ob WP das tatsächlich so macht, wie ich meine?

Anzeige von: