Wordpress mit Demo Daten befüllen

[supervisior]

So hier mal ein Update zum eigentlichen Thema.

Ich spiele mich gerade mit dem Import und bin mittelschwer am verzweifeln, wenn man dieses AllImport Plugin verwendet. Meinen ersten Versuch habe ich mit einem XML File gemacht und war etwas verwöhnt vom Import bei anderen Applikationen, aber selbst bei 10.000 Einträgen könnte ich einen 14-tägigen Urlaub machen bis der Import fertig ist. Mit csv gehts zwar etwas schneller, aber selbst damit wäre noch ein 7-tägiger Trip nötig. Wäre es nicht so mühsam könnte ich in der gleichen Zeit die Beiträge händisch eintragen, zefünferl....

[staticweb]

Ich glaube du machst irgend etwas falsch. Evtl. solltest du die PHP-Limits erhöhen oder einen schnelleren Rechner nehmen.

[supervisior]

Du tust schon wieder theoretisieren.....

Denk doch mal nach. Wenn die Limits zu kurz, zu klein oder was auch immer wären, käme es zu einem wie auch immer gearteten Abbruch, tut es aber nicht. Es läuft und läuft und läuft, aber das liegt in WP selbst begründet, weil es Funktionen gibt, die nicht dafür gedacht sind für einen Massenimport. Ich hab inzwischen noch andere Plugins gefunden mit denen es schneller geht, aber 10.000 Datensätze brauchen immer noch Stunden. Es läuft darauf hinaus, dass ich den Import über PhpMyAdmin machen muss, ansonsten dauert das noch bis Weihnachten 2025.

[staticweb]

Ich glaube das hatte ich dir schon einmal gepostet:

https://www.wpallimport.com/documentati ... w-imports/

[supervisior]

Kenne ich schon und das hat mich erst darauf gebracht noch weiter nach der Ursache zu suchen. Alle Import Plugins sind nicht autark, sondern nutzen Funktionen aus WP, die eigentlich dafür gedacht sind Posts oder was auch immer zu erstellen und eben diese sind nicht dafür gedacht einen Massen Import zu machen. Der entscheidende Haken ist dabei eine Funktion, die vor dem Speichern eines neuen Beitrags überprüft, ob der Beitrag nicht vielleicht schon besteht und vergleicht dann die halbe Datenbank mit dem aktuellen Beitrag. So kommt es dann, dass jeder neue Import Datensatz länger dauert als der Vorherige. Ab ca. 5000 Beiträge dauert jeder neue Import jedes neuen Datensatzes 5 Min. und länger. Dabei spielen die vorhanden Ressourcen überhaupt keine Rolle. So gut wie fast keine Server Last. Die ganzen Import Plugins kann man deswegen alle in die Tonne treten, obwohl großartig für Massen Imports geworben wird.

[supervisior]

So, nachdem ich den Import direkt über die Datenbank gemacht habe, was x-fach schneller war, und jetzt 100.000 Posts drin habe, komme ich schon mal zu einem vorläufigen Ergebnis bezogen auf das Backend von WP. Bereits mit 100.000 Posts und einer Handvoll Kategorien/Autoren kann man darin nicht mehr arbeiten. V.a. dann nicht, wenn man einen Post bearbeiten will. Aber ich hab ja noch 900.000 Posts vor mir.

[staticweb]

> Alle Import Plugins sind nicht autark, sondern nutzen Funktionen aus WP, die eigentlich dafür gedacht sind Posts oder was auch immer zu erstellen und eben diese sind nicht dafür gedacht einen Massen Import zu machen.

Das ist auch sinnvoll damit das Plugin bei neuen WordPress Versionen kompatibel bleibt.

> Der entscheidende Haken ist dabei eine Funktion, die vor dem Speichern eines neuen Beitrags überprüft, ob der Beitrag nicht vielleicht schon besteht und vergleicht dann die halbe Datenbank mit dem aktuellen Beitrag.

Da du den Flaschenhals bereits gefunden hast, musst du die Funktionalität nur noch anpassen und vorher sicherstellen, dass es keine Duplikate gibt.

[elmex]

Wenn die Plugins nicht das gewünschte erzielen, muss man sich halt selbst was schreiben

Einfach das QueryLog anschalten, einen Post über Wordpress anlegen - schon siehst du was exakt für Datenbankanfragen dafür nötig sind. Script schreiben, was die nachbaut, loop reinmachen der mit Daten gefüttert wird und los geht es °

[supervisior]

> Alle Import Plugins sind nicht autark, sondern nutzen Funktionen aus WP, die eigentlich dafür gedacht sind Posts oder was auch immer zu erstellen und eben diese sind nicht dafür gedacht einen Massen Import zu machen.

Das ist auch sinnvoll damit das Plugin bei neuen WordPress Versionen kompatibel bleibt.

> Der entscheidende Haken ist dabei eine Funktion, die vor dem Speichern eines neuen Beitrags überprüft, ob der Beitrag nicht vielleicht schon besteht und vergleicht dann die halbe Datenbank mit dem aktuellen Beitrag.

Da du den Flaschenhals bereits gefunden hast, musst du die Funktionalität nur noch anpassen und vorher sicherstellen, dass es keine Duplikate gibt.

Warum sollte ich da was umprogrammieren. Ich mache den Import für eine einmalige Sache und dann nie wieder. Da ist der direkte Weg über die Datenbank der einfachste und schnellste. Da alle Import Plugins diesen Flaschenhals haben und Du meinst, dass das der Kompatibilität dienen würde, kann ich aber nicht mir teilen. Vielmehr ist es so, dass man sich Arbeit ersparen wollte und man einfach was vorhandenes nutzt in dem Glauben, dass am Ende schon das Gleiche rauskommen wird. Das ist so typische Programmierer-Ideologie. Bloß nix zu viel machen.... (Einmal zum Rundumschlag ausgeholt. )

[staticweb]

Bei einem 0815 Import sollte das nicht nötig sein. Er muss nur die Duplikatsproblematik anpassen und dann sollte es performant laufen.

[supervisior]

Da ist noch mehr als diese Überprüfung von Duplikaten. Bei einem Plugin ließ sich das abschalten, aber es dauert trotzdem noch endlos lange. 5000 Datensätze ~ 24h

[staticweb]

> Da ist noch mehr als diese Überprüfung von Duplikaten. Bei einem Plugin ließ sich das abschalten, aber es dauert trotzdem noch endlos lange. 5000 Datensätze ~ 24h

Schalte es mal bei WP All Import ab. 5000 sollten in einer halben Stunde durch sein, wenn du es lokal machst.

[supervisior]

Das war das erste Plugin bei dem ich es gemacht hatte, sprich abgeschaltet. Konsequenz: 5.000 Datensätze = 24h. Noch Fragen?

Ich bin inzwischen bei 500.000 Datensätzen direkt über MySQL und das in 1 Std.. Noch Fragen?

[staticweb]

> Ich bin inzwischen bei 500.000 Datensätzen direkt über MySQL und das in 1 Std.. Noch Fragen?

Wenn die Daten bereits als SQL vorliegen sehe ich deinen ganzen Thread als überflüssig an.

[supervisior]

Erkläre "schon vorliegen"?