Crawl Probleme Search Console, Mobile friendly test, Pagespeed Insights

[Jaenerd]

Hallo zusammen,

und zwar würde ich gerne mal eure Meinung zu den 3 Tools abfragen.

Und zwar habe ich folgendes Problem.
Ich habe das Gefühl, dass Google Probleme hat meine Seiten zu crawlen (von www.making-miles.com)

Und zwar habe ich ein paar Fehler in der Search Console gefunden. "URL hat Crawling Probleme". Wenn ich diese URLs manuell über den Live URL Test crawlen lasse, kommen ganz unterschiedliche Meldungen. Und das bei derselben URL. Mal kommt die Meldung "URL nicht auf Google", "URL ist auf Google aber es sind Probleme vorhanden" (nicht Mobile friendly) oder "Alles ok"... Und das bei derselben URL, wenn ich den Live URL Test im 5 Minuten Takt wiederhole.

Bzgl. mobile friendly. Das ist meine Seite. Allerdings habe ich die Befürchtung das die Seite zu langsam für Google lädt und deswegen die Darstellung nicht korrekt für Google ist. Also nicht mobile friendly.

Habe dann auch mal mit dem Mobile friendly Test tool rumprobiert. Und hier das gleiche Spiel. Für dieselbe URL "Page ist mobile friendly" mit einem korrekt gerenderten Screenshot, "URL is not mobile friendly" (falsch gerenderter Screenshot oder "Page cannot be reached"... Ebenfalls im Abstand von 5 Minuten...

Wenn ich die Seite bei Pagespeed Insights teste, habe ich Desktop einen Wert von 85-95 und Mobile zwischen 35 und 48.... Also Mobile nicht so toll. Warum weiß ich leider selber nicht. Allerdings bekomme ich beim Speedtest immer eine schön gerenderte Mobile Seite.

Habt ihr vielleicht mal ähnliche Probleme gehabt? Ich merke halt auch, dass einige Seiten aus dem Index verschwinden und dann plötzlich wieder da sind.

Könnte es am Server liegen? Ich bin mir halt echt nicht sicher ob Google Probleme hat die Seite zu crawlen oder eigentlich alles ok ist und nur das Tool spinnt. Habe schon alle möglichen Plugins aktiviert, deaktiviert... Aber nichts hat wirklich geholfen.

Danke für eure Einschätzung

[supervisior]

Google weist bei den Fehlern zu den Crawling Problemen oftmals nicht reproduzierbare Angaben aus, zumal es im Falle dessen oftmals an Detail Informationen mangelt. Damit bist Du also nicht ganz allein.

Bezüglich der schlechten Score Werte beim Pagespeed Test, ist auch das klassisch. Insbesondere bei der Bewertung für Mobile Geräte. Ein schnellerer Server löst das Problem aber nicht, weil der Pagespeed Test nicht die Ladezeit testet, sondern die Anzeigezeit ab dem Moment wo alle Daten geladen wurden. Das ist leider ein weitverbreiteter Irrtum. Dass nun die Messung der mobilen Geräte fast immer schlechter ausfällt als bei den Desktop Geräten, ist ein systemimmanentes Problem, das maßgeblich dem Bootstrap Framework verschuldet ist, was sich so einfach nicht lösen lässt.

Generell stehen bei egal welchem Test von Google die einzelnen Bewertungskriterien in Wechselwirkung mit anderen Kriterien. Das hat zur Folge, dass bereits das Beheben von einem (1) Problem viele andere Probleme mit gelöst werden, dafür aber plötzlich andere Probleme auftreten.

Lässt man diese eigenwilligen Widrigkeiten mal alle außen vor, müsste Deine Seite schon schneller laden, sodass ein besseres Hosting schon empfehlenswert wäre, wenngleich der Pagespeed Test deswegen aber nicht besser werden muss. Eben weil Pagespeed nix mit Ladezeit zu tun hat.

Wenn Du nicht über entsprechende Fähigkeiten verfügst, bist Du eigentlich machtlos.

[arnego2]

Könnte es am Server liegen? Ich bin mir halt echt nicht sicher ob Google Probleme hat die Seite zu crawlen oder eigentlich alles ok ist und nur das Tool spinnt. Habe schon alle möglichen Plugins aktiviert, deaktiviert... Aber nichts hat wirklich geholfen.

Schon mal bei Staff angefragt ob sich nicht die server response times (TTFB) verbessern lassen?

[Jaenerd]

Danke für die Antworten.

Ja ich hatte beim Hoster (webgo) schon mal angefragt. laut deren Meinung alles ok.
Habe ebenfalls mit dem Support vom Wordpress Therme Kontakt und der hat mir die Plugins Autooptimize, webp express und a3 lazy load empfohlen.

Habe eins nach dem anderen aktiviert um die Veränderung der Pagespeed zu sehen. Hat an sich gut funktioniert. Desktop ist von 60 auf ca 90 und Mobile von 11 auf ca 44...

Wie gesagt habe ich trotzdem das Gefühl, dass Google meine Seiten mal vollständig crawlt, mal nur halb und sagt nicht mobil friendly und mal gar nicht crawlen kann.

Ich erkenne da nur kein Muster denn mal geht es und mal nicht...Ich habe viele Plugins und auch einige Drittanbieter Scripts aufgrund von Affiliate Geschichten auf den Seiten, aber da bin ich ja nicht der einzige...

Schwieriges Thema, wenn man nicht genau weiss wie Google jetzt die Seiten bewertet

[arnego2]

Danke für die Antworten.

Ja ich hatte beim Hoster (webgo) schon mal angefragt. laut deren Meinung alles ok.

Ja das sagen eigentlich alle Servermitarbeiter. Standart Antwort für alles und jeden.
Was sagen sie wenn du sie konkret darauf ansprichst das die Server Response Time größer ist als bei ihrer Konkurrenz? Der Servermarkt ist inflationär das heißt das sie eventuell hellhörig werden und auch wenn sie dich beruhigen deine Server Response Times über Nacht auf die Hälfte reduziert sind.

[Jaenerd]

Ok werde nochmal explizit danach Fragen

Für alle die das hier vielleicht mal in Zukunft lesen:
Ich konnte das Problem lösen. Und zwar lag das Problem in der htaccess Datei. Ich weiß nicht genau an welchem Eintrag es lag, aber nachdem ich da etwas aufgeräumt hatte, waren sämtliche Mobile freindly tests positiv und auch in der Search Console kommt ich sämtliche Seiten schön gerendert abrufen

Hab jetzt einzig nur noch eine Frage wegen der Robots.txt.... momentan steht folgendes drin:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Eigentlich wollte ich das noch durch die Sitemap ergänzen. Mir ist aufgefallen, dass wenn ich die robots ändere, sie beim Abruf von https://www.making-miles.com/robots.txt gleich bleibt. Jetzt habe ich die robots mal aus meinem Verzeichnis gelöscht und ich kann sie trotzdem noch aufrufen ?!
Kann mir das wer erklären?

[dieterDG]

Eigentlich wollte ich das noch durch die Sitemap ergänzen. Mir ist aufgefallen, dass wenn ich die robots ändere, sie beim Abruf von making-miles.com/robots.txt gleich bleibt. Jetzt habe ich die robots mal aus meinem Verzeichnis gelöscht und ich kann sie trotzdem noch aufrufen ?!
Kann mir das wer erklären?

WordPress erstellt automatische eine robots.txt mit dem besagten Inhalt. Du kannst dir das als "virtuelle robots.txt" vorstellen. Wenn du selbst eine robots.txt erstellst und ins Root-Verzeichnis kopierst, dann wird deine selbst erstellte Version verwendet.

In der alten Google Search Console kannst du die robots.txt auch testen und sehen, welche Version Google zuletzt gesehen hat. Einfach mal nach "google robots txt tester" googeln.

[staticweb]

> Ich weiß nicht genau an welchem Eintrag es lag, ...



> Kann mir das wer erklären?

Das musst du uns erst einmal erklären.

[Jaenerd]

Eigentlich wollte ich das noch durch die Sitemap ergänzen. Mir ist aufgefallen, dass wenn ich die robots ändere, sie beim Abruf von making-miles.com/robots.txt gleich bleibt. Jetzt habe ich die robots mal aus meinem Verzeichnis gelöscht und ich kann sie trotzdem noch aufrufen ?!
Kann mir das wer erklären?

WordPress erstellt automatische eine robots.txt mit dem besagten Inhalt. Du kannst dir das als "virtuelle robots.txt" vorstellen. Wenn du selbst eine robots.txt erstellst und ins Root-Verzeichnis kopierst, dann wird deine selbst erstellte Version verwendet.

In der alten Google Search Console kannst du die robots.txt auch testen und sehen, welche Version Google zuletzt gesehen hat. Einfach mal nach "google robots txt tester" googeln.

Super danke für den Hinweis. Ja ich hatte eine robots.txt selbst erstellt und hochgeladen, allerdings wurde diese nicht übernommen. Der robots txt Tester zeigt auch immer die virtuelle an. Aber halb so wild. Bis auf die Sitemap steht alles notwendige in der virtuellen robots txt

[Jaenerd]

> Kann mir das wer erklären?

Das musst du uns erst einmal erklären.

? Was soll ich erklären. Ich lade eine robots.txt ins Root Verzeichnis und die wird nicht übernommen. Wenn ich sie lösche gibt es aber trotzdem eine robots.txt.
Dieter war so freundlich und mich über die virtuelle robots.txt aufzuklären

Sprich die Frage die sich mir stellt ist, warum meine selbsterstellte robots.txt im root Verzeichnis nicht übernommen wird.

[heinrich]

? Was soll ich erklären.

Da ging es doch um die htaccess …

[Jaenerd]

? Was soll ich erklären.

Da ging es doch um die htaccess …

Nein, der Absatz zu "Kann mir das wer erklären" handelt rein von der robots.txt. Der darüberliegende Absatz handelt von der htaccess Datei...

[supervisior]

Habe ebenfalls mit dem Support vom Wordpress Therme Kontakt und der hat mir die Plugins Autooptimize, webp express und a3 lazy load empfohlen.

Du kannst Dir im Grunde genommen das a3 lazy load Plugin ersparen. Inzwischen unterstützten alle aktuellen Browser (auch FF) diese Lazy Funktion auch ohne extra Plugin. Also wech damit.

[Jaenerd]

Habe ebenfalls mit dem Support vom Wordpress Therme Kontakt und der hat mir die Plugins Autooptimize, webp express und a3 lazy load empfohlen.

Du kannst Dir im Grunde genommen das a3 lazy load Plugin ersparen. Inzwischen unterstützten alle aktuellen Browser (auch FF) diese Lazy Funktion auch ohne extra Plugin. Also wech damit.

Danke für den Tipp. Muss ich dafür denn irgendwas machen oder checken die browser das von allein?

Ich kämpfe halt immernoch mit dem TTFB... Habe mit dem Support von meinem Webhoster "webgo" jetzt Kontakt gehabt. Ich solle mal alle Plugins deaktivieren. Gesagt getan. TTFB von 0,6-0,7 auf 0,4-0,5 Sek runter... Ok aber hatte mir mehr gedacht. Und ich habe die Plugins ja nicht zum Spaß installiert. Die meisten habe ich also wieder aktiviert und bin wieder beim alten Wert...

Habe mal ein paar andere Webseiten angeschaut und die kommen auf unter 0,2 Sek TTFB.... Und da laufen ja auch Plugins...
Habt ihr Erfahrung mit Webgo.de? Kennt ihr gute Alternativen?

[supervisior]

Habe mal ein paar andere Webseiten angeschaut und die kommen auf unter 0,2 Sek TTFB.... Und da laufen ja auch Plugins...
Habt ihr Erfahrung mit Webgo.de? Kennt ihr gute Alternativen?

Schon mal auf den Gedanken gekommen, dass Hosting nicht gleich Hosting ist oder warum das eine Hosting mehr kostet als das Andere?

Schau mal, kein extra Plugin, alles von der Stange: https://www.wp.litecache.de/ Und auch kein spezielles oder teures Hosting.