registrieren registriertes Mitglied


Anzeige

Anzeige

Spider Software

Alles zu Domain-Umzug, Weiterleitungen und Robots diskutiert Ihr hier.
Benutzeravatar
/Affilitiv/
PostRank 7
PostRank 7
Beiträge: 533
Registriert: 11.08.2015, 12:50

Beitrag /Affilitiv/ » 07.12.2019, 15:42 Spider Software

Nachfolgendes Rendering .... wenn das nötig wäre hätten wir einen Spider der Augen hat, SPider sind aber Scripte und die haben keine Augen


Meister Meister, warum geht mein Auto jede Woche kaputt? das liegt sicher an deiner Tapete in der Garage (das Auto ist depresif) :lol:
supervisior hat geschrieben:
05.12.2019, 05:55
staticweb hat geschrieben:
04.12.2019, 14:15
Auf manchen Seiten geht es aber ohne JS nicht, weshalb dann ein nachfolgendes Rendering des HTML notwendig wird.
Hier muss nix und vor allem nicht nachfolgend gerendert werden.

Es geht um die nackten Rohdaten,
Es geht doch darum, ob ein SPider Lesen kann?

Wenn Daten erst per Ajax kommen, dann kann ein SPider der kein JS kann nichts lesen
Affilitiv/Affiliate „vom Wolf zum Hund der kann Produktdaten liefern

Anzeige von:

Personal Branding mit ABAKUS:
  • Höhere Glaubwürdigkeit
  • Hervorhebung Ihrer Kompetenz
  • Stärkung Ihrer Alleinstellungsmerkmale
  • Abhebung von Namensvettern
Profitieren Sie von unserer Erfahrung!
0511 / 300325-0

Hanzo2012
Community-Manager
Community-Manager
Beiträge: 1949
Registriert: 26.09.2011, 23:31

Beitrag Hanzo2012 » 07.12.2019, 23:08 Spider Software

So ist es! Bei Seiten wie z. B. Facebook sieht ein Bot, der kein JavaScript kann, überhaupt keine Daten, auch keine Rohdaten. Die werden erst dynamisch über Ajax reingeladen, und das über URLs, die nicht direkt im Quelltext stehen, sondern ebenfalls über JavaScript erzeugt werden. Ohne selbst JavaScript auszuführen ist da absolut nix zu holen.

staticweb
PostRank 9
PostRank 9
Beiträge: 2014
Registriert: 04.05.2016, 14:34

Beitrag staticweb » 08.12.2019, 09:20 Spider Software

> So ist es! Bei Seiten wie z. B. Facebook sieht ein Bot, der kein JavaScript kann, überhaupt keine Daten, auch keine Rohdaten.

Endlich mal jemand der es begriffen hat.

Es gibt aber auch Seiten wo der Quelltext auch ohne JS kommt, und nur einzelne Bereiche über JS beim rendern verändert werden.

supervisior
PostRank 9
PostRank 9
Beiträge: 2090
Registriert: 26.06.2006, 09:11

Beitrag supervisior » 08.12.2019, 12:52 Spider Software

Nur mal als Anmerkung an die beiden letzten Intelligenzbolzen, Ihr beiden redet komplett am Thema des Themenstarters vorbei. Bezogen auf einen Bot im tatsächlichen Sinne habt ihr beide wohl recht, aber bei diesem Thema geht es nicht um Bots, sondern um ein Stück Software mit der man Daten von einer Seite "entnehmen" im Sinne von "scrapen" kann. Das sind 2 paar verschiedene Schuhe und das Eine hat mit dem Anderen nix zu tun. Gleichermaßen Schnurzpiepegal ist es, ob da die Daten oder Links im Quelltext stehen oder nicht. Solange etwas im Browser zu sehen ist, kann man diesen Content mit der besagten Software auch abgreifen.

Benutzeravatar
/Affilitiv/
PostRank 7
PostRank 7
Beiträge: 533
Registriert: 11.08.2015, 12:50

Beitrag /Affilitiv/ » 08.12.2019, 15:00 Spider Software

supervisior hat geschrieben:
08.12.2019, 12:52
Ihr beiden redet komplett am Thema des Themenstarters vorbei.

Bezogen auf einen Bot im tatsächlichen Sinne habt ihr beide wohl recht, aber bei diesem Thema geht es nicht um Bots, sondern um ein Stück Software mit der man Daten von einer Seite "entnehmen" im Sinne von "scrapen" kann. Das sind 2 paar verschiedene Schuhe
ob Bot oder Scraper (ein Bot oder Spider ist ein Scraper ... oder woher hat Google die SeitenCanches)
on Bot oder Scraper ist egal ... beide können nur lesen was da ist, bzw können nur lesen was sie "Fremdsprache" (also JS im HTML) können

und ein konkretes Scraper Problem (also kein "ich spiel mal Google und hab nen Spider Problem)
hatte letztens versucht vom REWE den Preis für die Butter auszulesen ... in der Webseite sah ich 1.79 (da war gerade angebot) und im Quellcode (da suchte ich das HTMLzeugs ausenrum um zu wiseen wo ich mit Strpos und substr und so weiter den Preis rauslesen kann) dort stand der Normalpreis .... ich wollt aber den Angebotspreis lesen und den konnte ich auch auf der Webseite lesen .... hab da hoch und runter geschaut und der Angebotspreis fand sich im Quellcode nicht (und meinem kleinen Preiseklauer werd ich da jetzt nicht extra JavaScript beibringen)
Affilitiv/Affiliate „vom Wolf zum Hund der kann Produktdaten liefern

Anzeige von: