registrieren registriertes Mitglied


Anzeige

Anzeige

Spider Software

Alles zu Domain-Umzug, Weiterleitungen und Robots diskutiert Ihr hier.
nerd
PostRank 10
PostRank 10
Beiträge: 4239
Registriert: 15.02.2005, 04:02

Beitrag nerd » 21.10.2019, 12:04 Spider Software

elmex hat geschrieben:
18.10.2019, 09:28
Einfach nur WOW wie ihr hier bereitwillig erklärt, Datenbestände abzusaugen.
Den selector rauszubekommen ist ja relativ trivial. Allerdings muss der crawler ja auch paging und navigation beherrschen um mehr als eine seite abzuarbeiten. Und abgesehen davon wird der erzeugte datenstand ja auch nicht besonders hilfreich sein, da sich bei einer millione eintraegen bestimmt pro tag ~100 oder so aendern, wegfallen oder auf irgendwelchen unterseiten neue hinzukommen.

Anzeige von:

Personal Branding mit ABAKUS:
  • Höhere Glaubwürdigkeit
  • Hervorhebung Ihrer Kompetenz
  • Stärkung Ihrer Alleinstellungsmerkmale
  • Abhebung von Namensvettern
Profitieren Sie von unserer Erfahrung!
0511 / 300325-0

nerd
PostRank 10
PostRank 10
Beiträge: 4239
Registriert: 15.02.2005, 04:02

Beitrag nerd » 21.10.2019, 12:16 Spider Software

supervisior hat geschrieben:
18.10.2019, 15:49
Du denkst viel zu kompliziert. Es hat aber eine zeitlang gedauert bis ich wusste, was und wie was zu tun ist.
Richtige profis schauen mit javascript nach wie der mauszeiger mit der seite interagiert: gabe es ein :hover vor dem klick, aendert sich die mauspositionzwischen den klicks, wird mit maus, keyboard oder touch navigiert usw.

supervisior
PostRank 9
PostRank 9
Beiträge: 2357
Registriert: 26.06.2006, 09:11

Beitrag supervisior » 21.10.2019, 14:05 Spider Software

nerd hat geschrieben:
21.10.2019, 12:16
supervisior hat geschrieben:
18.10.2019, 15:49
Du denkst viel zu kompliziert. Es hat aber eine zeitlang gedauert bis ich wusste, was und wie was zu tun ist.
Richtige profis schauen mit javascript nach wie der mauszeiger mit der seite interagiert: gabe es ein :hover vor dem klick, aendert sich die mauspositionzwischen den klicks, wird mit maus, keyboard oder touch navigiert usw.
Hey Du Profi.... :) Seit wann können Bots Javascript oder Session Cookies?

Hanzo2012
Community-Manager
Community-Manager
Beiträge: 2045
Registriert: 26.09.2011, 23:31

Beitrag Hanzo2012 » 21.10.2019, 15:13 Spider Software

Kein Problem für Bots, die auf PhantomJS etc. basieren.

staticweb
PostRank 9
PostRank 9
Beiträge: 2166
Registriert: 04.05.2016, 14:34

Beitrag staticweb » 21.10.2019, 15:19 Spider Software

> Seit wann können Bots Javascript oder Session Cookies?

Bot ist genau wie Spider nur ein Synonym für einen Webcrawler. Seit der Google Bot auf den aktuellen Chrome umgestiegen ist, wird auch das JS-Rendering vollständig unterstützt. Auch Cookies können gespeichert werden. Diese werden allerdings sofort wieder gelöscht.

Anzeige von: