Datenabfrage: Ideen oder Tools?

[JuppBub236]

Hallo an alle,

ich habe eine kleine Frage:

1.) Ich habe eine Liste mit ca. 200 Wörtern (Excel je Zelle = ein Begriff, können auch mehrere Wörter wie "grüne Katze" in einer Zelle sein)
2.) Ich habe eine Liste mit ca. 2.000 Foren / Websites

-> Ich möchte jetzt prüfen: Wie oft kommt jedes Wort auf diesen Websites vor. Ganz simpel:

Wort I: 23442x auf Website XY
Wort II: 2111x auf Website XY

Das brauche ich für jede Website einzeln (also Wort XYZ kommt 234x auf Website XYZ vor usw.)

Habt ihr eine Idee, wie ich das automatisiert abfragen kann? Gibt es dafür ein Tool / Dienstleister? Das Tool muss natürlich auch alle Unterseiten crawlen. Das ich hier einen Web-Crawler brauche ist vermutlich klar, ich suche aber konkrete Tools / Dienstleister. Kann natürlich auch was kosten - macht ja keiner umsonst.

DANKE!

[staticweb]

Die Frage ist ob du alle Forenseiten benötigst oder nur die die im Index sind.

In letzterem Fall könntest du ein Script bauen was alle Foren durchläuft und eine weitere Schleife welche die site: Abfrage mit dem Keyword macht. Das Ergebnis müsste dann noch geparsed werden.

Musst nur dafür sorgen, dass Google nicht bemerkt, dass dies automatisiert passiert. Aber auch dafür gibt es eine Lösung.

[hanneswobus]

Hallo an alle,

ich habe eine kleine Frage:

1.) Ich habe eine Liste mit ca. 200 Wörtern (Excel je Zelle = ein Begriff, können auch mehrere Wörter wie "grüne Katze" in einer Zelle sein)
2.) Ich habe eine Liste mit ca. 2.000 Foren / Websites

-> Ich möchte jetzt prüfen: Wie oft kommt jedes Wort auf diesen Websites vor. Ganz simpel:

Wort I: 23442x auf Website XY
Wort II: 2111x auf Website XY

Das brauche ich für jede Website einzeln (also Wort XYZ kommt 234x auf Website XYZ vor usw.)

Habt ihr eine Idee, wie ich das automatisiert abfragen kann? Gibt es dafür ein Tool / Dienstleister? Das Tool muss natürlich auch alle Unterseiten crawlen. Das ich hier einen Web-Crawler brauche ist vermutlich klar, ich suche aber konkrete Tools / Dienstleister. Kann natürlich auch was kosten - macht ja keiner umsonst.

DANKE!

du musst dir die sitemaps der seiten / foren organisieren u. dann ziehst du dir die dokumente via http.get. der rest geht mit einem simplen zeichenkettenabgleich. ich habe sowas im archiv rumliegen u. du darfst mich gern kontaktieren.
gruß

[JuppBub236]

Moin,

Danke. Ich dachte aber eher an ein fertiges Tool, was ich nur entsprechend konfigurieren muss. Alternativ an ein Unternehmen, was ich beauftragen kann.

[hanneswobus]

Moin,

Danke. Ich dachte aber eher an ein fertiges Tool, was ich nur entsprechend konfigurieren muss. Alternativ an ein Unternehmen, was ich beauftragen kann.

nunja.
ich besitze ein solches tool, weil ich ein solches tool schonmal programmiert habe u. dieses tool befindet sich inkl. quellcodes in meinem archiv. du kannst mich also gern mit genaueren infos zu deinem problem kontaktieren u. wir können dann gern über zahlen u. genaueres sprechen. ich besitze also ein unternehmen, welches auch solche sachen (->datenabfragen) lösen kann u. im moment frage ich bspw. daten aus instagram ab, wo auch worthäufungen wichtig sind.
lg