13 Millionen .de Domains

[nerd]

Also erstens wechseln die IP Adressen von Domains nicht jeden Tag.

Eine Domain wechselt nicht taeglich die IP. Bei 13 Millionen domains wechseln aber taeglich sicher ein paar hundert (oder tausend?) domains die IP...

[supervisior]

Eine Domain wechselt nicht taeglich die IP. Bei 13 Millionen domains wechseln aber taeglich sicher ein paar hundert (oder tausend?) domains die IP...

Ja und?

[staticweb]

> Eine Domain wechselt nicht taeglich die IP.

Die für normale Zwecke konnektiert sind nicht.

> Bei 13 Millionen domains wechseln aber taeglich sicher ein paar hundert (oder tausend?) domains die IP...

Bei 16,5 Millionen Domains wohl eher im hohen 4-stelligen Bereich, da einige Domain-Anbieter diese auch IP-technisch hin- und herschieben um Interesse zu wecken.

[supervisior]

Also erstens wechseln die IP Adressen von Domains nicht jeden Tag.

Eine Domain wechselt nicht taeglich die IP. Bei 13 Millionen domains wechseln aber taeglich sicher ein paar hundert (oder tausend?) domains die IP...

Ich würde die Latte nicht ganz so hoch legen. Es liegt in der Natur der Dinge, dass Domänen nicht für alle Ewigkeit von nur 1 Inhaber registriert werden. Viele werden auch wieder aufgegeben, zumal dann, wenn diese nur der Registrierung wegen, aber ohne Webseite dahinter, registriert werden. Eine sicherlich nicht geringe Menge an registrierten Domains werden auch von Domain Grabbern registriert, die noch nicht mal konnektiert sind. Alles in allem sicherlich eine gewisse Menge, aber daraus resultiert nicht unweigerlich eine bedeutsame Fluktuation bei den IP Adressen. Die Zahl der gar nicht genutzen, aber registrierten Domains, ist dabei ungleich höher. Nachdem ich diese Domain Datenbank aus einem ganz anderen Zusammenhang erstellt, bzw. um unzählige für das Projekt benötigte Daten erweitert habe, kann ich die Zahl der Domains, die gar nicht genutzt werden, mit einem Wert von roundabout > 70% angeben. Wirkt überraschend viel, ist aber durchaus realitisch, weil es ansonsten 8 bis 9 Millionen Websites allein in Deutschland geben müsste.

[staticweb]

> Eine sicherlich nicht geringe Menge an registrierten Domains werden auch von Domain Grabbern registriert, die noch nicht mal konnektiert sind.

Eine sicherlich nicht geringe Menge --> Die größere Menge

> Alles in allem sicherlich eine gewisse Menge, aber daraus resultiert nicht unweigerlich eine bedeutsame Fluktuation bei den IP Adressen.

Da diese bei professionellen Domain-Anbietern des öfteren mal DNS-technisch angepasst werden schon.

> kann ich die Zahl der Domains, die gar nicht genutzt werden, mit einem Wert von roundabout > 70% angeben.

Wie wurde das ermittelt?

> Wirkt überraschend viel, ist aber durchaus realitisch, weil es ansonsten 8 bis 9 Millionen Websites allein in Deutschland geben müsste.

70% wären hochgerechnet 11,55 Millionen. Diese Zahl müsste man noch einmal aufteilen.

[supervisior]

Wie wurde das ermittelt?

Wie würdest Du es machen?

[staticweb]

> Wie würdest Du es machen?

- IP Check
- DNS Check
- HTTP-Status
- Indexiert?

mit diesen 4 Informationen könntest du schon eine grobe Aufteilung vornehmen.

[supervisior]

Viel zu aufw(e|ä)ndig und dauert viel zu lange.

Kleiner Tipp: Schon mal was von cURL gehört und der Möglichkeit sich nur die Response Header zurückgeben zu lassen, aber nicht alle, sondern eigentlich nur 2 bestimmte, die mit 99,99% Sicherheit eine Aussage geben können, dass der Request ohne Fehler zurückgegeben wurde und zumindest 1 Seite vorhanden ist.

Fairerweise muss aber ergänzt werden, dass da ein Timeout von 5 Sekunden definiert wurde. Es ist also nicht gänzlich auszuschließen, dass da der Eine oder andere Request vorzeitig unbeantwortet blieb. Nach 5 Sekunden unter regulären Bedingungen sollte aber auch ein behäbiger Server innerhalb D antworten, zumal es ja nur um die Header ging.

[staticweb]

> Viel zu aufw(e|ä)ndig und dauert viel zu lange.

Der komplette Durchlauf ist auch nur bei konnektierten Domains notwendig.

> Kleiner Tipp: Schon mal was von cURL gehört und der Möglichkeit sich nur die Response Header zurückgeben zu lassen,

Ja, das war für Punkt 3 vorgesehen und wäre nur bei Domains notwendig die keine IP/DNS Auffälligkeiten haben.

[supervisior]

Der komplette Durchlauf ist auch nur bei konnektierten Domains notwendig.

Ja, das war für Punkt 3 vorgesehen und wäre nur bei Domains notwendig die keine IP/DNS Auffälligkeiten haben.

Ähm und wie willst Du wissen, dass eine Domain konnektiert ist, wenn Du vorher erstmal prüfen musst, ob eine Domain konnektiert ist? Beim Provider nachfragen oder den nicht vorhandenen Dackel fragen? Seltsame Rhetorik....

[Lyk]

Wer eine Liste freier Domain haben möchte .... gerne

für sogar nur ganz wenig 1€cent pro 1.000.000 Domains

hätte interesse, bei dem preis lohnt sich für mich das klicken aufs tool noch nicht mal.

ich stell die datenbank online und wenn jemand ne domain haben will wird sie geregt^^

[/Affilitiv/]

Wer eine Liste freier Domain haben möchte .... gerne

für sogar nur ganz wenig 1€cent pro 1.000.000 Domains

hätte interesse, bei dem preis lohnt sich für mich das klicken aufs tool noch nicht mal.

ich stell die datenbank online und wenn jemand ne domain haben will wird sie geregt^^

danke für dein Interesse ....

aber das meinst du nicht ernst? oder?


das gesagte Wörterbuch von an die 500ooo Wörter ...
... daraus 2erKombis ergäben 250 Milliarden Domains
250.ooo.ooo.ooo
Deine Datenbank bräuchte 250 Gigabyte wenn jede Domain nur 1 Byte brauchen würde, bei durschschnittliche 10 Byte wären das schon 2.5 Terra

Dreierkombis 500*500*500 (alle in tausend)
125.000.000.ooo.ooo.ooo
125ooo Terrabyte * durschschnittliche Domainlänge .... hast du soviel Festplatte?

1cent pro 1.ooo.ooo Domains ...
für die 2erkombi Base wären das 250ooo€ (ähm, 2.5Tausend)

[supervisior]

@/Affilitiv/

Wo Du unweigerlich Recht hast, wobei Du, ohne den Interessenten in Schutz nehmen zu wollen, Dir selbst erst die Frage hättest stellen müssen bevor Du solche Angebote machst, ob Du selbst so viel Speicherplatz hast für die Generierung. Mal ganz abgesehen davon wie lange es dauern würde bis diese DB erstellt ist....

[staticweb]

> Ähm und wie willst Du wissen, dass eine Domain konnektiert ist, wenn Du vorher erstmal prüfen musst, ob eine Domain konnektiert ist?

Wenn die IP-Adresse oder die DNS-Server Domain-Grabber Diensten gehören, kann man die schon mal aussortieren.

Außerdem weiß ich nicht wo dein Problem liegt. Wenn ich einige Test-Optionen in Curl deaktiviere kann ich 10.000-e Domains in wenigen Minuten checken.

Mit Python geht es noch einmal schneller.

[supervisior]

Requests kannst Du abschicken so viel Du willst. Das hilft Dir aber nix, wenn Du eine Antwort vom aufgerufenen Server brauchst, die dann ja noch irgendwie verarbeiten musst, um hinterher zu wissen, was mit der jeweils aufgerufenen Domain los ist.

Meno, denk doch nur einmal mit!