Okay, Schlaumischlumpf, dann leg mal los wie Du das anstellen willst 10.000 Requests in wenigen Minuten abzusetzen und die Rückantwort im Sinne von Response Headern ebenso in wenigen Minuten speichern willst.
Schlaumischlumpf ist doch nett, oder nicht? Also lieferst Du jetzt oder kommen wir mit dieser sinnfreien Diskussion dann doch zu dem Schluss, dass Du doch nur mal wieder theoretisierst?
Nur falls das jemanden interessieren sollte, meine anfängliche Schätzung, dass 70% aller Domains gar nicht für eine Webseite genutzt werden, war weit übertrieben. Will heißen, es sind nicht 70, sondern sogar mehr als 95%. Und genau genommen sind es weniger als 1,5% aller Domains, die überhaupt konnektiert sind. Von diesen 1,5% geht aber nochmal eine Zahl X weg, die zwar konnektiert sind, aber keine reguläre Seite darüber läuft.
Von den aktuell ~ 16.7 Millionen registrierten .de Domains gibt es also grade mal ~ 207.000 konnektierte Domains inkl. der Domains, die gar keine Webseite haben.