Sind hier PHP'ler unterwegs?

[Hanzo2012]

Danke für's Ausprobieren! Dass es (gefühlt) nicht schneller ist, wundert mich. Welchen Wert nutzt du denn für $nThreads? Auch nur 3? Das kannst du locker hochschrauben. Probier einfach mal verschiedene Werte wie 10, 20, ... - nur nicht übertreiben, weil jeder Thread auch RAM braucht.

Dass du damit deine eigenen Seiten aufrufst - wahrscheinlich um deinen Cache zu füllen - hatte ich mir schon gedacht.

Zu deinem Anliegen: Ich würde die Funktion so ändern, dass sie ein Array aus Paaren von URLs und dazugehörigen Optionen erwartet. Außerdem wäre es praktisch "Basis-Optionen" angeben zu können, die für jeden Request gleich sind, und pro Request nur die individuellen Optionen hinzufügen/ändern zu können. Hier ist mein erster Entwurf:

Code: Alles auswählen

function multi_thread_curl($urlsAndOptions, $numThreads, $baseOptions = array()) {
	$curlArray = array_chunk($urlsAndOptions, $numThreads, $preserve_keys = true);
	$results = array();
	
	foreach ($curlArray as $threads) {
		
		$curlHandles = array();
		foreach ($threads as $index => $urlAndOptions) {
			$curlHandle = curl_init();
			$curlHandles[$index] = $curlHandle;
			curl_setopt_array($curlHandle, $baseOptions + $urlAndOptions["options"]);
			curl_setopt($curlHandle, CURLOPT_URL, $urlAndOptions["url"]); 
		}
		
		$mh = curl_multi_init();
		foreach ($threads as $index => $urlAndOptions) {
			curl_multi_add_handle($mh, $curlHandles[$index]);
		}
		
		do {
			$status = curl_multi_exec($mh, $active);
			if ($active) {
				curl_multi_select($mh);
			}
		} while ($active && $status == CURLM_OK);
		
		foreach ($threads as $index => $urlAndOptions) {
			$curlHandle = $curlHandles[$index];
			$results[$index] = curl_multi_getcontent($curlHandle);
			curl_multi_remove_handle($mh, $curlHandle);
		}
		
		curl_multi_close($mh);
	}
	
	return $results;
}

Wie du siehst, habe ich den Code generell etwas aufgeräumt und schöner gemacht.

Nun, wie würdest du das nutzen? Ein Beispiel:

Code: Alles auswählen

// Optionen, die für alle Requests gleich sein sollen:
$baseOptions = array(
	CURLOPT_RETURNTRANSFER => 1,
	CURLOPT_HEADER => true,
	CURLOPT_CUSTOMREQUEST => 'GET',
	CURLOPT_FOLLOWLOCATION => false,
	CURLOPT_ENCODING => 'gzip',
	CURLOPT_CONNECTTIMEOUT => 10,
	CURLOPT_TIMEOUT => 10,
	CURLOPT_SSL_VERIFYHOST => 0,
	CURLOPT_SSL_VERIFYPEER => false,
	CURLOPT_NOBODY => false,
	CURLOPT_HTTPHEADER => array('Cache-Control: max-age=0,no-store,no-cache'),
	CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1
);

// Individuelle Optionen:
$individualOptions = array(
	array(
		CURLOPT_USERAGENT => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.47 Safari/537.36"
	),
	array(
		CURLOPT_USERAGENT => "Wurstbrowser/7.4 FAKE"
	)
);

// ... SQL-Code weggelassen ...

$crawlURLsAndOptions = array();
while ($row = $crawler_query_result->fetch_array()) {
	// Jede URL mit jedem individuellen Set an Optionen separat abfragen.
	$url = $row["url"];
	foreach ($individualOptions as $options) {
		$crawlURLsAndOptions[] = array("url" => $url, "options" => $options);
	}
}

$results = multi_thread_curl($crawlURLsAndOptions, $nThreads, $baseOptions);

[supervisior]

Also für den ersten (parallelen) Probelauf hab ich zunächst mal nur 3 gleichzeitige Threads eingestellt, wobei es zwischen jedem Thread nochmal einen Delay von 300 Microseconds gibt. Ich muss mich da erst noch rantasten, wobei Speicher das kleinere Poblem zu sein scheint. Die CPU Load geht nach oben, wobei das noch harmlos ist. Ich hab' aber trotzdem einen Begrenzer drin, der den Prozess bei 0.8 stoppt.

Deine Änderungen teste ich gleich mal aus, wobei in Sachen Optimierung vielleicht noch mehr ginge. CURLOPT_RETURNTRANSFER => 1 brauche ich eigentlich nicht, was sich ohnehin auf den Speicher auswirkt. Ich muss mich noch genauer einlesen, aber es könnte sein, dass wenn ich CURLOPT_RETURNTRANSFER mit CURLOPT_WRITEFUNCTION+CURLOPT_HEADERFUNCTION ersetze, könnte ich den Ressourcen Verbrauch noch weiter senken.

Das mit den Basis Optionen hatte ich die ganze Zeit schon im Sinn, allerdings gescheitert bei der Umsetzung....

[Hanzo2012]

Da ist noch ein Bug in meinem Code, weil array_merge komische Sachen macht bei numerischen Schlüsseln. Warte noch einen Augenblick bitte ...

[Hanzo2012]

So, müsste jetzt korrigiert sein. Ich habe meinen Post oben angepasst, bitte nochmal neu rauskopieren (nur die Funktion). PHP ist schon sehr seltsam manchmal.

[supervisior]

Da ist noch ein Fehler drin mit dem vereinsamten "$" nach:
curl_setopt_array($curlHandle, $baseOptions + $urlAndOptions["options"]);

[Hanzo2012]

Ja, danke, korrigiert.

Richtig, mit CURLOPT_WRITEFUNCTION sollte man das verbessern können, wenn man sich gar nicht um den gelieferten Inhalt kümmert. Das hier habe ich gerade getestet, scheint zu funktionieren:

Code: Alles auswählen

function dummyWriteFunction($unused1, $unused2) {
	return -1;
}

$baseOptions = array(
	CURLOPT_WRITEFUNCTION => "dummyWriteFunction",
	CURLOPT_HEADERFUNCTION => "dummyWriteFunction",
	CURLOPT_CUSTOMREQUEST => 'GET',
	CURLOPT_FOLLOWLOCATION => false,
	CURLOPT_ENCODING => 'gzip',
	CURLOPT_CONNECTTIMEOUT => 10,
	CURLOPT_TIMEOUT => 10,
	CURLOPT_SSL_VERIFYHOST => 0,
	CURLOPT_SSL_VERIFYPEER => false,
	CURLOPT_NOBODY => false,
	CURLOPT_HTTPHEADER => array('Cache-Control: max-age=0,no-store,no-cache'),
	CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1
);

[supervisior]

Also erster Test sieht gut aus und funzt auch, zumindest will mich das mein Cache Inventory glauben lassen. Allerdings hab ich noch ein Verständnisproblem mit den variablen Optionen. Nur noch mal zum Verständnis:

Alle URLs haben bestimmte und immer wieder gleiche Optionen, also die Basis Optionen. Jede URL hat aber auch variable Optionen, beschränken sich aber auf den UA und den/die Cookies, wobei beim Einsatz von mehren Cookies für 1 URL diese zusammengefasst sind. Das aber nur informativ.

Code: Alles auswählen

CURLOPT_COOKIE => "_lscache_vary_esi= ; _lscache_vary_dsg="

Der praktische Fall würde je URL so aussehen, dass jede URL einerseits immer die Basis Optionen bekommt und zusätzlich je URL immer einen anderen UA, aber nicht immer einen Cookie. Ich nenne das mal als ein (1) Set an individuellen Optionen. In Deinem Code hast Du jetzt für die Individual Options 2 arrays mit jeweils unterschiedlichem UA verwendet. Für meinen Test habe ich den 2ten Array mit dem UA mit dem Cookie Array ersetzt, was so prima funktioniert. Wie aber kann ich über diese Arrays für die IndividualOptions meine Sets definieren? Das wird mir nicht ganz klar.

[supervisior]

Ergänzung:

Kann/Muss ich das mit den Arrays für die Indiviual Options so verstehen, dass jedes Array meinem Set entspricht?

[Hanzo2012]

In meinem Beispiel-Code werden 2 Sets von individuellen Optionen erstellt. Das führt dazu, dass jede URL 2x abgerufen wird: Einmal mit dem ersten Options-Set (+ Basis-Optionen), einmal mit dem zweiten Options-Set (+ Basis-Optionen).

Wenn du mehr unterschiedliche Options-Sets haben möchtest, musst du das Array $individualOptions entsprechend erweitern. Beispiel:

Code: Alles auswählen

$individualOptions = array(
	array(
		CURLOPT_USERAGENT => "User Agent A",
		CURLOPT_COOKIE => "Cookies A"
	),
	array(
		CURLOPT_USERAGENT => "User Agent A",
		CURLOPT_COOKIE => "Cookies B"
	),
	array(
		CURLOPT_USERAGENT => "User Agent B",
		CURLOPT_COOKIE => "Cookies A"
	),
	array(
		CURLOPT_USERAGENT => "User Agent B",
		CURLOPT_COOKIE => "Cookies B"
	)
);

Dann hättest du alle Kombinationen aus User Agent A/B und Cookies A/B. Kann man mit einer Schleife auch schöner machen, aber für eine kleine Zahl von Optionen lohnt sich das kaum.

Beantwortet das die Frage?

Edit: Fehlende Kommas hinzugefügt.

[supervisior]

Hatte es schon vor Deiner letzten Antwort ausprobiert und funzt so wie gedacht, trotzdem danke.

[supervisior]

So, jezt nochmal ein ganz anderes Thema, aber zur gleichen Sache. Es gibt noch eine 2te Aufgabe, die mich genauso beschäftigt. Das dürfte aber eine Hausnummer größer sein, sodass wir uns langsam über die Vergütung unterhalten sollten. Würde das aber ganz gern mit Dir per PM bequatschen. Okay?

[Hanzo2012]

OK, schreib mir gerne

[supervisior]

Im Rahmen von weiteren Optimierungen baue ich grad noch eine Funktion ein, welche bei unterschreiten eines Default Wertes für sys_getloadavg() die Zahl der Threads runtersetzt auf 1, bzw. soll. Allerdings stellt sich die Frage, ob das während der Laufzeit überhaupt geht?

[Hanzo2012]

Was meinst du genau mit "während der Laufzeit"?
Der Wert von $nThreads wird ja nur am Anfang der Funktion berücksichtigt. Wenn du ihn danach änderst, während die Funktion noch läuft, hat das natürlich keine Auswirkungen.

[supervisior]

Dann hast das, worum es mir ging schon beantwortet und schien mir vorab schon unmöglich zu sein. Allerdings frag ich mich dann, wie das mein Vorbild gemacht hat. Die machen das nämlich.