Witajcie,

odpalajac powiedzmy 1000 - 2000 linkow do przeszukania za pomoca multi curl'a czasami zdarza mi sie, ze w jakims tam procencie na ktoryms tam adresie curl sie zawiesi i tak strona mieli przez powiedzmy godzine i zero efektow.

Mam co do tego pytanie, chce doprogramowac malego debugerka i chcialbym zapisywac do pliku aktualnie wykonywane prace. Cos na zasadzie, biore linka nr 1, wchodze na niego, sprawdzam, plus komunikat, ze sie udalo cos znalezc, lub nie.

np dzialajac na takim standardowym multi curl kodzie:

[PHP] pobierz, plaintext 
$s = microtime(true);
$urls = array(
  "http://localhost/r.php?echo=request1",
  "http://localhost/r.php?echo=request2",
  "http://localhost/r.php?echo=request3"
);
$pg = new ParallelGet($urls);
print "<br />total time: ".round(microtime(true) - $s, 4)." seconds";
 
class ParallelGet
{
  function __construct($urls)
  {
    $mh = curl_multi_init();
    foreach($urls as $i => $url)
    {
      $ch[$i] = curl_init($url);
      curl_setopt($ch[$i], CURLOPT_RETURNTRANSFER, 1);
      curl_multi_add_handle($mh, $ch[$i]);
    }
 
    do {
        $execReturnValue = curl_multi_exec($mh, $runningHandles);
    } while ($execReturnValue == CURLM_CALL_MULTI_PERFORM);
    while ($runningHandles && $execReturnValue == CURLM_OK) {
      $numberReady = curl_multi_select($mh);
      if ($numberReady != -1) {
        do {
          $execReturnValue = curl_multi_exec($mh, $runningHandles);
        } while ($execReturnValue == CURLM_CALL_MULTI_PERFORM);
      }
    }
 
    if ($execReturnValue != CURLM_OK) {
      trigger_error("Curl multi read error $execReturnValue\n", E_USER_WARNING);
    }
 
    foreach($urls as $i => $url)
    {
      $curlError = curl_error($ch[$i]);
      if($curlError == "") {
        $res[$i] = curl_multi_getcontent($ch[$i]);
      } else {
        print "Curl error on handle $i: $curlError\n";
      }
      curl_multi_remove_handle($mh, $ch[$i]);
      curl_close($ch[$i]);
    }
    curl_multi_close($mh);
 
    print_r($res);
  }
 
}
[PHP] pobierz, plaintext 

teraz pytanie, ktory z kawalkow kodu moglbybyc odpowiedzialny za np zablokowanie sie skryptu. czy to sam curl_multi_exec, ktory jako pierwszy w petli do... while jest wykonywany:
do {
$execReturnValue = curl_multi_exec($mh, $runningHandles);
} while ($execReturnValue == CURLM_CALL_MULTI_PERFORM);

czy tez w tym kawalku kodu:

while ($runningHandles && $execReturnValue == CURLM_OK) {
$numberReady = curl_multi_select($mh);
if ($numberReady != -1) {
do {
$execReturnValue = curl_multi_exec($mh, $runningHandles);
} while ($execReturnValue == CURLM_CALL_MULTI_PERFORM);
}

moze pobranie tresci jest tym momentem, w ktorym skrypt moze sie przywiesic:

curl_multi_getcontent()

Gdybym wiedzial, ktory z tych elementow moze przywiesic skrypt, moglbym umiescic tam debugerka notujacego zdarzenia.

Czyli czy samo wykonanie curl_multi_exec to juz jest odwiedzenie strony/zainicjowanie proby wejscia na nia, czy dopiero curl_multi_getcontent moglby wygenerowac jakis wyjatek, zacinajacy strone?