Hej,

mam skrypt w php który otwiera pliki kolejno 1, 2, 3 itd, jest ich 130tys. Czyta je i wyciąga z nich nazwiska.

Oczywiście dzieje się to w pętli for. Ustawiłem for 1 do 1000. Leciał i wypluwał te naziwska.

Zauważyłem, że po jakimś czasie zaczyna to robić coraz wolniej i wolniej. W końcu skończył, ale po tym maszyna strasznie muliła, czas reakcji był około 15-20 sekund, po jakimś czasie samo się unormowało. W międzyczasie sprawdzałem, CPU i MEM nie skakało, ale w logach znalazłem, ze numproc (wątków) przewyższyło o 2500(!)

Czy php nie zrzuca bufora w pętli? tylko trzyma go aż do samego końca? Co mogę zrobić żeby wymusić przy końcówce pętli zrzucenie wszystkiego co zbędne?


Dzięki!

Pokaż kod.

Funkcja, o którą pytasz to flush, ale mam dziwne przeczucie, że to nie ma nic do rzeczy. Może np. nie zamykasz plików?

I jaki jest sens plucia tylu rekordów? Nie lepiej sobie zapisać do pliku tekstowego i go ściągnąć albo nawet do bazy danych i mieć pełną swobodę?

Hej,

może powinienem unsetować buffer za każdym razem?

Pokazałbym, ale jest w nim taki burdel że rzygać się chce, zmienne ponazywane a,b,c,d, tabulatory nie istnieją, breaki też rzadko

Co do plików to są one na zewnętrznym serwerze, używam do tego curl'a. TO ważne?

Schemat jest taki

od 1 to 1000, wykonuj
<instruckje curla: init, setopt, exec, close>
<filtrowanie: preg_match_all'em>
<printowanie wyników>

<dodatkowe warunki tworzące dodatkowe pętle for>

koniec (i znów od początku)

oczywiscie zrzucam to w powłoce ( ~# time php dump.php 1 1000 >> 1to1000.dump )


Dzięki!

Ok, wrzucam

[PHP] pobierz, plaintext 
<?php
 
set_time_limit (0);
 
for($file = $argv[1]; $file <= $argv[2]; $file++)
{
	$dump = curl_init ();
 
	curl_setopt($dump, CURLOPT_RETURNTRANSFER, 1);
	curl_setopt($dump, CURLOPT_URL, "http://URL/file.php?p=" . $file);
 
	$buffer = curl_exec($dump);
 
	curl_close($dump);
 
	$found = false;
	$valid = true;
 
	if ( preg_match( '/You do not have permission to view this file/', $buffer) )
		$valid = false;
 
	if ( preg_match( '/the link that brought/', $buffer) )
		$valid = false;
 
	if ( empty($buffer) )
		$valid = false;
 
	if( $valid )
	{
		$page = 1;
 
		preg_match_all(_PATTERN_, $buffer, $result);
 
		$PageCount = count($result[0]);
 
		if($PageCount > 0)
		{
			print("file: " . $file);
			print(" Page: " . $page  ."\n");
		}
 
		for($i = 0; $i < $PageCount; $i ++)
			print($result[0][$i] . "\n");
 
 
		if($PageCount > 0)
			print("\n");
 
 
		if ( !preg_match('/Page 1 of 1/', $buffer) )
			do
			{
				$page++;
				$temp = '/Page 1 of ' . $page . '/';
 
				if ( preg_match($temp, $buffer) )
					$found = true;
			}	
			while(!$found);
 
		if ($page > 1)
			for($var = 2; $var <= $page; $var++)
			{
 
				$TempVar = $var * 10;
 
				$dump = curl_init ();
 
				curl_setopt($dump, CURLOPT_RETURNTRANSFER, 1);
				curl_setopt($dump, CURLOPT_URL, "http://URL/file.php?p=" . $file . "&q=" . $TempVar);
 
				$buffer2 = curl_exec($dump);
 
				curl_close($dump);
 
 
				preg_match_all(_PATTERN_, $buffer, $result);
				$PageCount = count($result[0]);
 
				if($PageCount > 0)
				{
					print("file: " . $file);
					print(" Page: " . $var ."\n");
				}
 
				for($i = 0; $i < $PageCount; $i ++)
					print($result[0][$i] . "\n");
 
 
				if($PageCount > 0)
					print("\n");
 
			}
	}
}
?>
[PHP] pobierz, plaintext