Forum PHP.pl > TIME OUT lub CPU LIMIT skryptu

Pomoc - Szukaj - Użytkownicy - Kalendarz

Pełna wersja: TIME OUT lub CPU LIMIT skryptu

tom3k21

6.05.2014, 15:26:32

Witam wszystkich

Mam nadzieje że jest ktoś w stanie mi pomóc rozwiązać problem ze skryptem do aktualizacji stanów magazynowych.
Otóż sklep stoi na home.pl i tutaj jest problem... (od administatorów jedyne czego się dowiedziałem to żeby przenieść na inny pakiet hostingowy

ot tak pomocni są)... a mianowicie mają ustawione limity CPU (ok rozumie) ale także max_execution_time na ok 5min którego zmienić nie można :/ ale do sedna...

Moje wypociny ponizej i jako że jestem laikiem w programowaniu to nie bardzo wiem jak go zoptymalizować lub podzielić na części aby wykonywały się jedna po drugiej (np podzielic plik xml i jeden po drugim parsowac, plik zawiera około 10 000 produktów ~10mb).

[PHP] pobierz, plaintext 
<?php
set_time_limit(0); 
//error_reporting(E_ALL);
header('Content-type: text/html; charset=utf8');
include 'import_config.php';
include 'import_functions.php';	
?>
<body>
 
<div id="information"></div>
 
<?php
 
$xmlfile = 'import/plik.xml';
 
if($xml = simplexml_load_file($xmlfile)){
	echo "<br>Załadowano poprawnie plik XML<br>";
} else {
	echo "<br><span style='color:red'>Nie załadowano pliku XML, operacja została przerwana</span><br>";
	exit;
}
 
$total = mysql_result(mysql_query('SELECT COUNT(id_product) FROM ps_product'), 0);
 
$row2 = $productid = $instock = array();
 
foreach($xml->offers->offer as $entry)
{
	$productid[] = $entry->id;
	if(!empty($entry->instock)){
			$instock[] = $entry->instock;
		} else {
			$instock[] = '0';
		}
 
}
 
$query= mysql_query("SELECT `id_product`, `reference` FROM `ps_product`");
$row = mysql_fetch_assoc($query);
while($row = mysql_fetch_assoc($query)){
	$row2[] = $row;
}
 
$niezmienione = $nieaktywne = $zaktualizowane = 0;
for($i = 0; $i <= $total; $i++){
		$reference = $row2[$i]['reference'];
		$productid2 = array_search($reference, $productid);
		if(isset($reference) == $productid2){		
			$id_produktu =  mysql_result(mysql_query("SELECT id_product FROM ps_product WHERE reference = '".$reference."'"), 0);
			if(!empty($instock[$productid2])){$stock2 = $instock[$productid2];} else { $stock2 = 0; }
			@mysql_query("UPDATE ps_stock_available SET `quantity` = '".$stock2."'  WHERE `id_product` = '".$id_produktu."'");	
			if( $stock2 > 0){ $active = 1; } else { $active = 0; }
			@mysql_query("UPDATE ps_product_shop SET `active` = '".$active."'  WHERE `id_product` = '".$id_produktu."'");
			$zaktualizowane++;
			//echo $row2[$i]['reference']. ' znaleziony ze stanem magazynowym '. $stock2 .'<br>';
		} else {
			$instock2 = '0';
			if((int)$reference){
				@mysql_query("UPDATE ps_stock_available SET `quantity` = '".$instock2."'  WHERE `id_product` = '".$id_produktu."'");
				@mysql_query("UPDATE ps_product_shop SET `active` = '".$instock2."'  WHERE `id_product` = '".$id_produktu."'");
				$nieaktywne++;
				//echo $row2[$i]['reference']. ' <span style="color:red">nie znaleziony! Zmieniono stan magazynowy na '. $instock2 .'</span><br>';
			} else {
				$niezmienione++;
				//echo $row2[$i]['reference']. ' <span style="color:green">Stan nie zmieniony</span><br>';
			}
		}
		 echo '<script language="javascript">
		document.getElementById("information").innerHTML="'.$i.' / '.$total.'<br>Produkty zaktualizowane: '.$zaktualizowane.'<br>Produkty niezmienione: '.$niezmienione.'<br>Nieaktywne produkty: '.$nieaktywne.'";
		</script>';
		echo str_repeat(' ',1024*64);
		flush();
}
echo '<script language="javascript">document.getElementById("information").innerHTML="Aktualizacja zakonczona<br>Produkty zaktualizowane: '.$zaktualizowane.'<br>Produkty niezmienione: '.$niezmienione.'<br>Nieaktywne produkty: '.$nieaktywne.'"</script>';
 
mysql_close($con2);
unlink($xmlfile);
?>
</body>
[PHP] pobierz, plaintext

Fragment XML:

[XML] pobierz, plaintext 
<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE nokaut SYSTEM "http://www.nokaut.pl/integracja/nokaut.dtd">
-<nokaut ver="7.2" generator="Comarch ERP e-Sklep">-<offers>-<offer><id>23270</id><name>PEDAŁY DO ROWERKA JD BUG TC04G czarne </name><description> PEDAŁY DO ROWERKA JD BUG TC04G czarne Zestaw do rowerków - mechanizm do rowerków biegowych. kompatybilny z modelami Nanny i Billy. </description><price>89.41</price><weight>1.000</weight><category>Dla dzieci / Sport dla dzieci / Rowery biegowe</category><producer>Smj</producer><property name="Dostępne kolory">Czarny</property><instock>3</instock></offer></offers></nokaut>
[XML] pobierz, plaintext

pokrótce:
skrypt pobiera xml przy pomocy simpleXML oraz laczy sie z baza danych gdzie wcześniej zostały zaimportowane produkty z numerem ID wpisanym do tabelki `reference` i jeśli produkt istnieje zarówno w DB jak i XML jego stan magazynowy zostaje uzupelniony odpowiednią liczbą, natomiast jeśli produkt znajduje się w bazie danych ale nie w XMLu to jego stan określa się jako 0. całość opiera się na metodzie array_search() czyli przeszukuje określonego wyrażenia w całej tablicy trzymającej numery ID produktów z XML'a. I pewnie dlatego nieraz otrzymuje komunikat CPU LIMIT jednak nie wymyśliłem jakiegoś innego sposobu aby to sprawdzać.

Za każdą sugestie podpowiedź, przykład, rzut okiem na kod będę bardzo wdzięczny

sazian

6.05.2014, 19:29:25

nie pchaj całej bazy do zmiennych

wrzuć sobie wszystko w tą pętle z linii 27

czyli w w uproszczeniu

[PHP] pobierz, plaintext 
$i=0;
$j=0;
foreach($xml->offers->offer as $entry)
{
     mysql_query("UPDATE ps_stock_available SET `quantity` = '".((int)$entry->instock)."'  WHERE `id_product` in ("SELECT id_product FROM ps_product WHERE reference = '".$entry->id."'")");
$j+=mysql_affected_rows();
$i++;
 
}
echo 'wiersze:'.$i.' zmieniono: '.$j;
 
[PHP] pobierz, plaintext

pisane z palca i nie analizowałem dokładnie twojego kodu więc mogą być błędy

----
edit:
co to za potworek if(isset($reference) == $productid2)

isset daje w wyniku boolean, a $productid2 zawiera int więc takie porównanie większego sensu niema

tom3k21

6.05.2014, 21:22:43

dzieki za rade jednak nie moge wykorzystac tej petelki poniewaz plik xml nie zawiera wszystkich importowanych produktów (w pliku xml hurtowni jeśli produkt jest niedostepny (0 stan) jest usuwany), dlatego muszę dokonac sprawdzenia na podstawie numerów ID (tabela: reference) już zapisanych w bazie danych.
Na razie rozwiazałem to właśnie przy pomocy array_search() dzięki której wyszukuje czy dany numer ID produktu jest w pliku XML (tablica utworzona w petli linia 27) i bazie danych

ten 'potworek' tworzący warunek choc sensu nie ma dzięki niemu jakoś to działa wmiarę poprawnie

może masz jakiś pomysł jak ominąć tworzenie tablicy z pliku xml i dopiero w petli while dokonac sprawdzenia czy dany numer ID istnieje właśnie w pliku xml pomijając array_serach()?

Pyton_000

6.05.2014, 21:35:46

zamiast simplexml_load_file który pakuje całego XML do pamięci zainteresuj sie XMLRead który czyta strumieniowo, dzięki temu zaoszczędzisz masę pamięci.

Kolejnym krokiem może być (o ile często robisz importy stanów) dodanie kolumny flagi. Podczas rozpoczęcia importu ustawiasz flagi na 0 dla wszystkich.
Potem przy aktualizacji konkretnego stanu w bazie z XML zmieniasz stan flagi na 1
A na koniec dla każdego prod gdzie flaga === 0 robisz stock na 0

[PHP] pobierz, plaintext 
if(isset($reference) == $productid2)
[PHP] pobierz, plaintext

wystarczy

[PHP] pobierz, plaintext 
if(false !== $productid2)
[PHP] pobierz, plaintext

tom3k21

7.05.2014, 09:13:07

+plusik dla każdego za dobre chęci i rady

Udało mi się to dopracowac (tak przynajmniej mysle) nie jest idealnie poniewaz wykorzystałem petelke for aby robiła się ograniczona ilosc produktów a nastepnie GETem pobierało na czym się zakończył poprzedni proces ale działa. Ale przez to za każdym nowym wywołaniem skryptu musi on tworzyć od nowa całą tablice z pliku xml i kontynuować od wyznaczonego miejsca (wykorzystałem XMLreader ale czy poprawnie?).

Jeszcze mam takie pytanie:
Czy jakbym chciał ten skrypt wrzucic do CRONa aby robił się automatycznie to nie bedzie problemu z takim przekazywaniem zmiennych GETem?

[PHP] pobierz, plaintext 
print '<meta http-equiv="Refresh" content="0; url='.$_SERVER['PHP_SELF'].'?x='.($x+1).'&file='.$plik.'&updated='.$zaktualizowane.'&inactive='.$nieaktywne.'&dontexist='.$niezmienione.'">';
[PHP] pobierz, plaintext

jako że nigdy nie korzystałem z CRONa to niestety nie wiem i prosiłbym tylko o jeszcze taką drobną podpowiedz

Kodzik dla zainteresowanych:

[PHP] pobierz, plaintext 
$plik = 'tmp_xml';
if(isset($_GET['file'])){
	$xmlfile = 'import/'.$_GET['file'].'.xml';
} else {
	$xmlfile = 'import/'.$plik.'.xml';
	$xmlurl = 'URL_DO_PLIKU';
 
	$downxml = file_get_contents($xmlurl);
	file_put_contents($xmlfile, $downxml); 
}
 
$total = mysql_result(mysql_query('SELECT COUNT(id_product) FROM ps_product'), 0);
 
$xml = new XMLReader();
if($xml->open($xmlfile)){
	echo "<br>Załadowano poprawnie plik XML<br>";
} else {
	echo "<br><span style='color:red'>Nie załadowano pliku XML, operacja została przerwana</span><br>";
	exit;
}
$productid = $instock = array();
while ($xml->read() && $xml->name !== "offer");
do {
	$node = new SimpleXMLElement($xml->readOuterXML());
	$productid[] = $node->id;
	if($node->instock){
		$instock[] = $node->instock;
	} else {
		$instock[] = '0';
	}
} while ($xml->next('offer'));
 
$query= mysql_query("SELECT `id_product`, `reference` FROM `ps_product`");
while($row = mysql_fetch_assoc($query)){
	$row2[] = $row;
}
 
 
if(isset($_GET['x']) && isset($_GET['updated']) && isset($_GET['inactive']) && isset($_GET['dontexist'])){
    $x = $_GET['x'];
	$zaktualizowane = $_GET['updated'];
	$nieaktywne = $_GET['inactive'];
	$niezmienione = $_GET['dontexist'];
} else {
    $x = $niezmienione = $nieaktywne = $zaktualizowane = 0;
}
$limit = $x+1000;
for($i = $x; $i <= $limit; $i++){
		$reference = $row2[$i]['reference'];
		$productid2 = array_search($reference, $productid);
		$id_produktu =  mysql_result(mysql_query("SELECT id_product FROM ps_product WHERE reference = '".$reference."'"), 0);
		if(false !== $productid2){		
			if(!empty($instock[$productid2])){$stock2 = $instock[$productid2];} else { $stock2 = 0; }
			@mysql_query("UPDATE ps_stock_available SET `quantity` = '".$stock2."'  WHERE `id_product` = '".$id_produktu."'");	
			if( $stock2 > 0){ $active = 1; } else { $active = 0; }
			@mysql_query("UPDATE ps_product_shop SET `active` = '".$active."'  WHERE `id_product` = '".$id_produktu."'");
			$zaktualizowane++;
			//echo $reference. ' znaleziony ze stanem magazynowym '. $stock2 .'<br>';
		} else {
			$instock2 = '0';
			if((int)$reference){
				@mysql_query("UPDATE ps_stock_available SET `quantity` = '".$instock2."'  WHERE `id_product` = '".$id_produktu."'");
				@mysql_query("UPDATE ps_product_shop SET `active` = '".$instock2."'  WHERE `id_product` = '".$id_produktu."'");
				$nieaktywne++;
				//echo $reference. ' <span style="color:red">nie znaleziony! Zmieniono stan magazynowy na '. $instock2 .'</span><br>';
			} else {
				$niezmienione++;
				//echo $reference. ' <span style="color:green">Stan nie zmieniony</span><br>';
			}
		}
 
		echo '<script language="javascript">
		document.getElementById("information").innerHTML="'.$x.' / '.$total.'<br>Produkty zaktualizowane: '.$zaktualizowane.'<br>Produkty niezmienione: '.$niezmienione.'<br>Nieaktywne produkty: '.$nieaktywne.'";
		</script>';
		echo str_repeat(' ',1024*64);
		flush();
 
		if($i==$total){
			echo '<script language="javascript">document.getElementById("information").innerHTML="Aktualizacja zakończona<br>Produkty zaktualizowane: '.$zaktualizowane.'<br>Produkty niezmienione: '.$niezmienione.'<br>Nieaktywne produkty: '.$nieaktywne.'"</script>';
			if(unlink($xmlfile)){
				echo "Usunięto plik XML";
			} else {
				echo "<span style='color:red'>Nie udało się usunąć pliku XML, usuń go samodzielnie: </span>". $xmlfile;
			}
			exit;
		} elseif($i==$limit){
			print '<meta http-equiv="Refresh" content="0; url='.$_SERVER['PHP_SELF'].'?x='.($x+1).'&file='.$plik.'&updated='.$zaktualizowane.'&inactive='.$nieaktywne.'&dontexist='.$niezmienione.'">';
			//print '<a href="'.$_SERVER['PHP_SELF'].'?x='.($x+1).'&file='.$plik.'&updated='.$zaktualizowane.'&inactive='.$nieaktywne.'&dontexist='.$niezmienione.'">Kontynuuj import od: .'$x'.</a>';
			exit;
		}
		$x++;
}
[PHP] pobierz, plaintext

----- EDIT

Ok trochę poszperałem i już wiem że głupie pytanie zadałem bo przecież oczywiste ze meta i headers jest dla przegladarki i CRON to pominie :/
Jednak jakby ktoś mógł mi pokazać jak zamienić ten meta tag i GET na CURL byłbym ogromnie wdzięczny, ponieważ gdzieś wynalazłem iż tym da rade wykonać to co stworzyłem jako zadanie crona

Pozdrawiam

To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.