Witam,
napisalem skrypt w PHP, ktory pobiera dane (grafiki) z innej strony. Na poczatku danych bylo malo i nie bylo problemu z czasem wykonywania skryptu, jednak z czasem danych zrobilo sie coraz wiecej i czasem czas wykonywania skryptu przekracza 5 min. Oczywiscie moge zwiekszac limit na serwerze, ale widze, ze nie tedy droga.

Czy ktos z bardziej doswiadczonych osob moglby poradzic mi co zrobic w takiej sytuacji? Czy przepisac skrypt na inny jezyk? Po pobraniu grafik nie sa juz dokonywane na nich zadne operacje.

Z gory dziekuje za porady.

Jest niby coś takiego jak curl_multi, niestety, pisanie wielowątkowego kodu php jest bolesne.

A moze PHP'em moglbym pobrac tylko linki do grafik i zapisac je w bazie MySQL a czyms innym pobrac pliki na podstawie danych z bazy?
Takie rozwiazanie wydaje sie rozsadniejsze. Niestety nie wiem co byloby tutaj najlepsze.

Zacznijmy od tego, co to znaczy że "pobierasz grafiki"? Na bazie adresu zapisujesz je u siebie na serwerze? Jak? Pokaż kod.

Mam taka prosta petelke:

[PHP] pobierz, plaintext 
for ($i=1; $i<=100; $i++)
{
$im = "http://adres.com/img/1/$i";	
$filename = "img/" .$i .".jpg";
if (!is_dir('img')) {
mkdir('img');
}
copy($im, ''.$filename.'');
}
[PHP] pobierz, plaintext 

Tak byłoby lepiej

[PHP] pobierz, plaintext 
for ($i=1; $i<=100; $i++)
{
    $im = file_get_contents('http://adres.com/img/1/'.$i);	
    $filename = 'img/'.$i.'.jpg';
 
    if(!is_dir('img'))
    {
        mkdir('img');
    }
    file_put_contents($filename, $im);
}
[PHP] pobierz, plaintext 

Mikrozmiany, ale nie uzależniasz się od copy, które nie zawsze działa.
I o jakich ilościach mówimy? 10k, milion?

Ilosci to 0,5-2k za jednym razem, ale rozmiar jednego pliku moze dochodzic do 1MB.

Zależy jakie są Twoje wymagania, czy np. wystarczy że z początku znać będziesz tylko rozmiar obrazka (metoda HEAD), pobieranie mógłbyś w ów czas odłożyć na później,

A jak w praktyce wykonac takie pobranie w pozniejszym czasie?

zapewne wrzucic do bazy danych, nazwać tabelę "quened_downloads", link do pliku w kolumnie "image_link" i atakować CRONem