Witam.
Napisałem na swoje prywatne potrzeby robota który chodzi po danej stronie www pobiera dla mnie istotne informacje i zapisuje je w bazie danych.
Robot odpalany jest lokalnie a laczy sie z witryna znajdujaca sie w internecie ( lacze DOWN 6 mbit/s na UP 512 kilobitów).
Dziala on na tej zasadzie ze za pomoca file_get_contents pobiera dane z internetu i przetwarza je lokalnie na komputerze za pomoca wyrazen regularnych.
Wedlug moich obserwacji wynika ze zarowno lacze jak i komputer na ktorym obrabiam dane sa w stanie przetworzyc duzo wiecej podstron z tego serwisu. Jednak opoznienie jakie wprowadza ten serwer zanim wysle strone z zawartoscia powoduje spadek wydajnosci mojego robota.
Pytanie brzmi, czy mozna wyslac do tego serwera np. 2 lub wiecej zapytan rownoczesnie po to, aby gdy bedziemy czekac na odpowiedz na jedno pytanie aby w tym czasie komputer mogl analizowac juz inna podstronne ?
Bo to wyglada mniej wiecej tak WYSLANIE ZAPYTANIA >> ODCZEKANIE 2 sekundy >> ODOWIEDZ . Gdyby udalo mi sie wyslac zapytania co 1 sekunde to oszczedzilbym bym oczikwanie na kazda podstrone az o 1 sekunde ( tylko taki przyklad ).
Pytanie 2 brzmi : czy mozna jakos wydluzyc czas oczekwiania na wczytanie zawartosci ( jezeli np. serwer nie chce odpowiedziec przez 5 sekund aby czekal np. 10 sekund )? Bo miewalem problemy ze wyswietlal ze nie ma takiej strony.
Pozdrawiam
Roger