Witam,
Mam pytanie, potrzebuje zrobić program, który pobiera wiele źródeł strony na raz - kilka tysięcy (np po 100 albo 1000 źródeł na raz).
Ponieważ licząc, że jedna strona (ok. 30-40KB) pobiarała by się dzisiętne sekundy, to przy dużej ilości, byłby to spory czas.
Tu pytanie, czy pobieranie kilku źródeł na raz jest możliwe?
Nie wiem, czy otwieranie stron działa w podobie do wielodostępności w OS, czy może jest możliwość równoległego pobierania stron?
Jeśli tak to jaką funkcją się posłużyć?

Tak. Za pomocą curl_multi*

A teraz pora iść na sylwestra.

Do siego roku

Sorry, że odgrzewam temat z przed roku.
pyro dzięki, mam jeszcze jedno pytanie.
Chcę zrobić skrypt, który pobiera źródła do 100.000 stron (z ogólnoświatowego serwisu) i zapisuje je na dysku.
Pytanie czy system, który ma ów serwis nie zrozumie tego jako atak typu DDos lub próbę spowolnienia serwisu i np. zablokuje moje IP etc ?

Drugie pytanie czy mogę tak liczyć szybkość ściągania źródeł ?:
100.000 stron , każda po 30KB , co równa się 3GB.
Pobieram dzięki curl_multi powiedzmy 1000 jednocześnie, czyli 1000*30KB - 29MB.
Internet mam powiedzmy 10Mbit/s czyli potrzebuję 2,9 sekundy, żeby pobrać te 29MB.
Muszę takich równoległych strumieni zrobić 100, żeby było 100.000 źródeł, czyli 100*2,9s - ok. 5 minut.
Mogę tak to liczyć?

Wtrącę się między wódkę a zakąskę:
Ad. pyt. 2:

Tak na oko to w czasie pobrania przesuń przecinek o jedną stronę w lewo (czyli na 29s)
Internet masz powiedzmy do 10Mbit/s a nie gwarantowane 10Mbit/s (choć mogę się mylić) - prędkość będzie zależeć od aktualnego humoru sieci twojego ISP i ilości zapuszczonych torrentów wśród twoich sąsiadów. Podejrzewając dodatkowo że twój ISP ma nazwę kojarzącą się z nowicjuszem to tym gorzej.

Życzę powodzenia zwłaszcza że jeśli mnie pamięć nie myli same przeglądarki mają przycięcie na ~25 równoległych połączeń jednocześnie. Na sieci 3G przycięcie schodzi do 1 góra 2 połączeń. Domyśl się dlaczego.


Jeśli admin to nie student dorabiający po godzinach i czasem przegląda logi to zrozumie to raczej jednoznacznie. Zwłaszcza że gdyby serwis udostępniał te informacje za darmo to pewnie dostałbyś je bardziej cywilizowaną drogą.

Szczęśliwego Nowego Roku!

"Zwłaszcza że gdyby serwis udostępniał te informacje za darmo to pewnie dostałbyś je bardziej cywilizowaną drogą."

Zadaje to pytanie, ponieważ istnieje wiele programów, które wyszukują dane z portali aukcyjnych,a bynajmniej ów portale nie przewidują takich opcji w ich API (np. ebayapi czy allegroapi)
Wątpie, żeby takie serwisy dały im dostęp do swoich baz, więc zastanowiło mnie, jak programy takie wydobywają dane.
Jedynie co mi przyszło na myśl, to właśnie taka droga, i po to zadałem tu pytanie, by dowiedzieć się czy jest to wogóle możliwe i czy przy tym rozwiązaniu nieszkodliwe dla funkcjonowania systemu portalu.

Kurcze z roku na rok coraz mniej widowiskowe te fajerwerki.



To zależy od konfiguracji serwera i jego firewalla / IDS / innych systemów zabezpieczeń. Istnieją techniki skutecznie omijające takie zabezpieczenia i nawet adminów przeglądających logi. Niestety nie licz na to, że Ci zdradzę te metody.



Takie obliczenia w tym przypadku prawie nigdy nie będą dokładne. Lepiej po prostu dać orientacyjną szybkośc, np. w procentach.

Żeby nie było niejasności nie mam zamiaru robić niczego niezgodnego z prawem, stąd też moja obecność/pytanie tutaj.
Inspiruje mnie narzędzie oferowane przez www.manubia.pl
Narzędzie to zdaje raporty sprzedaży konkurencji na serwisach typu allegro,ebay,świstak itp.
Prześledziłem możliwości AllegroWebAPI i EbayWebAPI ,i nie ma tam możliwości wyciągnięcia takich danych.
Wątpie,żeby tak duże serwisy dały możliwość wglądu do swoich baz, bo przecież mogłyby same,wcześniej zrobić takie narzędzie i sprzedawać...Chyba,że się mylę...

No to mają swoje roboty parsujące. Nic w tym dziwnego.

[PHP] pobierz, plaintext 
$site = array('google.pl', 'google.com', 'tvn24.pl', 'wp.pl', 'onet.pl', 'interia.pl', 'forum.php.pl', 'wikipedia.pl', 'omgubuntu.co.uk', 'elementaryos.org');
 
foreach($site as $key)
{
    file_put_contents('./cache/'.$key.'.txt', file_get_contents('http://'.$key));
}
[PHP] pobierz, plaintext 

czas pobierania 9.982 sekundy. (biorąc poprawkę że niektóre serwisy mają znacznie więcej niż 30KB źródła).

Czy więc w przypadku stron w ilości sztuk 1k jest sens działań równoległych? Chyba nie bardzo. Wyszłoby +/- 16minut dla wszystkich.

Jak Ty to liczyłeś...? Twój kod nie pobiera tych stron równolegle, tylko po kolei. Dla 1000 stron za pomocą działań równoległych nie wyjdzie 16 minut, tylko znacznie szybciej, bo skrypt nie czeka aż jeden kod zostanie pobrany, żeby otrzymać następny, tylko ściąga wszystkie jednocześnie.

Nie pisałem że działa równolegle, obliczenie jest dla kodu powyżej.

A mi się jednak wydaje, że jest bardzo znaczący sens działań równoległych w takim przypadku .

Fakt, wchodzenie na forum po sylwestrze to był jednak zły pomysł

Tylko tu nasuwa się pytanie czy zaprzęgać do tego PHP, o ile file_get_contents daje radę, już samo rozbicie na proces można by wykonać z konsoli + prosty bash

Daje radę, ale przy 100 000 stron czas pobierania zmniejszy się kilku(nasto/dziesięcio)krotnie.



A file_get_contents() to funkcja Logo? Przespałem usunięcie tej funkcji z najnowszego wydania PHP?

A ja dalej się zastanawiam jak on udźwignie te 1000 połączeń na 10Mbit/s. Przecież już nawet torrenty się krztuszą na czymś takim przy połączeniach UDP. Chyba że to światłowód. Pomijając fakt że bez maskowania bombardując takimi żądaniami serwer sam prosi się o problemy.

Co do usług do których nie masz dostępu - dlaczego zakładasz że skoro ty nie masz to nikt nie ma? Duża firma dogadując się z dużą firmą może dostać więcej niż szary Kowalski czy jakaś firma garażowa.

I jeszcze jedno - jak chcesz napisać robota to nie rób tego sam. Są fajne roboty sieciowe napisane np. w Java które wykonają twoje zadanie ze znacznie lepszym rezultatem.

Dlatego zrezygnuję z tego pomysłu. Początkowo myślałem, że taka ilość pobieranych danych raz na dzień nie będzie obciążeniem dla tak rozwiniętych i dużych serwerów. Widocznie było to błędne myślenie i dobrze, że ktoś mi o tym powiedział
Głównie chodziło mi o to, by mieć podgląd do jednej rzeczy w aukcjach.
Oferowane programy komercyjne (jak chociażby ten przytoczony niżej) jest dla moich potrzeb zbyt "wygórowany".
Oczywiście jest świetnym narzędziem, jeżeli ktoś potrzebuje wielu opcji, które oferuje.
Teraz zostanie mi chyba tylko skorzystać, z tych oferowanych na rynku.

Serwery (jeśli chodzi o Allegro) to udźwigną, nie bój żaby. Tylko charakterystyka tego ruchu będzie taka że od razu zorientują się że to jakiś prymitywny crawler a nie zwykły ruch web. Jakoś nie widzi mi się żeby sprzyjali takim pomysłom. Ruch po sieci też kosztuje.

Są dobrze napisane crawlery open-source i możesz spróbować je przystosować pod swój import - ale to już nie PHP, przynajmniej ja nie znam takich.

Co do allegro to jak grzebałem jeszcze w ich api to oferowali dwie wersje - płatną i darmową. Teraz widzę że zostawili tylko darmową. W twoim cytacie dot. Manubii to mi wygląda na jakąś wypowiedź marketingową - w zasadzie gościu nie mówi nic. Może rzeczywiście opierają się o crawlery a allegro to łaskawie toleruje.