Nie wiesz czym jest wątek? W takim razie nie próbujesz wymyślić sobie odpowiedzi tylko szukasz takiej:
1. Google
2. Wpisujemy frazę "wątek"
3. Pierwszy link prowadzi do Wiki
4. "wątek" na Wiki odpowiada kilku różnym hasłom, ale
wątek (informatyka) wydaje się już być dokładnie tym czego szukałeś.
Rozwijając nieco temat struktury takiego programu:
1. Po pierwsze musisz napisać go w czym wspierającym współbieżność, np. Java czy Python.
2. W głównym wątku programu tworzysz sobie kolejkę (wspierającą zsynchronizowany dostęp, więcej: Google: concurrency synchronization), w której będzie znajdowała się pula URL-i do sprawdzenia.
3. Tworzysz sobie
n wątków-pracowników, którzy będą:
3.1. Pobiera pierwszy element z kolejki.
3.2. Wykonuje sprawdzenie, wynik zapisuje sobie w jakiejś bazie danych.
3.3. Dodaje element z powrotem na koniec kolejki.
Kiedyś był na forum podobny wątek, znajdziesz tam niemal gotowca:
http://forum.php.pl/index.php?s=&showt...st&p=965602