Lokalna wyszukiwarka stron potrzebuje dla własnych potrzeb trafnego wyświetlania danych, masowe pobieranie treści dla domen głównych z niektórych danych:
-pagerank google
-numer alexa
-katalog dmoz
-index google
-index bing
Najbardziej interesująca dana to pagerank, chętnie widziane są również inne dane poza podanymi pozyskiwane dla celów własnych.
Dobrze aby móc sprawdzać dziennie ok 100 000 - 500 000 domen.
(wiem o ograniczeniach dlatego piszę na forum
)