Pomoc - Szukaj - Użytkownicy - Kalendarz
Pełna wersja: Pobieranie treści ze strony www
Forum PHP.pl > Forum > PHP
Xanteros
Witam, Mam mały problem z napisaniem aplikacji. Potrzebuję zrobić program, który będzie pobierał odpowiednią treść ze strony www i ją modyfikował. Mianowicie np weźmy to forum. Chciałbym aby program wszedł w dział php, pobrał tylko dzisiejsze posty i np pobrał z tych postów tylko nazwy użytkowników i zapisał je w MySQL. Strony na których będzie działać moja aplikacja nie mają kanałów rss i nie mam dostępu do nich (w sensie do ich bazy danych czy do cms). Problem polega na tym, że nie wiem jak to ugryźć. Myślałem o pobieraniu konkretnego div'a, ale na każdej stronie klasa lub id danego div może być inna, poza tym chodzi też o pobieranie najnowszych danych a nie staruch (czyli takich z dzisiejszego dnia, jutro z jutrzejszego itd). Jak to rozwiązać?
alegorn
hm. pobieranie danych:

* file_get_contents
* curl
* i jeszcze pare innych, ja raz nawet i >wget< uzywalem

do wydzielania/znajdowania tresci

* explode
* preg_match
* phpQuery

rozpoznawanie ostatnich tresci
* daty postow/art.
* porownywanie tresci wg tego co masz w bazie

a poza tym to o co pytasz to troche kradziez danych wink.gif
ale jesli cie do nie razi - to poczytaj sobie o robotach, crawlerach, pajaczkach itp.

j.
Xanteros
Tzn tu nie będzie kradzieży danych. To co podałem to tylko przykład. Program będzie działać całkowicie inaczej niż przechowywanie danych (w zasadzie nie będzie tego robił) Jednak był to najprosztszy sposób na przedstawienie sytuacji a nie zdradzanie celu aplikacji smile.gif Z datami postów to niestety jest tak że te moje treści które muszę pobrać niestety nie zawsze mają zapisaną datę. To było by za proste smile.gif Ale dzięki za podpowiedzi smile.gif napewno zaraz poczytam dokładnie o nich smile.gif


edit:
Już znalazłem szybki sposób smile.gif Mianowicie każda moja strona ma możliwość wyszukiwania artykułów po pewnych kryteriach, w tym po dacie dodania (między innymi można wybrać oferty z ostatnich 24h, co mnie już urządza smile.gif ) Czyli jedynie wystarczy na każdej stronie wypełnić formularz wyszukiwania, skopiować link który się wygeneruje i pod tym linkiem, zawsze będą artykuły które mnie interesują smile.gif
To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.
Invision Power Board © 2001-2025 Invision Power Services, Inc.