Pomoc - Szukaj - Użytkownicy - Kalendarz
Pełna wersja: [php] pobieranie strony
Forum PHP.pl > Forum > PHP
maniek74
Witam

Jak można pobrać stronę udając przeglądarkę.
Np strona http://www.baza-firm.com.pl/Finansowe-usługi/strona-1

zwykłe

  1. <?php
  2. $link = 'http://www.baza-firm.com.pl/Finansowe-usługi/strona-1';
  3. $html = file_get_contents($link);
  4. print $html;
  5. ?>


nie pobiera strony, można jakoś ją pobrać?

Pozdrawiam
johny_s
ctrl+u ctrl+a ctrl+c ctrl+v

ew.
http://www.php.net/manual/en/book.curl.php
maniek74
Też było
  1. $link = 'http://www.baza-firm.com.pl/Finansowe-usługi/strona-1/';
  2. $ch = curl_init();
  3. curl_setopt($ch, CURLOPT_URL, $link);
  4. curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
  5. curl_setopt($ch, CURLOPT_TIMEOUT, 3);
  6. $result = curl_exec($ch);
  7. curl_close($ch);
  8.  


Prosiłbym o wskazówkę co robię nie tak.
johny_s
mają zabezpieczenie przed botami
ziolo
Wystarczy dodać user agent.

  1. $link = 'http://www.baza-firm.com.pl/Finansowe-usługi/strona-1/';
  2. $ch = curl_init();
  3. curl_setopt($ch, CURLOPT_URL, $link);
  4. curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
  5. curl_setopt($ch, CURLOPT_TIMEOUT, 3);
  6. curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:17.0) Gecko/20100101 Firefox/17.0');
  7. $result = curl_exec($ch);
  8. curl_close($ch);


maniek74
Dzięki ziolo
i jeszcze jedno trzeba zmieniac proxy bo po 10 odświerzeniach daje bana, chociaż to dziwne bo odświerzam stronę co 1-1,5 losowo i tak dostalem bana na ip.
Dziwna jest ta strona tak jakby użytkownik nie mógł jej przeglądać więcej niż 10 razy.

Ale dla potomnych kod curl

  1. <?php
  2.  
  3. $link = 'http://www.baza-firm.com.pl/Finansowe-usługi/strona-1/';
  4.  
  5. $ch = curl_init();
  6. curl_setopt($ch, CURLOPT_URL, $link);
  7. curl_setopt($ch, CURLOPT_USERAGENT ,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');
  8. curl_setopt($ch, CURLOPT_HEADER, 1);
  9. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  10. curl_setopt($ch, CURLOPT_PROXYPORT, '8080');
  11. curl_setopt($ch, CURLOPT_PROXYTYPE, 'HTTP');
  12. curl_setopt($ch, CURLOPT_PROXY, '109.230.80.110');
  13. $html = curl_exec($ch);
  14. curl_close($ch);
  15. ?>


lista proxy jest dostępna w necie.

A teraz do johny_s, za bardzo nie wiem po co odpowiadasz jesli nie masz chęci pomóc, nabijanie postów i heitowanie dla zabawy?questionmark.gifquestionmark.gif
Ja jak znajdę rozwiązanie zawsze daję kod dla potomnych, żeby ktos się już nie męczył

Pozdrawiam
johny_s
Bo nie lubie cwaniaków? Chcesz baze napisz do nich pewnie sprzedadzą...
A poza tym pytałeś dlaczego to Ci odpowiedziałem
maniek74
Po pierwsze robię to dla sportu, nie ściągam ich bazy.
Po drugie lubię łamac zabezpieczenia stron

Pozdrawiam
johny_s
Jakiś marny łąmacz zabezpieczeń z Ciebie skoro głupie nagłówki Cie zablokowały
maniek74
Jakie to polskie nie pomóc tylko po chamsku obrażać innego.
Jak jesteś taki wspaniały pochwal się swoimi skryptami, programami.

Ja mam się czym chcwalić i moje programy sprzedają się dobrze.

Pozdrawiam
johny_s
Cytat
Jakie to polskie nie pomóc tylko po chamsku obrażać innego.

W obchodzeniu zabezpieczeń? pomyliłeś fora te jest dla programistów nie pseudo hakerów
Cytat
Jak jesteś taki wspaniały pochwal się swoimi skryptami, programami.

po co? nie widzę takiej potrzeby aby coś sobie albo komuś udowadniać, wystarczy że klienci są zadowoleni

Cytat
Ja mam się czym chcwalić i moje programy sprzedają się dobrze.

no to tylko pogratulować
To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.
Invision Power Board © 2001-2025 Invision Power Services, Inc.