Witam,
próbowałem przy użyciu PHP Simple HTML DOM Parser zaimportować dane dot. powietrza ze strony http://air.wroclaw.pios.gov.pl/dane-pomiar...metry/wszystkie
Niestety dane doładowują się javascriptem i wypluwa mi stronę bez pomiarów (tabelka). Od WIOŚ danych nie dostanę, mogę liczyć tylko na to co zaciągnę ze strony. Założenie jest takie, aby co godzinę pobierać aktualne pomiary, lub na bieżąco jeżeli będzie to wystarczająco szybkie.

[PHP] pobierz, plaintext 
<?php
require('simple_html_dom.php');
$html = file_get_html("http://air.wroclaw.pios.gov.pl/dane-pomiarowe/automatyczne/stacja/23/parametry/wszystkie");
echo $html;
?>
[PHP] pobierz, plaintext 

Dane są pobierane metodą POST.
Sprawdź zakładkę Network/Sieć konsoli przeglądarki (Chrome->F12).

ps: nie ma to jak w produkcyjnym js zostawic console.log....

I tak tam nie ma nic co można by było poprzeglądać w źródle strony

Nie o to mi chodzilo. Chodzilo mi o sam fakt console.log, ktory czesto potrafi zamulic takiego np. firefox dla duuuuzych danych. A w produkcji jest to totalnie zbedne. Juz nie bede wspominal o tym ze stare przegladarki sie poprostu wyloza na takim js i guzik zobaczysz

Dziękuję za podpowiedź, zerknąłem do tej zakładki:

Request URL:http://air.wroclaw.pios.gov.pl/dane-pomiarowe/pobierz
Request Method:POST
Accept:application/json, text/javascript
query:{"measType":"Auto","viewType":"Station","dateRange":"Day","date":"20.12.2016","viewTypeEntityId":"23","channels":[418,423,432,425,428,539,422,419,424]}

Tyle udało mi się zrozumieć, że metodą POST pobiera sobie dane w formacie JSON z http://air.wroclaw.pios.gov.pl/dane-pomiarowe/pobierz

Macie jakiś pomysł jak można by te dane uzyskać, tak by można je cyklicznie zaciągać, czy da się GET-em pobrać tego JSON-a?

php curl
http://php.net/manual/en/book.curl.php
i robisz wszystko tak jak oni na stronie. NIe ma wowczas problemu czy to POST czy GET.

Ale czy oni nie muszą tego curla obsługiwać? albo coś instalować? da się to jakoś prosto sprawdzić?
Przepraszam za tyle pytań

cURL sluzy do imitowania requestow, ktore robia przegladarki - tak w skrocie
Wiec nie, oni nic nie musza robic. przy pomocy cURL ty wysylasz dokladnie takie samo żądanie co przegladarka wiec oni nawet sie nie kapna ze to ty a nie przegladarka

Super, dziękuję za odpowiedź, teraz już wiem nad czym pracować.

Z tego co się orientuję mogliby zablokować dostęp i udostępnić skryptom jedynie z konkretnej puli domen.

Jakich domen?

A czy niemożliwym jest żeby dostęp do http://air.wroclaw.pios.gov.pl/dane-pomiarowe/pobierz miały tylko skrypty odpalane z *.wroclaw.pios.gov.pl?

A jak to zrobisz by serwer przyjmowal tylko i wylacznie żądanie z *.wroclaw.pios.gov.pl ? Bo chyba nie masz na mysli REFERER

O nie, nie, referer jest zawodny. Kiedyś spotkałem się z takim przypadkiem, jedyne info jakie otrzymywałem to tekst o tym że skrypt nie jest odpalany właśnie z domeny xyz.com, stąd też wiem że jest opcja wyfiltrowania takich requestów. Być może było to sprawdzanie IP, lub inne dane z nagłówka HTTP, nigdy się w to nie zagłębiałem.

Ja to wiem. To bylo pytanie retoryczne

Raczej nie. Co ci da sprawdzenie IP usera? user ma prawo odpalic twoja strone z dowolnego IP (chyba ze pozwalasz tylko na userow z danej firmy a co za tym idzie z danego IP). Inne naglowki tez raczej nie wchodza w gre. Mogli co najwyzej dodawac jakis token do swoich ajaxow/requestow ale i to idzie odczytac.

http://erwinmayer.com/labs/asin2ean/index.php#ASIN-to-EAN

tokenów nie widzę nigdzie, nagłówki w HTTP które ewentualnie mogłyby być brane pod uwagę: Host, Origin. Choć teraz jak na to patrzę to rzeczywiście jest cookie, nie podawałem wtedy ciasteczek, będę musiał to sprawdzić jeszcze raz.

Masz moze kod php, ktorym probowales pobrac dane? Zaciekawiles mnie

Napisałem kod na nowo i działa, wiem w czym był problem. Strona którą podałem wykonuje dwa zapytania XRH z czego jedno pobiera dane w JSONie a drugie zwraca <iframe> ze stroną Amazona. Z kolei Amazon ma ustawione ograniczenia co do nagłówka Origin, w teorii (być może w praktyce też) nie możesz otworzyć Amazona w ramce i to Amazon wyrzucał błąd. Poniżej kod z ZF2 który pobiera JSONa z danymi o ASINie i EANie:

[PHP] pobierz, plaintext 
 
	$request	=	new Request();
	$request->getHeaders()->addHeaders([
		'Content-Type'     => 'application/x-www-form-urlencoded; charset=UTF-8',
		'X-Requested-With' => 'XMLHttpRequest',
	]);
	$request->setMethod(Request::METHOD_POST);
	$request->setUri('http://erwinmayer.com/labs/asin2ean/processing3.php');
	$request->setPost(new Parameters([
		'locale'      => 'fr',
		'mode'        => 'ASIN-to-EAN',
		'ids'         => '020530902X',
		'searchIndex' => 'All',
		's'           => '',
	]));
 
	$client	=	new Client();
	/** @var \Zend\Http\Response $response */
	$response	=	$client->dispatch($request);
 
[PHP] pobierz, plaintext 

No i sprawa z "blokowaniem" wyjasniona

dzieki za kod

Próbowałem z Curl i nie mogę zrozumieć, gdzie błąd popełniam, ciągle otrzymuje zwrotnie: {"success":false,"error":""}

[PHP] pobierz, plaintext 
$json = '{"measType":"Auto","viewType":"Station","dateRange":"Day","date":"21.12.2016","viewTypeEntityId":"23","channels":[418]}';
$data = json_decode($json);                                                                  
$data_string = json_encode($data);
 
$ch = curl_init('http://air.wroclaw.pios.gov.pl/dane-pomiarowe/pobierz');                                                                      
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, "POST");                                                                     
curl_setopt($ch, CURLOPT_POSTFIELDS, $data_string);                                                                  
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);                                                                      
curl_setopt($ch, CURLOPT_HTTPHEADER, array(                                                                          
    'Content-Type: application/json',                                                                                
    'Content-Length: ' . strlen($data_string))                                                                       
);                                                                                                                   
 
$result = curl_exec($ch);
echo $result;
curl_close($ch);
[PHP] pobierz, plaintext 

Próbuję pobrać jeden rodzaj zanieczyszczenia z jednej stacji http://air.wroclaw.pios.gov.pl/dane-pomiar...enny/21.12.2016

Zrzut z F12/sieć/pobierz
Request URL:http://air.wroclaw.pios.gov.pl/dane-pomiarowe/pobierz
Request Method:POST
Status Code:200 OK
Remote Address:95.50.19.22:80
Response Headers
view source
Cache-Control:no-cache
Connection:keep-alive
Content-Type:application/json
Date:Thu, 22 Dec 2016 10:23:53 GMT
Server:nginx/1.6.2
Transfer-Encoding:chunked
X-Powered-By:PHP/5.4.16
Request Headers
view source
Accept:application/json, text/javascript, */*; q=0.01
Accept-Encoding:gzip, deflate
Accept-Language:pl-PL,pl;q=0.8,en-US;q=0.6,en;q=0.4
Connection:keep-alive
Content-Length:199
Content-Type:application/x-www-form-urlencoded; charset=UTF-8
Cookie:start_selector_nth=0; start_selector_hide=no; _ga=GA1.3.656740653.1480503322; _gat=1
Host:air.wroclaw.pios.gov.pl
Origin:http://air.wroclaw.pios.gov.pl
Referer:http://air.wroclaw.pios.gov.pl/dane-pomiarowe/automatyczne/stacja/23/parametry/418/dzienny/21.12.2016
User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36
X-Requested-With:XMLHttpRequest
Form Data
view source
view decoded
query:%7B%22measType%22%3A%22Auto%22%2C%22viewType%22%3A%22Station%22%2C%22dateRange%22%3A%22Day%22%2C%22date%22%3A%2221.12.2016%22%2C%22viewTypeEntityId%22%3A%2223%22%2C%22channels%22%3A%5B418%5D%7D
view URL encoded
query:{"measType":"Auto","viewType":"Station","dateRange":"Day","date":"21.12.2016","viewTypeEntityId":"23","channels":[418]}


Jak cały request headers przekopiowałem, to tylko kilka krzaków dostałem. Nie ma pomysłu co robię nie tak.

HEADER jest niepoprawny. Nie jest w ogóle potrzebny.
Dane POST są niepoprawne. Brakuje nazwy zmiennej, która powinna mieć przypisaną wartość JSON (encodowaną).

Pozbyłem się HEADER

curl_setopt($ch, CURLOPT_HTTPHEADER, array(
'Content-Type: application/json',
'Content-Length: ' . strlen($data_string))
);

nie wiem skąd tą nazwę zmiennej pozyskać, aby była prawidłowa.

[PHP] pobierz, plaintext 
$data = array('measType' => 'Auto', 'viewType' => 'Station', 'dateRange' => 'Day', 'date' => '21.12.2016', 'viewTypeEntityId' => '23', 'channels' => array(418));
$data_string = json_encode($data);
 
$ch = curl_init('http://air.wroclaw.pios.gov.pl/dane-pomiarowe/pobierz');                                                                 
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, "POST");                                                                     
curl_setopt($ch, CURLOPT_POSTFIELDS, $data_string);                                                                  
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);                                                                      
 
 
$result = curl_exec($ch);
echo $result;
curl_close($ch);
[PHP] pobierz, plaintext 

No to jak wejdziesz na ich strone i spojrzysz w ajaxa ktory idzie to jak wol masz napisane ze parametr nazywa sie:
query

Działa i ładnie zwraca dane, zbyt dosłownie potraktowałem to query, sądząc że to opis wypisanej pozycji, kłania się brak znajomości narzędzi. Jeszcze raz dziękuję za pomoc.