Witam,

W naszym Curlowaniu, posunąłem się do etapu pobierania strony.

Niestety okazało się iż używa ona Header Location, jako przekierowania między poszczególnymi stronami.

Myślę że super, ja też tak robię... i zacząłem dobierać się do opcji follow redirect.

Niestety okazało się że wymaga ona basedir otwartego.



Zacząłem zagłębiać się w dokumentację, i wyszło że jeżeli w header location ktoś wpisze file://xxx/xxx/xxx/tt.php to curl pobierze i wklei źródło tego skryptu...



Bo wcześniej myślałem, spokojnie, basedir... co to dla mnie, zaraz postawie Dedyka z debianem, i po sprawie.
Ale teraz widzę że curl staje się faktycznie niebezpieczny...

Czy nie da się jakoś obejść tego ?
Proponowali jakiś kod, na php.net ale niestety nie działa... niby nie wykłada się składnią, ale strony nie pobiera...


Nie ma ktoś gotowca który pobiera strony z header location ?
(dać po znajomości w ramach redystrybucji kodu).

Zakładamy że mogę mieć open basedir, ale i tak szkoda mi dedyka...

Wszystkie rozwiązania jakie tu omawiamy, tyczą się dedyków, dedyków, dedyków nie mówimy o dzielonych hostingach i problem nie leży w tym że basedir to problem w zmianie.

nano /etc/apache2/php5/php.ini
ctrl + w
basedir
enter
#
ctrl + o
/etc/init.d/apache2 restart

To nie jest dla mnie problem... to ma działać, ale bezpiecznie Wiadomo że do celu, ale nie po trupach..

Musisz użyć czegoś, co jest klientem protokołu HTTP przez fsockopen. Była kiedyś taka klasa, co się nazywała Snoopy.

Przepraszam erix, nie chciał bym żeby wyszło że zlałem na twoją odpowiedz, ale od rana dalej walczę z tym "ichnim redirektem opisanym na php.net".

Zacytuje, kod:

[PHP] pobierz, plaintext 
function curl_redir_exec($ch)
{
global $kukis;
global $przegladarka;
 
static $curl_loops = 0;
static $curl_max_loops = 20;
if ($curl_loops++>= $curl_max_loops)
{
$curl_loops = 0;
return FALSE;
}
 curl_setopt($ch, CURLOPT_COOKIEFILE, "$kukis");
 curl_setopt($ch, CURLOPT_COOKIEJAR, "$kukis");
 curl_setopt($ch, CURLOPT_USERAGENT, "$przegladarka");
 curl_setopt($ch, CURLOPT_REFERER, 'http://onet.pl/');
 
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$data = curl_exec($ch);
 
list($header, $data) = explode("\n\n", $data, 2);
 
$http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
if ($http_code == 301 || $http_code == 302)
{
$matches = array();
preg_match('/Location:(.*?)\n/', $header, $matches);
$url = @parse_url(trim(array_pop($matches)));
if (!$url)
{
//couldn't process the url to redirect to
$curl_loops = 0;
return $data;
}
$last_url = parse_url(curl_getinfo($ch, CURLINFO_EFFECTIVE_URL));
if (!$url['scheme'])
$url['scheme'] = $last_url['scheme'];
if (!$url['host'])
$url['host'] = $last_url['host'];
if (!$url['path'])
$url['path'] = $last_url['path'];
$new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . ($url['query']?'?'.$url['query']:'');
curl_setopt($ch, CURLOPT_URL, $new_url);
return curl_redir_exec($ch);
} else {
$curl_loops=0;
return $data;
}
}
[PHP] pobierz, plaintext 

Powyższy kod, zwraca poszatkowaną stronę... tzn 50 % strony, albo i mniej...

Metodą prób i błędów, z return $data doszedłem gdzie gubi poprawność.

[PHP] pobierz, plaintext 
list($header, $data) = explode("\n\n", $data, 2);
[PHP] pobierz, plaintext 

Przed tym, kod jest poprawny.
Po tym, kod jest posiekany.

To jest na pewno związane z nagłówkami i podwójnym \n\n.
Może zmieniła się standaryzacja przez te lata, i już niema \n\n a np \n\n\n czyli trzy entery... czy ktoś coś pomoże ?

odpowiedź jest taka, że wystarczy, iż w kodzie będziesz miał 2 entery i już "kiszka" ;p - znajdź pozycję tych 2 pierwszych enterów po czym wytnij ten nagłówek - jeśli nie będzie przekierowania zwróć treść będącą za tymi enterami do końca...

Wygląda na to, że mam dokładnie ten sam problem, jednak nie rozumiem tego rozwiązania powyżej, może ktoś napisać jaśniej?

EDYCJA:

Już sobie poradziłem.

Mógłbyś napisać w jaki sposób poradziłeś sobie z tym problemem? Też trochę siedzę nad tym i nie mogę wymyślić nic...

hehe, zamiast \n\n trzeba \n\r albo \r\n już nie pamiętam