Forum PHP.pl > wieszanie się file() i fsockopen()

Pomoc - Szukaj - Użytkownicy - Kalendarz

Pełna wersja: wieszanie się file() i fsockopen()

Alek

1.02.2006, 14:35:12

Mam skrypt ściągający kilka tysięcy plików z netu (na razie tylko http - strony).
Cały proces trwa trochę, więc chciałbym puścić go "w samopas" na jakimś kompie i pójść np. na kawe. Problem w tym, że co którąś lokację zawiesza się na funkcjach file() (ew. fsockopen(), używany jako zamiennik). Próbowałem różnych sztuczek, aby strona się co jakiś czas sama odświeżyła i nic:(.
Adresy lokacji do pobrania brane są z MySQL, każdy ściągnięty jest oznaczany (żeby 2 razy nie ściągać).

fsockopen() używałem ze względu na parametr timeout, niestety też nie działa.

Oto metody, które zdążyły się już nie sprawdzić:
- wstawienie w nagłówku

[HTML] pobierz, plaintext 
<META HTTP-EQUIV="Refresh" CONTENT="5">
[HTML] pobierz, plaintext

- zastąpienie file() przez fsockopen()
- java script: setTimeout('location.reload(true)',15000);

Tnę się z tym już trzeci dzień, pomóżcie...

hwao

1.02.2006, 14:39:58

nie rozumie co piszesz

file_get_contents()

na fsockopen nie powinno sie nic zawieszac

Nastawiles "bez limitu czasu"?

jak objawia sie te "zawiesznie" co sie dzieje? moze masz zle napisane poprostu

darekpe

1.02.2006, 14:47:59

A ustawiles dla tego skryptu

Kod

set_time_limit(0)

Nie wiem czy to rozwiaze Twoj problem, ale jest to pewna poszlaka

pozdrawiam,
darek

Alek

1.02.2006, 15:01:44

Oto mój kłopot:

[PHP] pobierz, plaintext 
<?
class HTTPRequest
{
   var $_fp;		// HTTP socket
   var $_url;		// full URL
   var $_host;		// HTTP host
   var $_protocol;	// protocol (HTTP/HTTPS)
   var $_uri;		// request URI
   var $_port;		// port
 
   // scan url
   function _scan_url()
   {
	   $req = $this->_url;
 
	   $pos = strpos($req, '://');
	   $this->_protocol = strtolower(substr($req, 0, $pos));
 
	   $req = substr($req, $pos+3);
	   $pos = strpos($req, '/');
	   if($pos === false)
		   $pos = strlen($req);
	   $host = substr($req, 0, $pos);
 
	   if(strpos($host, ':') !== false)
	   {
		   list($this->_host, $this->_port) = explode(':', $host);
	   }
	   else
	   {
		   $this->_host = $host;
		   $this->_port = ($this->_protocol == 'https') ? 443 : 80;
	   }
 
	   $this->_uri = substr($req, $pos);
	   if($this->_uri == '')
		   $this->_uri = '/';
   }
 
   // constructor
   function HTTPRequest($url)
   {
	   $this->_url = $url;
	   $this->_scan_url();
   }
 
   // download URL to string
   function DownloadToString()
   {
	   $crlf = "\r\n";
	   $response='';
 
	   // generate request
	   $req = 'GET ' . $this->_uri . ' HTTP/1.0' . $crlf
		   .	'Host: ' . $this->_host . $crlf
		   .	$crlf;
 
	   // fetch
	   $this->_fp = fsockopen(($this->_protocol == 'https' ? 'ssl://' : '') . $this->_host, $this->_port, $errno, $errstr, 4);
	   fwrite($this->_fp, $req);
	   while(is_resource($this->_fp) && $this->_fp && !feof($this->_fp))
		   $response .= fread($this->_fp, 1024);
	   fclose($this->_fp);
 
	   // split header and body
	   $pos = strpos($response, $crlf . $crlf);
	   if($pos === false)
		   return($response);
	   $header = substr($response, 0, $pos);
	   $body = substr($response, $pos + 2 * strlen($crlf));
 
	   // parse headers
	   $headers = array();
	   $lines = explode($crlf, $header);
	   foreach($lines as $line)
		   if(($pos = strpos($line, ':')) !== false)
			   $headers[strtolower(trim(substr($line, 0, $pos)))] = trim(substr($line, $pos+1));
 
	   // redirection?
	   if(isset($headers['location']))
	   {
		   $http = new HTTPRequest($headers['location']);
		   return($http->DownloadToString($http));
	   }
	   else
	   {
		   return($body);
	   }
   }
}
// class END ================================
 
error_reporting(E_ALL);
ob_start(); // wlaczamy buforowanie wyjscia
?>
 
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML>
<HEAD>
	<META HTTP-EQUIV="content-type" CONTENT="text/html; charset=iso-8859-2">
	<META NAME="Language" CONTENT="pl">
	<META NAME="robots" CONTENT="none">
	<META HTTP-EQUIV="Refresh" CONTENT="10">
	<!-- poniższy skrypt był użyty jako jeden ze sposobów odswiezenia -->
	<script language="Javascript">
		var time=15;
		function timer(name){
			time--;
			document.formularz.zegar.value=time;
			if(time>0){
				timeout=setTimeout("timer('next')",1000);
			}
			else{
				setTimeout('location.reload(true)',3000);
				document.execCommand('Stop');
				window.stop();
			}
		}
	</script>
</HEAD>
<BODY>
<!--
<img src="gfx/fwd.gif" onLoad="timer('next')">
Do odświeżenia pozostało: <form name="formularz"><INPUT TYPE="TEXT" NAME="zegar" size="3" READONLY></FORM>
-->
 
<?
ob_flush(); flush();
$katalog_nowe_tresci	= '_nowe_tresci';
$error_log='error_logs/'.date('Y-m-d').'.htm';
// ==========================================================================
 
$sql="SELECT id,url FROM urls AND czy_skanowano=0 ORDER BY id LIMIT 100 ";
$result=mysql_query($sql);
 
if(mysql_num_rows($result)==0){
	exit('Brak adresów do przetworzenia - koniec skanowania.');
};
 
// przechodzimy przez wynik zapytania
while($bip=mysql_fetch_array($result)){
	$plik_zawartosc = $katalog_nowe_tresci.'/'.$bip['id'].'.htm';
	clearstatcache();
	$adres=str_replace('$',"%24",trim($bip['url']));
	echo 'Przetwarzam: ('.$bip['id'].') <a href="'.$adres.'" target="_blank">'.htmlspecialchars($adres).'</a><br>';
	ob_flush(); flush();
 
	$r= new HTTPRequest($adres);
	$s= $r->DownloadToString();
	$z=explode("\n",$s);
	if(count($z)==0 || $z==FALSE){
		echo '<b>Problem z ściągnięciem:</b> <a href="'.$adres.'" target="_blank">'.htmlspecialchars($adres).'</a><br>';
		ob_flush(); flush();
		continue;
	}
 
	// zapis strony do pliku
	if(($fp=fopen($plik_zawartosc,'w'))===FALSE){
		echo '<b>Błąd otwarcia pliku strony:</b> <a href="'.$adres.'" target="_blank">'.htmlspecialchars($adres).'</a><br>';
		ob_flush(); flush();
		exit('Błąd otwarcia pliku strony');
	}
	foreach($z as $l){
		// usunac wszystkie PHPSESSID itp
		$l=trim($l);
		$l = eregi_replace("sessid=[[:alnum:]]*",'',$l);
		$l = eregi_replace("sid=[[:alnum:]]*",'',$l);
		$l = eregi_replace("sessionid=[[:alnum:]]*",'',$l);
		if(fwrite($fp,"$l\n")===FALSE){ //zapisywanie linia po linii
			echo '<b>Błąd zapisu pliku strony:</b> <a href="'.$adres.'" target="_blank">'.htmlspecialchars($adres).'</a><br>';
			ob_flush(); flush();
			exit('Błąd zapisu pliku strony');
		}
	}
	if(fclose($fp)===FALSE){
		echo '<b>Błąd zamknięcia pliku strony:</b> <a href="'.$adres.'" target="_blank">'.htmlspecialchars($adres).'</a><br>';
		ob_flush(); flush();
		exit('Błąd zamknięcia pliku strony');
	}
	unset($fp,$z,$l);
 
	if(!file_exists($plik_zawartosc) || filesize($plik_zawartosc)==0){
		clearstatcache();
		echo '<b>Problem z zapisem:</b> <a href="'.$adres.'" target="_blank">'.htmlspecialchars($adres).'</a><br>';
		ob_flush(); flush();
		continue;
	}
		ob_flush(); flush();
} // END OF while($bip=mysql_fetch_array($result_bipy))
 
ob_end_flush();
flush();
?>
 
</BODY>
</HTML>
[PHP] pobierz, plaintext

poprawiam
---
nospor

@darekpe: wyglada na to że set_time_limit() jest zablokowane na serwerze na którym biega ten skrypt

@hwao:
ustawiłem:

[PHP] pobierz, plaintext 
<?php
fsockopen(($this->_protocol == 'https' ? 'ssl://' : '') . $this->_host, $this->_port, $errno, $errstr, 4);
?>
[PHP] pobierz, plaintext

"zawiecha" polega na tym że:
albo strona się pozornie dalej wczytuje (Trwa wczytywanie... w belce)
albo jest status "Zakończono", ale pasek postępu ładowania ciągle jest widoczny (jak i klepsydra)

To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.