Na serwerze mam wgrane dwa pliki crawler.php i konfiguracja.inc.php
Plik crawler brzmi:
Kod
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/DTD/strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="content-type" content="text/html; charset=iso-8859-2" />
</head>
<body>
<?php set_time_limit(0);
include('konfiguracja.inc.php');
/*
----------------------------------------------------
----------------------------------------------------
----- CRAWLER DLA SERWISU AUTOMOTO ---
----------------------------------------------------
----- ----------------------------------------------
----------------------------------------------------
----------------------------------------------------
*/
limituj();
//-- wybieram któr1 strone bede parsowa3
//$modul = wybieram();
//include("moduly/".$modul.".inc.php");
include("moduly/auto.pl.inc.php");
//-- zamykam polaczenie z mysql
mysql_close($dbh);
?>
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="content-type" content="text/html; charset=iso-8859-2" />
</head>
<body>
<?php set_time_limit(0);
include('konfiguracja.inc.php');
/*
----------------------------------------------------
----------------------------------------------------
----- CRAWLER DLA SERWISU AUTOMOTO ---
----------------------------------------------------
----- ----------------------------------------------
----------------------------------------------------
----------------------------------------------------
*/
limituj();
//-- wybieram któr1 strone bede parsowa3
//$modul = wybieram();
//include("moduly/".$modul.".inc.php");
include("moduly/auto.pl.inc.php");
//-- zamykam polaczenie z mysql
mysql_close($dbh);
?>
a plik konfiguracja.inc.php brzmi
Kod
<?
error_reporting(1);
set_time_limit(30);
// ile og³oszeñ na dobê ? (sugerowana wartosc 500)
$max = 100;
$dziennie = 1000;
// modu³y stron
$modul[1]="auto.pl";
$modul[2]="otomoto.pl";
$modul[3]="autotrader.pl";
$modul[4]="moto.gratka.pl";
// -- ponizej nie edytuj
include("../inc/mysql.inc.php");
//-- funkcje -- PONIZEJ NIE EDYTUJ ------
function wybieram(){
global $modul;
$licz=count($modul);
$i=1;
$mod=mt_rand($i,$licz);
return $modul[$mod];
}
function obrazek($feed, $nazwa){
$fp = fopen("../photos/".$nazwa, 'w');
fwrite($fp, $feed);
fclose($fp);
}
function geturl($url){
$curl = curl_init();
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($curl, CURLOPT_HEADER, 0);
curl_setopt($curl, CURLOPT_POST, true);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.0; pl; rv:1.8.1.16) Gecko/20080702 Firefox/2.0.0.16");
// curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($curl, CURLOPT_URL, $url);
$xxx = curl_exec($curl);
curl_close ($curl);
return $xxx;
}
function limituj(){
global $dziennie;
global $max;
//sprawdzam czy jest baza
if (mysql_num_rows( mysql_query("SHOW TABLES LIKE 'crawler2'"))==0) {
mysql_query("CREATE TABLE IF NOT EXISTS `crawler` (
`dzien` int(11) NOT NULL,
`msc` int(11) NOT NULL,
`rok` int(11) NOT NULL,
`ile` int(11) NOT NULL
) ENGINE=MyISAM DEFAULT CHARSET=latin2;");
}
//sprawdzam czy jest dzien dzisiejszy w bazie
$dd=date("d",time());
$mm=date("m",time());
$yy=date("Y",time());
if(mysql_num_rows(mysql_query("SELECT ile FROM crawler WHERE dzien = '$dd' AND msc = '$mm' AND rok = '$yy'"))==0){
mysql_query("INSERT INTO crawler VALUES ('$dd','$mm','$yy',0)");
}
//pobieram ile dzisiaj dodal
$k1=mysql_query("SELECT ile FROM crawler WHERE dzien = '$dd' AND msc = '$mm' AND rok = '$yy'");
$k2=mysql_fetch_array($k1);
//ostateczny test
if($k2[ile]>=$dziennie){
exit;
}
$ile = $k2[ile]+$max;
mysql_query("UPDATE crawler SET ile = '$ile' WHERE dzien = '$dd' AND msc = '$mm' AND rok = '$yy'");
}
error_reporting(1);
set_time_limit(30);
// ile og³oszeñ na dobê ? (sugerowana wartosc 500)
$max = 100;
$dziennie = 1000;
// modu³y stron
$modul[1]="auto.pl";
$modul[2]="otomoto.pl";
$modul[3]="autotrader.pl";
$modul[4]="moto.gratka.pl";
// -- ponizej nie edytuj
include("../inc/mysql.inc.php");
//-- funkcje -- PONIZEJ NIE EDYTUJ ------
function wybieram(){
global $modul;
$licz=count($modul);
$i=1;
$mod=mt_rand($i,$licz);
return $modul[$mod];
}
function obrazek($feed, $nazwa){
$fp = fopen("../photos/".$nazwa, 'w');
fwrite($fp, $feed);
fclose($fp);
}
function geturl($url){
$curl = curl_init();
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($curl, CURLOPT_HEADER, 0);
curl_setopt($curl, CURLOPT_POST, true);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.0; pl; rv:1.8.1.16) Gecko/20080702 Firefox/2.0.0.16");
// curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($curl, CURLOPT_URL, $url);
$xxx = curl_exec($curl);
curl_close ($curl);
return $xxx;
}
function limituj(){
global $dziennie;
global $max;
//sprawdzam czy jest baza
if (mysql_num_rows( mysql_query("SHOW TABLES LIKE 'crawler2'"))==0) {
mysql_query("CREATE TABLE IF NOT EXISTS `crawler` (
`dzien` int(11) NOT NULL,
`msc` int(11) NOT NULL,
`rok` int(11) NOT NULL,
`ile` int(11) NOT NULL
) ENGINE=MyISAM DEFAULT CHARSET=latin2;");
}
//sprawdzam czy jest dzien dzisiejszy w bazie
$dd=date("d",time());
$mm=date("m",time());
$yy=date("Y",time());
if(mysql_num_rows(mysql_query("SELECT ile FROM crawler WHERE dzien = '$dd' AND msc = '$mm' AND rok = '$yy'"))==0){
mysql_query("INSERT INTO crawler VALUES ('$dd','$mm','$yy',0)");
}
//pobieram ile dzisiaj dodal
$k1=mysql_query("SELECT ile FROM crawler WHERE dzien = '$dd' AND msc = '$mm' AND rok = '$yy'");
$k2=mysql_fetch_array($k1);
//ostateczny test
if($k2[ile]>=$dziennie){
exit;
}
$ile = $k2[ile]+$max;
mysql_query("UPDATE crawler SET ile = '$ile' WHERE dzien = '$dd' AND msc = '$mm' AND rok = '$yy'");
}
Bardzo prosze o pomoc jak skonfigurowac te dwa pliki ze soba by pobieraly aktualizacje.
Pozdrawiam serdecznie i czekam na odp