Tutaj rekurencja? Ty chyba zgłupiałeś...

Chcesz cały net zaindeksować? Ktoś zrobi motyw
http://www.domena.pl?url=http://www.domena2.pl i wlatujesz z crawlerem na całkiem inną domenę. Ewentualnie wpadasz na farmę linków i znów masz dym. Sprawdzaj wpierw czy znajdujesz się nadal na domenie z jakiej wyruszyłeś i sprawdzaj poziom zagłębienia. Bo jak wpadniesz w pętlę przekierowań to się robi potem jazda... A nie widzę byś się zabezpieczał jakkolwiek na taką sytuację. Poza tym myśl trochę przy pisaniu. Robisz dziesiątki zapytań i bazę zarżynasz. A powinieneś wyciągnąć z bazy listę linków aktualnie dla tej strony zaindeksowanych i w pętlach porównywać oznaczając: ta już była, ta jest nowa itd. Bo inaczej robisz sieczkę ostrą.
Do sitemapy Twojej własnej strony wystarcza znajomość jej struktury. Pewne linki masz stałe i możesz je na pałę wpisać do kodu. To co z bazy to zwykłe pętle while i banalne zapytania:
<?php require_once("danebazy.php");
$content = '<?xml version="1.0" encoding="UTF-8"?>
<url>
<loc>http://www.domena.pl/</loc>
<priority>1.0</priority>
<changefreq>daily</changefreq>
</url>
<url>
<loc>http://www.domena.pl/kontakt.php</loc>
<priority>0.5</priority>
<changefreq>monthly</changefreq>
</url>';
$kategorie = mysql_query( "SELECT * FROM artykuly_kategorie" ); $content .= '<url>
<loc>http://www.domena.pl/kategoria_artykulow_'.string2filename( polskie( $wynik['nazwa'] ) ).','.$wynik['id'].'.php</loc>
<priority>0.4</priority>
<changefreq>weekly</changefreq>
</url>
';
}
$artykuly = mysql_query("SELECT tytul, id FROM artykuly WHERE stan = 1"); $content .= '<url>
<loc>http://www.domena.pl/art-'.string2filename( polskie( $wynik['tytul'] ) ).','.$wynik['id'].'.php</loc>
<priority>0.4</priority>
<changefreq>weekly</changefreq>
</url>
';
}
$content .= '</urlset>';
ping_google();
?>
Tak się to robi, choć ja mocno okroiłem, ale żadne crawlery bo to mocno niewydajne i jedzie zarówno po serwisie, jak i po bazie. Nawet mocno rozbudowane serwisy się tak robi. Tyle, że wtedy robi kilka plików sitemap, nie zaś jeden duży. Ludzie myślcie trochę chociaż...