Mam następujący problem:

Jest sobie strona example.com, chcę przeparsować jej podstronę w o adresie URL powiedzmy example.com/foo.html.

Oto wyrywek kodu HTML strony foo.html.

[HTML] pobierz, plaintext 
(...)
<div id="ajax_content">
</div>
(...)
[HTML] pobierz, plaintext 

Właśnie do kodu tego elementu chciałbym się "dobrać". Oczywiście w czystym kodzie HTML nie zawiera on żadnej zawartości.

I teraz pytanie - jak wykonać żądanie parsujące (np. za pomocą cURL), aby dobrać się do zawartości tego div-a?

Bardzo proszę odpowiedzi oraz z góry serdecznie dziękuję.

Pobierz zawartość strony do zmiennej i użyj wyrażeń regularnych.

[PHP] pobierz, plaintext 
<?php
preg_match_all('(<div id=\"ajax_content\">(.*)</div>)', $content $output);
?>
[PHP] pobierz, plaintext 

Ale przcież zawartość tego diva jest uzupełniona za pomocą JavaScript (np innerHTML).

Tego nie zrobisz cURLem.
Potrzebujesz obsługę JSa, która jak bóg przykazał zmieni tą wartość w divie. Do tego są już potrzebne programy według mnie.

Choć możnaby się pobawić. Trzebaby napisać skrypt który "rozumie" strone i zapisze u Ciebie także plik JS który zmienia wartość Diva, a następnie uruchomić wygenerowane dane wraz z plikiem JS 'u siebie'. Choć nie polecam ze względów bezpieczeństwa.

Najprościej napisać gui-bota w Pythonie z wykorzystaniem Webkita z "frameworka" PyQt4 Wtedy masz dostęp do zrenderowanej zawartości strony, jak i też możesz na nią wpływać poprzez wykonywanie na niej własnego JavaScriptu.