Mam taki kodzik :


Pod zmienną str znajduje się źródło tej strony : http://panoramafirm.pl/szukaj/mazowieckie,...wa/firmy,1.html

Chcę pobrać ilość elementów o klasie table. Niestety program podaje, że tych elementów jest 0. Podczas gdy w rzczywistości jest ich 15.

Gdy zamiast ".table" dam "a", to zwraca mi to 17, czyli jakieś linki znajduje ale chyba jest ich ciut za mało.

W czym może być problem ?

Wszystkie tabelki są w divie o klasie "results" <- tego diva nie mogę pobrać.
Mogę za to pobrać div o nazwię 'socialIcons right" ale nie w całości - na nim program kończy parsowanie.

Dawno nie miałem już z Qt styczności ale spróbuj zobaczyć co wyrzuca metoda QWebFrame::toHtml. Webkit wykonuje Javascript - możliwe więc że te klasy zostają usunięte w trakcie przetwarzania (albo to zabezpieczenie przed zewnętrznymi skanerami). Ostatecznie zostaje struktura dokumentu HTML - może jest tak zwalona że nie przechodzi (ale to mało prawdopodobne).

Pobierz treść najprościej jak się da, wrzuć do DOM'a prze-iteruj jak xml'a, wyciąg i zlicz dane. Amen.

Dziwna sprawa. Ostatnie linijki tego "debuga" to:


Za tym divem (socialIcons) powinien być jeden pusty div z klasą "clear" i potem div reslults z tabelkami.

ten kod, który podałeś znajduje się z źródle strony, sprawdź w firebugu,
co prawda powinien byc jeszcze ten clear i result, ale nie wiem z jakiej strony jest ten wyciąg

Nie wiem o co Ci chodzi.
Dałem linka w pierwszym poście, więc chyba powinieneś wiedzieć skąd ten wyciąg .
Po divie socialicons powinien być div clear i div results a w nim interesujące mnie dane. Następnie jakieś tam footerki.

Niestety metoda toHtml zwraca mi nie takie źródło, jakie jest w krzeczywistości, bo już po divie socialicons zamykane są divy, body i html.

Znalezione w necie:

[CPP] pobierz, plaintext 
webView->settings()->setAttribute(QWebSettings::JavascriptEnabled, false);
[CPP] pobierz, plaintext 

Wyłącza parsowanie JS. Jeśli to nie pomoże to spróbuj metodę cojacka

Zrobiłem inaczej. Za pomocą regexpa znalazłem pozycję (czyli od którego znaku w stringu zaczyna się ten div) obciąłem to co było wcześniej za pomocą QString::remove(), to coś wrzuciłem do QWebFrame i teraz mi hula

Pewnie wasze sposoby są lepsze, ale póki co mój sposób działa

Dzięki za odpowiedź, idą pochwały.

Całe api webkita jest po to, żebyś nie musiał korzystać z regexpa do takich rzeczy. W tym przypadku table.table da ten sam wynik co .table, ale.. Te ostatnie linijki debuga- gdzie wykonujesz ten kod? Ja pozwoliłbym webkitowi ściągnąć stronę i coś podobnego tego co dałeś wykonał pod sygnałem load_finished;>
Niby pytanie o banał, ale nie takie rzeczy już na forach wychodziły.

Do pewnego czasu mój program działał bez regexpa (kod z pierwszego postu działał) ale ponieważ od pewnego czasu mój program przestał działać (kończył parsowanie na pewnym kodzie js), to za pomocą regexpa wyciąłem sobie kod od interesującego mnie diva, do końca dokumentu (czyli </html> ). I ten "ucięty" html wrzuciłem tak samo jak w pierwszym poście i działa
Daj mi działający kod nie wymagający regexpa, to chętnie użyję.

Napławde ?

Nie rozumiem.

Zrobiłem po swojemu, wklejając kod gdzie trzeba. Debug zwrócił dwie liczby:
0
25
Na szybko wstawiłem ramkę (ui->webView), kod:
MainWindow.h


mainwindow.cpp

@katsuo prawdopodobnie ma rację. Jeśli QWebFrame zachowuje się analogicznie jak UIWebView w iOSie to asynchroniczne ładowanie zawartości mogło powodować twój błąd. Twoje regexowanie mogło to jedynie zamaskować (poprzez opóźnienie wywołania findAll() ). Wszystko to przy założeniu że QWebFrame rzeczywiście zachowuje się asynchronicznie

Jak to debug zwrócił 0 i 25 ?
Tabelek o tej klasie jest 15

Nie bardzo wiem o co wam chodzi Mogę prosić o jakiś prostsze wyjaśnienie ? Nie roumiem jak ten regexp ma maskować błąd.

Jeśli moje przypuszczenie jest poprawne - metoda setHtml instruuje QWebView żeby zaczął parsować HTML. Ale on to robi asynchronicznie więc reszta kodu spokojnie się wykonuje, nawet jeśli drzewo DOM nie zostało do końca zbudowane. UIWebView w iOSie udostępnia metodę delegata (coś ala slot w Qt) żeby powiadomić nas kiedy jest on gotowy do użycia. Nie rozumiem do końca kodu @katsuo ale przypuszczam że QWebFrame udostępnia jakiś sygnał informujący o załadowaniu się htmla w który można się wpiąć.

Co do regexpa to wolne przypuszczenie. Możliwe że kiedy ty dokonujesz manipulacji regexem te parę ms wystarcza żeby drzewo DOM zostało załadowane.

* Wydaje mi się dziwne żeby samo obcięcie końcówki taga magicznie "naprawiło" HTMLa - jest niby taka możliwość, ale wtedy dokument sypałby się wszędzie.

@EDIT
Z dokumentacji Qt

Sam już nie wiem niby drzewo DOM jest ładowane od razu a tylko reszta dociągana. Chyba dokument jest generowany JSem.

1. Następnym razem dołączaj cały kod, nie wróżymy z fusów
2. Poczytaj o sygnałach, slotach i event driven programming.
Wczytaj się w dokumentację samego qt- w pewnym momencie myślałem, że wklejasz html do qLineEdit który ma limit długości(patrz pkt.1)
@everth: Mimo, że dołączone są biblioteki jquery do strony, tabelki są dostępne bez js- kolega coś skopał, i nie wiadomo co(pkt. 1)

No dobra, więc przerobiłem swój kodzik na taki :

to metoda która się odpala wtedy, gdy dokument html został zassany i zapisany do zmiennej str (QString)




Ale nie hula.

spakuj cały projekt i wyślij na jakiś (lekki)hosting, na prawdę będzie łatwiej.

http://www.sendspace.pl/file/b9a852801bddf23ea604782
Wywaliłem całe gui i inne rzeczy, żebyś nie musiał zbyt wiele szukać
edit://
Co tak umilkłeś ? Nie chcesz mi już pomóc ?
edit://
Zrobiłem Twoją metodą, tzn nie łąduję za pomocą QNetworkManagera, tylko za pomocą QWebPage i teraz działa. Nie wiem tylko czemu tak wolno. I nadal nie wiem czemu sposób z użyciem setHtml() nie działa.

Pozwolę nieco skomentować Twój wcześniejszy post.

Jeśli by problemem miała być asynchrnicznicznie działąjąca klasa (czy o czym tam mówiłeś), to w moim kodzie wyraźnie widać, że od razu po wywołaniu setHtml, "parsuję" cały dokument.
Poza tym, tak się składa, że błąd jest właśnie gdzieś w tym kodzie, który dałem w pierwszym poście.

Po co ?

Jak się ma początek tego zdania, do drugiej części ? Jak się ma moje "wczytywanie w dokumentację Qt" do tego, że myślałeś, że wklejam html do QLineEdit ?
Co zasugerowało, że wklejam html do QLineEdit ? Przecież na podstawie mojego kodu widać bardzo przejrzyście, instancją jakiej klasy jest każda ze zmniennych, bo właśnie w tej funkcji są one deklarowane. Może poza zmienną str, ale po nazwie możesz się domyśleć, że to QString, oraz po tym, że metoda QWebFrame::setHtml() przyjmuje parametr QString (a nie żadne QLineEdit).

popisz trochę więcej w JavaScript - to Ci powinno ułatwić programowanie zdarzeniowe... dodatkowo drzewo DOM w przeglądarkach zawsze renderowało się asynchronicznie (stąd były specjalnie tworzone metody pokroju .ready np. w jQuery)...

wyłącz obrazki i wyłącz wykonywanie JavaScript skoro to Ci nie potrzebne... w Twoim kodzie niewiele zmieniłem i działa - zdarzenie jest przypisane do QWebPage, więc musi on trochę dłużej istnieć itd... tabel z tą klasą znajduje 25...

[CPP] pobierz, plaintext 
#ifndef WIDGET_H
#define WIDGET_H
 
#include <QWidget>
#include <QDebug>
#include <QUrl>
#include <QtNetwork>
#include <QTextStream>
#include <QWebElement>
#include <QWebFrame>
#include <QWebPage>
#include <QWebView>
#include <QtGui>
#include <QRegExp>
#include <QtXml>
 
class Widget : public QWidget
{
    Q_OBJECT
public:
    explicit Widget(QWidget *parent = 0);
    void startRequest(QUrl url);
 
private slots:
 
        void httpFinished();
        void httpReadyRead();
        void htmlLoaded();
 private :
    QNetworkAccessManager qnam;
    QNetworkReply *reply;
    QString str;
    QPointer<QWebPage> page;
    QWebFrame * frame;
    //elementy gui
};
 
#endif // WIDGET_H
[CPP] pobierz, plaintext 

[CPP] pobierz, plaintext 
#include "widget.h"
 
Widget::Widget(QWidget *parent) :
    QWidget(parent),
    page(new QWebPage)
{
    QUrl url("http://panoramafirm.pl/szukaj/mazowieckie,warszawa/firmy,1.html") ;
    startRequest(url);
}
 
 
void Widget::startRequest(QUrl url)
{
 
    str="";
    reply = qnam.get(QNetworkRequest(url));
 
    connect(reply, SIGNAL(finished()),
            this, SLOT(httpFinished()));
    connect(reply, SIGNAL(readyRead()),
            this, SLOT(httpReadyRead()));
}
 
 
 
void Widget::httpReadyRead()
{
    str.append(QString::fromUtf8(reply->readAll()));
 
}
 
void Widget::httpFinished()
{
    //    QWebPage page;
        QWebSettings* s = page->settings();
        s->setAttribute(QWebSettings::AutoLoadImages, FALSE);
        s->setAttribute(QWebSettings::JavascriptEnabled, FALSE);
        frame = page->mainFrame();
    //    qDebug() << 333333333;
        connect(page, SIGNAL(loadFinished(bool)), this, SLOT(htmlLoaded()));
        frame->setHtml(str);
}
 
void Widget::htmlLoaded()
{
    QWebElement document = frame->documentElement();
    QWebElementCollection tables = document.findAll("table.table");
    int num_tables = tables.count();
    qDebug() << num_tables;
}
[CPP] pobierz, plaintext