Witam,

Szukałem szukałem i nie znalazłem nic na ten temat.

Problem wygląda następująco. Mam pewien system który za pomocą xml_parser()" title="Zobacz w manualu PHP" target="_manual parsuje pliki xml z danymi.

Cały kod:

[PHP] pobierz, plaintext 
<?php
$this->parser = xml_parser_create("UTF-8");
        xml_set_object($this->parser, $this);
        xml_set_element_handler($this->parser, 'startXML', 'endXML');
        xml_set_character_data_handler($this->parser, 'charXML');
        
        xml_parser_set_option($this->parser, XML_OPTION_CASE_FOLDING, false);
        xml_parser_set_option($this->parser, XML_OPTION_TARGET_ENCODING, "UTF-8");
        xml_parser_set_option($this->parser, XML_OPTION_SKIP_WHITE,1);
 
        if (!($fp = @fopen($this->url, 'rb'))) {
            $this->error("Cannot open {$this->url}");
        }
    
        $endLine = false;
        while (!feof($fp))                                                                                
        {
            $line = '';
            
            for ($i=0; $i<20; $i++) 
            {
                $line .= fgets($fp);
                if (feof($fp)) {
                    $endLine = true;
                    break 1;
                }
            }
    
            if (!xml_parse($this->parser, trim($line), feof($fp))) 
            {
                echo '<pre>'.$line.'</pre>';
                $this->error(sprintf('XML error at line %d column %d',
                xml_get_current_line_number($this->parser),
                xml_get_current_column_number($this->parser)), $line);
            }   
}
?>
[PHP] pobierz, plaintext 

Przy małych plikach np 2,3,5 mb (1000-3000 linii) wszystko wygląda dobrze, jednak w przypadku gdy plik ma np 100 mb. (100 000 linii) Albo pobiera tylko część np pierwsze 100 linii, albo po prostu nie uruchamia się i wyświetla się biały ekran.

Oczywiście podanie na początku

[PHP] pobierz, plaintext 
<?php
set_time_limit(1800);
ini_set('memory_limit', '64M');
?>
[PHP] pobierz, plaintext 

nic nie daje. Czy metoda xml_parser() posiada jakieś ograniczenia. Co może być przyczyną tego nie mogę parsować dużych plików ?

Zawsze jak miałem parsować duże pliki XML (kilkadziesiąt MB i więcej), korzystałem z XMLReader. Nigdy mnie nie zawiodło.

Ja ostatnio parsowałem XML`a o wielkości 200mb simplexml tutaj nie ma sobie rownych szybciutko i bez problemu. Kod:

[PHP] pobierz, plaintext 
<?php
$file = '../xml/keywords.xml';
 
$xml = simplexml_load_file($file);
 
foreach($xml->keywords->item AS $item){
    $data = array (
        'id'        =>    (int)$item->attributes()->id,
        'keyword'    =>    (string)$item->attributes()->keyword
    );
    $db->insert('keywords',$data);
    echo ".";
}
?>
[PHP] pobierz, plaintext 

pozdrawiam

No właśnie to są bardzo fajne rozwiązania , ale co kiedy serwer ich nie obsługuje I tutaj jestem skazany na xml_parse()

popros dostawce o doinstalowanie pakietu
simplexml jest wrecz domyslnym pakietem! jezeli w twoim hostingu go nie ma i dostawca nie chce go dograc - zmien hosting!

polecam

Nie znam xml_parse więc nie wiem, czy są jakieś ograniczenia na ilość danych. Jedyna klasa jaką znam do XML, która się nie wyłoży przy dużym pliku to właśnie XMLReader. Wszystkie inne rozwiązania (w tym SimpleXML) wywalały się. Jeśli nie masz możliwości skorzystać z dobrodziejstw tej klasy, to będziesz musiał podzielić plik XML na kilka mniejszych.

Dobry pomysł hehe


Poczytałem troche o XMLReader jak podał batman i powiem że metoda jest genialna ! Może uda mi się przekonać dostawcę o jej uruchomienie.

Dzięki Panowie !

Rozwiązanie z xml_parse jest banalnie proste. Wystarczy wgrywać xml po kawałku. Czyli robisz pętlę while($xml =fread($fp, 1024)) ...

Trochę odświeżę temat

Aco w sytuacji gdy parsowanie zostanie przerwane w połowie? W tej chwili próbuję z fseek() oraz ftell()
Jednak gdy zaczynam parsować plik od połowy parser się wysypuje.

Próbowałem dodać przy starcie parsowana od półowy pliku:


Jednak nic to nie dało :/

xml_parse() wywała błąd