Pomoc - Szukaj - Użytkownicy - Kalendarz
Pełna wersja: [XML] Przetwarzanie duzych plikow xml
Forum PHP.pl > Forum > XML, AJAX
JarCzeS
Witam.
Mam taki problem: strona znajduje sie na serwerze xxx.pl, pliki xml na zzz.pl, w jaki sposob moge zdalnie przetworzyc pliki xml o lacznej wadze 12 GB (przypuscmy 20 plikow po 600 MB) ?
sticker
Po pierwsze musiałbyś mieć niezawodne połączenie a na to nie możesz zapewne liczyć, po drugie parsowanie musiałoby się odbyć z wykorzystaniem sax parsera, ale podzielenie tego pliku na kilka spowoduje, że nie bedzie on poprawny i nie będzie sie dało go sparsować dostepnymi bibliotekami (wiec musiałbyś dostarczyć własną implementacje parsera a co najmniej skanera biegnącego po plikach i zczytującego linie). Po kolejny zzz.pl musiałby mieć ustawiony gigantyczny timeout.

Najlepsze rozwiązania to podziel to na jak najmniejsze fragmenty i na nich operuj jak sie coś wywali to sobie to od nowa zrobisz jak sie sypnie coś przy tak duzych plikach jak mowisz to cała robota pojdzie na marne.
JarCzeS
a serwer dedykowany by nie pomogl tutaj ?
na serwerze z xml znajduja sie rowniez spakowane pliki (zip lacznie ok 500 MB) , cron na serwerze dedykowanym sciagnol by podane pliki w kilka minut(?) a potem moje skrypty zajely by sie przetwarzaniem tego czy to jest mozliwe wogole?
erix
Po stronie klienta chyba nie za bardzo, ale od PHP możesz spróbować xmlreader" title="Zobacz w manualu PHP" target="_manual.
To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.
Invision Power Board © 2001-2025 Invision Power Services, Inc.