JarCzeS
4.02.2009, 12:49:31
Witam.
Mam taki problem: strona znajduje sie na serwerze xxx.pl, pliki xml na zzz.pl, w jaki sposob moge zdalnie przetworzyc pliki xml o lacznej wadze 12 GB (przypuscmy 20 plikow po 600 MB) ?
sticker
4.02.2009, 15:29:55
Po pierwsze musiałbyś mieć niezawodne połączenie a na to nie możesz zapewne liczyć, po drugie parsowanie musiałoby się odbyć z wykorzystaniem sax parsera, ale podzielenie tego pliku na kilka spowoduje, że nie bedzie on poprawny i nie będzie sie dało go sparsować dostepnymi bibliotekami (wiec musiałbyś dostarczyć własną implementacje parsera a co najmniej skanera biegnącego po plikach i zczytującego linie). Po kolejny zzz.pl musiałby mieć ustawiony gigantyczny timeout.
Najlepsze rozwiązania to podziel to na jak najmniejsze fragmenty i na nich operuj jak sie coś wywali to sobie to od nowa zrobisz jak sie sypnie coś przy tak duzych plikach jak mowisz to cała robota pojdzie na marne.
JarCzeS
4.02.2009, 15:46:23
a serwer dedykowany by nie pomogl tutaj ?
na serwerze z xml znajduja sie rowniez spakowane pliki (zip lacznie ok 500 MB) , cron na serwerze dedykowanym sciagnol by podane pliki w kilka minut(?) a potem moje skrypty zajely by sie przetwarzaniem tego czy to jest mozliwe wogole?
Po stronie klienta chyba nie za bardzo, ale od PHP możesz spróbować
xmlreader" title="Zobacz w manualu PHP" target="_manual.
To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę
kliknij tutaj.