Pomoc - Szukaj - Użytkownicy - Kalendarz
Pełna wersja: import csv 13MB ok 450000 rekordow
Forum PHP.pl > Forum > PHP
sedzia
Witam

Mam taki problem musze zrobic z pliku csv 13MB ok 450000 rekordow baze danych mysql probowalem juz paru sposobow ale... zawsze skrypt wysypuje sie po mneij wiecej 25000 rekordow wiadomo najprosze rozwiazanie bylo by zastosowac funkcje mysql LOAD DATA LOCAL INFILE lecz na serwerze strefy jest ona zablokowana tylko php myadmin moze ja obslugiwac :/ probowalem rowniez wydluzyc czas wykonywania skryptu zarowno przez set set_time_limit(0); jak i zmiane w dyrektywie max_execution_time po wykonaniu powiedzmy 25000 (czasami jest to 16000 lub nawet 36000 ) pokazuje mi sie napisik Content-Type: text/html
plik probowalem dzielic na kilka mniejszych i pozniej parsowac korzystalem tez z paresera z nowego phpmyadmina gdzie czyta sie plik fread'em po 1024 (to jest blad bo urywa niektore rekordy) ale to tez nie bardzo dziala tak jak trzeba...
moze ktos zna rozwiazanie na ten problem??
TomASS
Cytat
plik probowalem dzielic na kilka mniejszych i pozniej parsowac korzystalem tez z paresera z nowego phpmyadmina gdzie czyta sie plik fread'em po 1024 (to jest blad bo urywa niektore rekordy) ale to tez nie bardzo dziala tak jak trzeba...

Dlaczego nie działa 'tak jak trzeba' ?
sedzia
Cytat(sedzia @ 2006-04-03 14:44:11)
to jest blad bo urywa niektore rekordy

jak dzielimy fread'em po 1024 to urywa niektore rekordy np dzieli mi pewne pole na pol jak te 1024 znaki nie obejmuja calego wiersza... troche zamgmatwalem ale mam nadzieje ze wiadomo o co chodzi smile.gif i ten 1024 rekordy wkladaja do bufora i parsuja wlasnym parserem ale to tez nie chodzi dla takich ilosci rekordow...:/
TomASS
To nie dziel co 1024 znaki, tylko dziel co ileś wierszy - np po 100.
sedzia
a co do mnie to wlasnie dziele co 100 wierszy smile.gif i sie wysypuje tak jak wczesniej napisalem myslalem ze ci chodzi o phpMyAdmina sorki za nerwy smile.gif
revyag
Nie rób tego phpmyadminem. Wklep komendę z wiersza poleceń:
Kod
mysql -h localhost -u root --password=password baza < dump.sql
sedzia
Cytat(sedzia @ 2006-04-03 14:44:11)
na serwerze strefy

jak juz pisalem wczesniej serwer mam na strefie gdzie nie ma shella wiec takie rozwiazanie odpada... a poza tym to rozwiazanie ma byc w panelu administracyjnym stronki gdzie klient sam codziennie ma sobie uploadowac (moze tez korzystac z ftp a skryp wykonywac sobie osobno) taki pliczek z produktami do sklepu:/
To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.
Invision Power Board © 2001-2025 Invision Power Services, Inc.