Forum PHP.pl > [MySQL][PHP] Problem z load data infile

Pomoc - Szukaj - Użytkownicy - Kalendarz

Pełna wersja: [MySQL][PHP] Problem z load data infile

Octobus

15.02.2018, 11:35:45

Mam komende do wgrywania csv ktora od dawna stosuje, jednak nagle napotkalem takie csv dla ktorego dziala niepoprawnie. Plik ma 300 MB i ponad 50 tys rekordow, ponizsze komenda wgrywa tylko 17 000. Pytanie, czemu i jak moge sprawdzic czy wystepuje jakis blad ?

Cytat

LOAD DATA LOCAL INFILE "'.realpath(dirname(__FILE__).'/../../'.$sciezka_csv).'"
INTO TABLE `baza_temp`
CHARACTER SET utf8
FIELDS TERMINATED BY ","
OPTIONALLY ENCLOSED BY "\""
LINES TERMINATED BY "\n"
IGNORE 1 LINES

Mozliwe ze bedzie trudno odniesc sie do tego problemu, wiec jesli znacie jakis inny sposob zeby z poziomu php wgrac tak duzy plik rowniez prosze napisac, byc moze to rozwiaze moj problem z ktorym utknalem :/

SmokAnalog

19.02.2018, 23:22:10

Jesteś pewien, że te pominięte nie naruszają jakiegoś kryterium np. o unikalności?

Pyton_000

20.02.2018, 09:18:38

Przekonwertuj sobie np. tym http://www.convertcsv.com/csv-to-sql.htm

i odpal ręcznie.

Ew. po odpaleniu LOAD DATA odpal jeszcze sobie `SHOW WARNINGS;` i zobacz czy wypluje Ci coś.

Octobus

27.02.2018, 15:16:33

Troche to trwalo ale bylem zawalony inna robota. Juz wiem, zwraca blad:

Kod

Invalid utf8 character string

plik zajmuje 300 MB nie otworze go niczym "normalnym", nie wysle go tez nigdzie. Moja wersja mysql to 5.5.9, slyszeliscie moze kiedys o takim problemie ?

trueblue

27.02.2018, 15:20:28

Tak.
https://www.google.com/search?q=mysql+Inval...haracter+string

Octobus

27.02.2018, 15:52:00

Czytalem to zanim tu napisalem i nadal nie wiem jak to rozwiazac.
Plik csv mam z zewnatrz, nie mam wplywu na to jaki dostaje. Jest za duzy zeby go otworzyc i przerobic kodowanie recznie czy na stronie internetowej. Mam ustawione w poleceniu ze chce utf-8 a takich plikow csv mam ponad 200 i tylko z tym jest problem, nie moge zmienic kodowania bazy danych bo inne moga sie wysypac co trudniej mi bedzie sprawdzic, musze sobie poradzic z tym tylko ze mimo wyczytanych w internecie pod tym haslem odpowiedzi, nadal nie wiem co zrobic bo to co napisalem zdanie wczesniej, wyklucza je ...

trueblue

27.02.2018, 16:24:34

A to?

Cytat

Plan B: Import as latin1. (You do not need to change the column/table definition, just the LOAD DATA.)

To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.