Pomoc - Szukaj - Użytkownicy - Kalendarz
Pełna wersja: Problem z LOAD DATA INFILE
Forum PHP.pl > Forum > Bazy danych > MySQL
DawidF
Witam,

Nie jestem wymiataczem co do MySQL'a, ale ten problem już mnie totalnie dobił.

Otóż mam tabelę, do której chciałbym załadować wszystkie dane z pliku tekstowego.
Poniżej pełny kod, jaki do tego stosuję:

Kod
<?php
include("cfg/bazka.php");
$ladowanie = "c:\\/usr\\/krasnal\\/www\\/dane\\/tekstowy.txt";
$polecenie = "LOAD DATA INFILE '$ladowanie' INTO TABLE dane FIELDS TERMINATED BY '\t' ENCLOSED BY '\"'";
$wyk = mysql_query( $polecenie, $link ) or die( mysql_error() );
echo "Zapisywanie danych zakończone powodzeniem!";
?>


W pliku tekstowy.txt mam ponad 6 milionów wierszy.
Na początku próbowałem zassać wszystko za jednym razem. Załadowało bez problemu nieco ponad 3 miliony - i wyświetliło komunikat, że operacja została wykonana.
Cóż, pomyślałem, że widocznie obowiązuje tutaj jakiś limit - czy to na bazę, czy też w samych ustawieniach MySQL'a (mówiłem, że nie jestem wymiataczem...).
No więc podzieliłem ten plik TXT na kilka mniejszych, po 1 milion rekordów każdy.
Wrzucam pierwszy (z 1 milionem rekordów). Załadowało dokładnie 500 tys. - i "zakończyło powodzeniem".
Dla testów zapuściłem upload tego samego pliku kilka razy z rzędu - za każdym razem ładowało 500 tysięcy linii i kończyło "powodzeniem". Po takich testowych uploadach mam już tabelę liczącą 7 milionów rekordów - 14 razy załadowałem pierwszych 500 tysięcy linii tego samego pliku...

Rozumie ktoś, na czym może polegać problem?

Byłbym wdzięczny za info, gdyby ktoś z Was spotkał się z czymś podobnym...

Pozdrawiam,
Dawid
ennics
czy próbowałeś wykonać tą operację z wiersza poleceń ?
DawidF
Tak, próbowałem - jest dokładnie to samo...
sf
Mysle, ze najlepszym wyjsciem bedzie sprawdzenie ustawien mysql, ktore sa opisane w dokumentacji. Pierwsze co bym zrobil to wlasnie tam bym zajrzal.
DawidF
Wierz mi, sf, nie napisałem tutaj nie zajrzawszy wcześniej we wszystkie znane mi miejsca...

Zrobiłem natomiast kolejny test - wykonałem to samo zapytanie, ale bez ENCLOSED BY '\"'

Efekt: zassało wszystkie wiersze z pliku... Tylko teraz na początku i końcu pól tekstowych są cudzysłowy!

Z tym już powinienem sobie poradzić, więc dzięki wszystkim, którzy zadali sobie trud i zastanowili się nad tym problemem... biggrin.gif

Pozdrawiam,
Dawid
dr_bonzo
jest jeszcze opcja:
  1. OPTIONALLY ENCLOSED BY '\"'


a szczegoly calego polecenia w manualu.
To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.
Invision Power Board © 2001-2025 Invision Power Services, Inc.