Hej,
Co prawda aplikacja jest napisana w C (z wykorzystaniem MySQL API) a nie w PHP, ale problem tkwi po stronie MySQL-a stad pisze tutaj a nie na forum C/C++. Program ktory napisalem, ma wrzucac informacje z przeparsowanego pliku tekstowego do bazy danych, problem polega tylko na tym, ze tych danych jest sporo (stad wybralem C a nie PHP). Sprobowalem wrzucic dane tylko z 1 pliku co daje ~ 3487 zapytan do bazy danych i program wykonywal sie przez prawie 3 minuty! Co przy ponad 500 plikach daje wiecznosc . No ale pomyslalem, ze moze jest to wina braku optymalizacji programu, wiec postanowilem napisac cos takiego:

[PHP] pobierz, plaintext 
int i;
 
for(i =0; i < 3486; i++)
{
       mysql_query(mysql_connection, "INSERT INTO `tabela` VALUES(20110608,1234.0,1234.0,1234.0,1234.0,1234)");
}
[PHP] pobierz, plaintext 

gdzie tabela to:

[PHP] pobierz, plaintext 
CREATE TABLE `tabela` IF NOT EXISTS
(
       kolumna_1       DATE DEFAULT NULL,
       kolumna_2       FLOAT(5,2) DEFAULT NULL,
       kolumna_3       FLOAT(5,2) DEFAULT NULL,
       kolumna_4       FLOAT(5,2) DEFAULT NULL,
       kolumna_5       FLOAT(5,2) DEFAULT NULL,
       kolumna_6       FLOAT(5,2) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
[PHP] pobierz, plaintext 

Kod pisalem z pamieci (nie mam teraz dostepu do zrodla programu) wiec moga gdzies byc byki, ale chcialem przekazac tylko sens. Okazalo sie, ze przedstawiony wyzej kod tez wykonuje sie w granicach 3 minut ;/. Mieliscie kiedys podobna sytuacje? Dlaczego tak sie dzieje? Jak to naprawic? Dziekuje za wszelka pomoc, pozdrawiam MD

skoro rekordów jest dużo, ale widzę są one krótkie to jednym zapytaniem wkładaj np po 10 rekordów
....values (rekord1), (rekord2), (rekord10)

Wiecej info masz w dokumentacji
http://dev.mysql.com/doc/refman/5.5/en/insert.html
Będzie zdecydowanie szybciej

Możesz również opakować grupę opreacji insert w transakcje.

Możliwe, że spowalniaczem są:
a) operacje odczytu plików z dysku,
ciągłe nawiązywanie nowych połączeń zamiast używanie jednego przez cały czas skryptu,
c) niezbyt wydajne parsowanie zawartości.

Trudno cokolwiek powiedzieć bez jakiejś faktycznej próbki kodu i tego jak wygląda obróbka plików do formy zapytań. Pamiętaj, że operacje I/O sa zawsze wąskim gardłem i to one głównie spowalniają aplikację.

@nospor && @wookieb -> sprobuje

@thek

Ad.1 byc moze, ale malo prawdopodobne bo wszystkie pliki maja ~ 40MB (a jest ich nieco ponad 500)
Ad.2 nawiazuje tylko 1 polaczenie przez caly czas pracy programu
Ad.3 nie, bo zrobilem tak, jak to napisalem w 1 poscie zeby to sprawdzic

----------------------------------------------------------------------------------------

EDIT 2011.06.09 10:17


Zmodyfikowalem wczoraj kod i zaimplementowalem tranzakcje -- 10 000 zapytan poszlo w 1.5s, gdzie wczesniej przypominam ~3500 zapytan wrzucalo sie do bazy w 3 minuty Dzieki! A teraz kolejne pytanie ... skoro puszczam kilka insertow na raz, w takim razie w jaki sposob moge wyznaczyc maxymalny limit zapytan w trakcie jednej tranzakcji? Przy takim kodzie jaki zaprezentowalem w pierwszym poscie (tylko z wykananiem zapytania PRZED petla "START TRANSACTION" i ZA petla "COMMIT") wczoraj i 100 000 zapytan poszlo w 14s, ale co gdy zapytanie jest bardziej udziwnione? Jak mozna to "wyliczyc"? Przypuszczam, ze ma tutaj znaczenie zmienna max_allowed_packet (w my.conf -- u mnie standardowo 16M), no ale jak wyliczyc ile zapytan da te 16M? Pozdrawiam MD

zabierasz się za to od złej strony.
manual mysql, szukaj składni LOAD DATA LOCAL INFILE 'xxx' INTO TABLE wraz z opcjami