Pomoc - Szukaj - Użytkownicy - Kalendarz
Pełna wersja: MYSQL jak przyśpieszyć import z csv
Forum PHP.pl > Forum > Bazy danych > MySQL
kaju007
Witam
Nie znam się zbytnio na tym dla tego szukam pomocy na forum.
Posiadam sklep na prestashop do tego mam plik importu który uruchamiam z konsoli przez php import.pl .
Import pobiera dane z pliku csv wszystko działa ale bardzo wolno.
Przetestowałem już parę VPS i tylko na jednym mysql zapisywał z prędkością 7MB/s (dysk ssd).
Moim zdaniem to trochę za mało.
Bynajmniej program mysqltuner.pl pokazuje 100% zapis.
Z analizy mojej i obserwacji procesów podczas importu są 2 procesy mysql które wykorzystują procesor po 30-40%, i jest proces php import.pl który co jakiś czasz się pokazuje i użyje jakies 20%- tak jak by wysyłał dane do mysql a mysql dalej je obrabiał.

to są moje dane my.cf
Kod
[mysqld]
local-infile=0
innodb_file_per_table
max_connections         =200
table_cache             = 69000
join_buffer_size = 8000M
query_cache_type = 1
query_cache_limit       = 5096M
query_cache_size        = 256M
key_buffer = 16M
thread_cache_size = 8



Teoretycznie mogę zmienić maszynę która bedzie miał 128gb ramu ale czy jest sens.

Potrzebuję zwiększyć prędkość zapisu i działania mysql. Ja to rozumiem że jak zwiększe zapis mysql na dysk to szybciej się będzie ładował import?
Pyton_000
A gdzie Ci się śpieszy? Jaka wielkość CSV, jakie dane. ile tych danych.
maly_swd
To jest dość szybkie: http://dev.mysql.com/doc/refman/5.1/en/load-data.html
To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.
Invision Power Board © 2001-2025 Invision Power Services, Inc.