Pomoc - Szukaj - Użytkownicy - Kalendarz
Pełna wersja: [PHP][MySQL] Jak najszybciej wykonac inserty
Forum PHP.pl > Forum > Przedszkole
Agape
Mam tabele do ktorej musze wgrac paredziesiat tysiecy produktow, problem w tym ze musze to zobic w jak najkrotszym czasie zeby wystarczyly czasu wykonywania skryptu na inne rzeczy. Dziele sobie wiec dane w partie po tysiac i wgrywam partiami. Problem w tym ze to i tak za wolno, tabele zrobilem w MyISAM, pobowalem wgrywac przez csv, ale napotkalem problemy, wgrywala sie tylko czesc bazy a nie wyskakuja tam (przez pdo) zadne bledy.

Pytanie wiec jak najszybciej wykonac inserty, co moge jeszcze zrobic ? Kazda rada bardzo mi sie przyda, siedze z tym od wczoraj rano ...
nospor
Mozesz pokazac kod ktory realizuje to dzielenie na partie i potem wgrywanie tych partii?
Agape
Pewnie:

  1. $sql = 'insert into `'.$this->nazwa_bazy.'` (`id_produktu`, `nazwa`, `obrazek`, `opis`, `cena`, .......... , `uri`) VALUES ';
  2. $sql_values = array();
  3. foreach ($glowna_instalacja_dane as $glowna_instalacja_){
  4. $glowna_instalacja_ = array_map('addslashes', $glowna_instalacja_);
  5. $sql_values[] = '("'.$glowna_instalacja_['id_produktu'].'", "'.$glowna_instalacja_['id_produktu_przekierowanie'].'", "'.$glowna_instalacja_['nazwa'].'", "'.$glowna_instalacja_['obrazek'].'", "'.$glowna_instalacja_['opis'].'", "'.$glowna_instalacja_['cena'].'", ...... , "'.$glowna_instalacja_['uri'].'")';
  6. }
  7. $this->wgraj_dane_sql($sql, $sql_values);
  8.  
  9.  
  10. function wgraj_dane_sql($sql, $sql_values, $ilosc = 1000)
  11. {
  12. //podziel zapytania na po 1 000
  13. if(count($sql_values) > $ilosc){
  14. $values_chunks = array_chunk( $sql_values, $ilosc);
  15. foreach ($values_chunks as $i => $chunk){
  16. $this->query($sql.implode(',', $chunk));
  17. }
  18. }elseif(count($sql_values)>0){
  19. $this->query($sql.implode(',', $sql_values));
  20. }
  21. }



w skrocie wrzuca wszystkie produkty do tablicy, dzieli po 1000 i te podzielone paczki wrzuca do bazy
nospor
Co sie kryje pod $this->query? PDO? mysqli? mysql?
emstawicki
Import będzie jednorazowy, czy tworzysz skrypt, który będzie cyklicznie się wykonywał?
Agape
@nospor PDO:
Kod
public function query($sql)
    {
        if(!$this->db) $this->polacz_z_baza ();
        $this->ilosc_zapytan += 1;
        return $this->db->query($sql);
    }


Kod
$this->db = new PDO('mysql:host='.$this->db_config['host'].';dbname='.$this->db_config['db_name'].';encoding=utf8', $this->db_config['username'], $this->db_config['password']);
            $this->db->exec("SET CHARACTER SET utf8");
            $this->db->exec("SET NAMES utf8");
            $this->db->setAttribute( PDO::ATTR_ERRMODE, PDO::ERRMODE_WARNING );



@emstawicki srednio co pare 2 - 3 dni, teraz wykonuje sie jakies 25 sekund, musze zejsc jak najnizej bo caly skrypt sie wywala przez max czas wykonywania skryptu ktorego nie moge zawiekszyc bo to na wielu serwerach jest :/
nospor
Ok, skoro to PDO to moze sprobuj z prepare
http://php.net/manual/en/pdo.prepare.php
ktore przygotowuje zapytanie raz a ty tylko potem przy pomocy execute wkladasz dane do tego zapytania - z definicji powinno to byc szybsze.
To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.
Invision Power Board © 2001-2025 Invision Power Services, Inc.