Czy możecie mi pomóc w optymalizacji UPDATE dla 3200 rekordów

Teraz jest tragedia. Trwa to ponad 20 min. Prawdopodobnie zamiast pętli PHP while można to zrobić innaczej.

Spróbuj takie zapytanie (ale nie w pętli, SELECT niepotrzebny):

[SQL] pobierz, plaintext 
UPDATE jos_comprofiler, tablica22 SET jos_comprofiler.cb_055 = tablica22.055 WHERE jos_comprofiler.cb_001 = tablica22.001
[SQL] pobierz, plaintext 

Pisane z palca i nie wiem czy dobrze zrozumiałem, co chcesz osiągnąć. Struktura tabel, zaprojektowana przez jakiegoś eksperta baz danych też nie pomaga w zrozumieniu problemu.

jeśli zmieniasz tylko jedną kolumnę i masz duże prawdopodobieństwo , że się wstawiane wartości mogą powtarzać to możesz stworzyć sobie tablicę pomocniczą:
Kluczami takiej tablicy byłyby wartości które zamierzasz wstawiać do bazy, jako wartość byłaby tablica idków rekordów, które mają tą wartość otrzymać.
Później otrzymaną tablicę przejechałbyś jeszcze jedną pętlą robiąc zapytania update:

[SQL] pobierz, plaintext 
UPDATE tab SET col = wartosc_czyli_klucz_tablicy WHERE id_rekorow IN (id_czyli_wartosc_tablicy_1, id_czyli_wartosc_tablicy_2, id_czyli_wartosc_tablicy_3)
[SQL] pobierz, plaintext 

czy będzie szybciej - trudno powiedzieć, wszystko zależy od bazy. Powinieneś mieć mniej zapytań do bazy, które są najwolniejsze - testuj

Moze wytlumacze o co mi chodzi dokladne

po poludniu mam wjazd nowych danych do tablica22

a w nocy musze nimi zaktualizowac dane w jos_comprofiler

pól do aktualizacji jest ok 40 wiekszosc to kwoty


bardzo tego potrzebuje - teraz mi to trwa juz ponad pol godziny

NNOIDEA nie bardzo rozumiem ' SELECT niepotrzebny '

czy mozesz mi sprobowac poprawic ten moj kod please

Poczytaj o uruchamianiu skryptów php z linii poleceń (CLI)

Hmmm ale jeżeli update'ujesz tylko 40 "cen" czy co to tam masz do update'a a znasz klucze...
To nie łatwiej zrobić to tak:

[SQL] pobierz, plaintext 
INSERT INTO xxx.yyy (aaa, bbb, ccc) VALUES (:aaa, :bbb, :ccc) ON DUPLICATE KEY UPDATE aaa = VALUES (aaa), bbb = VALUES (bbb), ccc = CALUES (ccc);
[SQL] pobierz, plaintext 

Oczywiście ww. zapytanie jest gotowe dla PDO - polecam, bo jest wydajniejszy i bezpieczniejszy.

Co dalej? Bindujesz, pętlujesz dane, które chcesz włożyć/updatenąć i dajesz execute();

Tu masz MEGA łatwy tutorial do PDO TUTEK

no nie wiem co jest

sam INSERT trwa kilka sekund a juz z ON DUPLICATE KEY UPDATE zawiecha a aktualizuje tylko jedna tabele w bazie

[SQL] pobierz, plaintext 
UPDATE jos_comprofiler,tablica22 SET jos_comprofiler.cb_055 = '$tb055' WHERE jos_comprofiler.cb_001 = '$tb001
[SQL] pobierz, plaintext 

po co ci tu tabela "tablica22" wogole jej tu nie wykorzystujesz

no nie


'$tb055' = $rek[055];

jest wartoscia z 'tablic22' pole '055'

Zacznijmy od tego, czy masz w tej tabeli jakieś indeksy? Jaki to silnik?

Nie jestem expertem ale taka mala myśl mnie naszła - nie możesz "podzielić" tej giga tabeli? Jeżeli wiesz, że będziesz update robił dla danej kolumny co noc - to wydziel to do osobnej tabeli. Fakt, wszystkie zapytania trzeba będzie przerobić - ale to chyba jest jak z malowaniem... Jak najpierw przygotujesz grunt to malowanie jest proste, a jak olejesz grunt to farbę trzeba kłaść 4 razy.
I jak @Erix napisał - indeksy, typy danych, to czcy się rekordy lubią powtarzać itp. - to wszystko i więcej wpływa na wydajność.

Np. W jednej z kolumn mam cenę we floacie, ale mniej pamięci będzie często zajmował zwykły integer... A wystarczy wyciągane dane przeformatować.
Jeżeli dane się powtarzają - to tabela jest źle zorganizowana (nie mówię tu o imieniu np. - ale równierz to wyciągnął bym do innych tabel).
Przykładowy text: Bla bla bla - to może być char albo varchar albo text - chyba znasz różnice? I to ile zajmują miejsca? W dużych bazach wszystko ma znaczenie...
Jedno z fajnych imo rozwiązań to nadawanie id pewnym wartościom np. w bazie powtarza się "nazwa a, nazwa b ... nazwa z" - aby nadać id potrzebujemy 32 liczb, a same nazwy zajmować będą więcej pamięci. Dlatego lepiej imo dać w tabeli id do tej nazwy niż całą nazwę - a zazwy w osobnej tabeli.
To czy silnik jest InnoDB czy inny - też ma znaczenie. To gdzie srver się znajduje też. To jak server jest skonfigurowany też.

Dzieki za info , jest rozwiazanie.

Jak pisalem wczesniej INSERT dziala kilka sekund

Przerobilem INSERT tak jak podpowiedzial ixpack i teraz update za pomoca ON DUPLICATE KEY UPDATE dziala moment i na dodatek dodaje nowych userow jak pojawia sie tablica22
a sprawdzilem za pomoca samego update i muli (cos to UPDATE w mysql nie jest do konca OK )



Silnik jest na MyISAM i z tego wyczytalem na InnDB by jeszcze szybciej dzialalo.

System bedzie sie rozwijal i na pewno tu jeszcze wroce . Dzieki za pomoc.