Witam.

Mam do zrobienia skrypt zliczajacy ilosci pewnych danych w bazie danych. [PHP/MYSQL]

Dostaje

[PODSTAWA]
Zrzut z innej bazy gdzie mam 160tys row'ow gdzie pola odseparowane po |.

[DODATKOWE DANE 1]Dwie tablice ktore wiaza sie z [PODSTAWA] powiazujac
podstawa.x z dodatek1.x albo jesli podstawa.x=pusty to podstawa.y=dodatek.x

[DODATKOWE DANE 2]Jedna tablica powiazana z [PODSTAWA] po podstawa.z=dodatek2.z

[PODSTAWA] Jest zmienna codziennie wiec kazdego dnia jest nowy zrzut z bady
[DODATKI] sa stalymi mapami


Generalnie efektem ma byc skrypt wypluwajacy dane np po jakiejs zmiennej ktora jest w ktorejs z wymienionych tablic.
Czyli przykladowo pytasz WHERE [DODATEK X]=tyskie i znajduje ci po powiazaniach wpisy/dane z [PODSTAWA].

Prosze o doradzenie mi jak zrobic ta baze tzn czy
-przy ladowaniu z zrzutu doladowywac do jedenej tablicy tane z pozostalych po powiazaniach i otrzymywac 'gotowca'.
-przy wykonywaniu skryptu stosowac JOIN do tych tablic

Mam jeszcze pare pytan:
-Przy ladowaniu uzywajac metody LOAD DATA INFILE w momencie kiedy pojawia sie /| scala mi pola. Jak tego uniknac?
-Wykonywanie selecta przy metodzie z joinami trwa ponad 2 minuty. Robie indexy po polach ktorych uzywam ale nie wiem czy sa dobre? Co oznacza 'Moc' indeksuw phpmyadmin?
-Skrypt generalnie bedzie uzywany przez wiele osob do 'wybierania' danych po zdefiniowaniu jakiegos warunku - obojetne z ktorej tablicy. Prosze o sugestie jak wykonac dobrze forme do tego zadania. Tzn bedzie wiele opcjonalnych selectow z ktorych potem bedzie tworzone query do bazy.
Chcialbym miec mozliwosc tworzenia dynamicznych selectow tzn aby grupowal PODTYP po wybraniu TYP. Mam ladowac Dane do tablic i dopiero tworzyc forme czy dynamicznie wywolywac dane z query ?
Gdzies przeczytalem ze da sie po wpakowaniu tego do tablic zrobic dynamike uzywajac tylko php ale nie wiem czy przy tej ilosci wpisow bedzie to dzialalo normalnie.
-Jak uzyc przy moim projekcie mysql cache ?

Chcialbym mozliwie maksymalnie oprzec sie o PHP bo jestem totalnym noobem w js itp.

Bardzo prosze o odpowiedz na moje pytania. Mile widziane beda linki do manuali jesli ktos posiada na interesujacy mnie temat.


Pozdrawiam
MaciekW

Jakbyś mógł to opis struktury tabel daj jako CREATE TABLE, będzie bardziej czytelny, najwyżej daj --comment.
Wyszukiwanie robisz bo całych polach, czy np. z tekstu część? Bo jak szukasz w tekście to jest problem (nie wiem czy jest jakieś wydajne rozwiązanie wyszukiwania pełno tekstowego dla MySQL, dla PostgreSQL jest tsearch2 dla którego taka liczba danych to pikuś)
Co do danych, to jeśli mają nie poprawny format to nic im nie pomoże. Ogólnie to sprawdź jaka jest przyjmowana struktura przyjmowanych plików, jeśli są różnice, to spr. czy nie możesz zmienić standardowych ustawień, albo musisz czymś "przelecieć" po pliku przed importem.

Nie, jade jedynie po pelnych polach.

W zasadzie to ostateczne query to prosta sprawa SELECT * from a,b,c,d WHER x=$y
Czyli co bedzie szybsze? po linkach czy bo scalaniu tablicy w jedna po imporcie?