Witam,

mam do napisania aplikacje do sprawdzania obecnosci linkow na stronach i zastanawiam sie jak to rozwiazac z baza danych. Powiedzmy ze dodajemy 100 projektow w ktorych jest srednio po 100 000 roznych adresow stron ktore trzeba sprawdzic oraz po 10 000 linkow ktore beda wyszukiwane na tych stronach. Jesli dam kazdy adres jako osobny rekord boje sie ze bedzie to powodowalo wieksze obciazenie, moze lepiej zapisac to z jakims detelmiter albo nawet /n czyli tak jak jest przesylane z formularza a zapisac to jako 1 rekord i pozniej explode. Chodzi mi o kwestie wydajnosci/obciazenia zeby nie okazalo sie ze pod koniec pisania aplikacji jest ona tak zasobozerna ze nadaje sie do napisania od nowa ;/

Jeśli dasz osobą tabelę do adresów stron do sprawdzania, oraz osobną do linków i ewentualną tabelę pośredniczącą, w której zachowasz dane na temat tego czy link jest obecny czy nie to nie widzę problemów - grunt aby tabele były odpowiednio indeksowane w innoDb. Stracisz nieco na czasie zapisu ale zyskasz na odczycie sporo. Dodatkowo jeśli liczba projektów nie będzie duża (rzędu 100) możesz zawsze (o ile adresy się nie powtarzają) tworzyć nowe tabele dynamicznie dla projektu aby zachować dużą wydajność na poziomie projektu. Nie rozumiem jednak do końca idei - 100 projektów po 100 000 adresów w których sprawdzasz po 10 000 linków? Zamotałem się z liczbami - możesz to bardziej rozpisać?