Witam,

Projekt wyszukiwarki treści potrzebuje magazynu danych dla:

-Gromadzenia danych tekstowych w czasie rzeczywistym
-Update rekordów danych tekstowych w czasie rzeczywistym
-Przechowywania setek milionów rekordów (każdy rekord to tekst z indywidualnym numerem w wiekości 20 - 200 kb)
-Szybkie przeszukiwanie danych z mołżiwością szukania całych fraz "cała fraza" (jak w mysql like '%cała fraza%')

Dodatkowo baza musi mieć szybkie połączenie z innym serwerem, który będzie wysyłał całą masę zapytań do wyszukiwania.
Połączenie najlepiej api w środowisku php bezpośrednio ze środowiska mysql (oddzielnej bazy indeksującej).

Całość na serwerze z dyskami SATA po 4TB w raid 10.

Bardzo proszę zacnych forumowiczów o pomoc - porozycje

Hmm, a może jednak chodzi ci o silnik wyszukiwarki? np Lucene?

Witam,

Nie

Chodzi tylko o bazę jako magazyn danych tekstowych

Lucynkę znam znam ... powolna machina.

Chodzi tylko o bazę z możłiwością szukania w niej zdalnie. Mysql nie za bardzo nadaje się do trzymania np jednego miliarda rekordów wpisów tekstowych.

postgreSQL z miliardem nie testowałem. Ale 100-200 mln (bez specjalnego strojenia ani postgresa, ani maszyny) daje rade. Tabela (jedna tabela) miała ponad 20 GB.

Również polecam pgSQL, w większości pracuję na tabelach posiadających od 300 000 wpisów w górę (a w jednym schemacie potrafi ich być kilkadziesiąt), mimo to wszelkie operacje przebiegają nad wyraz sprawnie.

Oracle jest w miarę wydajny, nie czuję żadnych problemów przy większych bazach,
Z resztą, mysql potrafi udźwignąć bazy po 5GB

MongoDB?

MongoDB jest wolne w porównaniu do ElasticSearch a ten ostatni ma wszystko czego potrzebujesz. Z tym że nie polecam połączenia Mongo z ES, przy dużych kolekcjach (odpowiednik bazy) bardzo wolne indeksowanie. Lepiej działa czysty ES.