Cześć.

Jak to możliwe, że wyszukiwarka google działa tak szybko?
Rozumiem, że mają masę serwerów ale szybkość przedstawiania wyników przez google jest oszałamiająca.

Pierwsza lepsza wyszukiwarka z kilkoma rekordami w bazie działa wolniej.

Sam sobie odpowiedziałeś na to pytanie

Moc obliczeniowa robi swoje.

1. Pewnie dlatego, że Google to nie pierwsza lepsza wyszukiwarka.
2. O ile mnie pamięć nie myli to obsługa jednego wyszukiwania może pociągnąć za sobą pracę nawet i 1000 maszyn. Niezbyt mocnych, ale nadal ich liczba robi swoje.

Dodatkowo podstawa programowania czyli cache cache i jeszcze raz cache

Google operuje na `Big Data`

• https://pl.wikipedia.org/wiki/Big_data
• https://datafloq.com/read/google-applies-bi...infographic/385
• https://cloud.google.com/solutions/big-data/
• https://youtu.be/CzkGc4Yjn9c

No tak Hadoop robi swoją robotę, wraz z ich mechanizmem MapReduce

Ale tak jak już inni wspomnieli do tego potrzeba wielu maszyn, które dostają poszczególne zadania.

Wyszukiwarka Google dziala szybko bo nie napisali jej w Pehapie z uzyciem MySQL i LIKE %

A na powaznie to sobie poczytaj o Reverse Index i TF/IDF, gugiel to w duzym skrocie wlasnie taki rozproszony index, ktory z zalozenia dziala szybko.


O Hadoopie mozna wiele powiedziec ale napewno nie to, ze jest szybki
Afaik google nie stoi juz na MapReduce.

Wcale nie napisałem, że jest szybki no tak fakt teraz mają Cloud Dataflow

Chodzilo mi oto, ze Hadoop nie nadaje sie do wykonywania czegokolwiek w czasie niemal rzeczywistym. To jest po prostu framework do wykonywania batchowych jobow, do tego jest passe i sa juz lepsze narzedzia na rynku.

Pracowalem przy projekcie wyszukiwarki w pewnej europejskiej firmie, ktora ma ambicje przejac czesc rynku wyszukiwania od Google.
Jest z tym masa roboty ale nie ma tam cudow. Szybkie wyszukiwanie mozna napisac od zera chociazby w pythonie i spokojnie wyciagnie tysiace zapytan na sekunde. Samo szukanie w indeksie jest trywialne, indeksowanie sprawia problemy skali, potrzeba setek maszyn zeby po prostu trzymac taka ilosc danych, do tego dochodzi replikacja, regiony itp. Mapreduce i pochodne stosuje sie do budowania indeksu na podstawie danych chociazby z wyszukiwarek internetowych, dzisiaj nawet crawling nie ma sensu bo internet rosnie zbyt szybko, a przegladarki internetowe sa "za darmo" bo to co wpisujecie w szukajce i w pasku adresu jest produktem na ktorym stoi duzy biznes.

Ależ ja się z Tobą zgadzam, tylko jakby nie było, to Google przy hdoopie gdzieś tam na dole całego procesu pozostało. A to, że są inne, pewnie i lepsze rozwiązania, jestem tego świadomy. To się szybko wszystko zmienia, bo tak jak mówisz internet się rozrasta w zbyt szybkim tempie.