Mam takie pytanie

Oplaca sie cachowac zapytania z bazy danych jesli cachuje dany box.


np.
cachuje calego newsa(ilosc komentarzy, autora, kategorie, tagi etc.)

Tak na chlopski rozum nie oplaca sie cachowac zapytan i tego boxu (wtedy najpierw bedziemy musiel cachowac zapytanie a potem dany box - co za tym idzie bezsensu robimy cachowanie bazy).

Jesli moje myslenie jest dobre i w tym przypadku nie oplaca sie cachowac zapytania to mozna zrobic tak z wszystkim tj.

komentarze (nie cachujemy zapytan tylko caly box z komentarzami tj. autor, + dodatkowae opcje(np ilosc znajomych etc))

Patrzac na to cachowanie bazy danych jest zbedne(biorac pod uwage ze np. mysql ma system wlasny cachujacy)...

Jesli sie myle prosze o napisanie co jest bardziej oplacalne(mowimy o tym aby strona chodzila szybciej i mowimy tu o stronie gdzie dziennie jest grubo ponad 100 tys odslon ! )

Jeden cache więcej = N*zapytanie mniej.

N = liczba użytkowników otwierających stronę jednocześnie.

Ale zauwaz ze jak mamy zapisany caly news w cache - to odczytujemy jego a nie zapytania z bazy.

Chodzi o to ze cachujemy sam box z np. newsem a nie zapytania.

No to tym lepiej. ;]


To powiedz, dlaczego każda porządna biblioteka ma system cache?

Jesli mowisz o frameworkach to one sa zlym wyjsciem dla duzych stron.

Mowimy o przypadku gdy cachujemy calego boxa z newsami - czy wtedy cachowanie bazy cos daje?

Albo inaczej

co bardziej sie oplaca robic np pobierajac newsa:

1. cachowac zapytanie z bazy
2. cachowac calego newsa (z kategoriami,autorem etc)
3. cachowac zapytanie z bazy + cachowac calego newsa

Ja robię podobnie na blogu - mam sidebar z kilkoma zapytaniami. Ale nie zmienia się on za często, więc robię cache na godzinę ważności. Zwykłe ob_start" title="Zobacz w manualu PHP" target="_manual z zapisywaniem do pliku. I baza jest odpytywana tylko wtedy, jeśli nie ma cache.


Teoretycznie tak, praktycznie - zdziwiłbyś się, ile stron napędzają frameworki.


Tak, jak napisałem wcześniej - samo zbuforowanie wyniku zapytania znacznie zmniejszy zużycie na zasoby. A maksymalne efekty osiągniesz zapisując cały wygenerowany blok.

Czyli jesli chce zrobic najbardziej wydajna strone to:

1. powineineme zrezygnowac z cache zapytan do bazy na rzecz cache boxow(w klasie ktora pobiera zapytanie nawet nie umieszczac opcji cachowania zapytan - czy moze do czegos sie to przyda?)


Tak ostatnio zastanawialem czy oplaca sie korzystac z klasy PDO dla 100 wywolan zapytania SELECT id_base,time FROM time_base limit 1

zwykle 0.012507927299726
class PDO 0.013354476379311
classa extends PDO(czyli mozna tu dodac cachowanie, debugowanie i wszytko) 0.016115679599271

classa extends PDO - klasa ktora dziedziczy PDO - klasa PDO + dodatkowe funkcje

jak widac zwykle zapytanie jest najszybsze. Najgorsza wydajnosc ma klasa ktora dzieczy pdo . Tak sie zastanawiam czy oplaca sie napisac swoja klase, korzystac ze zwyklego mysql_query, napisac swoja klase do klasy pdo, korzystac tylko z pdo...

Dodam ze chodzi mi glownie o wydajnosc jako ze strona ktora mam( i chce przerobic ) ma ponad 100 tys odslon dziennie - a planuje rozbudowe i ta ilosc moze sie zwiekszyc kilkakrotnie.

pozdrawiam

No właśnie. Warto korzystać ze zwykłych funkcji? Moim zdaniem nie. Różnice są na tyle niewielkie, że zdecydowanie lepiej wybrać PDO (lub jego rozszerzenie wedle potrzeb).

Niby sa niewielki roznice ale gdy jest 1000 osob online to troche to daje.


JEszcze mam jedno pytanie. Z tego co wiadomo nie powinno sie robic zapytan w petli... wszystko fajnie jak jest news i mamy pobrac autora w jednym zapytaniu to pobierzemy. Ba nawet gdy mamy ilosc komentarzy to tez to pobierzemy.

A gdy nam sie trafi ze musimy pobrac kategorie ktore sa zapisane w innej tablicy i zeby odczytac je wszystkie trzeba wykonac while

czyli

[PHP] pobierz, plaintext 
<?php
while($news=costam){
 
while($cat where id_news=$news[id_news]){
}
 
}
?>
[PHP] pobierz, plaintext 

Tak wykonamy robiac petle w petli a gdy chcemy tego uniknac? To jak to mozna optymalnie pobrac?


Z tego co sie orientuje przy duzych projektach(duzo uzytkownikow):
- nie powinno sie korzystac z frameworkow(po co komu xxx klas ktore pozeraja cenny czas)
- teoretycznie kod strukturalny jest szybszy od class

Ja robiac duzy projekt myslalem o zastosowaniu:
-modelu MVC i najprostszych do tego klas(wszystko proste zeby duzego obciazenia nie bylo).
-cachowanie boxow
-klase na sesje, klase na autoryzacje(dostep do danych podstron).
-PDO + klasa dziedziczaca do niej.




Zastanawialem sie takze ostatnio nad zastosowaniem do PDO klasy Open Power Driver(http://www.eioba.pl/a70003/biblioteka_pdo_bazy_danych_podstawy_php - tu na dole jest opisana).

JEdnak po testach przy pobieraniu zapytania nie cachujac za pomoc klasy OPD i PDO wynik byl o wiele bardziej zadawalajacy na korzysc PDO.

Jeżeli chcesz mieć szybko pisz własne biblioteki w C/C++ (nie pamiętam jaki to język był), będzie o wiele szybciej niż kod strukturalny w php.

Na pewno? Ja nie jestem tego taki pewien: http://dealnews.com/developers/php-mysql.html




Przecież jak masz napisaną relację jeden - do-wielu (news - news2cat - cat) wszystko leci jednym zapytaniem i po prostu wyciągasz.


Ale dużo ciężej coś poprawić/zarządzać. Jak zmienisz np. front-end do bazy, to wymieniasz tylko klasę, a nie łapiesz dziesiątki funkcji. O problemach z widocznością/zasięgiem/porządkiem wśród zmiennych nie wspomnę.


Zależy. Przy większych projektach tworzy się dedykowane rozwiązania.


A gdyby tak całych stron? Powiedzmy - na tylko minutę, przy wielu użytkownikach połączonych jednocześnie zmniejszy diametralnie obciążenie (pomijam części wymagające logowania, etc). Zobacz, jak działa np. WP-Supercache.


Nie lepiej ACL zintegrowany z sesją?


Patrz, link wyżej.

PS. O shm/akceleratorach przypominać chyba nie muszę?

Czyli powinienem sobie odpuscic PDO? i napisac wlasna klase? Czy skorzystac z mysqli + dopisac ew. klase dziedziczna


Hmm przypuscmy podczas wyswietlania newsa (przypuscmy) mamy 3 boxy
[news] => zadko sie zmienia - cachujemy jako box
[komentarze] => Zmieniaja sie czesciej niz news - cachujemy jako box
[podobne newsy] => Zmieniaja sie (gdy pojawia sie jakis news z podanej kategorii) - cachujemy boxem
Gdybysmy cachowali cala strone to po zabawie z ktoryms komentem, newsem etc musimy cachowac od nowa. Chcialbym takze zaznaczyc ze te boxy bylyby cachowane do czasu edycji ktoregos elementu(nie ze wzgledu na czas).




O to mi chodzilo.

Właśnie. Osobiście, z PDO korzystam wtedy, gdy muszę (SQLite3) albo przy dosłownie malutkim projekcie, w którym trzeba coś szybko naskrobać. Coś większego - własny wrapper.


I ok, rozsądnie. :]

Ale wiesz - przy większym obciążeniu stosuje się wtedy demony, które są zoptymalizowane do wywołań statycznych (np. YAWS w Erlangu, Nginx; YAWS jest potężny ). Wtedy cache całości ma sens.

co do


To sa sprawy zalezne od serwera. Mi chodzi o to co zrobic od strony skryptu(programisty) aby wszystko smigalo dobrze

Jeśli chodzi o shm, to i od programisty zależy... (konkretniej od sterownika cache'ującego)

Tu mamy relacje wielu do wielu chyba

1 tabela newsy: [id_news,tytul]
2 tabela kategorie [id_cat,nazwa]
3 tabela news_cat [id_news,id_cat]

mamy 2 newsy
1 => [1,pierwszy news]
2 => [2, drugi news]
mamy 2 kategorie
1=> [1, pierwza kategoraia]
2=> [2, druga kategoria]
rekordy w news_cat:
1=> [1,1](1 news do 1 kategorii)
2=> [1,2](1 news do 2 kategorii)
3=> [2,1](2 news do 1 kategorii)

czyli musimy zrobic

[PHP] pobierz, plaintext 
<?php
$query = "SELECT id_news, tytul FROM newsy limit 5";
        $result = mysql_query ( $query );
        while ( ($line = mysql_fetch_array ( $result )) ) {
 
echo 'To jest tytul: '.$line[tytul].'<br />';
    $query1 = "SELECT kategorie.nazwa FROM news_cat, kategorie where news_cat='$line[id_news]' and news_cat.id_cat=kategorie.id_cat";
        $result1 = mysql_query ( $query1 );
echo 'To sa kategorie:';
        while ( ($line1 = mysql_fetch_array ( $result1 )) ) {
echo '$line1[nazwa],';
 
 
        }
?>
[PHP] pobierz, plaintext 

Kod napisany na szybko nie wiem czy dziala chodzilo o to zeby pokazac o co mi chodzi.

takie cos wyswietli nam
1 box:
To jest tytul: pierwszy news
To sa kategorie: Pierwsza kategoria, druga kategoria,
2 box:
To jest tytul: drugi news
To sa kategorie: Pierwsza kategoria

Jak wyswietlic cos takiego bez uzycia petli w petli jak pokazalem to u gory ?

Ja tego typu sprawy rozwiązuję 2 zapytaniami:

Pierwsze:

[SQL] pobierz, plaintext 
SELECT id_news, tytul FROM newsy LIMIT 5;
[SQL] pobierz, plaintext 

Drugie:

[SQL] pobierz, plaintext 
SELECT news_cat, kategorie.nazwa FROM news_cat, kategorie WHERE news_cat IN (SELECT id_news FROM newsy LIMIT 5) AND news_cat.id_cat=kategorie.id_cat;
[SQL] pobierz, plaintext 

Potem tylko odpowiednie obrobienie tego w PHP (utworzenie odpowiedniej tablicy) i masz wszystko co trzeba.

Jeżeli Twoja wersja MySQL nie obsługuje LIMITu w podzapytaniu lub chciałbyś się po prostu pozbyć podzapytania to możesz w PHP pobrać wszystkie wyciągnięte id z zapytania pierwszego, przypisać je do tablicy no i potem w PHP:

[PHP] pobierz, plaintext 
<?php
mysql_query('SELECT news_cat, kategorie.nazwa FROM news_cat, kategorie WHERE news_cat IN ('.implode(', ', $tab).') AND news_cat.id_cat=kategorie.id_cat');
?>
[PHP] pobierz, plaintext 

Zrobilem cos takiego:

[PHP] pobierz, plaintext 
<?php
$query = "SELECT news . * , GROUP_CONCAT( DISTINCT game ORDER BY game DESC  SEPARATOR  ', ' ) as dupa
         FROM news LEFT JOIN news_cat ON news_cat.id_news = news.id_news
          LEFT JOIN games ON news_cat.id_cat = games.id_game GROUP BY id_news LIMIT 0 , 30";
        $result = mysql_query ( $query );
        while ( ($line = mysql_fetch_array ( $result )) ) {
        }
?>
[PHP] pobierz, plaintext 

vs

[PHP] pobierz, plaintext 
<?php
$query = "SELECT * from news";
        $result = mysql_query ( $query );
        while ( ($line = mysql_fetch_array ( $result )) ) {
            
    $query22 = "SELECT games.game from news_cat,games where news_cat.id_news=".$line['id_news']." and news_cat.id_cat=games.id_game";
        $result22 = mysql_query ( $query22 );
        while ( ($line22 = mysql_fetch_array ( $result22 )) ){ 
        }
        }
?>
[PHP] pobierz, plaintext 

przy petli 100x pobran:

1 sposob 0.24362802505493
2 sposob 0.35362802505493

Baza liczy okolo 20-30 newsow(malo), kategori(games) - liczy okolo 20, a a news_cat liczy tez okolo 20


Wszystko fajnie... ale co jak chcemy pokazac inaczej te dane niz nazwa1, nazwa2, nazwa3 ?

jesli np chcemy zrobic z tego <a href="link do newsow tylko danej kategori>nazwa1</a>,<a href="link do newsow tylko danej kategori>nazwa2</a>?

Mamy pobrac w nastepne pole(albo to samo id)? i bawic sie tym? utworzyc z tego tablice a potem wyswietlic? (Wszystko to kosztuje czas)...


Znalazlem jeszcze jeden sposob

[PHP] pobierz, plaintext 
<?php
$query = "SELECT * from news order by id_news";
        $result = mysql_query ( $query );
        
       $wynik = array();
        while ( ($line = mysql_fetch_array ( $result )) ) {
               $wynik[$line['id_news']] = array( // 1
                                'id_news' => $line['id_news'],
                                'title' => $line['title'],
                                'cat' => array() // 2            
                        );
        }
    $query22 = "SELECT news_cat.id_news,games.game,games.id_game from news_cat,games where news_cat.id_cat=games.id_game";
        $result22 = mysql_query ( $query22 );
        while ( ($line22 = mysql_fetch_array ( $result22 )) ){ 
             $wynik[$line22['id_news']]['cat'][] = array( // 4
                                'game' => $line22['game'],
                                'id_game' => $line22['id_game']                 
                        );
        }
         $i=0;   
     foreach($wynik as &$news_show)
                {
                    $i++;
                        echo '<h3>'.$i.'. '.$news_show['title'].' ('.$news_show['id_news'].')</h3>';
                        foreach($news_show['cat'] as &$kategoria)
                        {
                                echo '<p><i>'.$kategoria['game'].'</i>
                                (Wyd. '.$kategoria['id_game'].')</p>';                  
                        }
                }
    }
?>
[PHP] pobierz, plaintext 

Jesli chodzi o czas wykonania dla 100 pobran to jest on wiekszy od 1 sposob z postu wyzej i mniejszy od 2 sposob z postu wyzej.

Tylko ze tych kategori nie ma duzo (okolo 20)... a co jak ich bedzie 200 ? Ten sposob wtedy sie mija z celem...



Jaka jest najbardziej optymalna droga?