Nie zauwazylem nigdzie odpowiedzi na moj problem, wiec zakladam ten temat. Problem mam nastepujacy. Napisalem strone, ktora pobiera dane z bazy MySQL (chodzi o logi z monitorowania roznych stron, wiekszosc logow jest wykonywana co minute, wiec jest ich dosc duzo). Skrypt pobiera wszystkie logi od polnocy dnia dzisiejszego do chwili obecnej i dla kazdej strony zlicza srednia czasu odpowiedzi. Dodatkowo na stronie znajduje sie maly formularz, w ktorym mozna ustawic date poczatkowa i koncowa zestawienia. Formularz ma akcje ustawiona na ten sam plik (na siebie) a skrypt sprawdza, czy sa odpowiednie dane w $_POST i jesli nie, wyswietla standard (czyli od polnoc do chwili obecnej), jesli sa dane w $_POST, wyswietla zestawienie z uwzglednieniem podanych dat. Daty te sa umieszczone w samym zapytaniu MySQL (... where `date`>="startY-startM-startD 00:00:00" and `date`<="endY-endM-endD 23:59:59" gdzie oczywiscie zamiast startY, startM, etc. sa odpowiednie wartosci). Problem zaczyna sie, jesli chce wyswietlic zestawienie dla zbyt duzego okresu. Wtedy dla pewnej wartosci granicznej (okolo 60000 rekordow) strona wyswietla sie niepoprawnie (tzn. poczatek jest w porzadku, ale nagle sie zatrzymuje bez zadnych komunikatow). Natomiast jestli wezme jeszcze wiekszy przedzial czasowy (max. ponad 90000 rekordow, przy czym rekordy sa uzywane tylko do zliczania sredniej dla kazdej ze stron), to po kliknieciu OK w formularzu (co powinno zapisac dane do $_POST i wrocic do tej samej strony), zamiast wysiwetlenia strony czy chociaz komunikatow o bledach, otwiera mi sie okienko zapisywania pliku a sama strona sie nie otwiera. Skrypt wydaje sie byc napisany dobrze, moze ma to zwiazek z jakimis limitami narzuconymi przez PHP, POST lub moj serwer? Prosze o pomoc!

Hmmm... pomyślmy. Rozkazujesz wyświetlić 90,000 rekordów z bazy danych i strona przestaje działać.
Być może... powtarzam! być może obciążyłeś trochę serwer/bazę danych. (dla niewprawionych - ironia)

Może zaczniesz myśleć o optymalizacji zapytań?

Ja np. zacząłbym cachować dane które zostały zarejestrowane na ten dzień.

No wlasnie problem w tym, ze ja nie wyswietlam tych danych. Zapytanie do bazy danych ma na celu tylko pobranie wartosci czasu odpowiedzi do zliczania sredniej. Poza tym, zazwyczaj jesli obciazam zbytnio serwer, skrypt wykonuje sie do momentu przeciazenia i staje, albo wyrzuca blad np. o zbyt duzej ilosci zaalokowanej pamieci. A tutaj skrypt nawet nie probuje sie wykonac, bo zamiast wyswietlic ta strone otwiera mi okienko zapisywania pliku. Jakies inne pomysly? Oto skrypt:

[PHP] pobierz, plaintext 
<div class="header"><?php echo $this->mod->translate('Response time comparison',$this->ln);?></div>
<br />
<form action="http://<?php echo $_SERVER['SERVER_NAME'];?>/index.php/index/index/<?php echo $this->ln;?>/comparison" method="POST">
<table border="0">
<tr><th></th><th><?php echo $this->mod->translate('Year',$this->ln);?></th><th><?php echo $this->mod->translate('Month',$this->ln);?></th><th><?php echo $this->mod->translate('Day',$this->ln);?></th><th></th><th><?php echo $this->mod->translate('Year',$this->ln);?></th><th><?php echo $this->mod->translate('Month',$this->ln);?></th><th><?php echo $this->mod->translate('Day',$this->ln);?></th><th></th></tr>
<tr><th><?php echo $this->mod->translate('From:',$this->ln);?></th><td><select name="yearF">
<?php for($i=2008;$i<=(date('Y')+0);$i++) echo '<option>'.$i;?></select></td><td><select name="monthF">
<?php for($i=1;$i<=12;$i++) echo '<option>'.$i;?></select></td><td><select name="dayF">
<?php for($i=1;$i<=31;$i++) echo '<option>'.$i;?></select></td><th><?php echo $this->mod->translate('To:',$this->ln);?></th><td><select name="yearT">
<?php for($i=2008;$i<=(date('Y')+0);$i++) echo '<option>'.$i;?></select></td><td><select name="monthT">
<?php for($i=1;$i<=12;$i++) echo '<option>'.$i;?></select></td><td><select name="dayT">
<?php for($i=1;$i<=31;$i++) echo '<option>'.$i;?></select></td><td><input type="submit" value="OK"></input></td></tr>
</table>
</form>
<?php 
$startDate=date('Y-m-d').' 00:00:00';
$endDate=date('Y-m-d').' 23:59:59';
if(array_key_exists('yearF',$_POST)){
    $startDate=$_POST['yearF'].'-'.$_POST['monthF'].'-'.$_POST['dayF'].' 00:00:00';
    $endDate=$_POST['yearT'].'-'.$_POST['monthT'].'-'.$_POST['dayT'].' 23:59:59';
}?>
<b><?php echo $this->mod->translate('Since',$this->ln).': '.$startDate.' '.$this->mod->translate('To:',$this->ln).' '.$endDate;?></b>
<table width="100%" border="0">
<?php $query=$this->db->query('select * from sites');
foreach($query->result() as $site){
    echo '<tr><th style="text-align:right">'.$site->address.' </th><td>';
    $rsp=0;
    $count=0;
    $query2=$this->db->query('select * from pages where `site`='.$site->id_site);
    foreach($query2->result() as $page){
        $query3=$this->db->query('select * from logs where `page`='.$page->id_page.' and `date`>="'.$startDate.'" and `date`<="'.$endDate.'"');
        foreach($query3->result() as $log){
            $rsp+=$log->response;
            $count+=1;
        }
    }
    if($count==0) echo $this->mod->translate('No logs available',$this->ln);
    else{
        $avgRsp=(int)($rsp/$count);
        if($avgRsp>=0){
            echo '<div style="background:#5353a8; width:'.($avgRsp*4).'px">';
            echo $avgRsp.'ms';
        }else{
            echo '<div style="background:#ff0000">'.$this->mod->translate('No response',$this->ln);
        }
        echo '</div>';
    }
    echo '</td></tr>';
}?>
</table>
[PHP] pobierz, plaintext 

Ten skrypt to plik comparison.php wlasnie (URL ma taka postac, poniewaz uzywam CodeIgnitera), wiec teoretycznie po kliknieciu OK powinna wyswietlic sie ta sama strona z nowymi danymi. I tak sie dzieje, jesli wybiore odpowiednio maly zakres czasu lub uzyje domyslnego. Zrozumialbym przeciazenie serwera, ale czy moze objawiac sie to w taki sposob, ze po kliknieciu linka (w innym miejscu aplikacji mam ten sam problem z linkiem zamiast przycisku wiec to zadna roznica) zamiast otworzyc strony czy wyswietlic bledu, otwiera sie okienko zapisywania pliku? (juz kompletnie inna sprawa jest fakt, ze plik, ktory rzekomo "chcialbym" zapisac ma nazwe odpowiadajaca ostatniemu czlonowi URL skryptu action formularza a po zapisaniu jest kompletnie pusty i bez rozszerzenia)

1) zeby zliczyc rekordy, policzyc srednia - pobierasz wszystkie rekordy. No faktycznie, nie obciązasz serwera
Takie rzeczy robi sie na poziomie mysql anie na poziomie php

2)zapytania w petli - kolejny bol

3) Tak reaguja czasem przegladarki gdy strona sie wywala

Zmienilem zapytania sql i wszystko fruwa . Jestem swiezy w php, stad moje problemy z optymaliacja. Teraz mam podobny problem w innym miejscu aplikacji i tym razem brakuje mi juz pomyslow, jak to zoptymalizowac.
Otoz potrzebuje wypisac wszystkie logi z podanego zakresu czasu do pliku txt. Dla kazdego przetwarzanego loga dodatkowo musze pobrac info o stronie z innej tabeli (bo w logu mam zapisane tylko ID strony) i dodatkowo pobrac info o portalu z kolejnej tabeli (w info o stronie mam ID portalu, do ktorego nalezy). Tym razem nie bardzo mam mozliwosc zoptymalizowania zapytania SQL o logi, bo tak czy inaczej musze pobrac je wszystkie a potrzebuje rowniez wszystkich danych zapisanych w tych logach (czyli nie moge zmniejszyc ilosci pobieranych kolumn). Czy jest moze jakas konkretna technika, ktorej moglbym tu uzyc, zeby to dzialalo? W tej chwili oczywiscie skrypt nie wykonuje sie do konca, bo konczy sie pamiec do alokacji. Wyglada to mniej wiecej tak:
Pobierz wszystkie (potrzebne) logi;
Dla kazdego loga:
- Pobierz informaje o stronie i portalu
- zapisz informacje do pliku

Przy kazdym zapisywaniu info do pliku otwieram plik (wyczyszczony przed wykonaniem petli) fopen(plik,'a'), zapisuje info fwrite(plik,info), zamykam plik fclose(plik).
Jakies pomysly?