Forum PHP.pl > [PLIKI] Odczytanie X ostatnich linii pliku

Pomoc - Szukaj - Użytkownicy - Kalendarz

Pełna wersja: [PLIKI] Odczytanie X ostatnich linii pliku

kiler129

21.09.2010, 23:02:44

Witajcie!
Skrypt który pisze ma dość specyficzne środowisko uruchomieniowe - nieco ponad 150Mhz procesora ARM i 80MB ramu.
Początkowo wykonywałem komendę "tail -n 4 plik" jednakże w pętli jest to mało efektywne. Do tego stopnia, że dla 10 elementów zajmuje to ok 2 sekund (jest to nie do zaakceptowania w moim przypadku).
Przez ostatnią godzinę krążę w kółko - fopen, fgets itp. Niestety nie wiem jak pobrać ostanie X linii z pliku. Pobranie z początku nie sprawia mi problemu:

[PHP] pobierz, plaintext 
function unix_head($f, $n) { //Pobiera n linii z początku pliku
 $fp = @fopen($f, "r");
 $ret = "";
 $i = 0;
 while(!feof($fp) && $i<$n) {
  $ret .= fgets($fp);
  $i++;
 }
 fclose($fp);
 return $ret;
}
[PHP] pobierz, plaintext

Mogę co prawda użyć funkcji file() i pobawić się tablicą jednakże ładowanie do pamięci całego pliku (od 100KB do 1MB) nie ma nic wspólnego z wydajnością

Czy któryś z kolegów może podać mi sposób na implementację funkcji tail w php?

IceManSpy

21.09.2010, 23:19:29

Tutaj masz odczytanie ile jest linii:

[PHP] pobierz, plaintext 
<?php
  $file = "somefile.txt";
  $lines = count(file($file));
  echo "There are $lines lines in $file";
?>
[PHP] pobierz, plaintext

Wtedy będziesz mógł puścic pętle od $lines-10 do $lines.

kiler129

21.09.2010, 23:34:37

Cytat(IceManSpy @ 22.09.2010, 00:19:29 )

Tutaj masz odczytanie ile jest linii:

[PHP] pobierz, plaintext 
<?php
  $file = "somefile.txt";
  $lines = count(file($file));
  echo "There are $lines lines in $file";
?>
[PHP] pobierz, plaintext

Wtedy będziesz mógł puścic pętle od $lines-10 do $lines.

Niestety nie wchodzi to w grę - file() ładuje cały plik do pamięci jako tablicę co z góry odpada przy zasobach jakie posiadam.
Udało mi się odgrzebać w swoich zbiorach taką funkcję a następnie lekko zmodyfikować:

[PHP] pobierz, plaintext 
function unix_tail($f, $n) {
  $fp = fopen($f, "r");
  $pos = -2;
  $start = false;
  $ret = "";
  while($n > 0) {
   $t = " ";
   while($t != "\n") {
    if(fseek($fp, $pos, SEEK_END) == -1) {
     $start = true;
     break;
    }
    $t = fgetc($fp);
    $pos--;
   }
   $n--;
 
   if($start) {
    rewind($fp);
   }
   $ret = $ret.fgets($fp);
   if($start) break;
  }
  fclose($fp);
  return $ret;
}
[PHP] pobierz, plaintext

Jednakże i ona ma swoje wady - te dwie pętle w sobie nie są zbyt wydajne. Ktoś na sali ma pomysł na optymalizację?

Pilsener

22.09.2010, 10:28:26

Musisz użyć fseek by poruszać się po pliku, już raz odpowiadałem na takie pytanie:
http://forum.php.pl/index.php?showtopic=13...st&p=698149

kiler129

22.09.2010, 15:47:07

Cytat(Pilsener @ 22.09.2010, 11:28:26 )

Musisz użyć fseek by poruszać się po pliku, już raz odpowiadałem na takie pytanie:
http://forum.php.pl/index.php?showtopic=13...st&p=698149

Podane przez ciebie rozwiązanie ma sens (i je znam) ale ma jednego buga - co jeśli linia ma zmienna długość od 10 do 400B? ;]
Przekopałem już sporo kodu w internecie i chyba tylko to co udało mi się znaleźć w swoich zbiorach działa w każdych warunkach (szukając \n).

edit:
W manie dokopałem się też do innego sposobu realizacji. Ma ograniczenie do 4KB/linię (chyba że się mylę w interpretacji kodu to proszę mnie poprawić). Jest nieco szybsza (~18%) od mojej.
Delikatnie zmodyfikowałem aby nie pluło tyle notice oraz domyślną ilość linii dla zgodności z *nixowym tailem (10 zamiast 100)

[PHP] pobierz, plaintext 
function unix_tail($file, $numLines = 10) 
{ 
    $fp = fopen($file, "r"); 
    $chunk = 4096; 
    $data = "";
    $fs = sprintf("%u", filesize($file)); 
    $max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file); 
 
    for ($len = 0; $len < $max; $len += $chunk) { 
        $seekSize = ($max - $len > $chunk) ? $chunk : $max - $len; 
 
        fseek($fp, ($len + $seekSize) * -1, SEEK_END); 
        $data = fread($fp, $seekSize) . $data; 
 
        if (substr_count($data, "\n") >= $numLines + 1) { 
            preg_match("!(.*?\n){".($numLines)."}$!", $data, $match); 
            fclose($fp); 
            return $match[0]; 
        } 
    } 
    fclose($fp); 
    return $data; 
} 
[PHP] pobierz, plaintext

edit2:
Pospieszylem się ... moja funckcja zawiera błąd powodujący odwrócenie kolejności linii.

edit3:
Jak widać zagadnienie taila w php nie jest takie banalne jak mogło by się wydawać. Po testach pokazana wyżej funkcja robi błędy!
Nie starałem się jej debugować jednakże czasami zwraca 3 linie zamiast 4, czasami pusty string (wtf?!).
Poprawiłem nieco moją funkcję dodając zmieniając return $ret na implode("\n", array_reverse(explode("\n", $ret))) [tak na szybko] i działa względnie poprawnie ... chociaż też nie do końca.

Czy ktokolwiek jest w stanie pokazać dlaczego ni jedna ni druga funkcja nie działają w 100% poprawnie? Ew. czy ktoś zna C i może powiedzieć jak robi to oryginalny tail?

edit4:
Udało mi się znaleźć funkcję która działa i jest 3x szybsza od mojej.
Naśladuje praktycznie w 100% taila.

[PHP] pobierz, plaintext 
function unix_tail($file, $num_to_get=10)
{
        $fp = fopen($file, 'r');
        $position = filesize($file);
        $chunklen = 4096;
        if($position-$chunklen <= 0 )fseek($fp,0);
        else    fseek($fp, $position-$chunklen);
        $data="";$ret="";$lc=0;
        while($chunklen > 0)
        {
                $data = fread($fp, $chunklen);
                $dl=strlen($data);
                for($i=$dl-1;$i>=0;$i--){
                        if($data[$i]=="\n"){
                                if($lc==0 && $ret!="")$lc++;
                                $lc++;
                                if($lc>$num_to_get)return $ret;
                        }
                        $ret=$data[$i].$ret;
                }
                if($position-$chunklen <= 0 ){
                        fseek($fp,0);
                        $chunklen=$chunklen-abs($position-$chunklen);
                }else   fseek($fp, $position-$chunklen);
                $position = $position - $chunklen;
        }
        fclose($fp);
        return $ret;
}
[PHP] pobierz, plaintext

Pilsener

23.09.2010, 12:41:09

Cytat

Podane przez ciebie rozwiązanie ma sens (i je znam) ale ma jednego buga - co jeśli linia ma zmienna długość od 10 do 400B? ;]

- to oczywiste, że linia ma zmienną długość dlatego należy założyć 10*maksymalna długość linii i od tego miejsca parsować plik przechowując w tablicy tylko 10 linijek. Identycznie mogłeś zrobić lekko modyfikując swój kod z początku tematu, ale po co przekopywać się przez cały plik? Jeśli ma parę mega to trochę by to trwało

To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.