Forum PHP.pl > [PHP] Usunięcie duplikatów w dużym pliku

Pomoc - Szukaj - Użytkownicy - Kalendarz

Pełna wersja: [PHP] Usunięcie duplikatów w dużym pliku

Octobus

3.06.2014, 14:34:42

Mam do usuniecia przez php w pliku ktory ma okolo 20 MB powtarzajacych sie linijek. Niestety serwer nie uniesie tyle i zastanawiam sie jak do tego podejsc. Mam mozliwosc uzywania niektorych polecen exec(), macie na to jakis pomysl ?

redeemer

3.06.2014, 14:38:38

Może uniksowe polecanie uniq.

Octobus

3.06.2014, 14:40:52

dalem
sort file | uniq -u
ale nic sie nie zmienilo niestety :/

redeemer

3.06.2014, 14:52:59

uniq "wypluwa" dane na standardowe wyjście (stdout), więc musisz zrobić coś takiego:

Kod

sort jakisplik | uniq -u > nowyplik

To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.