Rsync miał opcje -delete która kasowała pliki na serwerze zdalnym jeśli nie było ich w źródle. Czy rdiff-backup ma podobną właściwość? Zauważyłem pewien zgrzyt i ilość plików się nie zgadza, jest ich więcej na serwerze zapasowym niż w źródle i zastanawiam się jak ugryźć temat. Robienie nowej rewizji nie za bardzo mi się uśmiecha...

A może powiedz co chcesz osiągnąć? I czemu nie rsync?

Rsync nie robi kopii przyrostowych. A to jest potrzebne przy wysylaniu plikow ktore sa generowane z calego dnia, a odzyskanie musi byc mozliwe np z konkretnej godziny. Ilość plikow jest duża, 2TB.

A może to https://blog.piotrows.pl/rsync-przyrostowy-backup-v-1-1
Tylko jeśli robisz backup godzinny to musiałbyś sobie lekko zmodyfikować skrypt bo on robi backupy dzienne.

To się nie sprawdzi i nie nazwałbym tego backupem przyrostowym, nie jeśli bierzemy dużą ilość plików. Twój skrypt tworzy i wysyła zawsze pełną kopię, a nie różnicę

to źle patrzyłeś Skrypt pobiera tylko te pliki które sie zmieniły, a te które nie zostają podlinkowane.

Tak zgadza się, ale to działa w obrębie jednego dnia. Wyślij pliki z folderu A do folderu B. Dostaniesz folder z datą 2016-11-25, teraz jednak, dnia kolejnego całość zostanie wysłana ponownie do folderu 2016-11-26, a nie tylko to co zostało zmienione i to jest ta różnica.

edycja:

Przyrost jest tutaj złudny. Raz że rsync nie ma takiej opcji, a dwa, zmiana nazwy folderu robi zawszę pełną kopię i sprawdza różnicę (odpal to z --progress). Mając 2TB danych i kopia musi być co godzinę, strzeliłbym sobie tym w kolano (samo wysyłanie pełnej kopii zajmuje więcej niż godzina), chyba że masz pożyczyć dysk taki ze 10 YB

o ile masz możliwość może po testuj lokalnie z linux'owym systemem plików:
2014/03/22 Btrfs Tips: Doing Fast Incremental Backups With Btrfs Send and Receive
Incremental Backup

Tak każdego dnia masz "pełny backup" i jest to przyrostowa wersja. Fakt że w prawdziwej przyrostowej wersji masz tylko zmienione pliki a tutaj masz całą zawartość.
Ale zobacz benefity tego rozwiązania.

Tworząc normalne kopie przyrostowe aby odtworzyć backum musisz wgrać pełną kopię a następnie wszystkie incrementale. Zajmuje Ci to czas.
W moim rozwiązaniu po prostu wgrywasz kopię z danego dnia/godziny i koniec. Nic więcej nie musisz robić.

Możesz mi wyjaśnić dlaczego mój skrypt Ci się nie sprawdzi? Bo uważam że jednak się sprawdzi i to znakomicie. Bo o ile pliki nie są zmienione to ich po prostu nie pobiera, a dociąga tylko nowe. Dodatkowo robiony jest hard-link na nie zmienionych plikach co za tym idzie oszczędzasz miejsce.

Defacto różnica między incrementalem a moim skryptem jest taka że tam dostajesz Tylko zmienione pliki, a u mnie masz pełną kopię.

@Pyton_000 - nie wykonujesz tym skryptem kopii przyrostowej, tylko różnicową. W jakim celu mam wysyłać każdego dnia, co godzinę całą kopię? To jest technicznie nie realne, jak również czasowo. W kopii przyrostowej pełna kopia zawsze jest na miejscu (od początku, podobnie jak w różnicowej), a pliki są dogrywane i masz wykaz różnych wersji. Wybierasz ostatnią lub z określonego dnia i czekasz aż się całość sama ogarnie, przecież z wykasowaniem listy różnic, nie kasujesz plików jakie zostały wgrane, one nadal tam są, tracisz tylko możliwość odtworzenia z danego okresu, ale "now" odtworzy i tak 1:1 od początku


Sam sobie odpowiedziałeś:


Przemyśl to jeszcze raz. Robisz kopię plików z katalogu A, który ma 2TB danych, folder z kopią nazywa się 2016-11-26, co godzinę dogrywane są nowe pliki które powstały w folderze A. I tak się dzieje przez dajmy na to tydzień. Każdy dzień zrobił pełną kopię katalogu A, co daje nam 14TB danych. Już widzisz, że to nie ma sensu? Gdzie przy kopii przyrostowej z folderu A miałbym dorzucone tylko np 700MB dziennie.

No przecież Ci tłumaczę że nie będziesz miał 14TB danych, bo hard-linki załatwiają ten problem. One nie zajmują miejsca na dysku (no może poza nazwą). Przykład:


Jak widzisz Hard-linki nie zajmują na dysku miejsca. I to jest właśnie magia tego. Masz codzienne backupy w pełni, ale zajmują miejsce tak jakbyś pobierał tylko nowe pliki.

Kolejny przykład z moich kopii z użyciem tego skryptu:


Jak widzisz, realnie zostało pobrane ~830MB (część tego to jest miejsce zarezerowane na nazwy plików).

Przetestuj sobie mój skrypt 2 dni i wtedy wyraź opinię

Przykład działania Twojego skryptu:

Dzień 1:


Dzień 2:



Dzień 3:



Teraz przechodzimy do katalogu B gdzie leżą kopie z tych dni:





To wyjaśnij mi skąd te dane i czemu są wysyłane przy każdym uruchomieniu, przecież istnieją i nie są zmieniane

Coś tu ściemniasz....


A w "BACKUP_DIR" podałeś ścieżkę względną czy bezwzględną? Bo ma być bezwzględna.

Prawda, ścieżka miała znaczenie, jednak coś mi w tym nie pasuje, muszę to przetestować bo coś tu z tym jest nie tak

Hahaha No tak bo byś musiał mi przyznać rację Dobra spoko, przetestuj i powiedz jak działa.

Przyznaje Ci racje, że winna była ścieżka i skrypt działa robiąc odpowiednią kopię, jednak... odczekajmy 5min...

---5 minut później---

Cholera miałem nadzieję że forum się zawali po przyznaniu Ci racji...

Wracając jednak do tematu, w moim przypadku działa to z błędami podobnie jak rdiff i nie mam pomysłu jak to rozwiązać. Po kilku dniach testów pojawiły się w robionej kopii ze źródła dodatkowe pliki, logi niczego nie wskazują, jednak gdy odpaliłem rdiff ręcznie wyskakuje informacja o z tego co czytałem pliki z takim błędem są "puste" co średnio wpływa na sens robienia kopii

Co to znaczy pliki nie wskazujące niczego?

Nie ma żadnej informacji w logach o błędach w przesyłaniu czy złych sumach kontrolnych itp