Cześć!
Pytanie bardziej teoretyczne. Jak podchodzić do cyklicznego przetwarzania dużej ilości danych, choćby odświeżanie danych pobieranych z jakiegoś API, przeliczanie statystyk itd? Wiadomo, że nie da się przetwarzać tego "na raz", tylko trzeba to jakoś podzielić i odpowiednio uruchamiać.