Witam chciał bym zbudować swoją stronę z modułów. Od czego powinienem zacząć tworzyć taki system. Zastanawiałem się nad tym żeby stworzyć bibliotekę z funkcjami a potem je tylko wywoływać

np.
Sprawdzenie czy istnieje dany moduł w bazie danych
Sprawdzenie czy istnieje plik w folderze modules
z includowanie danego modułu na stronie

jak taki system powinien działać ?

Dokładnie tak jak powiedziałeś:
stworzyć jeden plik główny, do niego ładować funkcje i moduły (o ile istnieją lub są dozwolone do użytku)