Na moim serwerze jest plik, dla przykładu niech to będzie .doc, np

www.serwer.pl/pliki/aaa.doc

I jak zrobić aby użytkownik po wejściu na ten link nie włączało mu się pobieranie tego pliku, tylko prośba o zalogowanie?

System logowania już mam na stronce, ale zastanawiam się jak to zrobić aby po wejściu na link z plikiem pojawiał się komunikat z logowaniem.

W pierwszym rzucie musi być .htaccess który przekieruje Cię z pliku na stronę (który chce user ściągnąć) która poprosi użytkownika o zalogowanie się lub pozwoli pobrać plik (jeśli już jesteś zalogowany). Następnie w pliku php obsługujesz sobie logowanie tudzież rejestracje. W przypadku gdy osoba jest zalogowana zwracasz mu gotowy plik poprzez funkcję np.

[PHP] pobierz, plaintext 
header('Content-Disposition: attachment; filename="plikDoSciagniecia"');
[PHP] pobierz, plaintext