Posiadam dysk twardy i zastanawiam się czy istnieje taka możliwość: instaluję na nim linuxa (bez środowiska graficznego), następnie instaluję apache/php/mysql itp. i teraz zastanawiam się, czy po podłączeniu go do komputera, będę mógł normalnie korzystać z serwera ?

Niet. Linuch jak każdy system musi odnaleźć się w sprzęcie wiec jest duże prawdopodobieństwo 'kernel panic'.
Ale poszukaj dystrybucji systemu serwerowego funkcjonującego niezależnie od konfiguracji
może już ktoś wpadł na to

Widziałeś kiedyś LiveCD Linuxa? Ubuntu w każdym kompie startuje z płyty, Knopix też (z resztą Windowsy też są w formie LiveCD ), to jednoznacznie i dobitnie świadczy o tym że można zrobić dokładnie to czego potrzebujesz. Poszukaj tylko jak, bo ja się tym nigdy nie zajmowałem i zwyczajnie nie wiem jak.

Hmm ale to wyjście i tak będzie chyba mało wydajne ?

A może 'liveCD na pendriva'. Dodatkowo masz możliwość gromadzenia danych.
Ale wtedy sprzęt musi mieć możliwość startu z usb.