Dokładnie tak jak jednego -
http://pl.php.net/mysql_close, tylko każde trzeba zamykać po kolei (powinno też działać liczenie w jakiejś zmiennej ile razy otwierasz połączenie i w pętli wyświetlanie tyle razy czystego mysql_close())
Swoją drogą na końcu skryptu połączenie i tak się zamyka, chyba że jest stałe.