Użyj znaku karetki w preg_replace, przykład:
<?php
?>
Wywali nam to wszystkie znaki poza znakami z przedziału a-zA-Z0-9, tylko nie wiem jak jest tutaj przy set_locale, czy jeżeli ustawimy na pl_PL.utf-8 to w alnum będą też polskie znaki diaktryczne, na wyrazenia-regularne.pl pisze typ ze alpha ma wszystkie litery... ale jak to rozumieć? Sprawdź.