Kiedyś stosowałem coś takiego (pisane z pamięci, mogłem coś pomieszać) i działało:
shell_exec("c:\Windows\system32\cmd.exe /c START ping google.pl");
Więc PRZYPUSZCZAM, że zadziałałoby również coś takiego:
shell_exec("c:\Windows\system32\cmd.exe /c TASKKILL /F /IM <nazwa_procesu>");
Niestety, w chwili obecnej nie mogę tego przetestowac. A jeśli nie zadziała to pewnie coś podobnego