Czemu tak jak w tytule nie działa:
//a[ancestor::*[not(@id)]]
bądź //*[not(@id)]//a

Nie działa to znaczy? Nic nie zwraca.. czy zwraca nie to czego oczekujesz?

tzn. że wybiera elementy, w których przodek może posiadać atrybut: id (a tak właśnie nie powinno być)

Twoje zapytanie jest nie precyzyjne. Chodzi Ci o to by wybrać wszystkie elementy <a>, których żaden przodek nie posiada atrybutu "id". Natomiast Twoje zapytanie pyta o elementy <a>, które posiadają przodka bez atrybutu "id" (widzisz różnicę?).. wystarczy, że jeden z przodków elementu <a> nie posiada atrybutu "id" i element zostanie zwrócony.
Twoje zapytanie powinno wyglądać mniej więcej tak: