po pierwsze nie używaj PHPMailer "bo jest fuj"

jeśli już to użyj swiftmailer'a
pamiętaj że samo wysłanie to nie problem, problemem jest to że twoje serwery po takiej akcji prawie na pewno wpadną na listy spamowe. A jeśli to jest serwer współdzielony to pewnie po drodze zostanie zablokowane wysyłanie maili.
Wizyta na spam listach grozi Ci szczególnie jeśli jest to jakaś forma reklamy, a nie pożądana wiadomość
Jeśli chcesz wysyłać maile w takich ilościach dosyć często to masz dwie opcje:
1) skorzystanie z usług wyspecjalizowanych firm - wpisz "mailing" w google, na pewno coś ciekawego znajdziesz
2)mały serwer dedykowany z kilkoma adresami IP, jeśli jeden wpadnie na spam listy to na jakiś czas zmieniasz IP na kolejne