Нет такого понятия как отозвать ПМЖ только в Польше при владении картой резидента ЕС. В этом то и смысл её, - она без привязки к старане. Вы сами когда подаётесь в новой стране на замену карту, отменяете постоянное резиденство в прошлой стране. Вам не нужно жить 5 лет в другой стране для получения ПМЖ в ней. Единственное, что выпускает её конкретно взятая страна где вы подались на неё. Грубо говоря ваше дело перемещается за вами по странам ЕС. последний пункт только для владельцев карт сталего побыту (те что по корням получены).
И к слову отозвать ПМЖ в любом из этих случаев не является автоматической процедурой, она может быть инициирована, а может и нет.