Question concernant permis de travail ouvert

Salut, mon conjoint a un permis de travail fermé et il a décidé de quitter son boulot et de quitter le Canada. Son employeur va alors avertir l'immigration pour mettre fin au contrat de mon conjoint. Bien entendu mon permis de travail ouvert reste valide.
M'a Question : si moi je part en voyage à l'extérieur du Canada, à mon retour est ce que l'immigration va me retirer mon permis de travail ouvert ?