Tout dépend de la façon dont tu te libère de ton serment.
Si tu le fais en parlant à ton roi tu perdras un peu de confiance de la part de ton suzerain (personnellement je passe de 100 à 80). Tu perdras aussi des points de relation avec sa faction. Quand au fief, ils ne sont pas à toi quelque soit les circonstances de la conquête, leurs gestion est généreusement attribué à un lord par leurs roi, donc tu les perdras tous.
Tu peut aussi refuser la décision de ton roi lors de l'attribution d'un fief que tu as capturé. A ce moment là la perte de point de relation est plus conséquente mais tu garderas tout tes fiefs plus celui que tu as capturé. Tu perdras quand même le village qui t'es attribué lorsque tu prononce ton serment.
Voila ce que je peut te dire de mémoire, pour le nombre exact de point de relation perdu il faut faire des tests.