Da não aprovação do romance ao exilio

Rei D. Afonso IV não aprovava esta relação, não só por motivos de diplomacia com João Manuel de Castela, mas também devido à amizade íntima de D. Pedro com os irmãos de D. Inês - Fernando de Castro e Álvaro Pirez de Castro. Sentindo-se ameaçados pelos irmãos Castro, os fidalgos da corte portuguesa pressionavam o rei D. Afonso IV para afastar esta influência do seu herdeiro. Assim, em 1344 o rei mandou exilar Inês no castelo de Alburquerque, na fronteira castelhana. No entanto, a distância não teria apagado o amor entre Pedro e Inês que, segundo a lenda, continuavam a corresponder-se com frequência.