En 1386 el Obispo Pérez Calvillo donó a sus sucesores la propiedad de este conjunto, antigua zuda musulmana y residencia temporal de los reyes aragoneses. En el torreón norte medieval se aloja el Salón de los Obispos, cubierto con un artesonado mudéjar (1441) y decorado con una galería de retratos de obispos turiasonenses por deseo de Juan González de Munébrega (1547-1567). Al mandato de este prelado corresponden también el patio, la escalera noble y la fachada con miradores hacia el río. A mediados del siglo XVIII se añadió un cuerpo barroco de grandes proporciones.