Iniziato come Palazzo Vescovile nel 1255, dal 1257, con l'arrivo di Alessandro IV si affrettarono i lavori, conclusisi con la costruzione della celebre Loggia nel 1267 che in origine era duplice: la parte Nord crollò sotto il peso eccessivo e non venne mai più ricostruita. L'edificio, al quale si accede da un'imponente scalinata, contiene il Salone del Conclave.

Se ne tennero complessivamente cinque: Urbano IV (1261), Gregorio X (1271, il più lungo della storia: durò 2 anni e 10 mesi), Giovanni XXI (1276, dopo la morte del Cardinale Vicedomini, il papa di un giorno, prima della sua consacrazione ), Niccolò III (1277) e Martino V (1281).

A destra della Loggia il Palazzo Vescovile vero e proprio con Sala del Trono (Sala Gualtiero), Galleria, Sala della Biblioteca, Sala degli Stemmi, Appartamento del Cardinale.