Chiamata anche Rocca del Papa, in gran parte distrutta dai bombardamenti aerei del 1944 e da allora restaurata, l'imponente costruzione fu eretta nel 1355 dal Cardinale Albornoz, morto a Viterbo nel 1367, ma non fu allora completata, subì anzi una parziale demolizione, e solo nel 1457 vennero ripresi i lavori, terminati nel 1462 al tempo di Pio II. Successivamente, Alessandro VI e Giulio II l'abellirono e la ingrandirono. Il loggiato esterno fu creato da Paolo III Farnese nel 1538. Nell'atrio interno si trova una fontana con lo stemma dei Della Rovere. Da qui si apre la scala d'ingresso con un porticato verso l'atrio al primo ripiano. Salendo al piano nobile si arriva alla Sala del Trono, dove il 18 maggio 1527 si tenne il Capitolo Generale dei Cavalieri dell'Ordine di Gerusalemme. All'ultimo piano infine l'appartamento privato del Pontefice con il loggiato verso la piazza.

La Rocca Albornoz ospita il Museo Nazionale e una grande mostra permanente sull'architettura etrusca e domestica.