La costruzione originaria risale al 1263, nel '400 venne creata l'attuale facciata con il colonnato. All'interno un cortile a giardino con loggiato del 1682 con elegante fontana barocca (Fontana del Palazzo dei Priori) ed una splendida vista.

Lo scalone conduce alla Sala del Consiglio affrescata in chiaroscuro da Teodoro Siciliano nel 1558 con personaggi favolosi dei Paleologi, Imperatori di Costantinopoli, ritenuti assurdamente di origine Viterbese, e alla Sala Magna (o Regia) con affreschi di Baldassarre Croce del 1592, con personaggi mitici e storici legati alla storia della città. Seguono la Sala della Madonna con affreschi sui miracoli della Madonna della Quercia, la Sala Rossa e la Cappella del Magistrato.