Il Palazzo del Duca o di Giustizia fu voluto da Alberto Scoto nel 1292, come si ricava da un’iscrizione posta nella fontana di Monteguzzo, a livello delle fondamenta. La sua costruzzione faceva parte di una campagna edificatoria finalizzata ad esaltare il potere signorile dello Scoto.
Fù più volte rimaneggiato nel corso del tempo: la costruzione duecentesca è prevalentemente in pietra, la parte superiore è invece quattrocentesca, con murature in mattoni e finestre a ogiva con decorazioni in cotto, la parte retrostante è del Seicento. Nel 1527 fu ceduto dal Comune a Bosio II,conte di Santa Fiora, marito di Costanza Farnese e genero di papa Paolo III.
Il Pontefice fù qui ricevuto nel 1543, in occasione della visita alla figlia.
Il Palazzo del Duca o di Giustizia deve la sua denominazione al fatto che fu residenza, nella prima metà del Seicento, di Alessandro Sforza duca di Segni, poi del figlio naturale del cardinale Francesco Sforza duca di Fiano e infine del duca Ludovico di Onano. Il nucleo primigenio, la parte centrale, venne fatta costruire da Alberto Scoto, nel 1292, e fu ideata come Palazzo di Giustizia. Edificio molto prestigioso, come dimostrano le belle monofore ad arco acuto incorniciate da una elaborata decorazione in cotto.
Al Palazzo furono apportate numerose modifiche, tra cui la costruzione della Fontana del Duca.
