Sorge di fronte al Duomo. Fu costruito verso il 1470 su disegno di Francesco di Giorgio Martini da Siena per ordine di Federico di Montefeltro, su preesistenti costruzioni di epoche differenti. L'opera fu compiuta sotto Guidobaldo. Le strutture murarie degli stabili precedenti, tra cui l'antica residenza comunale, sono facilmente individuabili all'esterno, soprattutto nel lato verso valle.

All'interno del palazzo si apre uno stupendo cortile, che corrisponde allo spazio in precedenza occupato dall'antica piazza del comune.

Il cortile è un magnifico esempio di architettura rinascimentale, pregevole per l'armonia, la sobrietà e l'eleganza delle linee a portico su colonne per tre lati vivificate dalla bicromia della pietra serena e del rosso mattone.

Al lato destro, addossato al Monte per la mancanza di spazio per il colonnato, l'architetto ha usato una sequenza di mensole aggettanti per sostenere il soprastante corridoio; in alto corre un piano di eleganti finestre divise da lesene.

In fondo, al lato destro dell'ingresso, vi è lo scalone d'onore, in pietra serena e con pilastri a candelabro. Allo interno porte, capitelli, architravi e camini rinascimentali scolpiti.

Attualmente è possibile la visita delle sale al piano terreno, che conservano camini e altri ornamenti architettonici, nonché dei sotterranei, con interessanti reperti di scavo. Altre ali del palazzo sono adibite a sede di esposizioni temporanee.