Il Museo ha sede da oltre un secolo nel Palazzo Bruni Ciocchi, detto comunemente Palazzo della Dogana: iniziato sui resti delle case medioevali degli Accolti alla metà del XV sec., è stato poi rimaneggiato e completato nel 1600.
Il nucleo originario del vasto patrimonio raccolto nel museo di Arte Medioevale e Moderna è dovuto al museo della Fraternita dei Laici, istituito nel 1823, e da un gruppo di opere appartenenti ad Enti religiosi oggetto delle soppressioni napoleoniche del 1810. Nel tempo si è arricchito delle molteplici donazioni, divenendo nel 1972 museo statale.
Il patrimonio artistico comprende dipinti di area aretina e fiorentina dal XIII al XVII secolo, tra i quali opere di Margaritone d'Arezzo, Spinello Aretino, Parri di Spinello, Luca Signorelli, Rosso Fiorentino, Giorgio Vasari, e tanti altri maestri.
Notevole la raccolta ottocentesca con autori toscani, dal neoclassicismo ai macchiaioli, quella di materiale lapideo, sculture in pietra, marmo e terracotta dal Medioevo al XVI secolo (opere della bottega di Andrea della Robbia). Inoltre la collezione di maioliche (secoli XIII - XVIII ), rappresentativa delle maggiori fabbriche italiane, e il ricco medagliere con migliaia di pezzi.