Ma questo segno d'onore non parve sufficiente per una famiglia potente, ricchissima, di recente nobiltà ed in rapida ascesa sociale, che nella sala capitolare eresse la propria cappella funebre, a breve distanza e con un rilievo quasi uguale a quella dei marchesi.
È la famiglia Cavassa, di commercianti e speziali, che ha legato il suo nome al Palazzo simbolo del Rinascimento Saluzzese.
Eretto nei pressi del Convento di San Giovanni e destinato originariamente a casa di caccia dei Marchesi, a metà del XV secolo l'edificio gotico divenne proprietà di Galeazzo Cavassa: originario di Carmagnola, si trasferì a Saluzzo dopo il matrimonio (1450) e intraprese una rapida carriera politica che lo portò a diventare nel 1464 vicario generale del Marchese Ludovico I. Alla morte di Galeazzo, avvenuta nel 1483, la dimora passò in eredità ai figli, in particolare a Francesco, dottore in legge e vicario generale del Marchesato sotto il governo di Ludovico II, che ne ebbe possesso esclusivo dal 1505. Grazie alla committenza di Francesco Cavassa il palazzo aggiornò le decorazioni e gli arredi allineandosi alle forme artistiche del Rinascimento padano: la residenza, frequentata abitualmente da intellettuali e personaggi di corte, divenne oggetto di importanti interventi decorativi, in cui furono coinvolti artisti dalla cultura raffinata e attenti alle nuove tendenze stilistiche sviluppatesi nell'area padana. Sull'architrave dello splendido portale venne apposto il motto della casata, "droit quoi quii soit" ("avanti a qualunque costo", ma anche "il diritto ad ogni costo"), giocato sulla polisemia del termine "droit", inteso come avverbio o come sostantivo (con evidente allusione alla professione di giureconsulto esercitata sia da Galeazzo che da Francesco); nei pannelli in noce intagliati che ornano le ante ricorre invece lo stemma di famiglia, con il pesce "chavas-son".

L'edificio ha una pianta a L con i corpi uniti da una scala a chiocciola e sfrutta la pendenza del terreno per raggiungere sei piani, con terrazze, loggiati, porticati. Pittori, scultori, architetti aperti alle nuove tendenze artistiche di Padova, Ferrara, Mantova lavorarono alla ristrutturazione e alle decorazioni, fra cui spiccano, nel loggiato, gli affreschi a grisaille delle Fatiche di Èrcole, opera del pittore di corte Hans Clemer. Divenuta testimonianza del peso economico e dell'alto livello culturale raggiunto dai Cavassa, con l'imprigionamento, ordinato dal Marchese Giovanni Ludovico per motivi politici, e la morte di Francesco inizia per l'edificio una rapida e inarrestabile decadenza: rimasto proprietà dei Cavassa fino al 1700, fu in seguito ripartito in appartamenti privati con crescente degrado delle strutture.

Nel 1883 fu acquistato dal marchese Emanuele Tapparelli d'Azeglio, nipote dello scrittore Massimo e diplomatico cosmopolita, appassionato d'arte e d'antiquariato, che, per prevenire il saccheggio operato dagli antiquari stranieri, affidò il restauro a Vittorio Avondo, direttore dei Musei di Torino, e all'ingegnere Melchiorre Pulciano. I restauratori tentarono di recuperare l'aspetto rinascimentale del palazzo, operando secondo il principio del "completamento in stile", che prevedeva l'eliminazione di tutto ciò che non è ritenuto pertinente e l'aggiunta di quanto era creduto presente in una dimora signorile del Cinquecento.
Per l'arredamento delle saie, ormai spogliate dai saccheggi successivi alla morte di Francesco Cavassa, furono acquisiti oggetti d'arte in grado di documentare l'epoca dei Cavassa, provenienti dal mercato antiquario e donate da collezionisti. Per completare l'allestimento il marchese d'Azeglio commissionò ad alcune botteghe artigiane la costruzione di mobili che riproducessero le forme dell'arte gotica e rinascimentale.
Alla morte di Emanuele Tapparelli nel 1890, l'Amministrazione comunale di Saluzzo ereditò l'edificio e lo aprì al pubblico adibendolo a museo, in ossequio alle ultime volontà del marchese.
Tra le quindici sale si segnalano quella cosiddetta della Giustizia o "del Volto", probabilmente lo studio di Francesco Cavassa, con pavimento in terracotta e soffitto a volta decorato con affreschi dell'inizio del cinquecento, e la Sala de Foix, connotata dal soffitto a cassettoni, dagli stalli gotici provenienti dalla Cappella Marchionale di Revello e soprattutto dalla tavola della Madonna della Misericordia, il capolavoro del pittore fiammingo Hans Clemer, datato 1498/99.