La data incisa su un marmo angolare testimonia l’inizio di costruzione del palazzo, il 1476. Diciassette anni dopo arriverà Mantegna. La struttura architettonica, dopo i restauri che hanno isolato l’edificio cercando di porre rimedio a gravi manomissioni precedenti, si è rivelata molto originale: un cerchio -il cortile- inserito in un quadrato, o meglio un cilindro inserito in un cubo. L’ipotesi più probabile è che il cortile rotondo sul quale si aprono le varie stanze, in alcune delle quali sono visibili resti di decorazioni pittoriche, tra cui lo stemma concesso all’artista da Ludovico II, fosse in origine coperto da una cupola, poi crollata, con un’apertura circolare al centro.