Palazzo Grifoni, sito in Corso Garibaldi, fu fatto costruire da Matteo Grifoni, capitano d'arme del XV secolo nato a S. Angelo in Vado e ricordato nelle cronache come "Matteo dell'Angiol Santo". Fu al servizio di Perugia e poi Capitano Generale dell'infanteria della Repubblica di Firenze; passò quindi al servizio della Repubblica di Venezia della quale fu dichiarato "Generale d'Infanteria di S.Marco".

Addestratosi alla scuola di Federico da Montefeltro, partecipò il 22 Ottobre 1441 ad un glorioso fatto d'arme, la scalata e la presa di S.Leo. La famiglia Grifone si trasferì a Crema nel 1465.

Sembra comprovato che Matteo morì nel 1473 a Milano, dove fu sepolto.

Di questa illustre famiglia resta a S.Angelo in Vado, in particolare, un altare con stemma nella monumentale Chiesa di S.Maria dei Servi dove si conserva una Madonna bronzea del Ghiberti.

Il Palazzo si innalza fra le altre case "nella sua massiccia saldezza quattrocentesca", quasi a manifestare che la casa di un tal guerriero assomigli ad un fortilizio. La facciata reca finestre bugnate, un ampio portale centrale, una elegante bifora e, nella parte sommitale, il Leone veneziano.

Di particolare rilievo, infatti, sulla facciata del Palazzo sono le opere dell'architetto e scultore veneziano del Quattrocento Marino di Marco Cedrini, che lavorò in diversi luoghi d'Italia e anche nelle Marche. La presenza del Leone di S. Marco si spiega con il fatto che la Repubblica di Venezia aveva concesso a Matteo Grifoni per i suoi buoni servizi il privilegio di alzare nel suo Palazzo lo stemma della Serenissima ("Marcus ubique potens signa ferenda dedit "). Dietro il Leone appaiono le tracce consumate di un tridente, allusione probabile ai mari sui quali domina Venezia.

Nel corso del Cinquecento l'edificio fu alzato e le finestre del primo piano furono decorate di bugne. Nel Settecento e nell'Ottocento subì interventi di ampliamento e l'interno fu del tutto trasformato. Lo stemma dei Grifoni, opera del Cedrini, è oggi visibile nel piccolo corridoio che conduce alla cantina.