Il Santuario della Madonna della Colonna (o della B. Vergine della Colonna) venne edificato nel 1796 in onore della Beata Vergine delle Grazie, conosciuta sotto il titolo di "Madonna della Colonna", su un terreno donato dai conti Galantara di Fano e ubicato nella zona dell'attuale Campo d'Aviazione di Fano, in corrispondenza di una strada che dalla città si dirigeva verso il Metauro.

La chiesa, costruita su disegno dell'architetto Prospero Selvelli, era a tre navate, lunga 25 m e larga 12, con volta a botte la centrale e a crociera le laterali. La facciata era tripartita, con paramento in laterizi a vista.

Nell'abside era posta l'immagine della Madonna, dipinto su tavola di autore ignoto (attualmente sistemato nella Chiesa di Tre Ponti, situata non lontano).

Come ricorda l'ASIOLI (1934) "negli anni non molto anteriori al 1796 la Madonna operò una serie di prodigi e di grazie, tanto che si sparse ovunque la fama. Da ogni parte concorse il popolo in numerosi pellegrinaggi. (...) La devozione alla B. Vergine fu continua, e si venne accentuando nei momenti di pubblici flagelli, come pestilenze, terremoti, attentati, guerre, invasioni nemiche, siccità, eccessive pioggie; nelle quali circostanze il Santuario fu frequentatissimo. (...) Delle pubbliche solennità in onore della Madonna è rimasta sino ai giorni nostri la festa che si celebra con grande concorso di popolo nella prima domenica di maggio".

La Chiesa conteneva anche la tela della Vergine e S. Antonio di Padova di Sebastiano Ceccarini.

Il Santuario venne abbattuto nel 1940 a seguito dell'ampliamento del Campo d'Aviazione. Il dipinto della Madonna venne dapprima trasferito nella Chiesa di S. Teresa delle Carmelitane a Fano, poi nel 1944 a Tre Ponti.
Nell'attuale Chiesa di Tre Ponti, chiamata anche della Madonna della Colonna dal nome della chiesa abbattuta, si continua a celebrare ogni anno, nella prima domenica di maggio, la tradizionale festa della Madonna della Colonna.