Non avendo una rocca, il "castello" di Barchi ha sempre affidato le sue difese al recinto murario. Tra il 1571 e il 1575 sono annotati negli atti consigliari restauri e pulizie con l'imposta di nuove tasse. I lavori sono stati condotti da Filippo Terzi e possono essere confrontati stilisticamente con quanto realizzato dallo stesso a Urbino, nella fortezza Albornoz: i curiosi torricini circolari innestati direttamente sulla muraglia scarpata sono del tutto simili.

Il Baldi nel libro 7° della vita di Federico raccontando della conquista di Barchi fatta da Federico ai danni di Sigismondo Malatesta (1457) scrive: " … Barchi castello assai grosso, posto sull'alto, e sì per natura, come per umana industria, secondo què tempi assai forte… ebbe ardire di resistere … ". Federico riuscì a convincere alla resa i soldati a difesa del castello promettendo di "lasciar andar liberi" gli abitanti "con tutte le robe loro". I suoi soldati volevano fare il saccheggio come era consuetudine dopo un assedio, ma di fronte alla resa Federico per dimostrare riconoscenza fece uscire i castellani, chiuse le porte d'ingresso, consentì il saccheggio solo a coloro che sarebbero riusciti a valicare le mura "con scale ed artefici".

Anche il Guicciardini parla del castello di Barchi definendolo nella "Storia d'Italia", al capitolo dedicato alla "guerra d'Urbino" fra Medici e Della Rovere, di cui egli fu diretto testimone, come di un " …sito forte, ove non poteva andarsi se non per cammino facile..." (era perciò impossibile valicare le mura se non passando per le porte d'ingresso).

L'impresa risultò tanto difficile che le truppe medicee guidate da Giovanni Delle Bande Nere e capeggiate dal Duca Lorenzin De' Medici, dopo giorni di assedio, rinunciarono ad attaccarlo e furono costrette alla fuga, subendo una disastrosa sconfitta che portò alla vittoria finale dei Della Rovere. L'evento porta la data dell'anno 1517 e viene citato come "Battaglia di Barchi".