La parte antica di Barchi è racchiusa all'interno di mura invalicabili e contiene palazzi antichi e case di più semplice fattura.

Tutta l'impostazione data al "castello" alla fine del 1500 dall'architetto bolognese Filippo Terzi e voluta nel 1571 dal Duca d'Urbino Guidobaldo II, si mantiene ancora integra.
Il "castello" di Barchi viene considerato l'unico esempio completo dell'architetto bolognese realizzato in Italia prima di passare al servizio dei Reali di Spagna e Portogallo.
Lo stesso Filippo Terzi disegnò anche i più importanti monumenti barchiesi: Palazzo Comunale, Torre, Porta Nova, Chiesa e Palazzo dei Duchi; inoltre progettò anche la Piazzetta di S. Antonio fuori le mura sotto la ripida salita della Porta Nova per unire castello e borgo che già aveva una sua chiesa.

La tradizione divide l'intero abitato antico in rioni: il Castello, il Borgo, il Prato.
Quest'ultimo si riferisce alle case addossate alla base delle mura lungo la strada che conduce a Fossombrone.

Lo sviluppo moderno è avvenuto lungo la strada che conduce a Orciano e sul pendio della collina in posizione panoramica.