L'Oratorio di S. Carlo è situato nel Castello (o Palazzo) dei Brancaleoni a Piobbico, e possiede un interno a base ottagonale.

Dopo il 1615, anno della beatificazione di S. Carlo Borromeo, fu desiderio di Giordano Brancaleoni di costruire questo oratorio come ricordo della visita che il Santo, allora Arcivescovo di Milano, fece ai Brancaleoni nel 1579 nel corso di un suo viaggio a Roma e Loreto. Tuttavia alla morte di Giordano, avvenuta nel 1625, l'oratorio non era ancora neppure in cantiere.

Sicuri riferimenti cronologici sono costituiti da iscrizioni e stucchi che si riferiscono al figlio di Giordano, Antonio III, che morì nel 1657. Presumibilmente, dunque, le ricche decorazioni a stucco dell'interno assai eleganti nella variazione di rilievo, possono considerarsi ultimate alla metà del '600.

Riguardo alle pitture vi è ancora minore certezza. Restano solo, sulla cupola cieca, divisa in otto scomparti, storie della vita di S. Carlo e le Virtù Cardinali e Teologali, eseguite probabilmente nel secondo ventennio del XVIII secolo e forse attribuibili al pergolese Gian Francesco Ferri (1705-1775).