Sorto tra la fine del XV e l’inizio del XVI secolo nell’area precedentemente occupata dal Convento dei Celestini, fu dapprima residenza dei Guevara, feudatari di Potenza, poi dei conti Loffredo, dopo la trasformazione del castello in ospedale. All’inizio del XIX secolo, il palazzo ospitò l’Intendenza di Basilicata; intorno al 1825 divenne sede del “Real Collegio”, istituito con decreto di Luigi Bonaparte per l’istruzione superiore dei giovani della Provincia di Basilicata.

L’edificio, eretto sul crinale della collina a ridosso della via pubblica medievale e dedicato da tempi immemorabili alla Beata Vergine Assunta, presenta esteriori fattezze settecentesche dovute all’architetto Magri, allievo di Vanvitelli, su commissione del vescovo Giovanni Andrea Serrao (1783-1799).