Un tempo residenza sub-urbana dei principi vescovi Madruzzo (XVI-XVII sec.), il Palazzo delle Albere deve il suo nome al filare di pioppi che in origine accompagnavano l'ingresso della villa. Fu costruito per Gaudenzio Madruzzo, padre del futuro Cardinale Cristoforo, che resse il Principato durante tutto il Concilio.

Esso fu poi da costui abbellito e rifinito tanto da farne una residenza estiva degna del suo rango. Dopo il Concilio, finita la serie dei Vescovi Madruzzo, il palazzo degrada fino al 1796, quando un grande incendio ne distrugge l'ala orientale. Nello stesso tempo l'entrata di Napoleone in Trento, come conquistatore, determina la fine del Principato Vescovile.

Nel 1858 si ha la deviazione dell'Adige e la costruzione della nuova ferrovia ad opera dell'amministrazione austriaca: la zona cambia profondamente di aspetto e il palazzo è declassato a casa di contadini.

Nel 1966 il palazzo fu acquisito dalla Provincia Autonoma, ripristinato nel miglior modo e adibito a Sezione d'Arte Moderna e Museo Provinciale d'Arte.
Dal 1981 accoglie collezioni d'arte moderna e contemporanea e dal 1987 è una delle sedi del Museo d'Arte Moderna e Contemporanea di Trento e Rovereto (MART).