Dai reperti ritrovati  nel territorio comunale, si può far  risalire la sua origine  al tempo della seconda guerra punica, allorquando fuggiaschi romani s’insediarono sulla sommità del monte, circondato tutt’intorno da profondi burroni, che promettevano sicurezza e vita pacifica.

Poco si sa sulle origine del nome  Brundusium o Brundisium, simile a quello della città salentina.

Nell’Alto Medioevo si stabilì una comunità monastica di monaci basiliani, nella Badia dedicata a Santa Maria dell’Acqua Calda, così denominata per la presenza di una falda di acqua termale.

Carlo I d’Angiò, con regio decreto del 1268, affidò il feudo di Brindisi e della vicina Anzi a Guidone da Foresta investito della signoria col titolo di Primus Dominus Brundusii de Montanea et Ansiae.                          

I signori feudali fortificarono l’abitato intorno al castello. La torre centrale, costruita dopo l’XI sec. dai Normanni, fu spesso utilizzata come cella d’isolamento, di prigione e spesso di patibolo. Quelli che vi trovavano la morte venivano gettati dalla rupe in pasto alle volpi e ai corvi.

Nel 1414 ritornò ai signori di Brindisi, Baldassarre La Zatta e, successivamente, ad Antonio Sanseverino.

I terremoti del 5 e del 10 dicembre 1456 danneggiarono la struttura e distrusse del tutto la grande fortezza ed il feudo, rimase forse abitato solo nei casali circostanti

Nel 1478, arrivarono i primi profughi albanesi che ricostruirono l’abitato, ormai abbandonato e spopolato da molti secoli. Tutt’ora vi è una via dedicata, Via dei Crojesi.

La badia basiliana, abbandonata dai basiliani, fu donata dai principi Sanseverino ai monaci della Certosa di Padula; eretta a Grancia di San Demetrio nel 1503, divenne una grande azienda rurale condotta da monaci laici, raggiungendo il suo massimo splendore nel Settecento.

Il feudo di Brindisi passò poi dai Sanseverino ai D’Erario, agli Antinori, ai Battaglia e, da ultimo, ai Fittipaldi.

Nel 1700 i Certosini estesero i possedimenti su tutto il feudo ampliando l’antico fabbricato, sede del cenobio, costruendovi abitazioni, mulini e ovili.

Nel 1799 anche Brindisi di Montagna partecipò ai moti libertari, erigendo l’albero della libertà in piazza.

Nel corso dei secoli il castello di Brindisi di Montagna ebbe sorti alterne, più o meno fortunate: si trasformò da fortezza in residenza a disposizione dei vari feudatari. Nel 1861 il castello vide la paura e nello stesso tempo la fermezza dei Brindisini, quando Borjes, Crocco e Di Langlois si unirono per compiere le note imprese nel territorio della Basilicata centrale. Grazie ad un’improvvisa coltre di nebbia che ammantò il paese, i brindisini ebbero la meglio dall’incursione delle bande.

In ogni caso, nonostante le diverse vicende che lo hanno coinvolto, il Castello ha mantenuto un discreto stato di conservazione fino a giungere ai giorni nostri. Intorno agli anni 50 del ‘900, infatti, ancora si potevano ammirare nella loro interezza le strutture fondamentali e addirittura parte degli infissi. L’incuria e il vandalismo dell’ignoranza successivamente lo depredarono, facendolo diventare un rudere.

Oggi, però, il castello è rinato a nuova vita e di nuovo può essere ammirato in tutta la sua maestosa e rude bellezza. Un recente restauro dell’intera struttura ha recuperato e restituito alla fruizione i vari ambienti dell’antico castrum, mettendone in luce le stratificazioni risalenti ad epoche diverse.