Il Castello fu edificato per volere del cavaliere Alfonso d'Acaya intorno al 1506. Negli anni successivi il figlio Gian Giacomo dell'Acaya, celebre architetto, ricostruì l'intero complesso dandogli l'aspetto del borgo fortificato ponendolo a capo dei suoi possedimenti e rinominandolo Acaya.
Con la sua morte, nel 1570, e la vendita del feudo, il borgo di Acaya comincia un lento periodo di decadenza per poi rinascere nel XX secolo. Il castello possiede una struttura trapezoidale circondata da mura a sagoma rettangolare e da un fossato. Esso occupa un angolo delle mura cittadine mentre agli altri tre angoli sono situati i bastioni. All'interno del Castello si accede attraverso una porta rinascimentale situata a fianco della torre nord-est. Il cortile interno ricalca lo schema esterno e da qui si ha accesso alle sale coperte con volte a botte o a crociera, alle carceri e all'ampia scuderia situata sul lato ovest.
Da una scala posta nel cortile si accede al piano superiore riservato a dimora gentilizia. Degna di nota è l'elegante sala ennagonale, usata per scopi residenziali, nella quale spicca la presenza di un fregio figurato che copre l'intero perimetro della sala, contenente anche le effigi di Alfonso e Maria dell'Acaya. Nel corso della ristrutturazione del castello, dal lato nord dell'antico maniero sono affiorate le tracce di una costruzione di epoca medioevale poi rivelatasi una piccola chiesa bizantina e sotto di essa alcune sepolture.
Durante i lavori di restauro è stato ritrovato anche un affresco all'interno di una intercapedine: si tratta di una Dormitio Virginis databile alla seconda metà del Trecento, estesa circa quattro metri per tre. La raffigurazione, perfettamente conservata, rappresenta gli Apostoli che assistono alla morte della Vergine e Gesù che ne raccoglie l'anima per presentarla al Padre, secondo la tradizione iconografica che fa riferimento ai Vangeli apocrifi.
Durante successivi scavi, in prossimità delle scuderie, sono state riportate alla luce una serie di tombe, fosse comuni e cunicoli. Inoltre, dall’anno 2008, è allestita nel castello una mostra di architettura contemporanea dell'architetto portoghese Álvaro Siza. È sede di una mostra permanente sugli scavi archeologici di Roca Vecchia e altri importanti eventi.
I lavori eseguiti per il Castello hanno interessato, oltre ad operazioni di scavo archeologico, anche opere di restauro di murature e affreschi; è stata inoltre realizzata una struttura in legno lamellare a copertura degli ambianti oggetto di scavi e destinati alla pubblica fruizione.