Il Complesso Toledo, residenza Vicereale a Pozzuoli, era costituito, oltre che dal corpo principale, da una torre di avvistamento e dalla cavallerizza, un edificio basso e lungo che ospitava gli alloggiamenti per i soldati e le stalle. Dal punto di vista più strettamente urbanistico si evidenzia la collocazione strategica del Complesso Toledo, situato al crocevia dei principali assi viari di accesso alla città, di fronte al golfo e al porto, ed era circondato da un rigoglioso e vasto giardino.
La torre aveva il compito di difendere il palazzo, ma anche di controllare l'ingresso del porto, ed era parte di un sistema difensivo, che faceva capo al castello di Baia. La dimora si sviluppa attorno a due cortili rettangolari, in parte porticati, e presenta due giardini pressoché quadrati, cinti da mura, con viali rettilinei alberati, fontane, peschiere e belvederi, era costituita da numerose stanze, tutte arricchite con arazzi ed affreschi, e abbellita con numerose decorazioni marmoree, colonne e statue di epoca romana rinvenute nel corso dei lavori di costruzione del palazzo stesso. In contrasto con l'interno, l'architettura esterna è semplice e severa la cui unica particolarità è "una forte e bella torre".
Il palazzo rimane di proprietà del viceré di Napoli dal 1616 al 1620. Dopo la sua morte il palazzo, almeno per tutto il Seicento è appartenuto alla famiglia Toledo, ma quando questi lasciarono Pozzuoli per tornare in Spagna, la dimora del Vicerè conosce un primo momento di abbandono fino al 1872 quando, su progetto dell'arch. Ernesto Villari, vennero aggiunti altri due piani per la destinazione a ospedale di Pozzuoli, funzione che mantenne fino al 1970. Per un breve periodo ospita la Biblioteca Civica ma, viene definitivamente abbandonato dopo il bradisismo degli anni ‘80.
Nel 2005 il Complesso Toledo viene destinato a Biblioteca e Archivio Storico. In questa nuova veste la dimora di Don Pedro de Toledo, viene riaperta al pubblico nel marzo del 2009 e ospita l'Archivio Storico, la Biblioteca Civica, l'Ufficio Beni Culturali e l'Ufficio Attività Multimediali, diventando così il Polo Culturale del Comune di Pozzuoli.
I Lavori di restauro hanno riguardato il consolidamento statico ed il restauro del “Passaggio Toledo”, oltre che la costruzione di un nuovo Corpo di Collegamento. Intervento fondamentale è il recupero della Torre Toledo, danneggiata a causa di atti vandalici, e il rifacimento e la nuova distribuzione del Teatro all’aperto di Villa Avellino. L’intervento si conclude con la realizzazione di impianti idrici, elettrici, antincendio e speciali.