Sfuggono del tutto le circostanze delle origini, ma la posizione strategica a guardia di importanti vie di comunicazione, che attraversano anticamente il territorio, ne indica la funzione difensiva in un sistema facente capo a Orvieto. Una cronaca del '500 fa risalire la fondazione della prima torre detta "del Cassero" all' VIII sec., ma le prime testimonianze documentarie compaiono nel 1200. Ed è a partire da questo periodo che la storia del castello e del borgo si intreccia con quella dei Monaldeschi della Cervara. Proprio a Sforza Monaldeschi della Cervara (+ 1584), famoso uomo d'armi, si deve l'iniziativa di trasformare l'antica struttura fortificata ed elegante residenza di campagna sul modello rinascimentale. Gli artefici ingaggiati erano gli stessi che lavoravano anche nella cattedrale di Orvieto e nel palazzo Monaldeschi della città, Ippolito Scalza per le opere di scultura e architettura e Cesare Nebbia e la sua bottega per la decorazione pittorica. I Monaldeschi conservarono la proprietà fino alla metà del XVII secolo, quando per via ereditaria passò alla famiglia Bourbon del Monte. Nel 1880 Guido Bourbon del Monte la vendette al banchiere di Anversa Edoardo Cahen, che avviò un restauro totale del palazzo affidando il progetto all'architetto senese Giuseppe Partini. Seguendo la tendenza del revival in voga in quel periodo, Partini realizzò un'imponente struttura in stile neogotico rivestita in pietra grigia di Bagnoregio, occultando l'autentico aspetto medievale e le stratificazioni rinascimentali. Della dimora cinquecentesca dei Monaldeschi restano il prospetto del cortile interno e un'ala al primo piano che conserva un camino monumentale in pietra e un ciclo decorativo che celebra la casata. Il figlio di Edoardo Cahen, Teofilo Rodolfo, completò i lavori, commissionando la decorazione pittorica all'artista romano Pietro Ridolfi (1906) e i raffinati pannelli delle porte all'ebanista senese Tito Corsini (1915). Nella rinnovata ed elegante residenza Rodolfo tornò a soggiornare fino alla promulgazione delle leggi razziali, quando fu costretto ad abbandonare definitivamente l'Italia. Diversi passaggi di proprietà segnano la storia successiva del castello.
Ai piedi del castello vive Torre Alfina, sorta nei secoli alla primitiva Torre di guardia e nominato dal 2007 uno dei borghi più belli d'Italia con le sue viuzze e case in pietra crea un'atmosfera d'altri tempi. Situato a 602 metri slm nell'altopiano dell'Alfina è punto caratteristico triconfinale fra Umbria, Lazio e Toscana.
Tutto intorno al borgo di Torre Alfina e il suo castello regna naturalmente il Bosco del Sasseto, una foresta mista di latifoglie secolari, la quale deve il nome ad un singolare substrato geologico formato da un accumulo di blocchi di roccia lavica ai piedi della rupe su cui sorge il castello. Chiamato da National Geographic "Bosco delle Fiabe" o "Bosco di Biancaneve", un tempo era selva oscura e selvaggia. Fu trasformato a fine '800 dal marchese Cahen.
