Anticamente noto con il nome di Fortezza dei San Martino, il castello, di origini medievali, fu trasformato alla metà del Seicento dal conte letterato Filippo San Martino d'Agliè in dimora signorile, affidando i lavori a Carlo di Castellamonte. La residenza venne acquisita dai Savoia nel 1764 e ricostruita su progetto di Ignazio Birago di Borgaro.Abbandonato in seguito all’invasione napoleonica, il castello di Agliè tornò a rifiorire nell’Ottocento, per volere di re Carlo Felice, che lo elesse a sua residenza di villeggiatura preferita assieme al castello di Govone. Con la morte di Maria Cristina, la vedova di Carlo Felice, avvenuta nel 1849, il Castello passò in eredità a Carlo Alberto e al figlio cadetto Ferdinando, primo Duca di Genova.Nel 1939 lo Stato acquistò dai duchi di Genova la proprietà di Agliè e durante il periodo bellico il Castello venne segretamente adattato a deposito di oggetti e documenti provenienti da residenze e musei torinesi a forte rischio di esportazione da parte del comando tedesco, tra cui anche le antichità egizie del Museo torinese.Trasformato in museo grazie alla Soprintendenza e circondato da un grande parco con giardini all'inglese e all'italiana, oggi il Castello conta oltre 300 stanze, riccamente decorate e arredate, come il salone da ballo con affreschi del Seicento, il salone d'ingresso con stucchi settecenteschi, la quadreria e una preziosa collezione di reperti archeologici. All'ingresso si trova una bella fontana con statue settecentesche che simboleggia la Dora Baltea che si getta nel Po, opera di Ignazio e Filippo Collino. Recentemente il castello è stato riscoperto nella sua bellezza dal grande pubblico anche grazie alla serie televisiva Elisa di Rivombrosa che lo ha scelto come location per i suoi episodi.