Um 1403/1405 erwarb Herzog Ludwig der Gebartete von Bayern-Ingolstadt die Burg Nannhofen von dem Münchner Patrizier Sentlinger und baute sie zur „Veste“ aus. Kurz darauf wurde sie im Jahr 1422 im bayerischen Krieg zerstört. Im Auftrag des Münchner Herzogs Wilhelm III. wurde sie daraufhin „noch schöner“ wiederhergestellt. Sie wurde Witwensitz der Herzogin Anna, die dort am 9. Oktober 1474 verstarb. Der Ort wurde schließlich herzogliche Hofmark und kam 1585 an den bayerischen Hofkanzler Christoph Elsenheimer und dessen Nachkommen. Im Dreißigjährigen Krieg durch schwedische Truppen verwüstet, hat man sie danach teilweise wiederaufgebaut.
Das heutige Schloss Nannhofen wurde um 1752 unweit der alten Veste errichtet. 1826 erwarben die Freiherren von Lotzbeck das Schloss mit dem dazugehörigen Patrimonialgericht. Ein klassizistischer Ausbau erfolgte durch Jean Baptiste Métivier in den Jahren 1840/1848.
Zum Objekt:
Das Schloss ist ein barocker dreigeschossiger Walmdachbau mit einem Turm in der Westfassade. Zum Schloss gehört ein erdgeschossiges Wirtschaftsgebäude mit traufartigem Staffelgiebel aus der Zeit um 1840/1848. Ein weiteres Nebengebäude ist der zweigeschossige Satteldachbau mit Putzgliederung und kleinem Anbau aus der zweiten Hälfte des 19. Jahrhunderts. Der englische Park wurde im 19. Jahrhundert angelegt.