Počátky zámku v Dolní Łomnici nejsou známé. Pravděpodobně zde existoval jakýsi renesanční objekt, který byl pak rozšířen na dnešní zámek – a spolu s tzv. Vdovím domem je dnes největší turistickou atrakcí Lomnice. Koncem 17. stol. vesnici získal rakouský císařský podplukovník Matthias de Thomagnini. Pro potřeby jeho rodiny byl zde v roce 1720 postaven barokní zámek. Projektantem rezidence byl známý slezský architekt Martin Frantz, který byl stavitelem mj. kostela milosti v Jelení Hoře. V roce 1738 panství koupil bohatý a velmi vážený jelenohorský kupec Christian Mentzel, po něm ho zdědil jeho syn Christian Gottfried, který provedl renovaci objektu a založil kolem něho veřejně přístupný park. V roce 1800 Christian Gottfried postavil vedle starého zámku zámek nový, klasicistní, jemuž se začalo říkat Vdoví dům. Zámek byl určen starším představitelkám rodu, a jeho název se dochoval do dnešních dnů. V roce 1835 koupil Lomnici Gustav Ernst von Küster, prusk7 diplomat na sicilském dvoře. Z iniciativy nového majitele byl zámek přestavěn a získal tvar, který se v téměř nezměněné podobě dochoval do dnešních dnů. Autorem přestavby byl architekt Albert Tollberg, jenž zbavil zámek většiny barokních detailů a štukování a dal mu znaky tehdy módního stylu – biedermeieru. Velikost rezidence nebyla během přestavby změněna, byly však odstraněny barokní štítky a několik říms. Naopak vznikly okenice a vchodová hala byla rozdělena dvěma dórskými sloupy. Celek doplnily fantaskní střechy-helmice které zakončují dva předsunuté rizality trochu připomínající arkýře. V letech 1843-1847 vznikl kolem zámku nový park s velkým množstvím zahradních staveb a květin v přímé blízkosti objektu. O trochu dále, směrem nahoru po řece Bobr, byla naopak zřízena krajinná kompozice v anglickém stylu.