Az eredetileg kisebb középkori erődítményként szolgáló kastélyt Szentkereszten (a mai Garamszentkereszten) az esztergomi püspökök alakították át nyári rezidenciává, később pedig a besztercebányai püspökök székhelye lett. A kastély legjelentősebb lakója és tevékeny használója Moyzes Štefan püspök volt, a Matica slovenská első elnöke, a reneszánsz–barokk stílusú épülethez kötődő, történelmi jelentőségű személyiség. 2018-ban Garamszentkereszt városa vásárolta meg a kastélyt, és fokozatosan a turizmus számára vonzó hellyé alakítja. 2020 nyarán készült el Moyzes Štefan emlékszobája, amelyet korabeli bútorokkal és a püspök saját használati tárgyaival rendeztek be. Emellett felújították a püspöki termet, és létrehozták a város betelepítésének történetét bemutató kiállítást. A látogatók megtekinthetik a felújítatlan kápolnát, valamint egy osztálytermet, amely a Csehszlovák Szocialista Köztársaság korszakát idézi, amikor középiskola működött az épületben. A kastélyhoz tartozik a Moyzes Štefan park is, amelyet a XVIII. század közepén telepítettek, és amely máig népszerű pihenőhely. A kastély kizárólag vezetett túrák idején látogatható.
