Nad obcou na vrchu Hrádok sa dodnes zachovali nepatrné zvyšky zrúcanín hradu Breznica.
Bol postavený pravdepodobne už pred tatárskym vpádom ako ochrana spornej obce Breznica pred svätobeňadickým opátom, ale prvýkrát je písomne doložený v r. 1273 ako majetok ostrihomského arcibiskupa Filipa, ktorý ho dal zrejme opraviť.
Dnes na mieste kde stál hrad Breznica stojí a v noci svieti kríž, ktorý postavili aktivisti z obce v roku 2011.