Kevés kisváros mondhatja el magáról azt, amit Szécsény

A várossá nyilvánítást megelőzően két évvel, 1332-ben XXII. János Pál pápa Szécsényi Tamás kérésére engedélyezte a kolostor alapítását. Az alapítás feltételéül tűzte, hogy legalább 12 szerzetes számára feleljen meg a kolostor. 

A templom első része, a ma már sekrestyének használt helyiség és a felette lévő gótikus szoba a város legpatinásabb műemlékei. A sekrestye feletti szobát a szécsényiek Rákóczi termeként emlegetik. A hagyományok szerint II. Rákóczi Ferenc többször is megfordult és imádkozott a teremben, ugyanis nevelőpapja, Páter Bárkányi János volt abban az időben a templom házfőnöke. 

A kolostor mellett lévő barokk kastélyt – amely jelenleg múzeum – a Forgách család építtette a XVIII. század közepén. A kastély helyén középkori várkastély állt. Szinte biztosra vehető, hogy az épület alatt lévő pince a középkori építmény maradványa. Az épület külseje a XVIII. századra jellemző Grassalkovich kastélytípust idézi, a középrészen félkörív zárja le. A félemelettel magasabb részen kerek nyílások figyelhetők meg. 

A kastélyt 1845-ben a Forgách családtól Pulszky Ferenc, a reformkor kiemelkedő politikusa vásárolta meg. A XX. század elejétől a kastély új tulajdonosa Grosz Jenő. Európában már dúlt a II. világháború, amikor a kastélyt báró Lipthay Béla megvásárolta, ő volt az épület utolsó magántulajdonosa. A Nemzeti Örökség Intézet a ferences kolostort és a szomszédságában lévő Forgách-Lipthay-kastélyt történelmi emlékhellyé nyilvánította. 

Az előtte lévő XI. Ince pápa téren emlékoszlop hirdeti, hogy a két épület történelmi emlékhely.