Grad je gotovo stal že zelo zgodaj, vendar pa je listina z dne 29. septembra895, ki je dolgo veljala za prvo omembo gradu, bila v raziskavah spoznana za ponaredek.
[1] Prva omemba utrdbe na tem mestu sega v leto 895, ko naj bi bila pozidana prvotna karolinška zgradba. Ta je bila uničena v času
ogrskih vpadov na področje Posavja. Po letu 1126 je salzburškinadškof Konrad I. znova pozidal grad, ki je bil kot »Reichenburch« prvič omenjen leta 1309. Rodbina Reichenburg je grad upravljala med leti 1141 (prva omenjena lastnika sta bila Oton in Rajnbert Reichenburg) in 1570, ko je s smrtjo Hansa Rajnprehta rodbina izumrla. Med leti 1469 in 1480 je bil grad tarča turških napadov. Dediči rodbine Reichenburg so bili njihovi sorodniki
Welzerji. Med letoma 1515 in 1573 so grad zasedli kmečki uporniki. Welzerji so so se jim med hrvaško-slovenskim kmečkim puntom leta 1573 odkupili, ker so jih s podpirali z živili. Tako so grad dobili nazaj. Nadaljnji lastniki so bili: od leta 1579 - baron Volkart Eghk, Alexander Paradaiser (od 1591), Franz Gall pl. Gallenstein (od okoli 1600) baron Vid Jakob Moscon (1639), baron Leopold Curti, Karl Reising, grof Hanibal Heister, med leti 1721 in 1802 pa grofje Attemsi. Za njimi se je izmenjalo še 5 lastnikov, preden je leta 1884 grad in posestvo kupil
Gabriel Giraud, redovnik iz Lyona, ga prepustil v upravljanje francoskimtrapistom. Ti so grad spremenili v samostan »Marijinega odrešenja« in ostali v njem do 2. svetovne vojne. Med vojno je bil v njem center za slovenske izgnance, po vojni ženski zapor, danes pa je v njem
Muzej slovenskih izgnancev.