Die romantische Ruine Rafenstein erhebt sich im Norden der Stadt am Eingang zum Sarntal auf dem Rücken der Talferschlucht.
Erbaut wurde die mächtige Anlage wahrscheinlich im 12 Jh von den Herren von Rafenstein, bekannt auch durch Adalpret von Rafenstein, von 1219 bis 1223 Fürstbischof von Trient als Nachfolger des Friedrich von Wangen. Das Geschlecht der Rafensteiner war bereits im 13 Jh ausgestorben. Im Krieg zwischen dem Tiroler Meinhard II und den Bischöfen von Trient wurde Schloss Rafenstein belagert und zerstört. 1358 wurde Schloss Rafenstein von Konrad von Schinlein wiederaufgebaut. Ab 1400 wechselten die Besitzer häufig, bis Rafenstein schließlich in die Hände der Toggenburger kam.
Die Burgruine ist nur anlässlich von Veranstaltungen zugänglich.