Die Burganlage aus dem späten Mittelalter bewachte einst den Weg auf den Jaufenpass. Der älteste Teil, der frei stehende Bergfried, ist der einzige Teil der alten Burganlage, der erhalten geblieben ist. Er war Mitte des 13. Jahrhunderts von den Herren von Passeier als Wohnturm gebaut worden. Alle späteren Zubauten, darunter mehrere Gebäude und eine Wehrmauer, sind vom 18. Jahrhundert an zerfallen.
Der fünfstöckige Turm ist schön renoviert und seit 2003 eine Außenstelle des MuseumPasseier. In den einzelnen Stockwerken befinden sich kleine Ausstellungen über die Geschichte der Burg, über die für das Passeiertal typischen Schildhöfe und über zwei einflussreiche Familien, die Herren von Passeier und Grafen Fuchs. Sie stellten Richter, Gerichtsherren und Kirchenvögte und bestimmten über Jahrhunderte das Leben im Tal. Im vierten Stock beeindrucken die Renaissance-Malereien des bekannten Maler Bartlme Dill Riemenschneider aus dem Jahr 1538. Im obersten Stock schließlich, mit beeindruckender Sicht über das ganze Tal bis Meran, gibt es eine Hörstation mit zahlreichen Sagen, die sich um die Jaufenburg ranken.
Etwas unterhalb der Jaufenburg steht die kleine Kirche zum Heiligen Kreuz, ein zierlicher spätgotischer Bau, von den Herren der Jaufenburg in Auftrag gegeben. Die Fresken stammen aus der Zeit um 1550.
Hinkommen: Vom Ortszentrum St. Leonhard zu Fuß in ca. 30 Minuten eher steil bergauf. Schmale Zufahrt auch von der Jaufenstraße.