Im Bereich des Wallersteiner Felsens stand eine 1188 erstamals urkundlich erwähnte Höhenburg. 1261 kam die Burg in den Besitz der Grafen von Oettingen. Im 15. und 16. Jh. wurde sie als Residenz der Linie Oettingen-Wallerstein ausgebaut. 1648 wurde die Burg von schwedischen Truppen in Brand geschossen und anschließend gesprengt.
Heute sind von der einstmals mächtigen Anlage nur noch Teile der Unterburg mit dem Torbau erhalten.