Die wohl Ende des 12. Jahrhunderts von Erzbischof Konrad von Wittelsbach erbaute Burg (“Altes Schloß”) steht auf Lößboden und war - ebenso ungewöhnlich - nach Süden ausgerichtet. Sie wurde 1227 und 1230 als “Castrum Waldenberc” bzw. “Waleberc” zweimal urkundlich erwähnt.Zuerst vermutete man, die Burg sei Sitz der Kleinwallstädter Adelsfamilie der Focke gewesen. Als Burgherr kommt aber ab 1183 eher der damals neue Aschaffenburger Vizedom Konrad in Frage.Die Burg diente dem Mainzer Bistum als Bollwerk und Stützpunkt, um den staufischen Gegnern, die grossen Einfluß im südwestlichen Spessart hatten (was den Mainzern missfiel), die Grenzen aufzusteigen. Nachdem sich die Mainzer Erzbischöfe im späten 13. Jahrhundert gegen die Grafen von Rieneck durchgesetzt hatten, verlor die Burg ihren strategischen Wert und wurde aufgegeben.Auf der ältesten Spessart-Karte, der Pfinzig-Karte von 1594, ist die Waldenburg nicht mehr eingezeichnet und als vom Wald überwucherter Burgstall dargestellt.Aus den heute noch vorhandenen Mauerresten lassen sich nur mit sehr viel Phantasie und Fachkenntnis die ursprünglichen Ausmasse der Burg erahnen.