Um 1200 erbauten die Grafen von Calw-Vaihingen auf dem bereits von den Kelten besiedelten Berg eine Burg mit Schildmauer, Bergfried und Graben. Graf Konrad von Calw-Vaihingen nannte sich ab Mitte des 13. Jahrhunderts Graf von Neuenbürg. Im 13. Jahrhundert wurde die Stadt Neuenbürg erstmals urkundlich erwähnt.

Auch das habsburgische Königshaus bekundete zu der Zeit Interesse an der strategisch günstig gelegenen Burg mit dem Kauf der Neuenbürger Burg für das Reich. Neuenbürg selbst war damals badisch. Doch schon bald sollten die Württemberger das Schloss aus Reichsbesitz übernehmen.