Die erste mittelalterliche Burg der Grafschaft Zollern wurde 1267 erstmals erwähnt. Sie wurde 1423 nach fast einjähriger Belagerung durch den schwäbischen Städtebund erobert und vollständig zerstört. Grund war, daß Graf Friedrich 12. sich die schwäbischen Reichsstädte zum Feind gemacht hatte, weshalb über ihn die Reichsacht verhängt wurde. An der Belagerung waren Städte wie Augsburg, Ulm, Memmingen, Kempten, Reutlingen, Rottweil, Ravensburg und Weil der Stadt beteiligt.
Nach einem Neubau ab 1454 wurde die Burg im Dreißigjährigen Krieg von den Württembergern eingenommen und vorübergehend besetzt. Nachdem sich das Kräfteverhältnis durch den Vormarsch der Schweden bis nach Bayern zugunsten der Protestanten verschob, rüstete sich Herzog Julius Friedrich von Württemberg „die verlassenen katholischen Herrschaften zu schützen“. Acht Monate lang lag die württembergische Wagenburg vor der Festung, ohne dabei einen militärischen Erfolg verbuchen zu können. 1634 kapitulierte die Burg wegen anhaltend schlechter Versorgungslage. 1635 gelang die Rückeroberung durch einen gefälschten Brief.
Nach Kriegsende war die Burg überwiegend in habsburgischem Besitz, bevor sie während des Österreichischen Erbfolgekriegs 1744 von französischen Truppen besetzt wurde.