Bereits in der Antike war der 135m hohe Hügel befestigt, die noch erhaltenen Reste wurde vom in Córdoba residierenden Emir 912 in eine Festung verwandelt., die 1333 von Yusuf 1. erneuert und zu einer Palastfestung ausgebaut wird. 1487 eroberten Truppen der katholischen Könige Könige Isabella 1. von Kastilien und Ferdinand 3. von Aragon nach mehr als dreimonatiger Belagerung die Burg.