Als Besonderheit gelten die Berberaffen, die auf dem Felsen leben. Sie sind die einzigen wildlebende nichtmenschliche Affen in Europa. Sie wurden während der arabischen Herrschaft 71 bis 1492 eingeführt. Eine Legende besagt, daß, die britische Herrschaft in Gibraltar beendet sei, sobald der letzte Affe den Felsen verlassen hätte. Hintergrund dieser Legende ist eine Geschichte aus der Zeit der Belagerung Gibraltars von 1779 bis 1783, als die Engländer von den Tieren vor einem Nachtangriff der Spanier und Franzosen gewarnt worden seien. Der britische Premierminister Winston Churchill ließ Berberaffen aus Marokko importieren, um den wegen Inzucht kränkelnden Affenstamm wieder zu stärken und hatte damit Erfolg.