1027 ließ er eine starke Festung, sowie 1059 eine Abtei für Frauen und eine für Männer errichten, in der er auch begraben wurde. Während der Hugenottenkriege 1562 wurde sein Grab zerstört und seine Gebeine gingen verloren. Er ließ die Klöster nicht etwa aus Frömmigkeit erbauen, sondern um nach seiner vom Papst missbilligten Hochzeit mit seiner Cousine Mathilde Sühne zu leisten.