Edificio especialmente bien conservado desde la segunda mitad del siglo XII, el castillo de Nemours ha salido indemne de varios proyectos de demolición.

En su origen, constituía la parte central del dispositivo de defensa de la ciudad medieval. Fue transformado en el siglo XV por el duque de Armagnac y, después, en el siglo XVII, por el duque de Orleáns.

Por último, a comienzos del siglo XX, un grupo de artistas locales reunidos en torno al escultor Justin-Chrysostome Sanson (1833 – 1910) emprendió la restauración del antiguo castillo.