En el siglo XIII se edificó una primera residencia señorial. Se trataba de una simple casa solariega de recinto irregular. En el transcurso de ese siglo, se emprendieron importantes obras de fortificación, en particular la edificación de tres torres del recinto que se añadieron a la torre puerta. En el interior se construyó un gran edificio residencial. El siglo XIV estuvo marcado por un importante desarrollo de las defensas del castillo. Se excavó un foso y en el muro del recinto se perforó una nueva torre puerta, con puente levadizo de flechas. En la segunda mitad del siglo, Blandy se convirtió en un modelo de fortaleza y se construyó la torre del homenaje de unos 39 metros de altura, defendida por dos puentes levadizos. El recinto se modificó con el añadido de nuevas torres y nuevas cortinas.

Entre los siglos XV y XVII, la fortaleza perdió sus funciones militares y se convirtió en un castillo residencial. Los edificios civiles se multiplicaron. A comienzos del siglo XVIII, el mariscal de Villars, propietario de Vaux-le-Vicomte, compró la tierra y el castillo de Blandy fue desmantelado y transformado en granja. Poco a poco, la fortaleza desapareció.