Na het vertrek van het garnizoen duurde het tot oktober 1969 voor de kazernes werden gesloopt, omdat niet duidelijk was wie de eigenaar was. Uit onderzoek bleek dat de gemeente in 1862 het complex in gebruik had gegeven aan Defensie. Na opheffing van het garnizoen kon de gemeente zonder vergoeding weer over het complex beschikken.
Diverse verenigingen hebben nog een poging gewaagd om een zaaltje in het complex te bemachtigen en burgemeester Van Rappard stelde voor om er een kunstacademie te vestigen. Maar inmiddels was de jeugd al begonnen met de voortijdige sloop. Enkele objecten zijn elders bewaard gebleven (zie Citadelkazerne en Gerrit Boldingh). Het enige dat in Gorinchem bewaard is gebleven, is de poort naar de Struisvogelstraat.