Villa Merwestein werd in 1852 gebouwd, in opdracht van het echtpaar Otto Boudewijn ‘t Hooft van Benthuizen en Adriana Timmers Verhoeven, die er tot hun overlijden hebben gewoond. Ze gebruikten de villa en het landgoed als buitenplaats. ’s Winters bewoonden ze het Huis de Onbeschaamde aan de Wijnstraat, de rest van het jaar betrokken ze de villa op Merwestein.
Toen het landgoed in 1885 openbaar park werd, is besloten Villa Merwestein te verhuren, waarna er onder andere enkele burgemeesters hebben gewoond.
In 1924 is de bestemming gewijzigd. In dat jaar heeft de “Vereeniging tot Stichting van een Tehuis voor bejaarden uit den beschaafden stand” het pand van de gemeente gehuurd en is het als bejaardentehuis gaan exploiteren.
Tijdens de Tweede Wereldoorlog neemt de Duitse Wehrmacht het park in bezit. Het hoofdkwartier van de in de omgeving van Dordrecht bevelvoerende generaal wordt er gevestigd. Er worden barakken neergezet en samen met de Villa, de Parkwachterswoning en het Melkhuis vormen ze één groot militair kampement.
Op 24 oktober 1944 wordt het park gebombardeerd door de Royal Air Force. De Villa Merwestein werd totaal vernietigd.
Op de plaats waar de Villa had gestaan, is op 10 september 1952 een oorlogs- en bevrijdingsmonument onthuld, van de beeldhouwer Hans Petri.