Door de eeuwen heen hebben in IJsselmonde verschillende kastelen gestaan. Al in 1072 laat de bisschop van Utrecht een veste bouwen aan de mondig van de IJssel. Dit slot heeft slechts vier jaar bestaan voordat het met de grond gelijk gemaakt werd. Op het tweede kasteel rustte ook geen zegen. Het werd in 1483 gebouwd en in 1489 verwoest.
IJsselmonde a.d. 1858 gezien vanaf de Noordkant van de Maas
Maar dan komt het kasteel dat iedereen later kent als het Kasteel van IJsselmonde. De familie De Merode (bekend van de zalmvisserij) bouwt in 1550 een kasteel aan de westkant van IJsselmonde. Ruim honderd jaar woont een lid van het De Merode geslacht in het kasteel. Tot Isabelle de Merode het familiebezit in 1664 verkoopt aan Adriean Lampsins. Die geeft, onder het mom van ‘mooi, maar ouderwets’, opdracht voor een grondige verbouwing. Zo grondig dat er eigenlijk een nieuw kasteel op dezelfde plek wordt gebouwd. Adriean wil een rechthoekig kasteel met op elke hoek een toren. Hij laat gelijktijdig ook het Koetshuis, een echte slotgracht en een mooie tuin met vijvers aanleggen. Lang heeft hij er zelf niet van kunnen genieten, want hij overleed zodra het was voltooid. Zijn weduwe verkoopt het kasteel met alle grond en titels in 1685 aan Jean de Mey, de man die het dorp IJsselmonde in 1699 het recht op een paardenmarkt bezorgde.
In 1941 werd het dorp IJsselmonde ingelijfd door Rotterdam en verloor het zijn rechten en daarmee verdween de paardenmarkt. In de jaren zeventig werd de markt in ere hersteld en is jaarlijks op de laatste woensdag van juni te beleven in Oud-IJsselmonde. Iedereen is daar van harte welkom.
Via enkele omwegen komt na de dood van De Mey het kasteel in handen van de familie Bichon. De laatste baron Bichon laat het kasteel in 1900 afbreken, pakt zijn koffers en vertrekt naar het buitenland. Het in 1679 gebouwde Koetshuis en een gedeelte van de kasteelgracht blijven behouden. Het Koetshuis doet door de jaren dienst als smederij, later als modewinkel van Theo Sijthoff en wordt na een algehele renovatie in 2004 een karaktervolle partijlocatie.