Kasteel Croy dateert uit de 15e eeuw en is gelegen op Landgoed Croy, dat zich uitstrekt over Aarle-Rixtel en Stiphout. Het oudste deel van het kasteel is de noord-zuidvleugel met een ronde hoektoren, gebouwd in het midden van de 15e eeuw. In 1477 werd het kasteel gekocht door Jacob van Croy, een lid van de Bourgondische hofadel. In 1494 werd het kasteel uitgebreid tot de huidige omvang.

In de loop der eeuwen heeft het kasteel verschillende eigenaren gehad. De laatste particuliere eigenaar was Freule Johanna van der Brugghen, die het kasteel in 1868 bij testament naliet aan de ‘armen van Stiphout en Aarle-Rixtel’. Onder beheer van de Stichting ‘Geloof, Hoop en Liefde’ werd het kasteel daarna ruim honderd jaar gebruikt als verzorgingshuis.

Kasteel Croy heeft een unieke architectuur die doet denken aan de Neder-Rijnse baksteenstijl, wat zeldzaam is in Brabant. Het kasteel bestaat uit meerdere vleugels en torens, waaronder een ronde hoektoren en een achtkantige toren. De voorpoort met twee hoektorens dateert uit circa 1500.