In het beekdal van de Vlier werd aan de oostzijde van het Haageind vóór 1383 een vierkante donjon gebouwd, die later de namen Oud Huis, Klein Kasteel en Oud Kasteel kreeg. In dezelfde periode verrees ook een watermolen op de Bakelse Aa ten noorden van het Klein Kasteel. Dit kasteel diende als residentie van de heer van Deurne, eigenaar van de heerlijkheid.