Kasteel Frisselstein, ook bekend als Huis Veghel, werd rond 1425 gebouwd door Godefridus van Erp, die het ‘Frisselstein’noemde, wat ‘kasteel van Frissen’ betekent.

Het kasteel speelde een rol in de verdediging van de regio en bewaakte het handelsverkeer over de rivier de Aa. Van 1566 tot 1639 fungeerde het als zetel van de heerlijkheid Erp en Veghel.

In de loop der tijd onderging Frisselstein diverse verbouwingen, vooral in de 18e eeuw, waardoor het middeleeuwse karakter veranderde. In 1808 werd het kasteel verkocht en kort daarna afgebroken.

Tegenwoordig herinnert de Frisselsteinstraat in Veghel aan het voormalige kasteel. Tijdens archeologische opgravingen in 2002 zijn de contouren van het kasteel blootgelegd, wat bijdraagt aan het behoud van dit stukje Veghelse geschiedenis.