Het Gravenkasteel vervangt een eerste kasteel, gebouwd op de “Mont-à-Leux”-heuvel, eigendom van Rogier de Ramées rond 1300, dat door een bretoens hertog, Jan III genaamd, tussen 1315 en 1340 tijdens de algemene oorlogen verwoest werd.
De heren van Moeskroen, in 1627 verheven tot graafschap, bewonen het nog amper, uitgezonderd de laatsten de la Barre (1332-1592) diedie het versterkten en de Liedekerke (1592-1645) die het opkalefaterden in de toestand dat door Sanderus in 1641 werd opgetekend; voor de Basta’s (1645-1682) en de d’Ennetières (1682-1795-1875) betekende het nooit meer dan een voet aan wal tot op het einde van het “ancien régime”, door een deel van het interieur in te richten in Lodewijk XV stijl en door aan de vensters van de Lodewijk XVI dwarsleggers te voorzien.
