Au IXe siècle, lorsque le comte Beaudouin a fait édifier des éléments défensifs pour empêcher l'invasion vikings, ce qui sera plus tard le château des Comtes de Flandres n'était alors qu'une série de fortifications en bois.

Evidemment, ce n'est pas dans un bâtiment en l'état que les Comtes de Flandres posèrent leurs valises. Ils attendirent 1180, et la construction du château actuel avec son donjon de 33 mètres de haut, pour s'installer et une fois dans la place, ils y restèrent jusqu'au XIVe siècle.
A cette époque, c'est le Prinsenhof plus confortable et avec de grands jardins qui a leur faveur. Devenu, en partie, filature de coton, le château échappa de peu à la démolition à la fin du XIXe siècle grâce à l'intervention du baron de Maere qui mit tout en oeuvre pour protéger l'un des plus beaux châteaux médiévaux de Belgique.

Acheté par la ville de Gand en 1885, le château a fait l'objet d'une campagne de rénovation, rendant au donjon et aux fortifications leur taille originelle.
De nos jours, sa visite permet de découvrir une salle de torture, une crypte, le donjon, l'étable, les pièces résidentielles des Comtes ainsi qu'une collection d'objets d'époque comme des armes et des armures.