Zolang het kasteel bestaat zijn er smakelijke verhalen over onderaardse gangen. Deze zouden tot de Grote Kerk, het voormalige klooster (nu casino) buiten de stadsmuur en tot zelfs tot aan kasteel Bouvigne lopen. Nimmer zijn er aantoonbare bewijzen geweest. Het kan ook moeilijk, want deze gangen zouden dan waterdicht onder de grachten hebben moet lopen, wat in die dagen niet uitvoerbaar was. Onderaardse vluchtgangen zijn ook meer voor kastelen op droge gronden met waterloze vestinggrachten.
Wel zijn er binnen het kasteelcomplex gangen op kelderniveau die bij hoog water van de Mark gedeeltelijk onderlopen.
De meest markante is de gang die van uit de 2e verdedigingsgordel naar het bastion van het Blokhuis in de 3e verdedigingsgordel loopt t.b.v. bevoorrading van het geschut in de kelder (schootsveld over water) en 1e verdieping . (schootsveld over land) Het dubbelkelder gewelf onder de Rekenkamer was een verborgen bergplaats voor schuiten t.b.v. de bevoorrading. Hier stond water in en was direct verbonden met de slotgracht. Door puin ligt deze nu nagenoeg droog.
Het keldergewelf onder het Blokhuis (links) en onder de Rekenkamer.
Op maaiveldhoogte liepen er gangen onder de aarden wal naar de geschutstorens toe. De torens zelf (nu toepasselijk een kapel) zijn gewelfd met een groot gat in het plafond voor transport van kanonskogels en buskruit.
Het kasteel zelf is geheel onderkelderd en wil nog wel eens onder water staan.
Een gewelfde gang naar de Duiventoren/Granaattoren en een gang onder het Kasteel