Waterpoort Den Boom is gebouwd als onderdeel van de vesting en diende als toegang en afsluiting van de Binnenhaven. In 1399 spreekt de Stads Rekening over ‘Der poerte aen den boem’. Door verzanding van de (Buiten)Dieze buiten de stadspoorten in het noorden van de stad ondervond de scheepvaart veel hinder. Men kwam tot het besluit om de stroom en de toegang tot de haven te verleggen. In 1448 werd een nieuwe waterpoort opgericht. Van een aantal plattegronden en aanzichten van de stad is de vorm ervan bekend. De waterpoort werd geflankeerd door twee hoge torens, met elkaar verbonden door een stenen brug. Die was zo hoog dat schepen hun mast niet hoefden te strijken om er onderdoor te kunnen varen. De haveningang kon tussen de twee torens worden afgesloten met een zware, drijvende mastboom. Vandaar de namen De Boom, Boombrug en Boomtoren.

In 1591 werden de beide spitsen afgebroken en de torens zelf verlaagd. Toen de Dommel in 1877-1880 rechtgetrokken werd, is ook de aansluiting met de Zuid-Willemsvaart verbreed. Daardoor moesten de oostelijke toren van de waterpoort én een bastion van de Citadel afgebroken worden. Bij de waterpoort stond ook een wachthuis, de Wacht aan de Boom. Bij archeologisch onderzoek in 1995 kwamen de fundamenten van de waterpoort tevoorschijn. De poort had torens met een hoefijzervormige plattegrond en bleek tussen 1350 en 1400 te zijn gebouw

In de Tachtigjarige Oorlog werd de stad regelmatig bedreigd door o.a. prins Maurits. In het Twaalfjarig Bestand kreeg Ingenieur Jan van der Weeghen onder andere de opdracht een ontwerp te maken voor de verdere versterking van de vesting in de vorm van de bastionnering van de stad. Met de bouw van vijfhoekige uitstekende bastions kon de stad goed met strijkvuur worden verdedigd. Er waren dan geen dode hoeken meer. Het bastion dat hier heeft gelegen en oorspronkelijk werd genoemd naar de naam Grobbendonck, commandant van de vesting is in 1614 gebouwd. Later (na 1629) werd hier een oliemolen gebouwd en kreeg het de naam Bastion Oliemolen. De watermolen werd eind 19e eeuw (1890), zoals zoveel andere molens afgebroken.