Při přechodu obchodní cesty přes Labe vznikla tvrz, později přestavěná na gotický hrad. V roce 1547 panství propadlo české královské komoře za účast majitele ve stavovském povstání. Habsburkové Ferdinand I. a Maxmilián II. ho využívali jako lovecké sídlo a pozvali italské mistry (M. Borgorelli, P. della Stella, E. Vaccani, U. Aostalli, G. Gargiolli, A. Brocca, G. M. Filippi) k přestavbě, výzdobě sgrafity i úpravě zahrady (založena za Ferdinanda I. v roce 1563).

Proměny v běhu času
Rudolf II. si Brandýs zamiloval natolik, že ho využíval jako hlavní mimopražské sídlo, k němuž patřil lovecký revír s bílými jeleny. Zval sem významné návštěvníky (např. T. de Brahe, T. Hájek z Hájku, královská poselstva), opakovaně sem ujel z Prahy před morovou epidemií. Zde zřejmě domlouval i nechvalně známé tažení pasovských žoldnéřů do Čech. Za jeho vlády vznikla krásná zahrada s letohrádky, kašnami, míčovnou či terasou. V roce 1602 byla dokončena krytá mostová chodba přes příkop do dolní části zahrady, dlouhá 80 m, které se říká Rudolfinka. Podle legend tudy chodil za krásnou mlynářkou z podhradí. V zahradě byly pěstovány ovocné stromy i exotické dřeviny - olivy, cedry. Zahrada byla zničena už v roce 1639, během třicetileté války byl poškozen i zámek. V roce 1640 zde švédské vojsko generála Bannera vybudovalo obranný systém, při kterém byl terén zahrady velmi změněn a stavby zbořeny. Zachovala se pouze pozdně renesanční zeď terasy se schodišti, kašnou a balustrádou. Zámek patřil Habsburkům až do roku 1918, odtud vyjížděli ke korunovaci do Prahy Karel VI., Marie Terezie i Ferdinand V. Na zámku v letech 1735 - 1740 proběhly barokní úpravy, pracovali zde významní architekti K. I. Dientzenhofer a F. M. Kaňka. Praktický Josef II. dal na zámku zřídit byty pro vysloužilé důstojníky. Za napoleonských válek zde sídlil hlavní stan císaře Františka I., jednal tu s ruským carem a pruským králem před bitvou u Lipska. Od roku 1860 patřil objekt toskánské větvi Habsburků, z nichž Ludvík Salvátor proslul coby významný cestovatel a vědec, jehož přírodovědné sbírky skončily většinou v Národním muzeu v Praze. Posledním majitelem byl do roku 1918 císař Karel I., který v Brandýse sloužil v mládí jako důstojník a v roce 1911 bydlel na zámku s manželkou Zitou. V roce 1918 zámek vyvlastnil československý stát a dlouho sloužil Ústavu pro hospodářskou úpravu lesů. V letech 1937-44 byla částečně restaurována sgrafitová výzdoba.

Oko potěší i zahrada
V roce 1967 byla provedena náznaková rekonstrukce zahrady podle její původní dispozice - sad (štěpnice) vpravo od aleje, vlevo zahradní části směrem k Rudolfince. Celkově je zahrada oproti původním rozměrům zmenšena. Také původní obora navazující na zahradu zanikla. V roce 1984 byla zahrada rekonstruována podle návrhu A. Beneše. V roce 1995 zámek se zahradou převzalo město Brandýs nad Labem - Stará Boleslav, které se stará o jeho rekonstrukci a turistickou expozici. V roce 2006 byla zahájena oprava Rudolfinky, při které byly nalezeny zbytky renesančního i barokního krovu a sgrafita v části přiléhající k zámku. Park není příliš bohatý na zajímavé dřeviny, ale oko jistě potěší kultivary cypřišků, borovice vejmutovky, douglasky, magnólie, staré tisy. Pravidelné obrazce tvoří stříhaný ptačí zob, rybíz alpínský, babyka a habr. Ve štěpnici rostou různé ovocné stromy. Zahrada je volnou součástí naučné stezky „Krajinou Rudolfa II.“ spojující Brandýs, Lysou nad Labem a Benátky nad Jizerou. Všechna tři panství byla na přelomu 16. a 17. století majetkem císaře, součástí tzv. komorního panství.

Reprezentační sály, nádvoří i zahrada v plném lesku žijí od jara do konce podzimu. Nabízejí mj. koncerty komorní hudby, v zámecké kapli si lze říci „ano“ do dalších let života. Císařský a královský zámek Brandýs nad Labem je významnou renesanční památkou. Díky postupné rozsáhlé rekonstrukci má co nabídnout. Současné víkendové prohlídky začínají každou celou hodinu, poslední v 16.00 hod. To vše v centru středočeského Brandýsa nad Labem – Staré Boleslavi, v brandýsské části města nedaleko Masarykova náměstí, na břehu řeky Labe. Česká lidová říkanka Hopsa hejsa do Brandejsa může být s návštěvou zámku příjemnou pozvánkou na výlet.