Der Japanische Garten wurde 1912 erstmals neben der Villa von Carl Duisberg, Aufsichtsrats- und Verwaltungsratsvorsitzender der damaligen I.G. Farbenindustrie AG auf Leverkusener Stadtgebiet angelegt. Nach einer Weltreise im Jahre 1926, auf der Duisberg auch Japan besuchte, war er von der dortigen Gartenkultur begeistert und beschloss, den Garten auf dem Gebiet erweitern zu lassen, auf dem bis 2012 das Bayer-Hochhaus stand. Seit den 1950er Jahren ist der Garten tagsüber öffentlich zugänglich.
1960 wurde der Japanische Garten etwa 250 Meter südlicher an seine heutige Stelle verlegt und liegt innerhalb einer 15.000 m² großen Gartenlandschaft auf einem Gelände des ehemaligen Bayer-Werks, das heute zum Chempark gehört. Der neue japanische Garten wurde 1961 fertiggestellt. Neben der Ortsänderung wurden zahlreiche neue Bäume gepflanzt. Das Gelände des Japanischen Gartens liegt bereits auf Kölner Stadtgebiet im Stadtteil Flittard. Es gibt drei Eingänge, einer davon befindet sich an der Kaiser-Wilhelm-Allee.
Neben Gräsern, Papyrusstauden, japanischem Goldahorn, Chrysanthemen und anderen Pflanzen sind auch Mammutbäume sowie ein Teehaus im chinesischen Stil mit japanischer Inneneinrichtung zu sehen. Darüber hinaus gibt es Teiche mit 3000 Quadratmeter Wasserfläche mit japanischen Kois und Schildkröten. Die „Mikadobrücke“ ist einer Brücke in der Tempelstadt Nikkō nachempfunden. Bronzestatuen von Buddhas, Geishas und Wasser speienden Drachen wurden 2013 wegen Metalldiebstählen im Park entfernt.
2006 kam der Japanische Garten im Wettbewerb „Deutschlands schönster Park“ unter die fünf Bestplatzierten. 2012 wurde der Park um das Gelände des abgerissenen Bayer-Hochhauses erweitert. Seit 2017 ist der Japanische Garten Teil des European Garden Heritage Network.
