相传西湖边有一山为花家山，有一条溪流由此流入西湖，水边鲜花遍地，落英缤纷，花瓣随溪水流入西湖，故名曰：花港。后南宋卢允升在此修建卢园，以奇花异草而享盛名。画院的画师遂为之作画，名曰花港观鱼。
清朝初期，康熙南游，为之提名花港观鱼，并勒石立碑。在时代的变迁中，花港观鱼虽有短暂的兴盛，但大多数时间是一直荒芜着。直到1952年，公园一期工程施工， 1963年公园继续加以扩建，经过50多年不断的建设和完善，解放前占地仅2001平米的荒园，现已成为总面积达21.3公顷(319.5亩)的著名的综合性休闲文化公园。公园地处西湖西南，三面临水，一面倚山：北临西里湖，东接苏堤，南临小南湖，西倚西山。形成了以花、港、鱼为特色的新型公园。在规划中充分结合原有地形和植被，形成了鱼池古迹、大草坪、红鱼池、牡丹园、密林区、花港六大景区。
花港观鱼现有观赏植物约200 多种，除牡丹以外，以海棠和樱花为主调，以广玉兰为基调树种，各园区也有良好的主题和主景。牡丹园是全园种植构图的中心，应用树种达80余种，并以牡丹为主调，槭树为配调，针叶树为基调，在春季四五月份形成了一片雍容华贵的花的海洋。
牡丹园景区是花港观鱼的主景之一，也是整个公园立面构图的中心。牡丹园的构图，借鉴中国画的立意和意境，以牡丹为主题，配置山石和花木；高低错落，疏密得体，虽由人做，宛如天开。牡丹园总面积约为1.28公顷(19.2亩) 。其中栽植牡丹的假山区面积约为0.7公顷(10.5亩)。牡丹园的种植结合土山地形，将全园用迂回的园路划分为11个尺度合宜的小群落(参见牡丹园简图) 。牡丹亭的园路和花台利用天然的湖石，并用沿阶草作为边缘的镶嵌，自然而富有韵味。游入徜徉其中，既可以俯视牡丹的雍容些贵，又尤如置身于一副立体的国画之中，牡丹园的东南部为******观赏面。
牡丹园以牡丹为主题，并充分运用了生态学的思想和原则，结合原有现状环境，在土山上栽植牡丹。牡丹喜半阴，夏季怕晒，因此在植物配置的时候，又种植了一些遮阴树种，西北部种植很多大乔木，如玉兰、石楠、香樟、木荷等作为背景，避免了夏日强烈的太阳西晒。牡丹园的内部稀疏种植了白皮松、鸡爪槭等疏枝树种，部分遮挡了直射强光。同时考虑到避免牡丹凋零后兼条的景象，也需要配一些常绿树种。于是牡丹园打破了传统的牡丹栽植方式，结合自然山石，尺度合宜的小乔木，常绿树种，林下灌木、地被等营造出生态植物群落。牡丹园王题突出，但不单一、在植物的配置上为组合式的植物群落景观。除了在牡丹园的西北部种植了玉兰、石楠等大乔木作为背景外，牡丹园的三立面没有运用高大的乔木，主要运用的小乔木有鸡爪械、羽毛枫、白皮松、梅，以及修剪的造型对种：构骨球、黄杨球、蜀栓球、刺柏球等。花灌木有牡丹、杜鹃、芍药、迎春、南天竹，地被植物有沿阶草、口华常春藤等。牡丹园为土石山、高度为5m左右是自然山体缩景的应用。因此植物的选择以严阔舒张的树型、耐修剪的松柏类植物为主，没有高耸尖塔形的树型和大的乔木，这在形状上和尺度上都与整个牡丹园相协调，与整体环境相统一。在植物配置时为了突出景观的古朴、优雅，主要材料的选择重姿态，重风骨。如羽毛枫、鸡爪械树形优美飘逸，松柏类植物突显古拙、这与整个牡丹园的构图和国画的意境相协调，与周围点缀的山石也相呼应。牡丹园的开花灌木以牡丹为主，栽植了品种丰富的牡丹，但除了牡丹外，还栽植了芍药，杜鹃等，这样很好地延长了牡丹园的可观赏花期，色彩绚丽丰富。
同时牡丹园季相变化丰富多样，春有牡丹、杜鹃，夏有芍药，秋有鸡爪械、羽毛枫等色叶植物，加上一年四季都可观赏的松柏类植物，整个景观变化中有统一。
