牡丹由药用而至观赏栽培，经过了漫长岁月。但早期的驯化栽培究竟始于何时，无从查考，这是由于秦以前牡丹、芍药不分，统称芍药，而芍药在《山海经》、《诗经》中已经提到，距今约3000年。另宋·虞汝明《古琴疏》记载：“帝相元年，条谷贡桐、芍药，帝令羿植桐于云和，令武罗伯植芍药于后苑。”帝相为夏代第五个君王，约公元前1936年至前1909年在位，居帝丘（今河南濮阳西南）。羿又称后羿，是夏代有穷部落的君长。帝相元年即有芍药植于后苑，距今将近4000年。这虽然是一个传说，却有相当的可信度，不过我们仍然不能据此将牡丹栽培起源的历史与芍药等同。因为牡丹花朵大，又具芳香，林区附近的农民群众常常从山林中挖到庭院栽植，这种原始的引种与人工驯化方式应当起源更早，只不过没有记载而已。由此推断，早期的牡丹药用与观赏栽培，距今3000年左右是有可能的。另外，河北柏乡县有汉牡丹的传说，中原第一批观赏牡丹品种又源于河北易县，所以在历史上太行山植被未被破坏时，这一带有野生牡丹分布的可能性极大。
关于牡丹观赏栽培之有据可查的，是宋·余仁中《顾虎头列女传》中有画面描绘了庭院中栽植的木芍药，顾虎头即东晋大画家顾恺之，公元344—405年在世，可见牡丹的观赏栽培至今已有1600年左右。至于牡丹栽培品种的出现，则自隋始。