驾起祥云，带着玉簪得意洋洋地赶赴西天瑶池，去寻牡丹仙子归还定山神针。

王母娘娘非是等闲之辈，牡丹仙子偷换玉簪她心知肚明。她想，吕洞宾借玉簪为民除害乃是好事，牡丹仙子早有思凡之心，我不如假借治她私借玉簪之罪，让她下凡去经受人间之苦，如此她才能心安理得地留在瑶池。于是王母先是假装不知道牡丹仙子偷换了玉簪，专等吕洞宾除了穿山甲来还玉簪时再做计较。

吕洞宾来到瑶池，王母正和牡丹仙子在一起说话，吕洞宾示意牡丹仙子大功告成，要她寻机会出来。牡丹仙子见吕洞宾回来，心中的一块石头落了地。

牡丹仙子正要找借口出去，王母却对牡丹仙子说道：“吕洞宾这个混子到这儿来做甚？你把他叫来，我有话问他。”牡丹仙子走到外面，吕洞宾忙把玉簪还给她，然后跟着牡丹仙子来到王母面前。

吕洞宾忙向王母施礼，王母冷笑一声说道：“你这混子，胆大妄为，竟敢来勾引牡丹仙子！”吕洞宾闻听忙道：“娘娘明鉴，小仙不敢。”王母说道：“还敢嘴硬，你刚才给她的可是定情之物？”牡丹仙子闻听大惊失色，忙向王母跪拜说道：“娘娘明鉴，那不是定情之物。”王母厉声问道：“不是定情之物，那是什么？”牡丹仙子不知如何作答，支支吾吾地说道：“这…。”

吕洞宾不慌不忙地说道：“娘娘误会了。我在民间寻到一支玉簪，看着好看便随便送与牡丹仙子了。”王母说道：“是吗？拿来我看看。”牡丹仙子无奈，站起来拿出玉簪战战兢兢地双手递与王母，王母接过来看罢说道：“这支玉簪怎和我的一模一样？”说着便把头上的玉簪也取了下来，而后将其摔落在地，厉声说道：“大胆牡丹，胆敢偷换我的玉簪！”

牡丹仙子忙跪地求饶：“娘娘恕罪，实乃事出有因。”吕洞宾也跪地说道：“娘娘息怒，小仙借娘娘玉簪乃是为民除害。下界桐柏山出了一个穿山甲为非作歹，危害山林，祸害百姓。小仙欲将其除掉，以保护山林，造福百姓。怎奈那穿山甲炼就了穿山隐遁之术，非娘娘玉簪治服不了它。娘娘圣明，请娘娘明察。”

王母闻听便把语气缓和了下来，看了看牡丹仙子说道：“既如此，何不明说，却要干这种偷偷摸摸的勾当？”吕洞宾道：“小仙怕娘娘舍不得。”王母说道：“我就那么小气么？”吕洞宾道：“是小仙多想了。”王母又说道：“你为民除害，我不怪你。但牡丹仙子在我身边多年，竟敢如此漠视我的尊严，必须严加惩治。”吕洞宾道：“看在她也是为了助小仙铲除妖怪的份上，娘娘就饶恕她吧。”王母说道：“即使如此，也不可不加惩处。看在你的份上，我将她从轻发落。从今日起，把她赶出西天，降为凡俗。”吕洞宾和牡丹仙子一起叩谢道：“谢娘娘隆恩。”

王母对外大声说道：“来啊，把牡丹扔下西天，让她投胎去吧。”两个天神应声进殿，不由分说将牡丹抬了出去，就势往下一扔。就听牡丹高呼一声“娘娘！”便沉落下去，立时不见了踪影。

吕洞宾见状不觉心生凄惨，他原想除了穿山甲以后，再找机会和王母娘娘说情，准牡丹仙子下凡，让她投胎到一个好人家，使牡丹仙子享受三世两世的荣华富贵，然后再度她升仙，举升到王母娘娘身边。不料私借玉簪之事被王母娘娘察觉，牡丹仙子被贬下凡，必将饱受人间之苦。吕洞宾暗暗说道：“牡丹仙子，对不住了。”

且说牡丹仙子被贬到人间之后，投胎到了岳阳的一户白姓人家，生做一个女儿身，名唤牡丹。

这白家有一个破烂不堪的小院，两口子曾经生养过几个孩子，但都早早夭折，眼见要四十多岁了无儿无女，突然又生得一个白白胖胖的小丫头，长得又结实，两口子自然是喜出望外。