第二天，即墨縣有個姓藍的人，到下清宮游覽，看見那株白牡丹，很是喜歡，竟把它挖出來移走了。黃生這才明白香玉原來是花精，于是悵恨惋惜不止。
這樣過了幾天，黃生聽說姓藍的把白牡丹花移到家后，花一天天枯萎了。黃生感到非常痛心遺憾，于是作了五十首哭花詩，天天到白牡丹花坑那里痛哭。
一天，黃生悼念香玉剛回來，遠遠看見穿紅衣服的絳雪也去花坑旁邊哭。于是，黃生便慢慢地走近她，絳雪也不躲避。黃生握著她的衣袖，兩人相對流淚。過了一會兒，黃生拉著絳雪，請她到屋里，絳雪也跟他去了。絳雪感嘆地說：“從小的姐妹，就這么分離了！聽說你很悲傷，更增加了我的悲痛。眼淚流入九泉，或許她能被誠意所感動而復活。但是死者神氣已散，一時怎么能再和我們倆一起相聚談笑呢?！秉S生說：“只怨我命薄，妨害了情人，大概也是我沒有福氣消受兩個美人吧。以前我多次托香玉傳達心意，為什么你不來？”絳雪說：“我以為少年書生，十個有九個薄情，不知道你原來是最鐘情之人。但是，我和你交往，主要是憑感情。若是整天親熱，那我是不能做到的?！闭f完，便告別要走。黃生說：“香玉已經長期離開了我，叫人睡不好覺，吃不下飯。全靠你稍微留一會兒，來寬慰我這思念的情懷，你為什么這樣對我無情呢！”絳雪聽后便留下來，過了一夜才離開，之后好幾天沒有再來。
在一個凄涼的雨夜，黃生對著幽暗的窗戶，苦苦思念香玉，在床上輾轉反側，眼淚凝聚在枕席上。由于睡不著，便起來穿上衣服，點上燈，按照前韻又寫了一首詩：
山院黃昏雨，垂簾坐小窗。
相思人不見，中夜淚雙雙。
詩寫成后，便自己吟誦起來。忽然，窗外有人說：“作詩不能沒有應和的?！甭犅曇?，好像是絳雪。黃生于是急忙開開門讓她進來。絳雪看了詩，立刻在后面續了一首：
聯袂人何處？孤燈照晚窗。
空山人一個，對影自成雙。
黃生讀了這首詩，又流下眼淚，同時埋怨和絳雪相見的次數太少了。絳雪說：“我不能像香玉那樣與你親熱，只是可以稍微解除你的寂寞罷了?！秉S生想和她再親昵一番。絳雪說：“相見的歡樂何必非在這個呢？”從這以后，每當到了黃生寂寞無聊的時候，絳雪就到來。來到以后，就和黃生飲酒對詩，有時不睡覺就走了，黃生也聽任她自便。黃生對她說：“香玉是我的愛妻，絳雪是我的好友啊?！?
黃生常常問絳雪：“你是院中的第幾株花？請早點告訴我，我將你抱著移栽到家中，免得像香玉那樣被惡人奪去，遺恨百年?！苯{雪說：“故土難離，告訴你也沒有用處。妻子還不能始終跟著你，何況朋友呢？”黃生不聽，拉著她的手臂走出去，每到一株牡丹下邊，就問：“這是你嗎？”絳雪不回答，只是捂著嘴笑他。
不久就到了臘月底，黃生要回家過年了。到了二月間，黃生忽然夢見絳雪到來，悲傷地說：“我有大難！你急速趕去還能相見，晚了就來不及了?！秉S生醒來后，覺得很奇怪，便急忙叫仆人備馬，星夜奔馳趕到山里。
黃生來到廟里一看，原來是道士要建房屋，有一棵耐冬樹，由于妨礙施工，工匠于是決定把這棵樹給砍了。黃生急忙阻止了他們。
到了晚上，絳雪前來道謝。黃生笑著說：“以前你不如實告訴我，難怪要遭到這樣的災難！現在我已經知道你了，如果你不來，我就用艾草點著烤你?！苯{雪說：“我本來就知道你會這樣，所以從前不敢告訴你?！弊艘粫海S生說：“現在面對好友，更加思念美妻。我很久沒有祭奠香玉了，你能跟我一起去祭奠她嗎？”兩人便來到白牡丹花的坑穴前痛哭流淚。一更將盡，絳雪收住眼淚，勸黃生不要再哭了。
又過了幾個晚上，黃生正在寂寞地坐著，絳雪笑著走進來，說：“報告你一個喜訊：花神被你的真情所感動，使香玉又降生在廟中了?！秉S生急忙問道：“什么時候？”絳雪回答說：“不知道，大概不會太遠了。”天亮以后，絳雪下床要走了，黃生囑咐她說：“我是特地為你來的，請你不要長時間叫我孤獨寂寞。”絳雪笑著答應了。
一連過了兩個晚上，絳雪都沒有來。黃生便去抱著耐冬樹，搖動撫摸，不停地呼喚絳雪，但是沒有回聲。黃生只能回到屋里，對著燈搓艾草，要去烤樹。這時，絳雪突然走進來，奪過艾草扔在一邊，說：“你胡鬧，真要把我燒傷呀？再這樣我就和你絕交了！”黃生笑著擁抱她。但還沒有坐穩，香玉就輕盈地走進來。黃生看見她，眼淚一下子就淌了下來，急忙起來握住她的手。香玉用另一只手握住絳雪，三個人相對悲泣。等坐下后，黃生握著香玉的那只手感覺很空虛，就像自己握著拳一樣，便吃驚地問她這是怎么回事。香玉流著淚說：“從前我是花的神，所以形固；如今我是花的鬼，所以形虛?，F在我們雖然相聚，不要以為是真的，只可以當作睡夢中相見罷了?！苯{雪說：“妹妹來了太好了！我被你家的男人糾纏死了。”于是她告別走了。
香玉還像從前一樣地歡喜談笑，但是兩人偎在一起的時候，黃生感到空蕩蕩的，好像只靠著一個影子。于是開始悶悶不樂，香玉也唉聲嘆氣地怨恨自己。最后對黃生說：“你用白蘞草的藥末，少加點硫黃兌水，每天給我灑上一杯，明年的今日，我就可以報答你的恩情了。”于是告別而去。
第二天，黃生到花坑去看，白牡丹又發出芽來了。于是便按照香玉所說的，每天加緊培灌，又做了柵欄來保護她。
香玉來了，非常感激黃生。黃生打算把她移植到自己家里。香玉卻不同意，她說：“我體質很弱，受不了再次被戕害。況且任何東西生長都各有一定的地方，我這次來原就不打算生在你家，違背了天意反而會減壽。只要你憐愛我，將來我們自然有和好的一天。”黃生埋怨絳雪不常來。香玉說：“如果一定要讓她來的話，我倒有辦法?！毕阌癖愫忘S生挑著燈來到耐冬樹下，然后摘了一根草，用手量量做成一把尺子，又用這把尺來量樹干，從下往上，到四尺六寸的地方，便用手按住，然后叫黃生用兩只手一齊去撓。一會兒，絳雪從背后出來，笑著罵道：“你這丫頭來助紂為虐呀！”于是互相拉著手，一起進到屋里。香玉說：“姐姐不要見怪！暫時勞你陪侍黃郎，一年以后就不再打擾你了?！睆拇?，絳雪經常來看黃生。
黃生再看那花芽，一天比一天長得肥壯茂盛，春天過去時，已經長到二尺多高。黃生回家后，便留下銀子給道士，囑咐他早晚好好培育那棵花。
到了第二年四月，黃生來到廟里，看見白牡丹長出一朵花，含苞未放。正當黃生在花前流連忘返的時候，那花蕾搖晃著似乎要開，果然不一會兒就開放了，像盤子那么大，好像有個小美人坐在花蕊中間，才三四指那么高；轉眼間飄飄然下來，就是香玉。香玉笑著說：“我忍受著風雨等待你，你為什么來得這么晚？”于是雙雙走進屋里。這時，絳雪也來了，笑著說：“天天代替別人做妻子，現在總算有幸退為朋友了?！苯又鴶[上酒宴談笑。到了半夜，絳雪便走了。黃生、香玉二人睡下，和從前一樣歡愉融洽。
后來，黃生的妻子死了，黃生于是就入山不再回家了。這時，牡丹已長得像手臂那么粗了。黃生常常指著牡丹說：“我死后一定把魂魄寄托在這里，長在你的身旁?！毕阌?、絳雪微笑著說：“你不要忘記自己的話。”
十多年以后，黃生忽然得了重病。他的兒子來了，對著他悲哀哭泣。他笑著說：“這是我生的日子，不是死的日子，為什么要悲哀呢！”他對道士說：“將來牡丹下面會有一株紅色的花芽怒放，長出五片葉子，那就是我?！庇谑遣辉僬f話。兒子用車把他拉回家就死了。
第二年，果然在牡丹下面有個粗壯的芽長出來，葉子正如黃生所說的五片。道士覺得很奇怪，于是更加注意澆灌它。三年后，便長到幾尺高，有兩只手合圍那么粗，但是一直不開花。老道士死后，他的徒弟不知道愛惜，竟把它砍掉了。之后，白牡丹也逐漸枯死。不久，耐冬樹也枯死了。
異史氏說：“感情達到了極點，鬼神可以相通。香玉死后為‘花之鬼’，仍相從黃生，而黃生死后魂依香玉之側，這不是結成了深厚感情嗎？黃生死后變成不開花的牡丹，被小道士砍去，牡丹和耐冬相繼殉情而死，即使不是堅貞，也是為情而死。人不能操守，也是其感情不深厚。孔子讀了《唐棣》這首詩時，說道：‘如有至情，就能堅貞相愛。’現在我也相信了！”