但随着时间的推移，乾隆对小玉兰的思念之情，也许说是对她的下落之谜成了难了的心病。第二年，他还是决定按照当年之约下了江南。

天子移驾，惊扰的百官，倒霉的是百姓。朝中的忠直之士纷纷上书劝谏，希望皇上体恤民生，收回成命。但这一次，以往从谏如流的乾隆显得非常固执，一一驳回了奏本。很快，关于皇上下江南真实目的传言流进了朝臣的耳朵：乾隆南下是为了秘密布置对天地会的撤底剿灭，安抚江南士子。这事关国本的原则问题，没有人再敢表达反对的意见。

但这一次南巡，依旧令乾隆失望，没有找到任何小玉兰下落的线索。四布的眼线否认了广泰班的人与小玉兰有任何的接触。乾隆甚至在扬州征召了江南大部分出名戏班，也没有听到熟悉的曲牌。

乾隆并没有就此放弃，之后又有第二次，第三次的江南之旅，但小玉兰如同一缕淡淡散去的清烟，只存留在乾隆的记忆里。

又是几年过去，崇庆皇太后告诉乾隆，自己有时在深夜会突然惊醒，听到宫外传来如歌如泣的唱腔，正是小玉兰曾经唱过的《石头记》里的曲牌，皇太后的意思非常委婉，是在劝乾隆小玉兰恐怕已经不在人世了。

有一年的中秋晚上，乾隆，太后与嫔妃们上景山赏月。那一次乾隆心情不错，酒多喝了几杯，被凉风一吹，有了几分醉意，就倚靠在椅子上打了个盹。

半梦半醒之中，乾隆隐隐听到了十分熟悉却又很多年没有听到的唱腔。空灵，忧怨又有几分的无奈。而整个山中的树木，都像是为这曲调伴奏，乐音围着凉亭久久不散。

乾隆一下清醒了不少，站起身，手扶着凉亭的围栏，向外张望，可除了晃动不止的巨大树冠，又那里有一个人影？

乾隆不得不接受了小玉兰已经辞世的现实，命人做了个灵位，就摆在当年小玉兰住过的小院里，每到年节便来祭拜一下。

而乾隆的思念之情，不久就化为了对当年还叫善保的儿子的关注。也许是善保的血统所赐，他很小就体现出了方人的本事。三岁那年，名义上的母亲因难产而死，给他留下了个刚出世的弟弟。