大元至正年间，大都城北的斜街口有一间破败的酒楼，名叫归雁楼。酒楼门楣上的匾额已经倾斜了大半，字的半边被风吹雨打剥落了，远远看去像是寻雁楼。楼下是间门面，楼上三四间厢房，后院还有一口旧井和一间塌了半边的厨房。这酒楼已经空了七八年，无人敢来接手，只因传闻这里闹鬼——每到夜深人静时，楼上会传来杯盏碰撞的声响和女人低低的哭泣声，附近住了多年的老人说，那是归雁楼原来的女掌柜柳三娘的阴魂，当年她被人害死在这楼中，至今冤魂不散，不肯离去。
这年初冬，斜街口来了一个潦倒的书生，姓吴名焕之，字照尘，今年二十五岁，原是江南湖州人氏。他家中本有些薄产，父亲吴文远做过一任县尉，因得罪了贪官被弹劾罢官，回乡后不到三年就病故了。吴焕之变卖家产北上大都投奔舅舅，到了之后才发现舅舅已经搬走了，不知去向。盘缠用尽后，他流落街头，在斜街口的一家面摊上饿了两天，摊主是个姓刘的老汉，看他可怜，便指了那间空着的归雁楼说：那酒楼空了好多年了，房东是个姓郑的老头，你若不怕闹鬼，去跟他说说，出些微租金就能住。总比冻死街头强。吴焕之走投无路，只得硬着头皮去敲了郑老头的门。郑老头是个七旬老翁，耳背腿瘸，收了他两百文钱便甩给他一串钥匙，只说了一句：楼上厢房别去，其余地方随便住。便关了门。
吴焕之搬进归雁楼时，天色已近黄昏。他推开门面进去，一股浓重的灰尘味扑面而来。柜台上的酒坛子空了大半，落满了灰，几把断腿的椅子斜靠着墙，地上散落着些碎瓷片。他上了二楼，推开临街的一间厢房，里面有张木板床和一张歪脚的方桌，床板缝里长了青苔，桌上还放着一只空酒壶和一只倒扣的酒杯。吴焕之将床板擦干净，铺上自己仅有的一床薄被，又去后院打了桶井水来擦了桌椅，折腾到月亮上来才安顿下来。他坐在桌前就着一根残烛啃了半个炊饼，正要吹灯躺下时，忽然听见隔壁的厢房传来一声轻响，像是一只酒杯被人轻轻放落在木桌上。吴焕之竖起耳朵听了一会儿，什么也没有了。他以为是自己听错了，吹了灯便躺下了。
那一夜他睡得不踏实。半梦半醒间，他隐约听见有人在一楼走动，步子极轻，像是赤脚踩在木地板上。他翻了个身想继续睡，那脚步声却停在了他的厢房门口，然后门缝下面透进来一线极其黯淡的青白色微光，像是有人提着一盏极小的灯站在门外。吴焕之屏住呼吸，一动不动地盯着门缝看。片刻之后，那线光消失了，脚步声又缓缓地朝楼梯口移去，然后便彻底没有了声响。吴焕之这才松了绷紧的脊背，后背已经被冷汗浸透了一大片。
次日清晨吴焕之便去郑老头家中，想问问这酒楼从前的事。郑老头坐在院中的藤椅上晒太阳，被他问得烦了，才含糊地说了一句：那酒楼原来的掌柜姓柳，是个寡妇，人称柳三娘，做得一手好菜，楼里常有些官面上的客人来吃酒。后来不知怎的，她忽然不见了，有人说是跟人跑了，有人说是遇了匪。然后酒楼就关了，一直空到今天。其他的你别问，我也不晓得。吴焕之见郑老头神色闪烁，知道他不肯多说，便不再追问。
回到酒楼后，吴焕之在一楼柜台后面的角落拾掇时，忽然踢到了什么硬物。他弯腰扒开浮土和碎瓷片，从墙角根下捡起了一块拇指大小的石头。那石头通体乌黑，温润如玉，形状像是半边鸡蛋，断面平滑如镜，握在手心冰凉沁骨。最奇的是石头的一面隐隐约约有一圈极浅的纹路，像是什么字，被磨得快要看不清了。吴焕之凑到窗口的日光下细看，那纹路像是二字，又不太像，笔画模糊得很。他将石头揣进袖中，没有太过在意，继续收拾屋子去了。
当晚他坐在二楼的厢房中吃饭，袖中的那块石头忽然微微发烫。吴焕之掏出来放在桌上，石头在烛光下泛着一层深黑色的润光，触手温热，像是活了过来。他鬼使神差地将石头贴在额头上，闭目凝神，刹那间一阵眩晕袭来，他的脑中涌进了一片不属于他记忆的画面——他看见这间厢房中坐着一个身穿水绿衫子的女子，约莫三十岁年纪，生得眉眼盈盈，正对着一桌子丰盛的酒菜劝对面的两个官人多吃些。那两个官人一胖一瘦，胖的面皮白净，穿着蓝色团花锦袍，腰悬玉佩；瘦的留着两撇鼠须，穿着茶褐色的直裰，手中转着一对核桃。那女子举杯笑道：宋大人、陆大人，难得二位赏光，今儿这坛子酒是陈了三年的竹叶青，二位多饮几杯。画面一转，酒过三巡，那个姓宋的胖官人忽然将酒杯往桌上一顿，面色阴沉下来：柳三娘，那批货的事，你到底是应还是不应？柳三娘的笑容凝在脸上，手中的酒杯轻轻晃了一下：宋大人，那批货是我替别人代管的，我做不了主。姓陆的瘦官人冷笑着凑近了一步：你做得主。你开了这间酒楼，每日里迎来送往，藏些东西不是方便得很？别敬酒不吃吃罚酒。后面的画面开始变得支离破碎，杯盏落地碎裂的声音、女子的惊呼声、桌椅翻倒的声响、然后是沉闷的一声响，像是有人重重摔在了地板上，一切都归于寂静。吴焕之猛地睁开眼，石头从他掌中滑落，在桌面上滴溜溜转了半圈才停下来。他大口喘着气，额头上的冷汗顺着鼻梁淌了下来。
他方才看到的，分明是这间厢房多年以前发生过的事。那块石头让他了过去的回响。吴焕之握着那块石头的手还在微微发抖，他定了定神，又将石头贴在额头上，默念着柳三娘三个字。这一次他又看到了更多——那位绿衫女子孤身站在后院的井边，手中紧紧攥着一封信，月光照在她脸上，两行清泪无声地淌下来。信的落款处隐约有一个朱红的官印，像是某个衙门的大印。她对着那封信看了很久，然后将其塞进井边一块松动的青砖下面，转身回了楼中。再后面的画面就断了，只剩一片漆黑。
吴焕之等心跳平复后，拿着石头去了后院。他借着月光找到了井边那块松动的青砖，撬开一看，下面果然压着一封发黄的信，信封上沾满了湿泥，但字迹依稀可辨——户部郎中宋文清 亲启。吴焕之拆开信来读，信是柳三娘写给一位刘大人的，说她替宋文清和陆子明二人私藏了一批物资，本以为是商货，后来才发现是军需粮草被私吞转卖的证据。她不敢声张，又怕自己被灭口，便将证据藏在了酒楼的地窖中，请求刘大人派人来取。信的末尾写着：若妾有何不测，地窖入口在灶台第二块砖下。盼大人早日派人来，妾日夜不安。吴焕之看完信，心中翻涌起一股森然的寒意。他回到酒楼，找到了后厨那坍塌了半边的灶台，搬开碎砖烂瓦，果然在第二块砖下面找到了一个地窖入口，里面是半间用石板隔出来的暗室，暗室中堆着几只黑漆木箱，打开来，里面整整齐齐码着一捆捆文书和账册，上面盖着军需转运司的印戳，注明的数量和日期与户部登记的数字完全对不上。还有几封宋文清和陆子明写给同伙的亲笔信，信中赤裸裸地写着分赃的比例和如何做假账的手法。
吴焕之将地窖重新掩好，将信和帐册的抄本贴身收好。他没有急着去告官，因为他知道如今的户部郎中宋文清不仅没有落马，反而已经升了侍郎，在朝中颇有根基。而以他一个穷书生去告发当朝侍郎，无异于以卵击石。他又用那块转念石反复了几回当年的场景，拼凑出了一个完整的故事——柳三娘原是斜街口归雁楼的掌柜，丈夫早亡，她独自支撑着这间酒楼。宋文清和陆子明当年还只是户部的小官，偶然来归雁楼吃酒，与柳三娘熟络之后，便利用她这间地处偏僻、四通八达的酒楼作为中转站，私吞了一批从江南调运北上的军需粮草，转手高价卖给北方的商贩，中饱私囊。为了掩人耳目，他们一开始骗柳三娘说那只是些私货茶盐，等柳三娘发现了实情要告发时，他们便下了毒手。吴焕之从那块石头中看到的最后一段画面，是柳三娘被那两个官人逼到二楼厢房角落，胸口被刺了一刀，倒在血泊中。那晚之后，柳三娘便了。归雁楼也随之关门，再无人敢问津。
吴焕之将那卷证据和柳三娘的亲笔信藏在身上，在大都城中四处打探那位信中提到的刘大人的下落。他用了大半个月的时间，终于辗转找到了刘大人的后人——那刘大人原是都察院的左佥都御史，已经在三年前病故了，他的儿子刘文昭继承了父亲的一些旧物，其中就有柳三娘当年托人送出的另一封信。刘文昭看了吴焕之带来的证据和柳三娘的信，神情凝重，答应帮他设法上达天听。又过了数日，刘文昭通过父亲旧日同僚的关系，将吴焕之整理的状纸和那些账目信件的抄本递到了刑部尚书手中。刑部尚书见事关户部侍郎私吞军需，不敢擅专，连夜入宫面圣。元顺帝闻奏大怒，命三司会审。
宋文清和陆子明被抓捕归案后，起初还百般抵赖，但当那几封亲笔信和完整的账目摆在面前时，两人终于面如死灰。归雁楼地窖中的物证被起出后，柳三娘被害的现场也被重新勘查，虽然尸体早已不在，但那间厢房地板上的暗色痕迹依然清晰可辨，经过数年的沉积，依然能检验出陈旧的血迹。宋文清和陆子明供认了当年杀害柳三娘的全部经过，被判处斩刑，家产抄没。那批被私吞的军需粮草虽已无法追回，但朝廷另拨了同等数量的粮草补发给了北方边镇。
柳三娘的冤案昭雪后，归雁楼的那口井边不知什么时候被人摆了一束野菊。吴焕之在一天清晨看见那束还带着露水的花，知道是有人偷偷来祭拜过。他对着井边空无一人的位置轻轻拱了拱手，没有多说什么。
案子了结之后，吴焕之没有离开归雁楼。他搬进了楼下靠后院的那间屋子，将楼上门窗都重新钉了一遍，又请了木匠修补了歪斜的柜台和断腿的桌椅。他不再用那块转念石去任何东西了，因为他发现那石头每用一次，他脑中就会有一些细碎的日常记忆变得模糊起来——有时候他想起家乡那座桥的名字，要想很久才能记起；有时候他想起母亲生前说过的一句话，怎么也回忆不完整了。他知道那块石头的代价是什么，它替他看见了别人的过去，却一点点地吞噬着他自己的过去。他没有后悔，因为柳三娘的冤屈值得他用那些琐碎的记忆去换，但他也再不敢轻易碰那块石头了。他用一块旧布将它层层包好，塞进了墙角一块松动的砖缝深处，再没有取出来过。
此后吴焕之便以归雁楼为家，将楼下收拾出一间小小的茶铺来，卖些粗茶和炊饼，偶尔也替人写写信、拟拟状纸。他的日子清贫却安稳，斜街口的街坊们渐渐都认识了他，叫他吴先生。有人问起他来历，他便说自己是江南湖州人氏，来大都谋生，旁的再不多说。归雁楼再也没有闹过鬼，那些深夜的杯盏声、女人的哭声、门缝下的青白光，统统消失了，像是柳三娘终于把她的那口气吐尽了，安安静静地走了。
吴焕之二十八岁那年，一个秋天的黄昏，他正坐在柜台后面替人写信，忽然听见门外有人喊他。他抬头一看，门口站着一个青衣少女，手里捧着一只旧木匣子，怯生生地走进来，说：请问可是吴先生？我是斜街口赵家豆腐坊的女儿，我爹让我给您送这个来。这是他前几日在城外旧河滩上捡到的，说像是您的东西。吴焕之接过木匣打开一看，里面竟然躺着那块转念石！他记得自己明明将它藏在了归雁楼墙角的砖缝中，怎么会在城外的旧河滩上被人捡到？他抬头想问那少女，少女却已经跑远了。吴焕之捧着那块石头坐在柜台后面，掌心传来熟悉的冰凉触感。他犹豫了许久，最终还是没有将它再藏起来，而是随手放进了柜台下面的抽屉中，与其他杂七杂八的旧物混在一起。他心想：既然它自己跑回来了，那就留着吧。但他定了一个规矩——除非再有像柳三娘那样走投无路、连话都说不出的冤魂找到他面前来，否则他绝不主动用它。这块石头该看见的东西，它自己会找到愿意替它去看的人。他不必去寻，只需等着。
从那以后，吴焕之的茶铺中偶尔会来一些奇怪的客人。有的是耄耋老人，坐在柜台前沉默地喝茶，喝完了一言不发地放下茶钱便走；有的是神情恍惚的妇人，手里攥着什么东西，坐在角落一坐就是半天，什么都不说。吴焕之从不催促他们，只是替他们续茶，等他们自己愿意开口时便认真听，若他们始终不开口，他便目送他们离开，从不多问一句。他不知道那些人是不是柳三娘的来的，也不知道那块石头是不是又在暗中替某些无声的人牵线引路，但他渐渐养成了一个习惯——每天夜里关铺之前，他会拉开抽屉看一眼那块石头。石头安安静静地躺在抽屉角落，与旧毛笔、断墨条、碎纸屑混在一处，黑黝黝的毫不起眼，但吴焕之总觉得它在月光下会泛出一层极其微弱的温润光泽，像是一只半闭的眼，在黑暗中静静地看着他。
吴焕之三十五岁那年娶了斜街口一位卖花的寡妇为妻，夫妻二人将归雁楼彻底翻修了一遍，重新挂了一块匾额，写了归雁茶铺四个字挂了上去。楼下卖茶，楼上住人，后院种了些葱蒜瓜菜，日子平平淡淡地过着。那块转念石依然被吴焕之收在柜台抽屉中，他虽然没有再主动用它去看什么，但也从未将它丢掉。他隐约觉得，有些东西一旦跟人有了牵绊，就不该轻易扔掉。它陪他走过了一段极特殊的日子，替他看见了一段被掩埋的过去，这份因果不是丢进河里就能了断的。留着它，哪怕一辈子不再用，也算是对那个绿衫女子和那个死在井中的少年的一种不忘。
吴焕之活到五十七岁，在一个初冬的傍晚坐在柜台后面打了盹儿，便再也没有醒来。他走的时候面容安详，像是睡着了一样，手中还握着一只斟了半盏的粗瓷茶杯。他的妻子和邻居们替他料理了后事，将他葬在了城外一处向阳的坡地上。整理遗物时，他的妻子在柜台抽屉中翻出了那块黑石头，她不知道那是什么，只觉得触手冰凉，像是一块平常的黑石，便随手放在了窗台上做了压纸的石块。
后来归雁茶铺被吴焕之的继子继承，依然开着，卖些粗茶和家常点心。那面窗台朝东，日光第一个照到的地方，那块黑石头便终日躺在窗台上，被来来往往的阳光晒着、被斜风细雨淋着、被匆忙路过的人偶尔碰落在地又捡起来放回原处。没有人知道它曾经见过什么、听过什么、替什么人递出过什么样的声音。它就这样在归雁茶铺的窗台上静静地躺了一年又一年，看着冬去春来、看着巷口的老槐树枯了又绿、看着斜街口一天天变了模样。偶尔有晒太阳的老人坐在茶铺门口说起归雁楼从前的旧事，说起那个姓柳的女掌柜和那个替她翻了案的吴先生，窗台上的黑石头便会在午后的日光中泛起一层极其微弱的温润光泽，像是什么东西在土壤深处轻轻翻了个身。
很多年后，茶铺也关了，斜街口被重新规划修葺，老房子拆了大半。那块黑石头不知被哪个拾荒人捡走了，又不知辗转流落到了何处。也许它如今正躺在某个不为人知的角落中，依然带着那块模糊得几乎看不出的二字，等着下一个愿意停下来看一看的人把它捡起来，贴在额头上。到那时，它会再一次打开一扇通往过去的门，把那些被遗忘的声音送到一个肯听、肯信、肯去做点什么的人的耳朵里。阳光照在石面上，它便像是醒了过来，继续等着。
吴焕之一生没有功名，没有家产，只留下了一间茶铺和一块不会说话的石头。但他的名字被斜街口的老人们记了很久，说他是那个替归雁楼的女掌柜翻案的书生，说他是个厚道人，从不收穷人的茶钱，说他每次替人写信时都会低着头认认真真地听对方把话说完。这些细碎的片语只言像蒲公英的种子一样飘散在时间里，大部分被风吹走了，极少数落进了有心人的耳朵里，又生了根。
那块转念石如今也许还在某处，也许已经化作了一捧尘泥。但它曾经替柳三娘传过的那一封信、替吴焕之看见的那些旧日残影，却已经化成了斜街口老槐树年轮中的一圈，化成了归雁茶铺瓦檐上的一层青苔，化成了每一个路过那地方的人偶然间生出的一丝莫名的安宁。像是一个无声的魂灵，在完成了所有的挂念之后，终于化作了一道穿堂而过的秋风，把该送的话都送完了，然后轻轻地带上门，离开了人间。
正是：
一石能通生死忆，半生甘为旧魂传。
茶烟散尽人归去，犹有余光落案前。