1981　年春，王憨山毅然关闭了开业才两个月的“天池画馆”，回到了龙田纛子口籁乐第那个老家。这时，他才记起他那枚在长沙淘得的“田园宰相”印章，“文革”初因怕惹祸又舍不得丢弃，而寄在乡间一友人家里，经过十年动乱，不知现在怎样了?来到友人家，印章还在。不过友人在印面上，用钢锯对角锯了一把大叉。友人解释说，当时到处“破四旧”，他心想“宰相”是个封建名词，万一被搜出来，打把叉以示划清界限，对“造反派”也好作交代。王憨山心痛，又想友人终归把它保住了，就千恩万谢告别了友人，把印捧了回来。

王憨山在捞小鱼小虾

回到老家，除了一张吃饭的小四方矮桌，连个能摆笔砚的桌子都没有。幸好当时龙田乡党委凌书记是个文化人，来探访时得知这一情况，派人送来一张废弃的旧办公桌。这桌子确实破旧，还断了一条腿，但王憨山感恩不尽：“无妨，无妨!”乐颠颠地搬来几块土砖，把缺腿的桌子一角垒住，再铺上几张旧报纸，一个画案就做好了。画画的文房四宝，那个残缺的沉泥砚是王憨山父亲留下来的，发墨快，墨不易干，他一直当宝贝似的带在身边；父亲还留下几坨古墨，抄家的不识货没有拿去，如今正好派上用场；毛笔也有几支，唯独缺纸。安徽宣纸是买不起的，最便宜的四川宣纸，也要几分钱一张。王憨山一次偶然发现，妻子从杂货店买来糊窗户的皮纸，又薄又绵，用笔一试，效果与宣纸差不多，却比宣纸便宜。故很长一段时间，这皮纸成了王憨山画画的首选。

画案有了，文房四宝也已备齐，王憨山却没有急于画画。他要读书。那几本早被他翻烂了的线装书，有些书皮、题签都没有了，有些连扉页与目录也已扯掉，只有他晓得哪本是《楚辞集注》，哪本是《蕙风词话》……他退守田园，专为画事，读书、作画、生活、观念、风格一切可以由自己做主了。