1957年，是王憨山调入双峰二中的第二年。在王憨山生命的年轮上，这一年刻有太多的印迹：1月，妻子谢继韫“犯”（小产）了一个儿子。3月，80多岁高龄的祖母逝世。7　月，父亲和一个叔叔及一个堂弟，一夜之间都被打成“右派”。

9月，母亲在忧虑中病逝，终年58岁。12月，长子雪樵出生。过去还是光棍一条，如今却要养家糊口，每到星期六的下午，到学校食堂把自己当天的晚饭与星期天的早、中饭的定量米，请炊事员称出来带回家，以让瘦弱的妻子与正在吃长饭的儿女能吃上一餐完全的米饭。王憨山画的《初打春雷第一声》、《稻熟江村忆鱼肥》里的那些鱼，全是鲫鱼，画得很肥很大，倾注着很深的感情。王憨山说：“当时乡里有几个称得起肉的？还不是靠这些鲫鱼

坐落于双峰县走马街镇保红村的王憨山故居

夜里，儿女们都已睡下，王憨山和妻子才会安顿下来。妻子要在昏黄的油灯下缝缝补补，他寻出那几本不敢带到单位去的破书，陪着妻子看起来。这些书会使他暂时忘记现实的世界，很快就沉了进去。