1965年秋，王憨山调入双峰县文化馆，成为一名美术干部。

王憨山在单位小心翼翼。文人画早不敢问津了，徐渭、八大、金农他们，也丢到九霄云外去了，除了应付日常工作，就是和一班年轻人打扑克画乌龟。他信誉极好，输了从不赖账，那高大的身架，尽管四脚爬地，也要钻过矮小的桌子，往往把桌子拱了起来。这时，年轻人就一齐压上，有的干脆坐在桌子上，又拍又笑，好不快活。王憨山终于从桌子下面钻出来了，拍打着膝上的尘土，“嘿嘿”连声，又坐到了原来的座位上，洗牌，摸牌，夜以继日，乐此不疲。

早年的王憨山画室　

1967　年秋，有人告发王憨山当过“反动军官”，说听说他解放前曾穿着国民党反动派军官服坐飞机回到长沙，是一个“隐藏很深的历史反革命”。王憨山有口难辩，说是借了一身衣服好回家，又到哪去找人证明?“问题”就这样挂上了，当然要被“扫地出门”，被安排到离县城十多里的“五七干校”报到。人来了，不能白吃饭，总要想法弄些事做。于是开的开荒，种的种菜，养的养猪，放的放牛，用原始的劳作来革自己的命。他被安排去县内各个公社，写《语录》，做“忠字牌”，画“阶级斗争教育展览”的宣传画。