从庐山下来后，彭老总就搬去了吴家花园居住，那一年是1959年的九月底。他曾写信，表示想去生产大队劳动，虽然他上了年龄，干不了重活，但是在生产队还是能做一些力所能及的活计。倘若自己去不了生成大队劳动，那可以给自己留一个看门的，再给自己三间房就足够了。至于身边那么多的人，可以撤走了。 这是彭老总的心声，他觉得自己还能劳动，没必要为了他一个人配置那么多的人。 他是一个不计较个人得失的人，心里只想着做一些有利于人民的事。 在吴家花园，他居住了大概有五年的时间。 这吴家花园坐落在北京西北的郊区，一个名叫挂甲屯的地方。周围比较荒僻，除了农田之外，几乎没有什么了，很是清静。在这里居住期间，没有架子的彭老总和周围的群众打成了一片，他时常会和周围的农户们闲聊。询问他们的稻谷收成怎么样？今天又挣了多少工分呢？生活上有没有什么困难等等。 除此之外，他还会叫附近生成大队的队长来宅子里作客，请他们在家里看电视。一边看电视，一边聊聊基层工作的情况。有的基层干部也是心直口快，说在基层当干部太累了，自己想辞去队长的职务。这时候，老总就会勉励他们，让他们不要多心。 其实，他们也不是真想甩挑子，只是心里有牢骚，抱怨出来就好了。 有时候，附近哪家有老人过世了，老总也会亲自登门去吊唁；如果谁家有人生病了，他会叫司机开着车，去医院直接把医生接到人家的家里。 还有呢，周围没有路灯，一到晚上就黑灯瞎火的，他就自掏腰包，拿出五百多元安上了电线杆、电线。除此之外，还给周围居住的那15家邻居的家里，都装上了电灯呢。