1953年，杨尚昆找到彭德怀，建议道：“军委搬出中南海吧。”
1953年，杨尚昆手里攥着一份调查表，走进了彭德怀的办公室。新中国成立没几年，中南海里人来人往，电报机、汽车喇叭、摩托车的轰鸣声昼夜不停。警卫处每天登记的进出车辆上百次，夜班卫士连觉都睡不踏实。
海军副司令萧劲光开玩笑：“走一趟瀛台，比上前线还费劲。”这些声响，对白天在丰泽园办公的人影响或许有限，但对住在湖对岸的毛主席来说，每一分贝都是负担——他白天睡觉、夜里工作，清晨想合眼时，外头的噪声正热闹起来。
毛主席的失眠并非偶然。延安时期，他神经总绷着，夜里翻来覆去，靠战场上缴获的安眠药支撑。三大战役时，他常昼夜守在地图前十几二十小时，生物钟彻底紊乱。建国后住进中南海，入睡困难非但没减轻，安眠药剂量反而越来越大。
卫士李银桥回忆，毛主席对住所只有一条要求：绝对安静。卫士们连走路、咳嗽都要小心翼翼，白天爬树赶鸟、用木棍敲地板驱赶小动物，只盼他能在十七八小时的工作后多睡一会儿。工作人员曾统计，一星期内毛主席总共睡不到二十七个小时，还为此小小庆祝了一番——可见他工作与休息的极端不平衡。
杨尚昆进办公室，直截了当：“老总，军委还是搬出去吧！”彭德怀眉头一皱，心想：搬？中南海离主席近、安全有保障，为啥要折腾？杨尚昆把几张纸递上，是夜间丰泽园噪音记录。每天十点后进入中南海的军委车辆平均二十一辆，最晚一次请示凌晨三点四十分，备注赫然写着：“严重干扰主席休息”。彭德怀看完，放下纸笔，干脆一句话：“搬！”
搬迁不是小事。彭德怀召集作战、机要、警卫、工程四部门负责人，定分步走方案：先搭临时木屋，让机要部门快速进驻；铺地下电缆，三周内接通秘密电话；再建设大楼主体。
北海西侧那块菜圃，经过勘察规划，三栋灰楼拔地而起，地下室按抗爆标准设计，留空地种菜堆煤，为战备预留余地。工人昼夜倒班，打桩机震得护国寺古钟都跟着颤动，但档案、情报、作战地图一件未出差错。彭德怀亲自核对密封条，那天一句玩笑都没有，严肃得像战场上。
4月中旬的准备工作，包括统计机关人员数量、后勤车辆数，还勘察北海西侧地形。杨尚昆在充分调研后才来面谈，方案既保障效率，又不损失安全性和秘密性。
1955年底，大楼正式挂牌，成为新中国第一栋专门的国防部办公楼。军委撤出后，中南海清晨安静许多，丰泽园外摩托声、电报机滴答声不再扰人，湖边鸟鸣清晰可闻。毛主席知情后，只回了两个字：“很好。”
彭德怀晚年，还主动提出搬出中南海的永福堂，精简专车和工作人员。杨尚昆上报毛主席时，他愣了——原来彭德怀一直住在中南海内部。从让军委搬出中南海，到自己主动搬离，彭德怀做决定一向干脆。
别人看到的是办公便利，他看到的是领袖睡眠和健康；别人关心待遇，他关注大局与职责。这种果断与责任感，是几十年战场和生死之间磨炼出的本能，打仗时不犹豫，办事时不打小算盘。
整个搬迁过程不仅是物理迁移，更是军委对国家战略和毛主席健康的深刻考量。几十年后的回忆里，这件事仍被视作军委纪律性和责任心的典范，也让人明白：真正的决策从来不是为个人方便，而是立足大局，为国家和领袖的长远考虑。