此后，毋丘俭被调为左将军，假节、领豫州刺史，转镇南将军，监豫州诸军事，在南方参与对吴战争。嘉平三年（252年），魏军在东兴之战中大败，元气大伤。吴国趁势兴兵，大举入侵。

为了挽救东线颓势，时任魏国执政、大将军司马师转毋丘俭为镇东将军，都督扬州诸军事，以抵挡吴军。毋丘俭到任后恪尽职守，整顿边防，调和兵、吏矛盾，提拔了一些身份地位不受重视的人才，如牙门张特为合肥新城守将。

之后，吴国太傅诸葛恪举全国之力，兴兵二十万大举北伐。面对吴军的来犯，毋丘俭采取守势，指挥各部坚守城、寨，固守待援，其中部将张特防守的合肥新城，吸引了大批吴军。战线漫长，毋丘俭兵力有限，分身乏术，好在张特带着少量士兵成功坚守，防线才没被冲出缺口，探知吴兵军营起了瘟疫，士兵战斗力严重下滑，太尉司马孚的洛阳援军业已抵达后，指使诸将反攻，魏军化守为攻，冲击吴军大营，吴军经过连日消耗，士气低迷，在魏军猛攻之下溃不成军，或掉到壕沟，或缴械投降，或流窜奔逃，或哭喊求饶，光文钦所部就斩首万余级，俘虏不计其数，吴兵溃不成军，诸葛恪丢下老弱病残，仓皇撤退，归国后威望尽失，不久失势被杀。

毋丘俭凭此役又得升迁，加镇东大将军，其余诸将士皆论功受赏。新城战役结束后毋丘俭特地上疏朝廷，不为自己邀功，通篇只为有功官兵，忠义之士逐个陈述事迹，善后抚恤，魏帝曹芳欣然采纳。

正始十年（249年），高平陵之变发生，大将军曹爽被司马懿所杀。作为曹爽余党的文钦，深感恐惧，后因战功统计问题与司马师产生争端，心怀怨念。文钦性格桀骜，粗猛无礼，与诸葛诞互相嫌恶，从不共谋。但毋丘俭非常礼遇文钦，二人互相交好，渐走渐近。

毋丘俭儒士出身，渴望功名，常以“飞鸿”“凤鸟”自比。却不好党争，洁身自好。故而先后得势的曹爽、司马懿集团均允许毋丘俭握有重兵，戍守边疆重镇。继父掌权、威望不足的司马师也对毋丘俭敬重有加。但这种情况很快便发生了改变。嘉平六年（254年）三月，夏侯玄、李丰等重臣密谋取代司马师元辅的地位。事情败露，被司马师诛杀全族。