青龙四年（236年），毋丘俭在多次弹劾公孙渊后，终于得到明帝批准，开始对辽东郡用兵。通过外交手段，招降右北平乌桓单于寇娄敦、辽西乌桓都督王护留，以及当年追随袁尚流亡辽东者共计五千余部众。削去公孙渊的潜在盟友后，秘密率领幽州、鲜卑、乌桓联军开赴襄平（辽东郡郡治），抵达附近的辽隧，设下埋伏，派人携带书信、印章前去征公孙渊进京述职。一切都按计划进行，只等公孙渊就范或出城。但大军的行踪走漏了消息，刺激了公孙渊。又因之前对洛阳屡有不敬，已成惊弓之鸟，当其发现埋伏在外的魏国大军后，又惊又怒，诡称幽州刺史假传圣旨，阴谋害己，以此为由拒不奉诏并发兵对抗魏军。两军战于辽隧，僵持日久，又逢十日暴雨，辽水暴涨，魏军虽有备而来，但辽东军却占据天时地利，战争异常艰苦，胜负一时难分，明帝看完战报，诏毋丘俭立即退军，撤回北平，等待洛阳援军，以期二次进军。一伐无功而返，公孙渊愈加乖张跋扈，一面指使幕僚们上书明帝，象征性认罪求和，归罪于毋丘俭。一面却公开割据备战，自立为燕王，置官刻玺，通使东吴，以求外援，但上过一次当的孙权不肯出兵相助。讨伐无功而返，明帝没有怪罪毋丘俭，诏命其兼任太尉司马懿军队副帅，准备第二次征讨。景初元年（237年），司马懿4万援军至，毋丘俭与其会师，并率本部幽州兵马再度伐燕，期间高句丽也派了数千士兵加入魏军助战，联军经一年苦战，最终打败燕军，公孙渊为司马懿所杀。辽东郡光复。战后魏明帝曹叡论功行赏，毋丘俭据此战役进封安邑侯，邑三千九百户。

景初二年（238年）末，战事基本结束，明帝的使节抵达蓟县，犒赏三军。太尉司马懿率数万京军先行踏上归程，而毋丘俭则以州牧之责继续留守燕地，处理战后事宜。景初三年（239年）正月，明帝病情急剧恶化，一月之间便不治驾崩。当使节驰行两千里，再次抵达蓟县后，毋丘俭能做的，只有举境发丧了。事业在幽州停滞了几年，不受到当权者的重视和理睬，几年后，他出征塞外，途经辽东郡，不禁悲从中来。在《之辽东》一诗中写道：“忧责重山岳，谁能为我檐？

辽东郡虽然成功收复，但是在战争期间以及之后，大量军人死亡、平民迁徙以及战争期间的屠戮。幽州的东北部地区汉人减少，出现了势力真空，反而不如公孙氏对当地的控制力、影响力。以高句丽为代表的外部势力趁机发难，开始侵扰边境，蚕食魏国土地。

正始五年（244年），高句丽趁虚犯边，袭破西安平。毋丘俭组织魏军展开报复，亲率万余精锐步骑兵出玄菟郡讨伐高句丽，高句丽王位宫引军两万迎击。虽敌众我寡，实力悬殊，“俭为方阵，决死而战”，先后在沸流水、梁口两度大败高句丽军，杀死高句丽军一万八千余人，位宫携妻子及千余骑逃向东沃沮避难，毋丘俭没有追击东川王，转而进军其国都丸都山城，勘察地形，因山城西北山体陡峭，守兵空虚，旋即采用避实就虚的计策，正面佯攻，西北偷袭，选派善于攀登的精卒，携带兵器长绳，摸上山崖，杀死守兵，智取北门。“束马悬车”，攻破了丸都，焚毁宫殿，处死大批官吏，摧毁其统治中心。