他继承父亲毌丘兴（曾任武威太守）的爵位高阳乡侯，被魏文帝任命为平原侯文学掾。魏明帝即位后，先后任尚书郎及羽林监，因为曾在东宫办事，得到曹叡亲待。后出任洛阳典农，曾上疏劝魏明帝停止加建皇宫的工程，因而升为荆州刺史。
明帝青龙三年（235年），毌丘俭徙为幽州刺史，加度辽将军、使持节、护乌丸校尉。青龙四年（236年），率兵讨伐自称燕王的公孙渊，但被公孙渊击败。明年再联合司马懿进攻公孙渊，最终平定。毌丘俭因功封安邑侯。正始五年（244年），毌丘俭带步骑兵万人出玄菟讨伐高句丽，先后在沸流水、梁口两度大败高句丽东川王，将号称有二万人的高句丽军诛灭一万八千余人，东川王偕同妻子及千余骑逃窜往东沃沮（又称南沃沮）。毌丘俭又屠杀丸都内官员数千人，之后退兵。不久又再次进攻，东川王逃到买沟，随后，毌丘俭自在丸都一带坐镇，毌丘俭又派玄菟太守王颀追击到沃沮，另一路由乐浪太守刘茂、带方太守弓遵攻打曾依附于高句丽的不耐等濊貊种落。王颀的军队追至竹岭，再度大破东川王余部。随后，魏军杀至沃沮境内，将协助高句丽的邑落一并攻破，斩杀三千余人。东川王再逃入北沃沮境内，魏军进一步追讨。但高句丽王终于在部下的忠诚保卫下击杀一小队魏军而得以隐匿。王颀军主力则进一步向东北行，一直抵达北沃沮与肃慎的边境地带。而刘茂、弓遵也成功击溃了濊貊各邑，逼迫不耐濊侯举邑降，将东汉初废弃的临屯郡故地再次纳入版图。整个征剿行动至245年初基本结束，最终毌丘俭等刻石纪功并于245年5月回师凯旋。
魏正使七年(246年)当幽州刺史毌丘俭、玄菟郡太守王颀、乐浪郡太守刘茂与带方郡太守弓遵在进行曹魏与高句丽的战争时，百济的古尔王乘隙偷袭乐浪郡和带方郡，然被刘茂与弓遵击退，而弓遵战死。
后来迁任左将军，假节监豫州诸军事，领豫州刺史，转为镇南将军。嘉平四年（252年），与镇东将军诸葛诞的防区互换，并任毌丘俭为镇东将军都督扬州。次年与扬州刺史文钦、司马孚击退围攻合肥新城的东吴太傅诸葛恪。
正始十年（249年）发生高平陵之变后，与曹爽关系密切的文钦，见曹爽被司马懿所诛，已经非常畏惧，后想用敌兵首级换赏赐又屡被司马师拒绝，心怀怨念；而毌丘俭与夏侯玄、李丰友好，但二人在正元元年（254年）却被司马师诛杀，令毌丘俭不安。同时毌丘俭儿子毌丘甸亦鼓励父亲反抗司马师，于是在正元二年正月乙丑日（255年2月5日），毌丘俭与文钦于寿春举兵讨伐司马师，并将毌丘宗等四子送入东吴为质以求外援（此为寿春三叛中的第二次）。
司马师于是亲征毌丘俭，又派诸葛诞、胡遵、王基等到附近驻守，同时命令各路大军不可与毌丘俭交战。毌丘俭、文钦不能进攻，退军又怕寿春被袭击。但是淮南将士的家属都在北方，于是士气低落，越来越多士兵投降，只有淮南新加入的农民仍然效忠。司马师调遣兖州刺史邓艾调泰山诸军一万多人至乐嘉，并要求他示弱以引诱毌丘俭，而司马师率大军从汝阳潜兵与邓艾会合。文钦不察，率军攻打邓艾而中了司马师设下的诱敌之计，被魏军击破败走。毌丘俭听到文钦战败的消息后慌忙弃城，乘夜逃遁。走至慎县，左右侍从各自逃命，毌丘俭和幼弟毌丘秀和孙毌丘重藏匿在草丛中。平民张属射杀毌丘俭，因而被封侯，毌丘俭枭首送入洛阳。毌丘秀、毌丘重和文钦都逃入东吴。其余均降。
毌丘俭事后被诛灭三族。后来西晋灭吴，其在东吴的子孙得以重返中原，毌丘宗、毌丘奥父子等还成为了西晋官员。
1904年，毌丘俭刻石纪功碑在吉林辑安（今集安）被发现，现存于辽宁省博物馆。
首列：正始三年高句丽反
二列：督七牙门讨句丽五
三列：复遗寇六年五月旋
四列：讨寇将军魏乌丸单于
五列：威寇将军都亭侯
六列：行裨将军领玄
七列：裨将军
2005年，毌丘俭遇难纪念碑在山西省闻喜县桐城镇上邱村被发现，纪念碑在4世纪末左右树立。
毌丘俭曾经写诗赠与杜挚，在《昭明文选》中留有毌丘俭诗句佚文。
管辂的预言：毌丘俭起兵之前，管辂曾路过毌丘家的祖墓，靠在树边哀叹说：“林木虽茂，无形可久；碑诔虽美，无后可守。玄武藏头，苍龙无足，白虎衔尸，朱雀悲哭，四危以备，法当灭族，不过两载，其应至矣”。
