再后来，曹丕继位后司马懿便活得没那么憋屈了，比曹操在时好了很多，毕竟曹丕比曹操更需要司马懿，也更信任他一些，
在仕途上也官职升得更高了，他也算得上个两朝老臣了，可是司马氏的命运还是操控在他人手中，只不过以前是曹操，
现在是曹丕而已，要想真正的将自己、司马家的命运真正掌握在自己手中，不将生死操控在他人手中，他司马懿还有很长的一段路要走！
魏文帝黄初元年（220年）十一月，曹丕登皇帝位，史称魏文帝。曹丕登基后，任命司马懿为尚书，不久转督军、御史中丞，封安国乡侯。
黄初二年（221年），免去督军官职，升任侍中、尚书右仆射。
黄初五年（224年），曹丕伐吴，临江观兵。司马懿奉命镇守许昌，并改封司马懿为向乡侯，转抚军、假节，领兵五千，加给事中、录尚书事。
司马懿力辞不受，曹丕说：“朕夜以继日处理国家大事，没有须臾片刻的休息时间。如今册封你不是加以优荣，而是要你为我分忧。”
黄初六年（225年），曹丕再次大兴舟师伐吴，命司马懿留守许都，对内镇抚百姓，对外为大军提供军资。
临行，曹丕下诏给司马懿说：“我深深地担心后勤和朝内之事，所以将这些大事委托给你。
历史上曹参虽多有战功，但是萧何在后方的支持才更为重要。如今你留守后方，使我无西顾之忧，这可行吗！”
之后曹丕由广陵（今江苏扬州广陵区）回师京都，又下诏对司马懿说：“我向东用兵孙权，你该总理京都洛阳的事情，我在洛阳，你则应当总理东征孙权的战事。”
于是又命司马懿留镇许昌，可见那时的他已是深得曹丕的信任、器重，而曹丕身体状况还行，也才三十九岁，才活到了而立之年的尾巴，
明年才进入不惑之年，而曹丕也以为自己至少还能活一二十年，牢牢掌控司马懿这个双刃剑还是绰绰有余的，
说不定曹丕还能熬死司马懿，可惜天不遂人愿，前一年还身体状态良好，御驾亲征的曹丕，第二年的身体状况便急转直下，要先一步去了。
黄初七年（226年）五月，曹丕病重。临终时，令司马懿与中军大将军曹真、镇军大将军陈群、征东大将军曹休为辅政大臣。
曹丕对太子曹叡说：“在这里的三位重臣，一定不要怀疑他们。”
可见生命垂危的曹丕已经在忧心儿子曹叡能不能驾驭住司马懿了，曹叡即位，改封司马懿为舞阳侯。
孙权得知魏文帝去世后，于八月出兵攻魏。
命诸葛瑾、张霸兵分两路进攻襄阳，亲自率军进攻江夏郡（治石阳县，即今武汉黄陂西南）。
司马懿击退了孙权，又击败诸葛瑾，并斩杀张霸，斩首千余级。十二月，司马懿升任骠骑将军。
太和元年（227年）六月，魏明帝曹叡命司马懿驻扎宛城，加督荆、豫二州诸军事。
蜀将孟达降魏时，魏待其甚厚，司马懿认为他言行倾巧，不可信任。
但曹叡不听，任命孟达领新城（今湖北房县）太守。
曹丕死后，孟达失宠，蜀丞相诸葛亮即暗中与之通信，图谋叛魏。
诸葛亮恐他言行反复无常，想促他速叛，知魏兴太守申仪和他有矛盾，便派郭模到申仪处诈降，有意泄露其事。