魏晋南北朝时，丞相或相国多为权臣自命，成为了一种篡位夺权的手段。南北朝制度多变，皇帝所与议论政事或委以机密者，即是宰相，官名有中书监、中书令、侍中、尚书令、仆射或将军。其位最尊、权最大者则为录尚书事。
隋朝定三省制，三省长官内史省的内史令、门下省的纳言、尚书省的尚书令都是宰相。
唐朝改内史省为中书省，内史令为中书令，纳言为侍中。唐高宗后，只有加“同中书门下三品”“同中书门下平章事”者才是宰相。
宋太祖建国后，不断加强皇权，分化、削弱相权。宰相并不是一个正式官名，它实际上在隋代就是一个群体，是除皇帝之外的最高领导层。宋初实行“二府三司制”，宰相职权被一分为三。中央虽设三省，但三省及六部长官不经特许不得管理本司事务，成为闲职。实际权力归属“中书门下”这一机构，又称政事堂、都堂等，管理国家行政事务，以同平章事为长官，多由中书、门下两省侍郎担任，无定员。此外，以参知政事为副相，分割行政权。枢密院为中央最高军事机构，长官为枢密使，与政事堂合称东、西“二府”。“三司”（户部、盐铁、度支）主管财政，号称“计省”，长官为“三司使”，号称“计相”，地位略低于“二府”。二府三司各自独立，互不统属，直接对皇帝负责，构成最高辅政机关。