在周王朝，辅佐周王处理政事的官员，称作太师，太傅，太保，号为三公：太师负责向周王传授知识，类似于教师，太傅督导王的行动，太保负责王的身体健康。

秦始皇建立封建一统大帝国时，他自以为雄才大略，无须人训导，因而不立师保之官，而以丞相，太尉、御史大夫为三公；这三者分握国家行政权、军权、监察权。汉承秦制，唯握军权的太尉不常置。

汉武帝为了褒崇他小舅子卫青打匈奴的功劳，挖空心思，创设大司马。大将军一职，以赐卫青。此职在西汉朝廷中十分尊贵，往往以皇上嫡亲的外戚担任。汉武帝死后，他的小儿子弗陵即位为昭帝，以外戚霍光为大司马、大将军总统朝政，辅助昭帝。昭帝十分信任霍光，把一切权力都交托给他，霍光位高权重，俨然如‘代皇帝’。有一次丞相未经他的同意，独自召开公卿会议，这本是丞相分内之事，霍光却因此要将丞相治罪，可见大司马，大将军一职在那时真是八面威风，怪不得宣帝见到霍光，就有芒刺在背，坐立不安的感觉了。幸好后来废大将军不置，列大司马为三公之一，才使得皇帝的心神宁定下来。

学者们认为，古之三公，系指司徒，司马、司空。西汉末年社会矛盾尖锐，社会动荡不安，汉廷要按旧的一套来进行统治已难以维持封建秩序，于是在官制上便有一番改动。丞相易名大司徒，御史大夫易名大司空，加置大司马，号称三公。这套西汉末年几经变动而终究确立的体制被东汉继承，唯因光武帝刘秀曾任大司马一职，因改称太尉，余二者去“大”字，为司徒、司空而已。

按着政府规定，三公事无不管，是政府最高权力机构，九卿等行政部门统为其所辖。三公本人可参与各种国家大事，是皇帝的高级顾问。然而，实际上，从刘秀开始的东汉诸帝，无不着意于防范强臣专权，大力限制三公的权力，而以自己直接控制的尚书台代理政务，于是就形成了“虽置三公，事归台阁”的局面。

三公事权虽削，声名犹在，仪制上仍待遇甚隆。当时规定朝臣见三公皆拜，三公入见天子，天子御座为起，在舆为下。正因如此，东汉还规定，若天降灾难，则罢免三公以应之，把招致天灾的责任推在三公身上，让他们去当因政府失策而承担天谴的替罪羊。

东汉三公不领兵，无军权。若领兵入觐，皆须在两列卫士的交叉刀戟之下，由执刃虎贲挟持而见。《三国演义》中就有过这么一段故事，讲曹操曾以司空之职去觐见汉帝，在交叉的刀戟之下钻过一回，当时便吓得汗流浃背，从此再不朝觐了。

隋、唐置太师，太傅、太保为三师，太尉，司徒、司空为三公。三师不主事务，不开府署僚属，三公则开府有府佐。他们的主要职责是坐而论道，为皇帝顾问，无一定之事权。若皇帝认为无合适人选，则阙而不置。宋朝先是沿用唐制，后来在徽宗时，废除原先三公之职，改三师为三公，并置三孤，这就成为封建社会后半期的定制，沿用至明清而未变。

以后历代三师三公的人选，都是些尊老之官，作为对他们服务一生的奖励，皇帝给予他们此等名号，表示一种荣誉的意思，并无实际的事权。

赵宋用人与历代稍异，往往将它们加给宰相和亲王。后来皇帝们发现，用自己的子侄辈做自己的师傅，不仅名不副实，而且于理也实在不顺，于是改为仅仅加给最尊贵的大臣，如加给那以“半部《论语》治天下”的赵普，这样，亲王们才得以免去做皇帝师傅之累。

在师保官中，历代均以太师为最高荣典，唐代本不轻易以太师加于臣子。可是后来天下大乱，藩镇节度使们纷纷向中央要挟高官厚禄，现有的宰相宫职加给他们犹不满足，唐廷无法，只好以最贵之太师予之。宋人亦以太师为最荣贵，《水浒传》中的蔡京正是以太师一职奸蠹朝政而被认为是最大权奸的。明清亦沿此习，臣子多不敢居此位，即死后能沐此荣典者亦极少。