隋文帝即位后。对兵役制度作了重要改革，以加强对军事的控制。同时，也对行政机构进行了一些改革。开皇元年（公元581年），杨坚登位不久，立即采纳了大臣崔仲方的建议，废除北周模仿《周礼》在中央设立的“六官”制度，“依汉魏之旧”建立中央机构。《隋书·百官志》说：

　　高祖践极，百度伊始，复废周官，还依汉魏。唯以中书为内史、侍中为纳言、自余庶僚，颇有损益。

　　皇帝是最高的主宰，握有军政的绝对大权。辅佐皇帝处理全国军政机要的主要有三省，即尚书省、内史省、门下省。三省长官都是宰相。

　　隋代的尚书省地位很高，管理全国政务。《隋书·百官志》说：“尚书省，事无不总”。这句话说明了尚书省在中央最高行政机构中权力之大，地位之尊。当然，这并不是说尚书省包揽一切。尚书省的总官署名叫尚书都省，置尚书令、左右仆射各1人，总领吏部、礼部、兵部、都官（开皇三年改刑部）、度支（开皇三年改民部）、工部等六部。六部长官是尚书，与尚书令、左右仆射合称“八座”。吏部掌文官选授考课，吏部尚书绞吏部侍郎2人，主爵侍郎1人，司勋侍郎2人，考功侍郎1人。礼部掌学校、礼乐。礼部尚书统礼部。祠部侍郎各1人，主客，膳部侍郎各2人。兵部掌军籍舆马，兵部尚书统兵部，职方侍郎各2人，驾部，库部侍郎各1人。都官掌刑政司法，都官尚书统都官侍郎2人，刑部，比部侍郎1人，司门侍郎2人。度支掌财税出纳，度支尚书统领度支。户部侍郎各2人，金部、仓部侍郎各1人。工部掌工程建造，工部尚书统工部。屯田侍郎各2人，虞部、水部侍郎各1人。六部共24曹36侍郎，分司曹务，直宿禁省。尚书省的长官为尚书令，实际上一般不授人，隋代只有炀帝时的杨素因为有翊戴之功，又平定了汉王谅，方进位尚书令。但是炀帝对他“外表殊礼，内情甚薄”。他有病，炀帝虽然频频遣名医赐药，“然密问医者，恒恐不死”。所以隋代尚书省长官实际上是左右仆射（从二品）。其中左仆射判吏部，礼部，兵部，兼掌纠弹；右仆射判都官，度支，工部，兼知财政用度。仆射的属官有左右丞各1人，都事8人。炀帝时把都事拨到六部去了，另增设左右司郎各一人来代替，他们就是唐代左右司郎中的前身。隋代尚书是一个机构完整的中枢政务部门，与前代大不相同。“侍郎”掌一“司”之事，与后代的“侍郎”不同。

　　门下省在隋初是侍奉谏议机关，掌审查政令及封驳诸事。其长官有纳言二人（正三品），它本是侍奉内廷，以备皇帝之顾问。《隋书·柳机传》载，柳机在文帝开皇年间为纳言，“当近侍，无所损益，又好饮酒，不亲细务”。所以不久就出为华州刺史。次官有给事黄门侍郎4人，负责纠正奏章得失。《隋书·柳雄亮传》载，雄亮任给事黄门侍郎时，“尚书省凡有奏事，雄亮多所驳正，深为公卿所惮”。炀帝时去“给事”二字，另加置给事郎4人，这就是唐代给事中的前身。此外，还有录事、通事令史各6人。隋初还有散骑常侍，通直散骑常侍各4人、谏议大夫7人，都是谏官。炀帝说他生性不喜人谏，所以把谏官全部罢废了。隋初，门下省还掌皇帝衣食供奉等日常生活事务，统城门、尚食、尚药、符玺、御府、殿内等六局。城门局：设校尉2人，直长4人。尚食局：设典御2人，直长4人、食药4人。尚药局：置典御2人，侍御医、直长各4人，医师40人。符玺、御府、殿内局：置监各2人、直长各4人。

　　与尚书省、门下省鼎足而立的是内史省。内史省后来改为内书省，为中枢的制令机关，专司起草皇帝诏令。隋初置监、令各1人，后来废监，置令1人（正三品）。内书令，本称中书令，在汉代本是掌禁中书记的，所以称“中书”。汉武帝时，司马迁受腐刑出狱后就当过中书（谒者）令。魏晋以来，中书令掌出纳王命，南朝多以诸公兼之，至隋代才以专人任其职。炀帝时，内书令已不常置，往往以其次官内书侍郎行其职。内书省的属官还有舍人8人，掌起草制令；通事舍人16人，掌宣奏。不过，在隋代也偶有内书侍郎亲自草拟诏敕，如《隋书·薛道衡传》载：高祖时薛道衡任内书侍郎，“每至构文，必稳定空斋，蹋壁而卧，闻户外有人，便怒。”其劳心焦思若此，所以文帝赞扬他说：“薛道衡作文书，称我意。”

　　三省之外，还有秘书省和内侍省，这是掌握具体事务的官署，秘书省掌图书籍藏整理。这个官署一般比较清闲，长官为秘书监（正三品）1人，次官有秘书丞1人。属官有秘书郎4人、校书郎12人、正字4人、录事2人，领著作曹、太史曹。著作曹掌国史修撰，有著作郎2人，佐郎8人，校书郎、正字各2人。太史曹掌天文历法，置太史令、太史丞、司历各2人，监候四人。隋炀帝大业年间，又新置儒林郎10人，掌明经顾问，唯诏所使。文林郎21人，掌撰录文史，检讨旧事。

　　内侍省是内廷的侍奉机关，隋初由宦官担任。置内侍（从四品上）2人为其省长。次官有内常侍2人。属官有内谒者监6人，内寺伯2人，内谒者12人，寺人6人，伺非8人，统领尚食、掖庭、宫闱、奚官、内仆、内府等六局。炀帝时改内侍省为长秋监，有长秋令、少令、丞等皆用士人，低级役使人员则用宦官。

　　以上是隋代中枢机构的“五省”，朝廷内外政务皆由其统辖，为中央最高执政机关。

　　隋初的监察机关只有御史台，炀帝大业三年（公元607 年）又增设了谒者、司隶二台，合称三台。御史台的长官为御史大夫（从三品）1人，次官为治书侍御史2人。属官有侍御史8人，殿内侍御史、监察御史各12人，录事2人。御史职掌纠察弹劾。如《隋书·李孝贞传》载：隋初李孝贞为内史侍郎，不称职，文帝欲免其官，就先“敕御史劾其事，由是出为金州刺史”。御史还出使巡察，监诸军旅，如《隋书·柳彧传》载：开皇时，柳彧为治书侍御史，持节巡察河北五十二州，“奏免长吏赃污不称职者二百余人”；仁寿初，又持节巡察太原道十九州。炀帝时设置了谒者、司隶二台后，便分割了御史台的职权。谒者台的职掌是奉诏出使，慰抚劳问，并持节察按，遇有冤狱则受而奏之。长官为谒者大夫1人（正四品）。司隶台职掌巡察京畿内外，长官为司隶大夫1人（正四品），属官有别驾2人，分察畿内，一人管东都洛阳，一人管京师长安。有刺史14人，从事40人副之，掌巡察京畿以外的全国郡县，其职责是“激浊扬清”，若遇贪黩的郡守则有权免职，有功则上报其事迹，加以旌勉。不久，司隶台被废，改派以京官清明者挂司隶衔头出使巡察。

　　隋初的都水台和太常以下十一寺，到炀帝大业三年（公元607年）演变为太常、光禄、卫尉、宗正、大仆、大理、鸿胪、司农、太府等“九寺”，以及国子、将作、都水、长秋和从太府寺分置的少府等“五监”，统称诸寺、诸监，也都是中央具体的事务机关。由于各寺、监长官都得亲自处理事务，所以往往选派懂得该方面事务或有专长的人担任，如将作监掌土木工程，长官称将作大匠。据《册府元龟》卷602《卿监部·选举》记载，宇文恺从小好技艺之事，有巧思，因受株连除名在家。杨坚建造仁寿宫时，特地征召他代理将作大匠，以总其事。又如司农寺是掌屯田种植的，长官称卿。据《隋书·樊叔略传》载，樊叔略在任司农卿时，“凡种植，叔略别为条制，皆出人意表”。再如太府寺在开皇时兼掌手工业，据《隋书·苏孝慈传》载，苏孝慈在任太府卿时，“征天下工匠，无不毕集，孝慈总其事，世以为能。”隋代因设六曹尚书，所以寺卿的权力比秦汉之九卿为轻。

　　杨坚出身军事贵族，又凭借军政权力攫取了帝位，深知集中军权对于巩固统治的重要性。北周时期，强迫汉族官员改用鲜卑姓，兵士也要随将军改姓。杨坚下令恢复群官旧姓，也就相应地改变了兵随将姓的宗法隶属关系。以后，在北周府兵制的基础上，建立十二府：即左右卫、左右武卫、左右武侯、左右领、左右监门、左右领军等，统领全部内外禁卫部队。每府设大将军1人，将军2人，下辖骠骑、车骑府。十二府的大将军直隶于皇帝，军人总称侍官。隋初兵府各级将领的数目比北周时增多，而品位则普遍降低二、三级。这些改变大大加强了以杨坚为首的隋朝中央政权对军队的控制。到炀帝时，把隋初的十二府变为左右翊卫、左右骑卫、左右武卫、左右屯卫、左右御卫、左右侯卫等十二卫和左、右备身府、左、右监门府等四府，统称十六卫府。各府所辖之骠骑府改称鹰扬府，军人改称卫士。十六卫府为中央军事宿卫机关，统领全国军队。这与尚书省兵部仅掌军事行政，而无一兵一卒之权不同。十二卫各有大将军1人，将军2人，分统府兵。四府不统府兵，各置郎将1人，直斋或直阁若干人。备身府掌左右侍卫，监门府掌门禁守卫。

　　东宫太子是皇帝的接班人，古称“皇储”，置太师，太傅，太保及少师，少傅，少保，专司训导。此外，在其府下还有一套文武人马，其制拟中央官制，门下坊拟门下省，置左庶子2人，内舍人4人，录事2人，主事令史4人，统领司经、宫门、内直、典膳、药藏、斋帅等六局。司经局置洗马4人，校书6人，正字2人。宫门局置宫门大夫2人。内直局置内直监、内直副监各2人，监殿舍人4人。典膳、药藏、置监、丞各2人。药藏又有侍医4人。斋帅局置吏员4人。典书坊拟内史省，置右庶子2人，舍人、通事舍人各8人，录事2人，主事令史4人，内坊典内及丞各2人，丞直4人，录事1人，内厩置尉2人，掌内车舆之事。家令寺、率更令寺、仆寺，制拟中央诸寺诸监。家令寺置丞2人，掌刑法、食膳、仓库、什物、奴婢等事。率更令寺置丞1人，掌伎乐漏刻。仆寺置丞1人，掌宗族亲疏，车舆骑乘。家令寺领食官、典仓、司藏三署令。仆寺领厩牧令员。此外，东宫还置有十率府，即左右卫、左右宗卫、左右虞候、左右内率、左右监门，其制拟十六卫府。但实际上其职事都比较清闲，而且往往由他官兼领。如杨坚的长子杨勇为太子时，高祖“多令大臣领其职”，据《隋书·苏孝慈传》载，兵部尚书苏孝慈就曾挂名兼领太子左卫率、太子右庶子等职。

　　隋文帝采用北周之制，设“勋位”十一等，即上柱国、柱国、上大将军、大将军、上开府仪同三司、开府仪同三司、上仪同三司、仪同三司、大都督、帅都督、都督等，以酬答有功之臣。又设特进、左右光禄大夫、金紫光禄大夫、银青光禄大夫、朝议大夫、朝散大夫等散官之号，以加封给品德高尚、声名著称但不理事的官员。隋代规定，有具体职责的官员称“职事官”，无者为“散官”。