东汉建武元年（公元25年），刘秀为王莽所改郡县名，恢复西汉旧称。太原郡由21县，减为16县，即晋阳、榆次、阳曲、狼孟、盂县、大陵、平陶、京陵、兹氏、界休、邬县、中都、祁县、阳邑、虑虒、于离。东汉时，太原郡和并州同治晋阳，建安十八年（213年）并州并入冀州。太原郡冀州。

魏黄初元年（公元220年）文帝曹丕“复置并州，改太原郡为太原国”，旋又废太原国置太原郡，辖县降减到12：晋阳、阳曲、榆次、盂县、祁县、京陵、中都、大陵、平陶、狼孟、阳邑、邬县。并州及太原郡均治阳曲。

咸熙二年（公元265年），西晋改太原郡为太原国，隶属并州刺史部。西晋太原国辖县13：晋阳、阳曲、榆次、盂县、狼孟、阳邑、大陵、平陶、祁县、京陵、中都、邬县、于离。

西晋末年，北方少数民族上层贵族纷纷建立割据政权，互相攻伐。从晋建武元年（公元304年）到北魏太延五年（公元439年）进入十六国时期。在这一时期太原郡先后被前赵（汉）、后赵、前燕、前秦、后燕等五国交替割据，这几国都曾在太原设“续开之州郡”，各行建置。但为时短暂，无新建置，仅是彼此沿袭，无所变革。十六国时，并州移至河东郡。太原郡仍属并州。北魏时太原郡和并州又同治晋阳。

北齐武平六年，太原郡和并州移治龙山县（太原市西南汾水西岸），北齐太原郡领龙山，晋阳，邬，榆次，中都，祁，平遥，沾，受阳，长安，阳邑十一县。北周因之。

隋开皇三年（583）废太原郡入并州。隋炀帝大业三年（607年）恢复秦代郡县制，废并州总管府，复置太原郡，郡治晋阳。共辖15县：晋阳、阳直、太原、榆次、太谷、祁县、文水、交城、受阳、盂县、石艾、乐平、和顺、平城、辽山。

唐高祖武德元年（618年）废太原郡复为并州总管府。