要说起山西省的来源，得从西周初年开始说起，公元前1035年，尧帝后裔建立的诸侯国发生叛乱，周公率军平息后，把此地分封给周武王儿子唐叔虞，并建立唐国。
唐国的地理位置大概在今天的运城地区。唐叔虞去世后，儿子姬燮继承了国君之位，便把国号改为晋国。
晋国最初的都城在山西翼城县，公元前745年，晋昭侯封文侯弟成师于曲沃，号为桓叔。后来，这支属于晋国君侯旁系势力壮大，经67年的宫廷杀戮，到公元前678年，曲沃代翼，小宗灭大宗，曲沃桓叔之孙晋武公夺取晋国国君之位。此事，为礼乐崩坏的重要事件。据《汉书.地理志》河东郡“闻喜县上郭村”故曲沃第二都城也。晋武公及其后人开拓疆域，吞并16国，晋国疆域鼎盛时期，地盘今山西省全部、陕西省东部与北部、河北省中部与南部、河南省西部与北部、山东西北部及内蒙古一部的广大地区为以后晋国称霸150余年。
公元前403年，周天子承认了韩、赵、魏三家诸侯国的地位，也称三晋。
秦始皇统一天下后，设置郡县制，山西是河东郡。
明朝时期，因山西在太行山之西，山西才开始叫山西省。