1930年初，晋绥军首领、山西省主席阎锡山纠合冯玉祥西北军、汪经卫改组派及西山会议派等多方反蒋势力和大小军阀代表50余人云集太原，准备组成联军共同讨伐蒋介石。3月11日，在晋绥军、西北军57位将领的拥戴下，阎锡山正式就任全国陆海空军总司令。4月1日，近70万大军反蒋联军浩浩荡荡从太原、潼关、北平等地出发，沿着陇海铁路和津浦铁路两条主要交通线向中原地区进攻。
中原大战晋绥军大败而回
蒋介石也迅速做出反应，由国民政府下令免去阎锡山等人本兼各职，有国民党中常会议永远开除其党籍。4月8日，蒋介石在徐州召开军事会议，下令将所部编为4个兵团迎战。本来，双方势均力敌，但蒋介石不惜派人携巨款前往东北，最终拉拢少帅张学良率20万东北军经锐入关助战，反蒋联军腹背受敌，兵败如山倒。
阎锡山见势不妙，指挥晋绥军率先撤退，退回山西，后来他自己干脆宣布下野，躲到大连港托庇于日本人蛰伏待机。却将30余万西北军完全暴露在蒋介石中央军的兵锋之下，加上陕军杨虎城部投靠蒋介石，并占领潼关、洛阳，封死了西北军撤回陕西老巢的通道，西北军很快分崩离析，其驻扎陇海线的部队大部分投降或投诚，接受了蒋介石的收编，但也有数万残军北渡黄河，撤入了山西南部。同时，驻防平汉线北段的部分部队也从娘子关一带撤入山西，驻扎在晋中地区。
10万西北军滞留晋南地区
1932年2月20日，长期蛰伏大连的阎锡山重新被任命为太原绥靖公署主任，再次掌握山西军政大权。但东山再起后的阎锡山发现，山西境内西北军总兵力近多达10余万，其中，冯玉祥的手抢团、炮兵团及军官学校驻扎汾阳一带；关应麟与高桂滋师盘踞晋中；宋哲元部的张自忠、冯治安、刘汝明各师留置晋南；孙殿英、庞炳勋等依附西北军的小军阀则割据晋东南数县。
这些部队不但拿着山西省政府提供的经费，还自行征税抽丁，将驻防区域搞成了半独立状态，对于将山西视为禁脔的阎锡山来说，这是绝对不允许的。但西北军一向以彪悍善战著称，想靠着20万晋绥军武力驱逐他们，很可能是混战一场却不能如愿。为此，阎锡山决定采取分而治之的办法，在这些部队中，兵力最多、战斗力最强的无疑要属宋哲元第29军。
第29军北调，其余的被B走
阎锡山派人劝说宋哲元不要蜗居山西，并找到同为山西老乡财政部长孔祥熙，请他帮忙让山西“免受杂牌军队的荼害”；不久长城抗战爆发，第29军果然被调走参战，此后长期驻扎河北、察哈尔及平津地区。1933年春，冯玉祥在张家口组建“察哈尔抗日同盟军”，调手抢团等前去，阎锡山立即组织欢送。同时对少数不愿北上的手抢团官兵，当即派晋绥军第71师包围缴械，山西籍官兵就地遣散，外省籍的一律送上火车，再发给路费。
这两支主心骨被抽走后，兵力单薄的高桂滋、庞炳勋、孙殿英知道，山西已非久留之地，遂陆续率部开拔。从此，山西又成为阎氏一家之天下。
