国民革命军74军组建于1937年淞沪会战时期，由第51师、第57师和58师组成。这支部队虽然成立的时间比较晚，但是却凭借一场场硬仗打出了自己的威名，尤其是第二任军长王耀武在任时期，彻底把这支部队推上了国军头号主力的宝座。
74军是国民党军中少数的几支几乎参加过抗战期间所有大型会战的部队，尤其是在1941年的上高会战中，日军曾集中万余兵力在数十架飞机掩护下猛攻74军云头山、白茅山阵地，74军与日军反复争夺，先后7次与日军展开白刃肉搏，击毙日军第34师团长岩永少将，使日军第33师团遭到重创，第34师团及独立第20混成旅团伤亡更是高达70%以上，此战共毙伤日军1.5万，被何应钦誉为 “开战以来最经彩之作战”。
上高会战后，74军凭借出SE的战绩，成为首批五个军之一换装苏式装备。常德会战中，74军57师8000余名官兵在师长余程万的率领下，死守常德16天，几乎全军覆没，日军也伤亡上万人。1945年5月，在湘西雪峰山战役中，74军再次显示出抗日铁军的雄风，给予日军以重创，获得两面“飞虎旗”。
抗战结束后，74军被整编为74师，黄埔四期毕业的张灵甫担任整编74师中将师长。军政部当地根据各部队在抗战时的表现，评出了五支战斗力最强的部队，分别是整编74师（原74军），整编11师（原18军），整编第五师（原第五军），新一军，新六军，其中整编74师因为战绩卓越位列全军首位。
整编74师的战斗力绝对不是吹出来的，这支部队虽然被整编为师，但还有三万多人，全副美械装备，战斗力十分彪悍。尤其是很多官兵经过抗战的洗礼，以及美国军事顾问的训练，单兵作战能力极强。
解放战争初期，这支部队给解放军造成了很大的麻烦。在整编74师的进攻下，淮音，涟水等重镇相继被攻克。1947年5月，国民党军集中45万大军对华野所在的山东根据地发动进攻，整编74师又是冲在最前面，华野节节后退。
陈毅，粟裕忍无可忍，最后粟裕决定集中重兵歼灭整编74师。但是整编74师并不是那么好打的，此战，粟裕调到了华野五个纵队和特种兵纵队的重炮来攻打整编74师，其中华野攻坚能力最强的四个纵队，叶飞一纵，陶勇四纵，王必成六纵，许世友九纵全部担任主攻，后来的淮海战役，华野也没有出动这么强大的阵容。最后经过三天血战，整编74师被全歼。
孟良崮战役的胜利在当时引起了很大的震动，解放军各大野战军的士气空前高涨，国民党军也再也不敢孤军深入解放军根据地腹地。解放军有一个传统，那就是在战后，会根据俘虏的意愿，让他们自由选择去向。
但是孟良崮战役后，华野政治部下达了一项命令：抓获的整编74师俘虏一个人不能放。因为在这场战役中，华野各部队都看出了74师强悍的战斗力，单兵素质太强了，所以战后，华野把整编74师的俘虏安排到了各个军，让这些74师的俘虏把一些技战术传播到各个军，提高华野各部队的战斗力。
整编74师的覆灭对蒋介石的打击很大，蒋介石曾说过一句话：“有十个整编74师就能统一全国。”
蒋介石不甘心整编74师就这样全军覆没，整编74师的首任军长俞济时（蒋介石的外甥）、第二任军长王耀武也呼吁重建整编74师。最后由这支部队的第二任军长，王耀武负责重新组建整编74师。
孟良崮战役的时候，整编74师有三个新兵团没有参战，在后方接受训练，王耀武在这三个团和一个榴弹炮营的基础上组建了51旅，在山东警备二旅的基础上建立了57旅，在广东航空警备旅的基础上组建里58旅，整编74师留在后方的一些伤亡也补充了进去。新上任的整编74师师长邱维达也是黄埔四期，是王耀武的部下，张灵甫的老战友。
1947年12月，刘邓大军已经离开大别山，到达了淮西地区。此时顾祝同手里无兵可调，于是问整编74师师长邱维达是否可以参战，得到了肯定的回复。
当时淮西最重要的两个据点是阜阳和蒙城，于是整编74师58旅进驻阜阳，邱维达带着整编74师师部和剩下的两个旅驻扎在安徽蒙城。刚出大别山出来的中原野战军重武器全部丢失，各纵队减员严重，士气十分低落，急需打一场胜仗鼓舞士气，于是刘伯承盯上了驻守在安徽阜阳的整编74师58旅。
当时国民党军第十四绥靖区的司令部也在阜阳，第十四绥靖区司令是李觉中将。驻扎在阜阳的58旅拥有9000多人，其中作战人员占到三分之二，有6000多人，58旅旅长是毕业于南京中央军校和陆军大学的罗幸理。
该旅虽然是新组建的部队，但也是全美械装备，而且当时这支部队打出的是为张灵甫报仇，为整编74师雪耻的口号，所以这支部队的士气很旺盛。
1948年3月下旬，中野二纵、三纵、六纵全部到达淮西，南渡黄河之后即调拨粟裕指挥的王秉璋十一纵也归建。MAO主席又指示聂荣臻从华北军区调三万官兵南下，补充到了中原野战军中，帮中野恢复了一些元气，使中野恢复到13万人的规模，和挺进大别山之前的人数差不多。
刘伯承当时想拔掉阜阳，蒙城这两个据点，控制整个淮西地区，战斗顺序是先打阜阳，再打蒙城。此时由于中野缺乏重武器，又把华野十纵调来助战。
攻城总指挥由中野一纵司令员杨勇担任，主攻部队为杨勇一纵、王秉璋十一纵，中野司令员刘伯承又从张国华部抽出来战斗力比较强的三个团，组建为独立旅，旅长为金绍山，这支部队也参加了战斗。
3月29日晚，阜阳战役正式打响。1纵20旅59团在阜阳外围东三里湾歼灭守军1个连，之后全团在东三里湾休息备战。但是国军派一个营突袭一纵59团，59团在国军猛烈冲击下退出东三里湾，59团民运股长吴明也在战斗中被俘，之前战斗中的国军俘虏也被尽数抢回。后来11纵的官兵前来助战，才把59团民运股长吴明又给夺了回来。
此战其实一直打得都不是很顺利，每攻下一处要隘都损失惨重，尤其是攻打城关两处制高点文峰塔、奎星楼的战斗，伤亡异常惨重。一纵戴润生第2旅经过30日、31日两天两夜血战后，终于在4月1日清晨占领文峰塔；而对奎星楼的攻击，直到最后战败撤退也没有能拿下。
3月31日晚，一纵20旅突破东关，率部打入了城区，但是第58旅旅长罗幸理立刻指挥部队展开反冲锋，给还在巷战中使用喷火器对攻入城的中野官兵造成了很大伤亡。敌58旅172团的一个营还擦入一纵20旅的后方，20旅旅长吴忠为了防止全军覆没，没办法又率领部队退了出来。
吴忠的20旅由于损失太大，不得不撤出战场，由中野一旅接近进攻。驻守北关、西关的蒋立先58旅174团突然组织了敢死队对王秉璋十一纵展开逆袭，王秉璋猝不及防，许多人在护城河里被淹死、践踏而死。
4月1日，邱维达率领整编74师主力赶来增援，4月3日，周围20个旅的国民党军纷纷赶来，对中野形成了包围。为防止全军覆没，刘伯承立刻下令各部队突围。
撤退的过程中，刘伯承又从张国华那里补充了一万名新兵，令张国华、金绍山继续在淮西打游击，王秉璋十一纵则返回鲁西南。刘伯承率领剩下的四个纵队八万多人向豫西突围，但是沿途遭到国民党军的伏击，有一定的损失。到达豫西根据地的时候，中野就剩下的了七万多人，而欢迎中野主力前来的陈赓所部也是七万多人，重武器比其他四个纵队加起来都多。
