解放战争进入1947年后，蒋介石鉴于其对解放区的“全面进攻”已经破产，于是转而进行“重点进攻”，于3月初集中了约45万人的国民党军，企图在鲁中与解放军决战。4月14日，国民党军整编七十二师进占泰安。这支部队的前身是川军部队，其装备为美、日混械，下辖三十四旅和新十三、十五旅，共2.8万人，有丰富的山地作战经验。整编七十二师向泰安进犯时，留下新十五旅一部驻守平阴、东阿、肥城等地，进驻泰安的师部、两个旅及炮兵团一部，共一万五六千人，另有一个国民党山东保安团协防。泰安城墙高而坚，背靠泰山，北面有摩天岭阵地，城西南有能控制全城的重要设防阵地蒿里山，有利于这支川军发挥出自身特点，凭借地形固守。而近城村落也设有星罗棋布的支撑据点，可谓易守难攻。

针对敌人的部署，解放军华野首长迅速拟定了攻取泰安的计划——以部分部队在临沂一带摆开一个与敌决战的架势，令一纵、三纵、十纵等部队组成临时西兵团，脱离南线正面之敌，经过500里急行军横越沂蒙山腹地，兵临泰安城下，用“攻城打援”的战术消灭泰安守敌。此次战斗由华野参谋长陈士榘、政治部主任唐亮负责指挥。十纵于4月22日抵达泰安外围，一纵、三纵担任歼灭大汶口可能北上增援之敌的任务。

22日下午4时，十纵各部开始攻击泰安城外围的敌人阵地，于当晚基本消灭城外的守敌四个营。城内敌人在飞机、大炮的掩护下，于23日集中兵力向外围阵地反扑，被解放军击退后，只得向城关收缩。

为解除城外敌制高点对攻城部队的威胁，十纵于23日开始攻击摩天岭和嵩里山。鉴于大汶口一带的敌人不敢来援，陈士榘遂改变原作战部署，调三纵八师加入攻城战斗，并命令特种兵纵队司令陈锐霆携带不久前在鲁南战役中缴获的各种大炮前来支援。

4月24日，攻城部队进行了部署调整：八师攻打蒿里山和城西关、西门；二十九师主攻城南关和南门；二十八师加强纵队特务团、鲁中一旅二团主攻城东门、摩天岭和北门。攻城部队部署调整后的当天夜晚，二十八师攻占了城东关，全歼摩天岭守敌；二十九师攻占城南关；八师强攻蒿里山，和敌人反复争夺，在特种兵纵队的炮火支援下，于25日拂晓攻克敌人阵地，并乘胜攻占了西关，将泰安守敌四面包围起来。

25日晚8时，华野围城各部发起总攻。22时左右，二十八师突破城东门，二十九师突破城南大门，与反扑的敌人奋力搏斗，坚守突破口阵地。城外部队也集中步兵炮、迫击炮、重机枪射击城墙上、城内的反扑之敌，掩护突击队杀进城中。26日凌晨，西门、南门也相继被攻克，各路解放军冲进城内，与敌人展开激烈巷战。残敌纷纷向敌师指挥部所在地岱庙撤逃。解放军攻城部队乘胜追击，对敌人工事实施连续爆破，逐一炸毁了密布在城中街道上的“子母堡”，很快冲进岱庙俘虏了里面的敌人，缴获了4门105口径美式榴弹炮和16门120口径化学迫击炮。26日拂晓，敌十五旅从泰山主峰来援，在城北关外被解放军打援部队击溃。至此，泰安战役胜利结束。

据统计，此次战斗解放军华野部队全歼守敌，计俘敌师长杨文瑔以下官兵1.1万余人，毙伤敌3000余人，击落飞机一架，缴获汽车40余辆，大小口径火炮70门，轻重机枪270余挺，长短枪1.8万余支和大批弹药物资器材。

战斗结束后，陈士榘在岱庙后院的一间房子里接见了被俘的杨文瑔。杨文瑔感慨地说：“你们有这么多的大炮，完全出乎我们意料之外。你们炮兵火力组织得这样好，步兵和炮兵协同这么密切，这更是我们没想到的。佩服!佩服!”陈士榘笑着回答说：“那就应该早放下武器嘛!”杨文瑔又说，在战斗中，他曾多次向南京、徐州以及附近的国民党军呼救，并报告说共军用“大家伙”(指一〇五榴弹炮)向他的部队猛烈轰击，快顶不住了。他的话不但没人相信，反而被异口同声地质问：“土八路”怎么可能有这么多“大家伙”?陈士榘就告诉他：“这些‘大家伙’都是你们在鲁南、莱芜战役中‘送给’我们‘土八路’的。”