1945年8月15日，日本宣布投降。新四军第三师兼苏北军区司令部、苏北行政委员会联合发出通牒，命令苏北各地伪军、伪组织在10天之内向附近的新四军和抗日政府接洽投降。但淮阴等地伪军残余势力却依仗国民党顽固派的支持，拒绝投降。根据中共中央及新四军军部指示，新四军三师师长黄克诚命令师参谋长洪学智、第十旅旅长刘震，率部会同苏北地方武装迅速光复淮阴。

当时，在淮阴城中负隅顽抗的伪军为伪二十八师及其淮阴保安团约9000人，由汉奸潘干臣率领。日军投降后，潘干臣依仗淮阴水深城固，城外又有大批防御据点，不仅拒不投降，还多次向新四军挑衅。

洪学智、刘震接受任务后，于8月26日率领十旅及淮海军分区新二团和师直特务团等部向淮阴疾进。苏北地方武装射阳独立团和淮阴、涟水警卫团，淮安、涟水独立团等部队也赶来会合。至8月31日，新四军参战各部肃清了外围敌人，并击退了淮阴城内敌人的多次反扑，完成了对淮阴城的合围。淮阴群众听到消息后，集结5万余人，浩浩荡荡从四面八方赶到淮阴城外支前。

战前，侦察兵化装深入淮阴城，将侦查到的地形、火力部属、敌人的兵力等守备情况传回了指挥部。经研究，刘震等最后确定了作战方案：用六个团的兵力对守敌实施多路出击，以城东北角和东门为主攻方向，第二十八团一、二营为第一梯队，两营并肩突击，该团三营和第三十团为第二、第三梯队；南门由师直特务团负责，二十九团一部尾随特务团跟进；二十九团主力由城东南角攻击；射阳独立团和军分区新二团由城西门和西北角担任助攻；淮阴警卫团负责攻打北门；其他部队负责打援。

作战方案传达后，参战各部昼夜不停地投入攻城准备，并结合各自任务反复演练。部队制作了8米多长的登城云梯，并垒起了十多座高于城墙的机枪火力发射台，还通过秘密挖掘的地道，将大量炸药悄悄运到城墙根下。

刘震决定于9月6日下午2时发起总攻。为了制造夜间攻城的假象，围城新四军经常在夜间派出小部队袭扰敌人。守敌害怕新四军近战夜战，于是在夜间拼命加强戒备，搞得白天越发松懈。战斗打响前，十旅以师长黄克诚的名义向城内守敌发出最后通牒，敦促他们放下武器，向人民投降。但潘干臣顽固不化，竟残忍地杀害了进城送信者，更激起攻城部队的无比义愤。

9月6日上午，攻城部队实施破坏性射击，集中炮兵将敌人的两座炮楼摧毁。下午1时55分，师直特务团从南门阵地向指挥部报告说，运送爆破器材的“土坦克”被敌人炮火击中，目标已经暴露，请求提前行动，当即得到刘震的许可。

战斗随即打响，师直特务团奋勇登城。尖刀班班长、战斗英雄徐佳标第一个攀上城墙，不幸被敌人击中，身受重伤。他不顾伤痛，咬牙向敌人的暗堡爬去，用身体堵住了敌人机枪的射击，为突击部队开辟了前进的道路，特务团迅速向城内纵深疾进（淮阴光复后，为了纪念这位舍身堵枪眼的战斗英雄，淮阴城南门被命名为“佳标门”）。

与此同时，二十八团通过地道对城墙实施爆破成功，将东北角城墙炸开了一个7米多宽的缺口，仅用5分钟就突入城内，三十团一部紧跟在后；二十九团也从城东南角突入城内，迅速扫清残敌。射阳独立团从西门攻入城中，活捉了守敌一名司号兵，命令他用号声把守敌一个营集合过来，全部俘虏。负责攻打北门的淮阴警卫团，也很快登上了城墙，配合主力部队对城西敌人进行围歼。

二十八团四连连长张昌义带领战士一马当先，直插敌人师指挥部，消灭了敌人一个连，并当场击毙负隅顽抗的伪军师长潘干臣，活捉敌参谋长刘绍坤。刘绍坤在四连的“指挥”下，用电话命令各处顽抗的伪军投降。3时30分，城内战斗胜利结束，有数百伪军企图从城西北突围逃走，被埋伏在外的新四军歼灭。

此次战斗，新四军仅用一个半小时就光复了淮阴地区，取得了击毙伪军师长以下300余人，俘敌8300余人，缴获重炮7门、轻重机枪88挺、长短枪近7000支，汽车18辆，汽艇4艘，十余部设备完好的电台及其他一大批通信器材和大量武器弹药、军用物资的光辉战绩。