全面抗战爆发后，1938年10月，一二四师在师长曾苏元的带领下，驰赴罗山，阻击日军的进犯。

前进途中，曾苏元召集团长们边走边研究，然后下达口头命令：为保卫罗山县城，决定在罗山县城城东的任岗、城南小罗山、罗山城地区占领阵地，阻止日军继续西进。一二四师所属的三个团，在各自作战地区连夜赶筑工事。

10月3日拂晓，日军沿公路向一二四师发起进攻，逐步迫近任岗及一二四师的主阵地。8时左右，日军炮兵开始向一二四师主阵地猛烈轰击。9时后，敌人步兵在炮火掩护下发起试探性冲锋，逐渐进入一二四师主阵地前方有效火力网内。随着师长一声令下，一二四师枪炮齐发，日军很快被打退。

12点后，日军发起第二次攻势。在猛烈的炮火掩护下，一部分携带毒气的日本兵偷偷接近一二四师前沿阵地，企图施放毒气，被一二四师侦察哨发现，阵地上的官兵守兵立即捂上防毒的湿毛巾，后退到较高地点。等毒气散开，日军开始发起冲锋，一二四师官兵立即回到阵地，万弹齐发，挫败了敌人的第二次进攻。

敌人见强攻不成，遂向一二四师阵地倾泻大量炮弹。一二四师官兵隐蔽在事先挖好的坚固工事中，沉着应战。下午2时许，日军步兵第三次发起冲锋，一二四师官兵奋起抵抗，激战至下午5时，终于将敌人击退。

10月4日凌晨，曾苏元一面命令部队抓紧时间休整，一面派出小股部队骚扰敌人。夜1时许，一二四师侦察队对信潢公路附近的日军营地发起偷袭，烧毁了敌人的部分军需物资。

天亮后，敌人继续发起攻击，一二四师顽强守卫阵地，打退了敌人四次进攻。下午三四点左右，日军见久攻不下，派飞机飞来扫射、轰炸，给一二四师官兵造成很大伤亡。激战之际，敌人援军赶到，一二四师官兵临危不乱，又一次打退了敌人的进攻。敌人见正面攻击屡次失败，开始实施迂回作战，派重兵对罗山城南的小罗山高地发起了攻击。驻守在小罗山的部队是一二四师的一个排，虽然英勇抵抗，但寡不敌众，阵地被敌人夺取。敌人遂在小罗山上架起机枪和迫击炮，居高临下向罗山城南关汽车站的一二四师师部指挥所扫射。曾苏元立即命令师部战士退到敌人机枪射程外，并组织了一个营的预备队反攻，很快夺回了小罗山。

当夜，有侦察员报告说：又有日军大部队秘密向小罗山方向移动，准备袭击一二四师阵地的侧后。曾苏元闻讯后，立即向上级建议：为了避免被敌人包围，应该迅速放弃任岗及罗山县城，将部队转移到罗山县城西南二三里的子路河以西与栏杆铺连接的山地上再设防线。得到上级批准后，曾苏元立即命令部队于5日零点开始撤退，经过罗山县城向北转移，撤到十几里以外的子路河构筑新的防御阵地，同时派出小股部队对敌人进行彻夜骚扰。

由于曾苏元布置有方，一二四师掩护城内百姓从容撤出，“不损一人一枪”。天明后，日军虽发现一二四师撤走，但苦于连日战斗损失惨重，根本不敢追击，过了好几天都不敢进入罗山城。