1941年，组织上派时任军委工程学校政委的丁秋生带领60余名干部，从延安奔赴八路军山东抗日根据地。丁秋生到达山东后，任八路军山东纵队第一旅政治部主任。

1942年8月，第一旅改为第一一五师教导第一旅，丁秋生仍任政治部主任。他积极协助旅政委王麓水，加强对整风运动的领导，使全旅整风运动开展得扎扎实实，各级领导和机关作风发生了很大变化，部队战斗力得到提高。

1943年4月，丁秋生任山东军区鲁中军区第四团政委兼政治部主任。上任之后，丁秋生和团长周长胜下到各营、连，调查了解指战员的实际情况。通过调查，丁秋生发现，这个团有很大一部分是由地方武装合编、补充过来的，新兵多，骨干少，军事技术差。丁秋生随即召开团党委会，研究决定用一个月的时间，从思想和军事两个方面进行整顿。

丁秋生提出“要整顿部队必先整顿干部”的主张。他组织大家学习，并进行了深入细致的思想工作，组织连队党支部重新选举，并注意言传身教，带头示范，使红军光荣传统在第四团得以发扬光大，部队面貌焕然一新，战斗力有了很大提高。同时总结历次战斗的经验教训，并责成团部制订训练计划，开展基础课目训练，尽快提高了部队的战斗力。

在整顿思想、整顿组织的基础上，丁秋生率领第四团掀起了大练兵热潮。干部重点学习军事理论，深刻领会毛泽东军事思想，提高军事理论水平和指挥作战能力，熟悉迂回、包围、中间突围和“三猛”（即猛打、猛冲、猛追）战术。战士主要训练射击、刺杀、投弹、爆破和土工作业五项战斗技术，并结合鲁中山区的实际情况，学会地形、地物的利用，火力的发挥等基础作战技能。

丁秋生和周长胜亲自带领作战参谋，采用沙盘作业与实战演习相结合的办法，分步讲解，连贯练习，极大地调动了广大指战员的练兵热情。在丁秋生的带动和示范下，第四团培养出一批生龙活虎、英勇善战的干部战士，全团面貌焕然一新，群情振奋。

11月初，日伪军纠集万余人，从蒙阴、新泰以东的土门、沂水同时出动，企图围歼北沂蒙地区的八路军山东军区部队主力。在山东军区的指挥下，丁秋生、周长胜率第四团跳到外线作战，以多路突击的凌厉攻势，直插敌防御纵深，取得了多次战斗的胜利。战斗结束后，八路军山东军区参战部队因第四团战果最大、伤亡最小，受到军区的通令嘉奖。此后，第四团连战皆捷，名声大振，成了鲁中地区人人皆知的英雄团队。

1944年8月，丁秋生任鲁南军区政治部主任，协助军区政委王麓水加强部队政治工作。