1934年9月，中央军委指示红25军主力作战略转移，去创建新的根据地。郑位三为了尽快实现这一战略决策，当即写信给活动在皖西的鄂豫皖省委和红25军，说明了这一情况。鄂豫皖省委在光山县花山寨，做出了红25军实行战略转移的决定，整编了部队，由时任省委常委兼秘书长的郑位三任军政治部主任，随军长征。

　　郑位三生活俭朴，作风扎实，平易近人。他时常穿着一身破旧衣服，在红25军中，大家都亲切地称他“位老”，其实他那时只有33岁。

　　郑位三过去一直做地方工作，对搞农民运动、建立地方政权、坚持游击战争，都有着丰富的经验。在红军中做政治工作，他还是第一次。但他坚决服从组织的决定，以坚定的信念、认真的态度、求实的精神去熟悉新的工作。他善于发扬民主，集思广益。他经常把政治部的同志召集起来，共同商量研究，很快就熟悉了军队中的政治工作。长征路上，他很少骑马，经常拄着一根木棍，跟连队一起行军。部队每到一地，他就跟战士挤在一起，亲亲热热地拉家常。有时还给战士讲上几段故事，既风趣，又幽默。所以，基层干部战士都愿意和他接近。他给部队上政治课，联系实际，深入浅出。比如，长征出发前，他曾从书上找了一张列宁像，让刘华清临摹放大，挂在墙上。他首先从列宁讲起，讲到十月革命的成功，使战士从十月革命的胜利，看到了中国革命的前途，坚定了革命的信念。

　　1934年12月10日，红25军进入陕南商洛地区，中共鄂豫陕省委决定在鄂豫陕边创建新苏区。为让新区人民了解红军，部队一进入陕南，郑位三就起草了《什么是红军》的张贴传单。仅以四百来字，就把红军的宗旨、性质、任务以及有关政策讲得十分明确。红25军攻占镇安县城后，他又起草了《中国工农红军第二十五军为占领镇安县告群众书》。他还根据省委有关新苏区的经济政策，起草了《关于商业政策》的布告。为争取瓦解国民党士兵，他起草了《告国民党士兵书》。为做好新苏区优待红军家属工作，他制定了“红军家属优待证”，并亲笔给部分战士签发。郑位三起草和制定的这些有着历史意义的文献，在红25军开创鄂豫陕苏区的过程中，曾产生过深远的影响。

　　1935年7月，红25军为配合中央红军的北上，决定西征甘肃、北上陕北。当时，担任鄂陕特委书记的郑位三被留在陕南地区，继续坚持鄂豫陕根据地的游击战争。红军主力北上后，敌人仍集中20多个团的兵力，对鄂豫陕革命根据地实行“划区清剿”，妄图消灭留在鄂豫陕根据地的游击武装。在此危难时刻，郑位三召开联席会议，将鄂陕、豫陕两个特委合并成鄂豫陕特委，将留下的红军和游击武装编成红74师，由他任特委书记，陈先瑞任师长。由于统一了领导，集中了兵力，使鄂豫陕边的游击战争有了可靠保证。随后，郑位三冷静地分析形势，准确地判断敌情，决定避敌锋芒，扬我之长，采取“兜大圈子”的游击战法，从敌人的包围中奔来突去，忽东忽西，神出鬼没，先后打破敌人三次“围攻”。

　　根据这一方针，红74师大胆而灵活地开展游击战争。一次在镇安县青铜关，我军利用有利地形，伏击了敌40军230团一个营。接着，声东击西，袭占了佛坪县城（袁家庄）。敌人跟踪而至，我军又一举打出秦岭，当西安、宝鸡之敌围来时，遂又进入山中，第二次占领佛坪县城。

　　1936年秋，敌人又一次调集重兵进行“围剿”。特委根据山区地形条件和我军善于游击的长处，决定将部队“化整为零”，深入敌后活动。郑位三当时领导一团，出商洛，奔袭两岔河，回兵大龙庙，横扫反动民团，捕捉了由西安赴商州上任的国民党督察专员汤有光。不久，他又根据敌情变化，提出集中兵力打击敌人。部队集中后，在商南县富水关痛击了公秉藩别动队一个大队，接着挥师北上，在华山脚下转了三个大圈，继而进入蓝田境内，对西安之敌震动很大。

　　因为没有电台联络，红74师完全和上级党组织失去联系，对当时的斗争形势很不了解。在这种情况下，郑位三想了许多办法。他走一路问一路，及时了解敌情动态，熟悉地形道路。他还从各种报纸和截获的敌伪信件中判断敌情，决定部队行动。红74师打下宁陕县城后，他根据周围的敌情分布和路程远近，决定部队就地休整八天，开展群众工作。当部队撤离后，敌人果然在第九天进入宁陕县城。

　　郑位三在领导陕南的游击战争中，还依据斗争的需要和形势的变化，灵活地制定和实行了一些具体政策。例如，对在宁陕、柞水一带活动的宋登贤“神团”组织，他主动派人去做工作，从武器、经费上给以资助，最后把这支农民武装编为红74师补充团。对当时率部起义的何振亚、沈启贤同志，他亲自写信联系，同何部派来的人亲切交谈，使这支部队加入了红军的队伍。对商南县大地主石老八，不捕不杀，不没收其财产，利用其为我军采购药品、布匹等物资。柞水县的一名伪区长，经过郑位三几次教育后，明着为敌人办事，暗地给我军送情报、筹粮款、掩护伤员。我军曾多次截获过邮差，郑位三每次都只准扣留有关敌伪方面的信件、报纸，然后给邮差开个“收条”，盖上公章，以宣传我军政策，保护邮递人员。这些具体政策的贯彻执行，有效地分化了敌人，争取和团结了中间势力，使游击战争得以胜利开展。

　　陕南的游击战争是十分艰苦的。部队整天翻山越岭，出没在深山密林之中。郑位三当时就患有严重的十二指肠溃疡，加之缺医少药，饥一顿饱一顿的，体质十分虚弱。同志们出于对他的关心，有时给他搞点肉食，但说啥他也要和大家一起吃。郑位三领导鄂豫陕特委和红74师，独立坚持了近两年的游击战争，使红74师由原来的600余人，发展到2100余人。

　　西安事变爆发时，这支活跃在鄂豫陕根据地的红军队伍，在周恩来同志的关怀下，回到了党中央的怀抱，后来改编为留守兵团警卫四团，肩负起保卫陕甘宁边区、保卫党中央的光荣任务。贺龙曾说过：“红74师能在陕南坚持近两年的游击战争，位三同志的正确领导起了重要作用。”