1937年7月7日抗战全面爆发后，程潜被任命为抗日大本营参谋总长、第一战区司令长官、河南省主席、西安行营主任等职务。他立下遗嘱，抱着战死沙场的决心，奔赴抗日前线。在战场上，他鼓励将士说:“大敌当前，有进无退。中国虽大，没有多少地方可退了。战死在阵地上是最光荣的！”

随着抗战进入相持阶段，国民政府军事委员会决定减少指挥层级，对战区重新进行划分，取消了广州、西安、重庆各行营，另设桂林、天水行营，程潜被任命为天水行营主任，负责指导北方各战区部队的命令传达、整备培训、宣传教育、通讯联络、后勤补给、交通运输以及地方行政事务、军法审判等事宜。天水行营在西安设办事处，程潜可常驻西安。1939年2月1日天水行营正式办公，蒋鼎文、胡宗南等均登门祝贺。八路军驻西安办事处负责人林伯渠也登门访问。程潜风趣地对北伐时的老友说:“日军的国旗是太阳旗,我们的行营叫天水,天水可以淹没太阳，抗日战争必然胜利啊!”林伯渠高兴地回答:“儒将出语不凡，真是妙语惊人!”

3月7日，日军飞机轰炸天水行营，程潜等100多名将佐，悉数被掩埋于防空洞内。等洞口被挖开时，64人已在轰炸中殉难，程潜也已休克，经抢救方才苏醒。程潜苏醒后为了缓解紧张气氛，开玩笑说：“像做了一场梦一样，不要紧，快去救其他的人。”

天水行营本应是西北党、政、军最高指挥机关，程潜也想在这里发挥“文通武达之才”，但对于蒋介石的嫡系如胡宗南和军统戴笠等的活动以及马鸿逵等地方势力，程潜基本上无权过问，而对于人事配置，也不能如其所愿。一次，天水行营在西安举办参谋班期间，程潜以训练事务繁忙为由，向军令部部长徐永昌申请调高级参谋张亮清协助，徐永昌不予回答。程潜将此事反映到蒋介石那里，蒋介石却将此事交与徐永昌处理。徐永昌随即告诉程潜“编制不合”，不予办理。这些事让程潜“无法施展其抱负”。

虽然如此，程潜任天水行营主任期间，认真处理各项事宜，并忠实执行中山先生遗训，坚持国共合作，掩护共产党人、进步人士从事抗日救国活动，还释放了被扣押的一批共产党员。当时胡宗南和谷正鼎阴谋破坏国共合作，派绥德专员何绍南到处制造事端。何绍南去西安见程潜，随身携带了许多反共传单准备散发，遭到程潜的阻止。他对部下说：“何绍南若再胡说，或从中挑拨，你要及时告诉我，不能让何绍南得逞。现在大敌当前，我们必须两党合作，共同抗战。十八集团军的官兵在前线浴血奋战，我们若在后面闹分裂，那如何得成?”

1940年5月天水行营撤销，程潜赴重庆任军事委员会副参谋总长，战地党政委员会副主任委员，晋升为陆军一级上将。