1926年1月蒋介石辞去国民革命军第1军军长职务后，由何应钦接任军长。1926年7月，国民革命军1军1师、2师先期参加北伐，其余部队留驻广东。两个月后，何应钦率第1军所余各部北伐攻闽，此后又参加了江西、江浙的战斗，在占领南京后，向山东挺进。1927年7月下旬，北洋军反攻，占领徐州，蒋介石组织抵抗失败，北伐军撤回苏南。

徐州战败后，武汉国民政府准备派兵讨伐蒋介石的消息传来，而和蒋介石同在南京的李宗仁、白崇禧貌合神离，使蒋介石受到很大打击。此时“忠诚”的何应钦也出了问题。何应钦虽然一直听命于蒋介石，但也不满蒋介石日益增长的专横跋扈，在“四一二政变”后，蒋介石曾密令何应钦伺机将白崇禧部缴械，何应钦犹豫再三，竟没有执行密令。蒋介石于是怀疑何应钦受到李宗仁、白崇禧的拉拢。

在此形势下，8月11日，蒋介石以退为进，在南京的国民党中央执监委员会议上提出辞职下野。李宗仁、白崇禧表示赞同，蒋介石本来希望何应钦能带头挽留，但何应钦却说他同意李、白的意见。蒋介石深感失望，于是辞去国民革命军总司令等职务。

蒋介石下野后，李宗仁、何应钦、白崇禧坐镇南京。李、白提出用蒋介石命令黄埔同学会招募的七个新兵团补充部队，何应钦立刻答应，但被蒋介石派人阻止。何应钦率领第1军取得龙潭大捷、击溃北洋军主力后，将庞大的第1军所部编为第1、第9、第32三个军，由刘峙、顾祝同、钱大钧分任各军军长，由何自任总指挥，继续北伐。

正当何应钦踌躇满志之时，蒋介石准备复职了。

蒋介石于1928年1月4日复任北伐军总司令。在事先未告知何应钦的情况下，蒋介石于2月9日到达徐州，在何应钦出城打猎时，宣布调何应钦为总司令部参谋长，还让人告诉何应钦说：“没有我蒋中正，决不会有何应钦。”

在何应钦请辞第一路军总指挥后，蒋介石马上接受了何应钦的辞呈，将原第一路军改编为第一集团军，自己任北伐军总司令兼第一集团军总司令，命何应钦“养病”休假两个月，并说“待我将部队整理就绪，仍然请你回来统率”，但蒋介石后来也没有履行诺言。