就在這時，一個機(jī)會來臨了。當(dāng)時在河南主政的是胡景翼，也是陜西人，早年經(jīng)于右任介紹加入同盟會。第二次直奉戰(zhàn)爭期間，他和馮玉祥等人一起發(fā)動了北京政變。政變之后，胡景翼被排擠出京津，到河南督理軍務(wù)，成為河南軍政的實際領(lǐng)袖。

早年到日本留學(xué)的胡景翼，本來就思想開明，加之北京政變之后，他遭到軍閥排擠，對軍閥失去信心，就開始把希望的目光投向中國共產(chǎn)黨，并會見了共產(chǎn)黨的早期領(lǐng)導(dǎo)人李大釗。

胡景翼主政河南之后，蘇聯(lián)專家、共產(chǎn)黨員紛紛來到河南。一時間，開封、鄭州等地，人才濟(jì)濟(jì)，熱鬧非凡。這也是張靈甫離開陜西、來河南投軍的最主要原因。

熱鬧的背后，胡景翼內(nèi)心非常清楚，自己能有今天這個局面，背后全靠自己手中有一支軍隊——國民二軍來撐腰。但胡景翼手中的這支部隊，多是由陜、豫一帶的流匪構(gòu)成，兵匪一家，胡景翼為此受過許多有識之士的指責(zé)。

別人的指責(zé)不足為慮，但依靠匪兵難以成事，關(guān)鍵時候要是掉了鏈子，那才是真正可怕的。為此，胡景翼找了一批高素質(zhì)的教官，開辦了國民二軍駐豫軍官訓(xùn)練團(tuán)。他準(zhǔn)備招募一批高素質(zhì)青年，把他們培養(yǎng)成為青年軍官，以此為根基，改變國民二軍面貌。

聽到駐豫軍官訓(xùn)練團(tuán)公開招考的消息后，張靈甫立即前來報考。憑借曾經(jīng)考入北大的功底，張靈甫順利地考進(jìn)了駐豫軍官訓(xùn)練團(tuán)，由此開始了他的軍旅生涯。

按照胡景翼的計劃，參加駐豫軍官訓(xùn)練團(tuán)的青年，受訓(xùn)結(jié)束之后，都將進(jìn)入國民二軍擔(dān)任軍官。一個光明的前景正等待著自己，所以從開始受訓(xùn)的那天起，張靈甫就非常興奮。但不幸的是，剛剛參加培訓(xùn)不久，他的這個美夢就破滅了。因為這個計劃的實施者胡景翼突然去世了。

胡景翼剛剛30多歲，怎么會突然去世呢？

胡景翼的死和段祺瑞有關(guān)。本來胡景翼對段祺瑞是有恩的。袁世凱死后，段祺瑞成為北洋政府的主宰者，沒有想到在直皖戰(zhàn)爭中，段祺瑞的皖系敗給了馮國璋的直系，段祺瑞被逐出了北京城。第二次直奉戰(zhàn)爭爆發(fā)時，胡景翼和馮玉祥一起發(fā)動北京政變，段祺瑞才得以重回北京，擔(dān)任臨時執(zhí)政。

但段祺瑞的重新崛起，是馮玉祥、張作霖等人密謀的結(jié)果，并不符合胡景翼的本來愿望。故而段祺瑞就職時，各路諸侯紛紛來電祝賀，為其歌功頌德，唯獨胡景翼在來電中，仍稱段祺瑞為“段大元帥”，并在電文中控訴軍閥的罪惡。兩人關(guān)系由此交惡。

胡景翼主政河南之后，河南“赤化”問題越來越嚴(yán)重，段祺瑞非常不安，他立即任命憨玉琨為豫陜甘“剿匪”副司令，接著又唆使張作霖、閻錫山、劉鎮(zhèn)華配合憨玉琨圍攻胡景翼的國民二軍。

這場胡憨大戰(zhàn)打得是昏天暗地，最后，主動進(jìn)攻的憨玉琨兵敗。戰(zhàn)敗之后的憨玉琨回到洛陽大會父老鄉(xiāng)親。正當(dāng)父老鄉(xiāng)親等待憨玉琨東山再起時，他卻吞食鴉片自殺了。

憨玉琨死了，胡景翼也好不到哪里去。戰(zhàn)爭中，胡景翼身負(fù)重傷，隨后于1925年4月10日去世。

胡景翼的突然去世，不僅令國民二軍的軍官改造計劃破產(chǎn)，還令各路群雄試圖再度問鼎河南的局面出現(xiàn)，中原大地的動亂一觸即發(fā)。

升遷軍官的夢想已經(jīng)破滅，失去胡景翼的國民二軍也已經(jīng)失去了生機(jī)，張靈甫開始考慮離開這里。