應該說，25歲對一個軍人，已經過了黃金歲月，別的且不說，單以軍中資歷論張自忠就已經落后年齡比他小的佟麟閣、劉汝明等人一大截，這也是后來這兩位能列“西北軍十三太?！倍鴱堊灾覠o緣晉身的原因。但志存高遠的張自忠并不在意這些，他只是興奮終于能找到一個施展抱負的機會，至于官位、職務之類，并不是他刻意追求的東西。
也許是讀法律出身的緣故，張自忠帶兵很注意軍紀嚴明，執法極為嚴厲，當他的兵很少有不挨軍棍的，但另一方面，張自忠每次體罰都有理有據，從不濫施淫威，讓當兵的心服口服。所以雖然他有個“張扒皮”的諢號，但是在部下那里卻是極得軍心，他的部隊每次考核，名次也是在全軍前兩名。1918年，張自忠進入馮部軍官教導團深造，對半路出家的張自忠來說這是難得的補習軍事知識的機會，所以他的學習興趣極為濃厚，勤勉刻苦加之文化基礎好，所以每次考試總是名列第一，被教官樹為“標準學員”。馮玉祥也夸獎道：“在教導團中，他（張自忠）非常勤學，對人處事都極其真誠友愛，又能刻苦耐勞，這時便顯出他未來一定是個將才?！?
名將之路
隨著時間的流逝，張自忠在馮玉祥軍中的地位也穩步提高，從連長、營長一路晉升到學兵團團長，這時已經是1924年，深刻影響到馮部未來命運的第二次直奉戰爭爆發了。
應該說這場軍閥混戰的主角仍然是吳佩孚、張作霖兩位大帥，馮玉祥雖然已經做到了一軍司令官，但在戰爭初期還是沒有資格跟這二位叫板的，只是誰也沒有料到戰爭的最終結束卻是因他這個直軍第三軍司令官抓住機會，趁吳佩孚在前線和張作霖作戰的時候突然倒戈殺回北京，直接端掉了直系的老家，吳佩孚大敗虧輸，從此再也無力染指中央政權，而馮玉祥則借勢而起，最終發展出了一支能逐鹿天下的西北軍力量。
張自忠于此戰中接受的任務是率部由古北口直趨長辛店，截擊吳佩孚的交通兵團，迫其繳械投降。因為直系軍心已喪，所以此戰并沒什么難度，當然也體現不出張自忠作戰的高明之處，但是隨后發生的一件瑣事，卻彰顯了他作為一個愛國軍人的錚錚鐵骨。
當時張自忠部奉命移駐豐臺車站，但豐臺已為英軍盤踞多年。當張自忠率部到達豐臺時，這群眼睛瞪到天上的英國人竟不準中國軍人進入，雙方發生爭執。一般這種情況下中國人只有忍氣吞聲的份兒，但張自忠血氣方剛，硬是派一個連強行進駐車站。英方派人前來交涉，張自忠說：“豐臺車站是中國的領土，中國軍隊在自己的領土上執行任務，外國人無權干涉！”英國人見交涉無效，干脆擺出帝國主義的架勢，包圍了豐臺車站，并進行挑釁射擊。但張自忠不為所動，命令車站守軍：“他不犯我，我不犯他，他若犯我，堅決消滅他！”守軍根據張的命令，一面從正面堅決予以還擊，一面派出一個班突襲敵后，這群養尊處優慣了的英軍士兵哪曾想中國人還敢還手，只好灰溜溜撤退。但駐守在鐵路沿線的英軍仍不準中國士兵攜帶武器，致使雙方再起沖突。這次英軍派遣一位中國人為代表前來談判，要求中國軍隊撤兵。張自忠義正詞嚴地駁斥說：“這是中國的領土，不是英國的地盤，撤退的應該是他們！”一句話說得來人啞口無言。英軍見碰上了強硬的對手，只好認輸。從此，被英軍盤踞多年的豐臺車站重新回到中國軍隊之手。
“勇于私斗，怯于公戰；內戰內行，外戰外行?！边@是對那些熱衷于國內混戰，而慣于對外妥協的軍閥們的生動寫照。而張自忠第一次與洋人接觸，便顯示了鐵骨錚錚、不畏強暴的本色。時人評論說：“張自忠以他平時的人格的修養，獨能以不屈不撓的態度，應付他們，較之當日的統兵大員，已覺出人頭地一等?！?
但是很遺憾，當時的控制中國的大多數軍閥們是沒這么高覺悟的，倒是并非這些軍頭們不把國家前途民族命運放在心上，只不過在他們的理念里，要想強國御侮，那也要在本大帥一統天下之后才行，翻譯過來就是“攘外必先安內”。于是多災多難的國勢就在這些軍閥爭權奪利的混戰中一天天衰敗下去，似乎沒有終點。
第二次直奉戰爭后，馮玉祥又接連在國民政府組織的“北伐”和“二次北伐”中嘗到了政治投機的甜頭，麾下的西北軍如滾雪球一般壯大，張自忠的職務也從團長提升到了第6師師長，成為馮玉祥帳下的高級將領之一。
威震中原
到了20世紀30年代，馮玉祥儼然已經成為中國蔣、馮、閻、桂四大軍事集團中兵力最為雄厚的一個，尤其在北方，似乎除了占據東三省的張學良和在山西閉關自守的閻錫山外，誰也奈何他不得。這自然引起了占據著“中央”名分的蔣介石的不滿，一貫好耍弄權術的蔣介石便以裁軍的名義搞了個“國民革命軍編遣會議”，把上述幾路諸侯誑到南京，席間威逼利誘，妄圖讓中央軍一家獨大。但好不容易打出如今局面的馮玉祥、閻錫山和桂系等人又如何肯撒手？雙方你來我往，互不相讓，裁軍終究沒討論出個結果。
既然談不攏，那就只好打了。于是1930年5月，民國史上規模最大的軍閥混戰——蔣、馮、閻中原大戰開始了。北方的兩大勢力第一次聯起手來，共同對抗蔣介石，馮玉祥這次賭上了全部家底，手下的精兵猛將配合以閻錫山的錢糧豐足，鹿死誰手，猶未可知。
由于地理位置的關系，雙方的戰斗基本就是沿著南北向的兩條鐵路大動脈——平漢線和津浦線的爭奪開展的，再加上居中溝通東西的隴海鐵路，整個戰場就是一個“凹”形。
張自忠所部的第6師最開始是在西邊的平漢線打前鋒，一路氣勢如虹，所向披靡，中央軍在他手下很少有一合之將。當時蔣軍徐源泉部已經占領許昌，把握住了平漢線的戰略主動權，但是張自忠果斷指揮部隊發動夜襲奪城，用迅猛的攻勢一夜翻盤，克復城池之后又據而死守，一月之內打退蔣軍數次圍攻，令對手士氣喪盡。等到六月，馮部援軍上來，張自忠又果斷出城反擊，轉守為攻，打得士氣低落的蔣軍四散奔逃，全線潰退，眼見平漢鐵路形勢一片大好。
但是，馮玉祥在這個時候卻把打得正順的張自忠給調走了，第6師被重新安排到隴海鐵路，預備阻擊蔣介石的精銳援兵。從軍事角度看，馮玉祥當然是下了一招臭棋，兵法所謂“攻其所必救”，如果張自忠能帶兵持續攻擊南下，直插信陽，那就等于是給蔣介石統治區域的腹心來了一刀，戰略意義相當巨大，后來的劉鄧大軍千里躍進大別山就是如此。然而馮先生沒能看透這一點，只是對己方隴海鐵路的安危憂心不已，甚至把在前線氣勢如虹的強軍也要調回來加強守御，變外線作戰主動進攻為內線作戰消極防守，把戰場的選擇權拋棄給了敵人。
這些統帥考慮的事情不是張自忠所能左右的，他唯一能干的就是盡好一個軍人的職責，既然來了隴海路，那就在隴海路盡力打好。當時在隴海路與張自忠第6師對上的是蔣軍精銳的教導第2師，師長叫張治中，也就是后來國共談判中被老蔣痛罵“文白無能，喪權辱國”的那位愛國者。張自忠這次是棋逢對手，教導2師裝備精良訓練有素，戰斗力遠在6師之上，不能力拼，只能智取。張自忠經過仔細分析，決定還是祭出西北軍擅長的近戰、夜戰這兩大法寶，第6師用手里的刺刀、大刀和手榴彈與蔣軍展開肉搏，硬是在實力占優的敵人中殺出一條血路，蔣軍戰線動搖，全面潰退。教導2師在擔任掩護的時候又不幸被張自忠追了上來，生生被撕掉一大塊肉之后才勉強撤退，元氣大傷。
經此一役，張自忠名氣大噪，他作戰勇猛，指揮若定，儼然已是一代名將的風范。軍中同僚評價說：“其決心堅強，臨危振奮。每當情況急迫之時，輒鎮靜自持，神色夷然。”西北軍中從此又崛起了一員將星，只是馮先生已經沒有多少時間再用他了。
戰爭進行到七八月份，馮先生開戰以來一點兒一點兒犯的小錯誤終于累積到了質變的階段，戰爭態勢開始朝著不利于聯軍一方發展，而閻老西和桂系這兩個隊友不靠譜的表現又進一步加劇了這個趨勢，等到9月18日，一直在關外看風景的張學良也宣布支持蔣介石，馮先生便徹底大勢已去，而且他這次連東山再起的機會都沒了。
由于一直以來的家長制作風，霸道蠻橫，所以馮玉祥在西北軍的高層中其實并無多少人望。當他順風順水之時，眾人尚能在他威風之下齊心，然而一旦他落魄，僚屬們就是樹倒猢猻散的局面。所以在中原大戰敗局已定的時候，馮軍吉鴻昌、梁冠英、焦文典、葛運隆、孫連仲等部相繼投蔣，接受改編；而龐炳勛、孫殿英、劉春榮等部也宣布脫離西北軍，自由行動。在這種大趨勢下，張自忠的堅持就難能可貴了，中原大戰結束時，張自忠的第6師尚有約5000人，是西北軍殘部中最完整的部隊之一，如果能自立門戶或者投靠蔣介石，少不得升官發財。但是面對西北軍的土崩瓦解，張自忠卻選擇了帶領第6師跟隨馮玉祥渡河北上。他對部下說：“我們做軍人的，很要緊的就是忠誠。現在西北軍失敗了，很多人背叛了馮先生，但我張自忠不會這樣做?！?
抗倭御侮
有句老話講“形勢比人強”，雖然張自忠足夠忠義，但是馮玉祥到底還是失敗下野，西北軍作為一個歷史名詞從此不復存在。而那些不甘于歸附蔣介石的殘部則在后來相繼進入山西，公推宋哲元為領袖。1931年1月，他們被張學良收編，給了一個軍的番號，這就是那支后來以大刀出名，在抗日戰場殺出威風的29軍。
張自忠擔任了29軍38師師長，因為該部是雜牌中的雜牌，故裝備水平極為低劣。雖然有一個整編師的架子，但部隊甚至做不到人手一槍，火炮等重武器幾乎沒有，于是只好繼續發揚老西北軍的傳統，打造大刀等冷兵器作為補充。雖說后來在抗日戰場上發揮了意想不到的震懾效果，但是這種透著無奈的悲壯，還是令人不禁一聲嘆息。
此時國事日漸敗壞，張學良在中原大戰后志得意滿，精銳盡數入關搶占地盤，老家東北的防務一片空虛，結果就被日本關東軍抓住機會。1931年，“九·一八事變”爆發，蓄意的陰謀過后是東三省盡數淪陷敵手，一年前張少帥撿了粒中原大戰的“芝麻”，卻沒曾想在今天丟了東北老家這顆“西瓜”。東三省的輕易到手，讓日軍欲壑難填。1932年，勢力已經滲透到長城沿線的日軍頻頻向中國軍隊挑釁，妄圖在華北再制造一個偽“滿洲國”。這已經是完全觸及了張學良和國民政府的底線，無論再怎么“攘外必先安內”，丟了故都北平和經濟中心天津的責任他們也擔不起，但是怎么打，打多大，政客們也是猶豫不定。
1932年1月10日，張學良下令，29軍從山西陽泉出發，移防華北的通州、三河、薊縣、玉田一線。很顯然，少帥是打了一手好算盤，想用這支不是嫡系的部隊試探一下日軍，到底是大舉侵略還是試探進攻。在抗倭御侮的精神激勵下，29軍上下對于即將面臨的戰斗并無怨言，用張自忠的話講：“國家養兵千日，用兵一時，為國捐軀，重如泰山！”作為一個矢志報國的軍人，他等待這一天已經多時了，現在終于有機會在抗擊外敵的戰場上一展身手，如何不全力以赴？
當年3月，在日軍一連串的攻勢下，前線的中國軍隊節節敗退，只好據喜峰口關塞死守。當月7日，張自忠與29軍另一位師長馮治安率部抵達遵化三屯營，此地距喜峰口30千米，張、馮在此設立29軍前線指揮所。在與馮治安、趙登禹商討作戰計劃時，張自忠鼓勵部下說：“人生在世總是要死的，打日寇為國犧牲是最光榮的。只要有一兵一卒，我們決心與日寇血戰到底！”馮、趙二人甚為贊同。
當然打仗光有決心是不行的，29軍裝備低劣的問題直到上前線都沒人給解決，以槍都配不齊的兩萬人馬跟日軍硬拼是不行的，只有在戰術上想辦法抵消劣勢，張自忠還是拿出了西北軍夜戰肉搏的看家本領，與馮、趙二人計劃，組織一次大刀隊夜襲。11日夜，王長海率領217團，趙登禹、董升堂率領224團，李九思指揮226團楊干三營，分路夜襲敵營，大獲成功，混亂中日軍顧此失彼，很多人睡夢中糊里糊涂被砍掉了腦袋，此役29軍殺敵上千，同時110旅乘機發起正面攻擊，有力地牽制了敵人的正面攻勢。
消息傳出，全國一片歡騰，各界紛紛寫詩作詞贊揚29軍的抗戰功績，尤其一首《大刀向鬼子們的頭上砍去》更是唱出了中國軍人的威風。在河北保定督戰的蔣介石也感到顏面有光，難得大度地決定電邀宋哲元、張自忠這些一年前還與他作戰的將領赴保定一晤。19日，宋、張、馮三人赴保謁蔣，受到盛情款待。據說，蔣“神情歡愉，面有喜色”，這是張自忠第一次與蔣介石見面。
但是也正如上文所說，長城抗戰到底只是蔣委員長的“面子工程”，29軍打得不錯，給他爭光了，也就可以了，進一步反擊收復淪陷國土，蔣委員長壓根沒考慮。所以1932年的抗戰是虎頭蛇尾的結局，中日雙方以長城為界，包括熱河在內的大片國土淪喪敵手。