林沖話也沒說就上前挑戰，二人刀槍相接，你來我往，打得難分難解，不分勝負。這時，只聽有人喊住手。二人停住，只見王倫、杜遷、宋萬對那人說：“這是我們兄弟林沖，人稱豹子頭。你是誰？也通個姓名。”那大漢說：“我是五侯楊令公之孫楊志，做過殿司制使官，因失陷花崗石不敢回京赴任，逃走他處避難，如今皇上赦免了我的罪，我正準備回京復職。”

“原來你就是青面獸楊志，我是白衣秀士王倫，前幾年去東京應試就聽過你的大名，今日有緣相見，就請楊制史到山上少敘片刻吧。”王倫極力邀請楊志。因為他看到楊志武功也非常高，是林沖的對手，如果只留林沖，后患無窮，把楊志也留下，這樣他們就可以互相牽制。

于是，他殺羊備酒，款待楊志。

酒過三巡，王倫指著林沖對楊志說：“這位兄弟原是東京八十萬禁軍教頭，因高太尉不容好人，被逼殺了人，才來到梁山。兄弟，你武功雖高，但畢竟是有罪的人，雖經赦免，但現在高俅掌權，他不會容你的，不如就留在這里吧，以后咱們就情同兄弟，有福同享，有難同當。怎么樣？”但楊志一心想做官，不愿意落草為寇，辱沒了祖上的清白。所以他就委婉地謝絕了王倫的好意。

第二天，送走楊志，王倫才肯讓林沖坐了第四把交椅，朱貴坐第五把。從此，他們五個好漢一起在梁山泊打家劫舍。

楊志回到東京，變賣家產，求人疏通了關系，才見到高俅。不料高俅大怒道：“你失陷花崗石不來自首，如今又想來復職，你別做美夢了。”說完便命人把楊志轟了出來。

楊志沒錢生活，便把祖上傳下來的那把寶刀拿到集市上去賣。站了半天也沒人問價，剛要走，卻來了一個人，這個人是東京城有名的潑皮無賴，專在街上行兇、耍賴，連開封府都拿他沒辦法，人稱毛大蟲牛二。

這牛二來到楊志面前，一把搶過寶刀問道：“這刀怎么賣？”楊志說：“這是祖傳寶刀，要價三千貫。”牛二喝道：“這破刀也賣三千貫錢，我三百文買一把，也一樣切肉。你說這是寶刀，它有什么好處？”楊志說：“我這刀可不是鐵匠鋪里的白鐵刀，我這刀有三樣好處：

第一，能砍銅剁鐵，刀口不卷；第二，吹毛得過；第二，殺人后刀口上沒有血。”那牛二說：“你口說無憑，做一下讓我看看，眼見為實。”于是，楊志便讓牛二拿了十二個銅錢，疊在一起一刀砍下去，果然銅錢都變成了兩半，圍觀的人都大聲喝彩。牛二不服，又從頭上拔了一把頭發。楊志接過頭發照著刀口用力一吹，那頭發便齊刷刷地成了兩截。眾人熱烈地鼓起掌來。

牛二這下就更加不高興了。他非讓楊志殺個人來驗證第三個好處。楊志說：“不能隨便殺人，就殺一條狗吧。”那牛二得理不饒人：“你說的是殺人，又沒說殺狗。”楊志被他纏得不耐煩了，看他也不想買刀，就說：“你不買可以，別在這兒影響我賣刀。”不料那牛二真的耍起賴來，一把搶過寶刀說：“我要買這刀。”楊志對他說：“你想買刀，拿錢來便是了。”牛二說：“我沒錢。”“沒錢買什么刀呀。”說著就去搶刀，不小心推了牛二一把。那牛二一看楊志打了他，便大聲嚎叫著：“你敢打我？”楊志也急了：“我沒打你，你說我打你，好，我就打給你看。”那牛二更放肆了：“你打吧，是好漢就殺了我吧。”說著直向楊志身上撲去，楊志忍無可忍，舉起刀朝牛二的頭上砍去，牛二一下子撲倒在地，楊志又朝前走一步，照著牛二的胸脯連著刺了兩刀。牛二頓時血流滿地，沒有了呼吸，而那把寶刀上一點血都沒有。

楊志見牛二死了，便領著眾人為證去開封府自首。管這個案子的人見楊志是個好漢，又為本地除了一害，便對他從輕發落，打了二十大板，在臉上刺了字，發配到北京大名府充軍，那把寶刀卻被沒收了。

楊志被押著來到了大名府。大名府的留守司梁中書，名叫梁世杰，他是東京當朝太師蔡京的女婿，此人非常有權勢。他看了楊志帶來的公文，了解了楊志的情況。因為從前就聽說過楊志，今日一見，果然是個人才，立即叫人打開了枷鎖，留在府內使用。

梁中書一心想提拔楊志，又擔心眾將不服，便讓楊志與府中副牌軍周瑾、正牌軍索超比試武藝。大敗周瑾，而索超是周瑾的師父，人稱急先鋒，武功也不一般。楊志和他大戰幾十回合，不分勝負。梁中書怕有傷亡，就讓他們住了手。從此，他們都得到了重用。

楊志在梁府，早晚殷勤，聽候使喚，又加上武功高強，很受梁中書的寵愛，早晚與他形影不離。不知不覺到了端午節。

這天，梁中書和梁夫人在家宴上商量如何給岳父蔡京過生日。他說：“我已為岳父大人準備了十萬貫金銀珠寶，去京城慶壽。但是找誰押送呢？去年送去的財物被賊人劫去了，至今查無所獲，今年一定要好好地選拔一個人。”梁夫人說道：“你不是常說那個楊志武藝高強嗎？做事又細心，不如派他去。”梁中書說：“看來只有派他去了。”從此，梁中書更加關愛楊志了。楊志也不負重望，更加賣力了。