坎尼的慘敗讓羅馬人痛不欲生，但在短暫的絕望之后，他們又振作了起來。元老院緊急下令征召所有17歲以上公民和8000名青壯奴隸。已經兵臨城下的漢尼拔見狀，轉戰南意大利。這給了羅馬喘息之機。羅馬啟用西庇阿兄弟為將，分兵牽制住漢尼拔，又再次推選費邊任獨裁官。縱然漢尼拔曾取得過不可思議的勝利，面對這種局面也是無可奈何。羅馬人迎來了轉機。來自西班牙的迦太基援軍被消滅。西庇阿渡海進攻迦太基本土。漢尼拔在外遠征，早就引起了國內的嫉恨和非議，此時政敵再次施壓，要求他回國。漢尼拔回國后，兩軍在迦太基城郊的扎馬平原再次相遇了。這次漢尼拔回天乏術，他只能統領臨時拼湊的部隊。他們很快土崩瓦解，這是漢尼拔第一次也是唯一一次失敗。迦太基被迫簽訂了城下之盟，接受了極為屈辱的條件，第二次布匿戰爭結束。公元前196年，漢尼拔當選迦太基的執政官，推行改革，準備再與羅馬一戰。但羅馬迫使漢尼拔離國出走。漢尼拔試圖游說各國結成反羅馬同盟，但他又數次流亡。公元前183年的一天，漢尼拔發現住宅被包圍了，他知道自己要被引渡給羅馬人，便服毒自殺。據說在扎馬戰役后不久漢尼拔和西庇阿曾有一次會面，西庇阿問古今名將的排名。漢尼拔把前兩名給了亞歷山大和皮洛士，問到第三名時，漢尼拔提到了自己。西庇阿譏笑說，如果漢尼拔不曾在扎馬戰敗，會怎樣排名。漢尼拔回答，將把自己評為第一。不管這個故事是否真實，漢尼拔應屬最杰出的古代將領之一。他被后人譽為“戰略之父”，直到今日，軍事教學中依然會使用他的戰例。

漢尼拔雖死，但依舊是羅馬的噩夢。羅馬人為了永絕后患，在50年后發動了第三次布匿戰爭。這次迦太基城被夷為平地，居民被賣為奴隸，迦太基變成了羅馬的阿非利加行省。