咸豐三年（1853），曾國藩奉命回湖南幫辦團練，想到彭玉麟熟悉水上作戰，又熟讀《公瑾水戰法》，就讓他來與自己一起創辦湘軍水師。彭玉麟也早無考取功名之心，就棄筆從戎加入了湘軍。彭玉麟從此在曾國藩的支持下，購買洋炮，制造船艦，訓練湘勇。

咸豐四年（1854），他率領湘軍水師大敗太平軍，先后攻下湘潭、岳州、武漢、田家鎮等地。咸豐五年（1855），在湖口被石達開率領的太平軍打敗后，他又重整水師，...