1.2 模型復雜度的提升

早在20世紀80年代, 計算資源比較緊缺, 所以只能訓練相對較小的模型。我們可以把這些模型看作“小聰明”, 它們能夠完成一些簡單的任務, 但要做出更復雜的決策還需要借助其他神經元的力量。

就像生活中的團隊一樣, 單獨的神經元或小組合作并不能創造出巨大的成果。只有當大量神經元齊心協力時, 才能發揮出最強大的能量。我們現在擁有更多的計算資源, 可以運行更大的模型, 這使得神經網絡變得非常成功。

在前幾年, 神經網絡的神經元數目很少。但是自從隱藏單元引入以來, 神經網絡的規模就迅速擴大, 平均每2. 4年就會翻倍。

現在的神經網絡, 就像我們生活中的餐廳, 不停地調整餐桌大小, 增加客座位, 以應對越來越多的顧客。而這種增長還是由更大內存、更快速的計算機和更大的數據集所推動的。比如, 你上次去餐廳吃飯時, 只有幾桌客人, 服務員可以輕松應對, 但如果現在餐廳爆滿了, 那么你點菜等待的時間就會明顯變長——這就需要讓餐廳老板不停地擴大規模才行。

同理, 一個更大的神經網絡, 也能夠在更復雜的任務中實現更高的精度。而且這種趨勢似乎會持續數十年, 除非未來有什么新技術能夠讓我們快速擴張。不然的話, 要等到很多年后, 人工神經網絡才能具備跟人腦相同數量級的神經元。而且生物神經元的功能比人工神經元更加復雜, 所以要讓神經網絡能夠達到人類的智能水平, 光是神經元數量達到和人腦相同, 還是遠遠不夠的。

目前最先進的大語言模型, 例如OpenAI的GPT模型, 參數數量高達數十億。相比之下, 據科學家估計, 人類大腦中的神經元數量約為1000億。因此, 現在的大語言模型參數數量雖然龐大, 但仍然遠遠比不上人類大腦的神經元數量。如果要通過類比來形容的話, 也許可以說現在的大語言模型參數數量相當于一只小老鼠的神經元數量, 就像圖1-5所示的這樣。

隨著更快的CPU、通用GPU的出現, 以及更好的分布式計算軟件基礎設施等科技的涌現, 深度學習的模型規模也變得越來越大了! 就像我們家里的電視機一樣, 從最開始的小盒子屏幕, 到現在的巨幕高清電視, 尺寸和質量都有了巨大的飛躍。我們可以想象一下, 未來, 深度學習的模型規模會變得比現在還要龐大, 而且這種趨勢還會持續下去。

最早的深度神經網絡只能識別精確裁剪且非常小的圖像中的單個對象。這就好比你要找一只襪子, 但是只有一個小角落可以瞄到, 還得把襪子從其他衣服里面單挑出來。不過現在的深度神經網絡可就厲害多了, 可以輕松地從一堆衣服中找到你要的襪子, 就像你可以很輕松地在床上找到自己的被子, 而且可以處理大尺寸高清照片, 并且不需要精確裁剪。以前的深度神經網絡只能識別兩種對象, 比如只能分辨兩種水果, 蘋果和香蕉。但是現在的深度神經網絡可以分辨至少1000種不同的物品, 就像你可以在市場上分辨出無數種水果。如果說識別對象是一項比賽, 那么每年的ImageNet大型視覺識別挑戰就是冠軍爭奪戰! 卷積神經網絡曾經為了拿到這個冠軍, 使盡渾身解數, 將前五名的錯誤率從26. 1%降到了15. 3%, 就像運動員們在冠軍賽場上奮力拼搏, 十分激動人心! 現在的深度學習更是厲害, 前五名的錯誤率已經降到了3. 6%。

深度學習也對語音識別產生了巨大影響。在20世紀90年代, 語音識別看起來潛力無限, 但始終無法突破自我。盡管多方努力, 它也只能停滯不前, 就像一只被困在籠子里的小貓。然而, 在深度學習的引領下, 小貓終于擺脫了束縛, 成了一只自由自在、優美動人的大貓。在諸多研究者的努力下, 語音識別錯誤率陡然下降, 好像突然間所有的聲音都清晰明了起來, 有些錯誤率甚至降低了一半。

現在, 我們可以輕松地用語音指揮手機, 讓它幫我們完成各種任務, 這些強大的功能背后, 深度學習功不可沒!

隨著深度神經網絡的規模和精度不斷地提高, 現在它甚至可以學會描述圖像的整個字符序列, 就像小學生能夠背誦全唐詩一樣厲害。之前人們認為必須標注單個元素才行, 但現在深度神經網絡已經可以輕松搞定序列與序列之間的關系。比如, 它能夠讓計算機不再只看到輸入之間的關系, 而是真正理解它們之間的聯系。這種技術似乎引領著另一個應用的顛覆性發展, 那就是機器翻譯。

后來出現的神經圖靈機不僅能讀能寫, 還能自主學習簡單程序。它只需要看看雜亂無章的樣本, 就能輕松學會各種技巧。以后我們再也不用頭疼那些要花大力氣才能完成的任務了。這種自我編程技術未來肯定會大放異彩, 可以適用于幾乎所有的任務。

與此同時, 深度學習在強化學習領域的發展也日新月異。它就像一個自己玩游戲的小孩子一樣, 可以獨立地通過不斷試錯來學會完成任務。機器人也受益于深度學習的進步, 現在它們的強化學習性能大大提高, 就像小學生考試前突然變得聰明一樣, 真是讓人驚嘆不已!

除了在計算機里訓練出高智商, 深度學習還能為神經科學貢獻一份力量。現代卷積神經網絡的對象識別技術讓神經科學家們有了研究視覺處理模型的新工具, 這下他們要感激深度學習了。深度學習不僅能處理海量數據和做出有效預測, 還可以幫助制藥公司設計新的藥物, 找尋亞原子粒子, 甚至自動解析用于構建人腦三維圖的顯微鏡圖像。看來, 深度學習可真是“全能型選手”。未來, 我們期待能在越來越多的科學領域中見到深度學習的身影。