1.1 為什么選擇強化學習

創(chuàng)造能夠做出與人類水平相當或優(yōu)于人類水平的決策的智能機器是許多科學家和工程師的夢想，并且正逐漸接近現(xiàn)實。自圖靈測試以來的70年里，人工智能的研發(fā)一直在坐過山車。最初的期望非常高。例如，在20世紀60年代，赫伯特·西蒙（后來獲得諾貝爾經(jīng)濟學獎）預測機器將能夠在20年內(nèi)完成人類可以完成的任何工作。正因如此，大量政府和企業(yè)資金投入人工智能研究，但隨之而來的是巨大的失望和一段被稱為“人工智能冬天”的時期。幾十年后，由于計算、數(shù)據(jù)和算法的驚人發(fā)展，人類再次比以往任何時候都更加興奮地追求著人工智能的夢想。

人工智能夢想當然是宏大的夢想之一。畢竟，智能自主系統(tǒng)的潛力是巨大的。想想我們?nèi)澜绲膶？漆t(yī)生是何其有限。教育他們需要數(shù)年的時間以及大量的智力和財力資源，而許多國家沒有足夠的水平。此外，即使經(jīng)過多年的教育，專家也幾乎不可能及時了解其領域的所有科學發(fā)展，從世界各地數(shù)以萬計的治療結果中學習，并有效地整合所有這些知識，繼而將其付諸實踐。

相反，人工智能模型可以處理并從所有這些數(shù)據(jù)中學習，并將其與一組豐富的患者信息（例如，病史、實驗室結果、呈現(xiàn)癥狀、健康狀況等）相結合，以做出診斷并提出建議治療方案。這種模式甚至可以在世界上最偏遠的地區(qū)使用（只要互聯(lián)網(wǎng)連接和計算機均可用），并指導當?shù)匦l(wèi)生人員進行治療。毫無疑問，它將徹底改變國際醫(yī)療保健并改善數(shù)百萬人的生活。

在我們尋求開發(fā)達到或優(yōu)于人類水平的人工智能系統(tǒng)——某種程度上被稱為通用人工智能（Artificial General Intelligence, AGI）——的過程中，開發(fā)一個可以從自己的經(jīng)驗中學習而不一定需要監(jiān)督的模型是有意義的。強化學習是使我們能夠創(chuàng)建此類智能體的計算框架。為了更好地理解強化學習的價值，將其與其他機器學習（Machine Learning, ML）范式進行比較很重要，我們接下來將對其進行研究。