前言

強化學習正在改變人類社會的方方面面：基于強化學習的游戲AI已經在圍棋、星際爭霸等游戲上戰勝人類頂尖選手，基于強化學習的控制算法已經運用于機器人、無人機等設備，基于強化學習的交易算法已經部署在金融平臺上并取得超額收益。由于同一套強化學習代碼在使用同一套參數的情況下能解決多個看起來毫無關聯的問題，所以強化學習常被認為是邁向通用人工智能的重要途徑。在此誠邀相關專業人士研究強化學習，以立于人工智能的時代之巔。

內容梗概

本書介紹強化學習理論及其Python實現，全書分為三個部分。

·第1章：介紹強化學習的基礎知識與環境庫Gym的使用，并給出一個完整的編程實例。

·第2～9章：介紹強化學習的理論和算法。采用嚴謹的數學語言，推導強化學習的基本理論，進而在理論的基礎上講解算法，并為算法提供配套的Python實現。算法的講解和Python實現逐一對應，覆蓋了所有主流的強化學習算法。

·第10～12章：介紹多個綜合案例，包括電動游戲、棋盤游戲和自動駕駛。環境部分涵蓋Gym庫的完整安裝和自定義擴展，也包括Gym庫以外的環境。算法部分涵蓋了《自然》《科學》等權威期刊發表的多個深度強化學習明星算法。

本書特色

本書完整地介紹了主流的強化學習理論。

·全書采用完整的數學體系，各章內容循序漸進，嚴謹地講授強化學習的理論基礎，主要定理均給出證明過程。基于理論講解強化學習算法，覆蓋了所有主流強化學習算法，包括資格跡等經典算法和深度確定性梯度策略等深度強化學習算法。

·全書采用一致的數學符號，并且與權威強化學習教程（如R.Sutton等的《Reinforce-ment Learning:An Introduction（第2版）》和D.Silver的視頻課程）完美兼容。

本書各章均提供Python代碼，實戰性強。

·全書代碼統一規范，基于最新的Python 3.7（兼容Python 3.6）、Gym 0.12和TensorFlow 2（兼容TensorFlow 1）實現強化學習算法。所有代碼在Windows、macOS和Linux三大操作系統上均可運行，書中給出了環境的安裝和配置方法。

·涉及環境全面。第1～9章提供算法的配套實現，強化學習環境只依賴于Gym的最小安裝，使理論學習免受環境安裝困擾；第10～12章的綜合案例既涵蓋Gym庫的完整安裝和自定義擴展，還包括Gym庫以外的環境，讓讀者體驗更加復雜的強化學習任務。

·全書實現對硬件配置要求低。第1～9章代碼在沒有GPU的計算機上也可運行；第10～12章代碼在配置普通GPU的計算機上即可運行。

代碼下載和技術支持

本書代碼下載地址為：http://github.com/zhiqingxiao/rl-book。筆者會不定期更新代碼，以適應軟件版本的升級。

在此推薦你加入本書學習交流QQ群：935702193。如果有任何意見、建議或經過網絡搜索仍不能解決的問題，可以在QQ群里提問。筆者的郵箱是：xzq.xiaozhiqing@gmail.com。

致謝

在此感謝為本書出版做出貢獻的所有工作人員。其中，機械工業出版社的高婧雅女士是本書的責任編輯，她對本書的寫作提出了很多建設性意見。同時，還要感謝機械工業出版社的其他編輯為提升本書質量所做的大量工作，與他們合作是一個愉快的過程。我要特別感謝我的父親肖林進和母親許麗平，他們也參與了本書的編寫。同時，還要感謝我的上級、同事和其他親友，他們在本書寫作期間給予我極大的支持。

感謝你選擇本書。祝你學習快樂！