前言

“注意是我們心靈的唯一門戶，意識中的一切，必然都要經過它才能進來?！?/p>

——俄國著名教育家、俄國教育學體系創立者烏申斯基

幼兒園阿姨總是拍著手對小朋友說“小朋友請看我這里……”，英語老師也常常敲著黑板要求學生“pay attention……”。無論是幼兒園阿姨還是英語老師，他們的目的是相同的——讓他人“集中注意”。那么，所謂的“注意”到底是什么？

不同的學科會從不同的視角對注意做出不同的解釋。從生理學視角，注意是我們的感覺器官對外界事物做出的有側重的響應，并由此引發一系列的生理活動。例如，以視覺注意力為例，就在此時此刻，你正在讀的這句話，沒錯，就是這句話，你的眼球就聚焦在這句話上，其他的文字仿佛“形同虛設”；從心理學視角，注意是心理活動對對象的指向和集中。我們對某事物“有所思”，正是因為我們將心智指向并聚焦在該事物上，即對該事物產生了注意；從認知學視角，注意是外界信息進入認知環節的唯一通路……但無論從哪個視角定義，注意的核心理念是統一的：注意是一切思維活動的起點——有注意，方有思考，通過注意，才能認知。

人工智能（Artificial Intelligence）作為計算機科學的一個重要分支，是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門技術體系。能夠讓機器以人類智能相似的方式認知世界并做出恰當的反應，一直是人工智能技術追求的目標。既然注意作為一切認知的起點，對注意力機制的探索與模擬也是人工智能領域的一個重點研究方向。

本書從注意力機制這一重要角度入手，闡述注意力機制的產生背景和發展歷程，通過詳實的理論剖析，以深入淺出的方式著重介紹注意力機制在計算機視覺（Computer Vision）與自然語言處理（Natural Language Processing）兩大人工智能方向中的體系、模型與算法，并在最后將注意力機制在其他智能領域的應用加以拓展。

全書一共分7章。第1章沿著時間線索，從相對宏觀的角度，從哲學思辨到計算機科學，介紹注意力機制研究的“前世今生”。尤其是在計算機科學部分，介紹目前人工智能領域中各方向圍繞注意力機制的研究現狀。第2章介紹計算機視覺領域中的注意力機制。該章從注意力的分類談起，討論視覺顯著性模型這一注意力在計算機視覺的最直接體現。然后從5類典型計算機視覺任務入手，介紹計算機視覺領域任務驅動注意力機制的應用并深度剖析若干算法實例。最后再舉若干模型實例，介紹神經網絡中“即插即用”的注意力模塊。需要說明的是，本章內容不包括Transformer在計算機視覺領域“踢館”的部分，我們將該部分作為第6章的內容。第3章介紹“前Transformer時代”自然語言處理領域中的注意力機制。這一章可以認為是自然語言處理領域的“Transformer前傳”。第4章詳細剖析Transformer這一具有里程碑意義的重要模型，尤其是對自注意力機制的原理進行深刻剖析。第5章從自然語言處理領域的預訓練范式談起，重點討論Transformer“一統江湖”下自然語言處理領域的最新進展，分門別類地對諸多經典模型進行詳細分析。第6章介紹“后Transformer時代”的計算機視覺領域。以算法實例的方式分析基于Transformer的各類計算機視覺模型。第7章針對多模態機器學習領域，對注意力機制的最新研究進展和應用展開詳細討論。

對注意力機制的討論與研究涉及諸多交叉學科，可謂枝繁葉茂，源遠流長。尤其是本書介紹的人工智能領域，發展更是日新月異，迅速異常。筆者自認才疏學淺，且時間與精力皆有限，故書中錯謬、偏頗恐在所難免。若蒙讀者不吝指教，筆者將不勝感激！

作者