序

當你讀到這里時，一件神奇的事情正在悄無聲息地發生：我在2021年11月產生的這些想法，通過黑色字跡經由你的眼睛穿過你的大腦皮層，轉換為文字、概念和情感，成功地侵入了你的大腦。很有可能它們暫時沒有引起你的注意，但仍在這個高度競爭的環境中扎下了根，很可能在你與他人分享這些想法時，它們就會“破土”而出。感謝語言的存在，讓思想成為經空氣傳播的高傳染性的“腦部病菌”，一旦染上就無藥可救。

所幸，大多數“腦部病菌”是無害的，并且有一些對我們大有裨益。事實上，人類的“腦部病菌”構成了我們最寶貴的兩個財富：知識與文化。就像腸道進行消化需要益生菌一樣，沒有這些對我們有益的“腦部病菌”，我們就很難進行思考。你的大部分思想其實都不是你自身產生的：這些思想在“傳染”你之前，它們已經在其他人的大腦中產生、成長、進化。所以，如果我們想造出智能機器，就必須要找到一種方法把人類的思想“傳染”給它們。

好消息是，另一件神奇的事情在過去幾年也一直在發生著：深度學習的突破性進展催生出了強大的語言模型。在你閱讀本書之前，你可能已經感受過語言模型的奇妙，比如GPT-3，只需要輸入一段簡短的提示語，比如“寫一個青蛙遇到鱷魚的故事”，它就能寫出完整的故事。盡管它與莎士比亞寫的作品還有明顯的差距，但讀起來確實很難讓人相信這是由人工神經網絡編寫的。其實我在行文時借助了GitHub的Copilot，你能分辨哪些內容是我寫的嗎？

目前，這場人工智能革命已不僅局限于文本生成，它涵蓋了自然語言處理（NLP）整個領域，從文本分類到摘要、翻譯、問答、聊天機器人、自然語言理解（NLU）等。只要有語言、語音或文字，就存在NLP的用武之地。在生活中，我們已經可以向手機詢問明天的天氣情況，或通過與虛擬助手對話來解決問題，還可以通過搜索引擎查到想要的結果。但這項技術是如此的新，最好的可能還沒有到來。

正如大多數的科技進步，這場NLP的革命是數百名無名英雄默默無聞努力工作的結果，其中有三大關鍵因素：

●Transformer是2017年Google發表的一篇名為“Attention Is All You Need”（https://arxiv.org/abs/1706.03762）的開創性論文中提出的神經網絡架構。只用了短短幾年時間，Transformer就顛覆了此前RNN的循環結構與CNN的卷積結構，占領了技術的制高點。Transformer架構在處理長序列數據和大型數據集方面表現得非常出色，以至于它的用途已不僅僅局限于NLP領域，像圖像處理等領域也有大量的應用。

●在大多數項目中，很難使用一個大型數據集來從頭開始訓練一個模型。在實際工作中，更常用的做法是直接下載一個在通用數據集上預訓練過的模型，然后在自己的（更小的）數據集上進行微調。自從2010年以來，使用預訓練模型是圖像處理領域的主流方式，但在NLP領域，該方式僅限于與上下文無關的詞嵌入（單個詞匯的密集向量表示）。比如，“bear”這個詞在“teddy bear”和“to bear”中有相同的預訓練嵌入。不過隨即在2018年的幾篇論文中提出的語言模型就解決了這個問題，將預訓練與微調變得更加通用，這完全改變了游戲規則。

●Hugging Face提供的模型倉庫從某種意義上來說也間接改變了游戲規則。早期，預訓練模型在訓練完后并沒有被統一管理起來，因此想要獲得一個可用的預訓練模型并不容易。墨菲定律告訴我們，總會有一些PyTorch用戶只能找到適用于TensorFlow而不能用于PyTorch的模型，反之亦然。在獲得一個預訓練模型后，找到對其做微調的方式并不是件容易的事。而Hugging Face的Transformers庫就肩負著這樣的使命，它完全開源，并同時支持PyTorch和TensorFlow，我們只需要從Hugging Face Hub下載一個預訓練模型，根據任務進行配置、微調，并進行評估。此庫的用戶數正在迅速增長，截至2021年第四季度，已有5000多個組織使用，且每個月使用p i p方式安裝的次數超過400萬。此外，Hugging Face Transformers庫的生態系統正逐漸蔓延到NLP領域之外，也可以將其用于圖像處理。最后，還可以從Hugging Face Hub下載數據集來訓練或評估微調的模型。

想了解更多內容，請閱讀本書。本書由Hugging Face的開源開發者所撰寫，作者包括了Hugging Face Transformers庫的創建者。本書具備一定的廣度和深度，因此受眾群體廣泛。它涵蓋了Transformer架構本身的知識點，以及圍繞它的整個生態系統。讀者可使用Jupyter notebook跟進每個案例，一步一步地構建起模型。本書作者在訓練大型Transformer模型方面經驗豐富，書中提供了大量的提示與技巧，并盡可能地讓內容通俗易懂。

總之，如果你對NLP領域具有濃厚興趣，想要獲知目前最先進的NLP產品的原理以及訓練方式，那么本書一定值得閱讀。千言萬語，盡在書中。

Aurélien Géron

2021年11月于新西蘭奧克蘭