1.7 Transformer的主要挑戰

本章我們已經看到可以用Transformer模型處理的各種NLP任務。只看媒體頭條新聞，有時會覺得Transformer模型能力無限。然而，盡管Transformer模型很有用，但遠未能包打天下。以下是我們將在本書探討的一些與之相關的挑戰：

語言

NLP研究以英語為主。有一些支持其他語言的模型，但很難找到稀有或資源少的語言的預訓練模型。我們將在第4章探討多語言Transformer及其執行零樣本學習跨語言遷移的能力。

數據可用性

盡管我們可以通過遷移學習來顯著減少模型所需的標注訓練數據量，但與人類執行任務所需的量相比，依然差很多。我們將在第9章探討如何處理幾乎沒有標注數據可用的場景。

處理長文本

自注意力在段落長度的文本上效果非常好，但是在處理整個文檔這樣長度的文本時，將變得非常昂貴。第11章將討論緩解這種情況的方法。

不透明度

與其他深度學習模型一樣，Transformer在很大程度上是不透明的。人們很難或不可能解開模型做出某種預測的“原因”。當需要通過這些模型來做出關鍵決策時，這是一個特別艱巨的挑戰。我們將在第2章和第4章探討一些探測Transformer模型誤差的方法。

偏見

Transformer模型主要基于互聯網的文本數據進行預訓練。這會將數據中存在的所有偏見印入模型中。確保我們沒有把種族主義、性別歧視或更糟的偏見引入模型是一項具有挑戰性的任務。我們將在第10章更詳細地討論相關問題。

盡管這些挑戰令人生畏，但是其中許多挑戰都是可以克服的。除了以上提到的章節外，我們將在后面的幾乎每一章中觸及它們。