1.2 自然語言處理的基本范式
自然語言處理的發展經歷了從理性主義到經驗主義,再到深度學習三個大的歷史階段。在發展過程中也逐漸形成了一定的范式,主要包括:基于規則的方法、基于機器學習的方法和基于深度學習的方法。這三種范式也基本對應了自然語言處理的不同發展階段的重點。需要特別說明的是,雖然以上三種范式來源于自然語言處理的不同發展階段,有明顯的發展先后順序,并且在大部分自然語言處理任務的標準評測集合中,基于深度學習的方法都好于基于機器學習的方法,更優于基于規則的方法,但是它們各有利弊,在實際應用中需要根據任務的特點、計算量、可控制性、可解釋性等具體情況進行選擇。
上述三種范式雖然有很大的不同,但是它們都有一個相同點,就是都需要針對特定的任務進行構建。面向不同的任務,按照不同的范式構建數據、模型等不同方面,所得到的算法或者系統僅能夠處理特定的任務。在基于機器學習和基于深度學習的范式下,即使對模型預測目標進行微小修正,通常也都需要對模型進行重新訓練。對于未知任務的零樣本學習(Zero-shot Learning)能力,則很少在上述范式中進行討論和研究。基于機器學習和基于深度學習的范式也很難實現模型對未知任務的泛化。隨著2022年11月ChatGPT的發布,大模型所展現出來的文本生成能力以及對未知任務的泛化能力,使得未來的自然語言處理的研究范式很可能會發生非常大的變化。因此,本節中也將簡要介紹大模型研究范式的雛形。