2.1 背景知識

本節(jié)介紹與ChatGPT相關(guān)的背景知識，主要分為自然語言處理與大型語言模型兩方面。在自然語言處理方面，重點回顧整體發(fā)展歷程，介紹規(guī)則學(xué)習(xí)、傳統(tǒng)機器學(xué)習(xí)、深度學(xué)習(xí)、Transformer。大型語言模型其實也是在Transformer結(jié)構(gòu)的基礎(chǔ)上設(shè)計的，我們將重點回顧基于Transformer-Encoder的BERT（Bidirectional Encoder Representation from Transformers）模型，基于Transformer-Decoder的GPT模型以及基于Transformer-Encoder-Decoder的UniLM（Unified Language Model，統(tǒng)一語言模型）。