第1章　基礎(chǔ)知識——大語言模型背后

本章共包括三部分內(nèi)容。本章首先簡要回顧自然語言發(fā)展歷史，從語言、圖靈測試一直到2022年年底的新突破——ChatGPT；接下來介紹語言模型基礎(chǔ)，包括Token、Embedding等基本概念和語言模型的基本原理，它們是自然語言處理（natural language processing，NLP）最基礎(chǔ)的知識；最后介紹與ChatGPT相關(guān)的基礎(chǔ)知識，包括Transformer、GPT和RLHF。Transformer是ChatGPT的基石，準確來說，Transformer的一部分是ChatGPT的基石；GPT（generative pre-trained transformer，生成式預(yù)訓練Transformer）是ChatGPT的本體，從GPT-1，一直到現(xiàn)在的GPT-4，按照OpenAI自己的說法，模型還是那個模型，只是它更大了，同時效果更好了；RLHF（reinforcement learning from human feedback，從人類反饋中強化學習）是ChatGPT的神兵利器，有此利刃，ChatGPT所向披靡。