2.3　大模型基礎結構——Transformer

OpenAI于2022年發布了一款名為ChatGPT的聊天機器人，它能模仿人類的語言與用戶自然交流。從用戶使用效果來看，ChatGPT不僅能與人順暢地對話，還能寫詩作文、編程開發，它的能力令人驚嘆。

ChatGPT的全稱是基于Transformer的預訓練聊天生成模型（Chat Generative Pre-trained Transformer）。顧名思義，其基本結構就是2017年谷歌發布的Transformer模型。接下來將詳細介紹Transformer的原理。