1.2.1 什么是大模型

大模型成為家喻戶曉的概念始于2022年底到2023年初。彼時(shí)，由OpenAI推出的ChatGPT以其令人驚艷的交互性和實(shí)用性在全球范圍內(nèi)引發(fā)了廣泛關(guān)注與熱議。ChatGPT基于GPT-3這一大規(guī)模預(yù)訓(xùn)練語言模型實(shí)現(xiàn)，具有強(qiáng)大的自然語言理解和生成能力，能夠與用戶進(jìn)行多輪對(duì)話、解答問題、撰寫代碼、創(chuàng)作文本等。隨著ChatGPT熱度的持續(xù)發(fā)酵，大模型技術(shù)受到了前所未有的重視，各大科技公司和研究機(jī)構(gòu)紛紛入局，由此開啟了大模型“群雄割據(jù)”的時(shí)代。

事實(shí)上，大模型更準(zhǔn)確的叫法應(yīng)當(dāng)是大語言模型（Large Language Model，LLM），是一種能夠?qū)ψ匀徽Z言進(jìn)行處理和生成的神經(jīng)網(wǎng)絡(luò)模型。該模型基于Transformer架構(gòu)，具有大規(guī)模參數(shù)和復(fù)雜計(jì)算結(jié)構(gòu)。例如，GPT-3（Generative Pretrained Transformer 3）就是一個(gè)著名的大語言模型，它擁有1750億個(gè)參數(shù)，是ChatGPT應(yīng)用的基礎(chǔ)模型，能夠完成智能文本生成、自然語言理解、多輪對(duì)話等多種復(fù)雜任務(wù)。

Transformer架構(gòu)在自然語言處理（NLP）領(lǐng)域取得巨大成功后，被廣泛應(yīng)用在計(jì)算機(jī)視覺、視頻、音頻等其他模態(tài)的人工智能任務(wù)中，成為人工智能技術(shù)的基礎(chǔ)模型架構(gòu)。在此基礎(chǔ)之上，研究者通過構(gòu)建不同模態(tài)之間的連接，如采用對(duì)比學(xué)習(xí)模型CLIP（Contrastive Language-Image Pre-training，對(duì)比語言-圖像預(yù)訓(xùn)練），填補(bǔ)了各個(gè)模態(tài)之間的鴻溝。由此，人工智能實(shí)現(xiàn)了文生圖、文生視頻、理解圖片、理解視頻等跨模態(tài)應(yīng)用，具備了強(qiáng)大的跨模態(tài)能力。例如，OpenAI在2024年推出Sora這樣的文生視頻大模型，意味著大模型技術(shù)正在從文本擴(kuò)展到多媒體內(nèi)容生成，對(duì)影視等相關(guān)行業(yè)帶來革命性影響。

因此，文本之外的其他模態(tài)以及跨模態(tài)的各個(gè)模型，也具有了大規(guī)模參數(shù)和復(fù)雜計(jì)算結(jié)構(gòu)，也被稱為大模型。如此一來，大模型的概念從大語言模型擴(kuò)展到了其他模態(tài)。大模型的概念更泛化、更模糊化了。在沒有明確說明大模型是大語言模型還是大視頻模型或者跨模態(tài)大模型時(shí)，需要結(jié)合上下文來理解大模型這個(gè)詞所指的含義。

目前，在人工智能發(fā)展的浪潮中，大模型技術(shù)是該領(lǐng)域最先進(jìn)的技術(shù)。科技是第一生產(chǎn)力，大模型代表了最先進(jìn)的生產(chǎn)力，也是衡量一個(gè)國家或地區(qū)在人工智能核心競爭力方面的重要指標(biāo)。