1.1.2 多模態(tài)大模型

隨著技術(shù)進(jìn)步，大模型開始突破單一文本模態(tài)的限制，向多模態(tài)方向發(fā)展。多模態(tài)大模型能夠同時處理文本、圖像、音頻等多種類型的信息，大大拓展了AI技術(shù)的應(yīng)用場景。

2023年，OpenAI發(fā)布的GPT-4V（Vision）標(biāo)志著多模態(tài)大模型的重要突破。它能夠理解和分析圖像內(nèi)容，并結(jié)合文本進(jìn)行綜合理解和生成。2024年，谷歌的Gemini、Anthropic的Claude等多模態(tài)大模型相繼問世，進(jìn)一步豐富了多模態(tài)大模型生態(tài)。

在國內(nèi)，百度的文心一言4.0、字節(jié)跳動的豆包等都具備了多模態(tài)能力，能夠理解圖像內(nèi)容并進(jìn)行文本描述和分析。此外，專注于圖像生成的大模型（如Midjourney、DALL-E和Stable Diffusion），以及專注于音頻生成的大模型（如Suno等），也極大豐富了多模態(tài)技術(shù)的應(yīng)用場景。

多模態(tài)大模型的出現(xiàn)使AI工具具有了以下能力。

（1）理解和生成圖像、音頻等多種類型的內(nèi)容。

（2）實(shí)現(xiàn)跨模態(tài)的信息理解和轉(zhuǎn)換。

（3）為用戶提供更加豐富、直觀的交互體驗(yàn)。

然而，多模態(tài)大模型仍然主要停留在內(nèi)容理解和生成層面，在執(zhí)行復(fù)雜任務(wù)、動手操作等方面能力不足。同時，圖像生成等專項(xiàng)大模型需要復(fù)雜且專業(yè)的提示詞，使用門檻較高。