1.4.2　多模態(tài)能力

多模態(tài)能力則是指Agent能夠處理和解釋來(lái)自不同感官的信息，如視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等（當(dāng)然同時(shí)也能夠以多種格式輸出信息，如文本、圖片、音頻，甚至視頻），如圖1.16所示。例如，一個(gè)集成多模態(tài)模型的Agent可以通過(guò)觀察一張圖片，理解圖片中的情感和社會(huì)動(dòng)態(tài)，或者通過(guò)聽(tīng)到的聲音理解語(yǔ)氣和情緒。

圖1.16　多模態(tài)能力

另外，多模態(tài)能力的一個(gè)重要方面是整合能力。Agent能夠?qū)?lái)自不同感官的信息整合成一個(gè)統(tǒng)一的理解，這對(duì)于執(zhí)行復(fù)雜任務(wù)至關(guān)重要。例如，自動(dòng)駕駛Agent需要整合視覺(jué)數(shù)據(jù)（如道路標(biāo)識(shí)和交通燈狀態(tài)）、聽(tīng)覺(jué)數(shù)據(jù)（如特種車輛的警報(bào)聲）和觸覺(jué)數(shù)據(jù)（如車輛的速度和方向控制），以快速做出決策。

Agent的多模態(tài)能力還允許它們進(jìn)行環(huán)境理解和場(chǎng)景構(gòu)建。通過(guò)分析和合成來(lái)自各個(gè)感官的信息，Agent可以構(gòu)建對(duì)環(huán)境的全面認(rèn)知，從而應(yīng)用于救災(zāi)、醫(yī)療診斷和客戶服務(wù)等領(lǐng)域。