多模態(tài)大語(yǔ)言模型領(lǐng)域進(jìn)展分享

多模態(tài)大語(yǔ)言模型領(lǐng)域進(jìn)展分享背景介紹多模態(tài)大語(yǔ)言模型介紹多模態(tài)大語(yǔ)言模型演進(jìn)團(tuán)隊(duì)相關(guān)工作介紹未來(lái)展望01背景介紹背景-LLM正走向多模態(tài)大語(yǔ)言模型(LLM)是近幾年來(lái)最火熱的方向之一可以解決各種傳統(tǒng)NLP任務(wù)，如文本分類(lèi)、命名實(shí)體識(shí)別等可以做更高級(jí)的任務(wù)作為聊天機(jī)器人，按照要求扮演某個(gè)角色(強(qiáng)大的指令遵循能力)做高階的推理任務(wù)，如寫(xiě)代碼、解數(shù)學(xué)問(wèn)題等(強(qiáng)大的推理能力,

CoT進(jìn)一步增強(qiáng))然而LLM存在固有的限制無(wú)法處理多模態(tài)的輸入，導(dǎo)致有些任務(wù)無(wú)法做或者很難做，如根據(jù)網(wǎng)站截圖給出源代碼、理解一張表情包的含義無(wú)法獲取更多的多模態(tài)的世界知識(shí)，如名畫(huà)、名人等背景-LLM正走向多模態(tài)多模態(tài)大語(yǔ)言模型(MLLM)的興起就在近兩年，工業(yè)和學(xué)術(shù)界都在積極轉(zhuǎn)向多模態(tài)模型，比如OpenAI的GPT-4V、GPT-4o谷歌的Gemini-ProYin,Shukang,etal."Asurveyonmultimodallargelanguagemodels."

arXiv:2306.13549在短短的兩年間，已有上百個(gè)模型涌現(xiàn)，包括大企業(yè)的閉源模型和學(xué)術(shù)社區(qū)的開(kāi)源模型探索。背景-MLLM能做些什么能做傳統(tǒng)視覺(jué)/多模態(tài)任務(wù)Citedfrom

arXiv:2309.17421Caption任務(wù)計(jì)數(shù)任務(wù)定位任務(wù)背景-MLLM能做些什么能做更復(fù)雜的復(fù)合型任務(wù),

比如基于視覺(jué)的感知和理解任務(wù);Citedfrom

arXiv:2309.17421圖表推理根據(jù)圖表寫(xiě)代碼多模態(tài)大語(yǔ)言模型介紹02介紹-MLLM的基本方面由于大企業(yè)的模型是閉源的，學(xué)術(shù)界正積極研究探索開(kāi)源的模型。模型架構(gòu)數(shù)據(jù)與訓(xùn)練方法模型評(píng)估介紹-MLLM的架構(gòu)常用的架構(gòu)一般包含三個(gè)部分:編碼器連接器大語(yǔ)言模型Yin,Shukang,etal."Asurveyonmultimodallargelanguagemodels."

arXiv:2306.13549介紹-MLLM的架構(gòu)視覺(jué)編碼器常用的是基于CLIP預(yù)訓(xùn)練的ViT對(duì)于常見(jiàn)的224x224分辨率圖片，patch大小為14，最后共得到14x14=256個(gè)tokensCitedfrom

arXiv:2211.01335介紹-MLLM的架構(gòu)連接器MLP結(jié)構(gòu)不改變視覺(jué)token的數(shù)量，使用線性層或者多層感知機(jī)做投影。Q-Former壓縮圖片token至固定的數(shù)量，提高運(yùn)算效率Q指query，使用一組可學(xué)習(xí)的query向量從視覺(jué)token中抽取更緊湊的表征信息Citedfrom

arXiv:2305.06500Citedfrom

arXiv:2304.08485介紹-MLLM的數(shù)據(jù)和訓(xùn)練方法第一階段：模態(tài)對(duì)齊訓(xùn)練將視覺(jué)的語(yǔ)義空間與文本空間對(duì)齊一種做法是凍結(jié)LLM，訓(xùn)練視覺(jué)編碼器和連接器通常使用大量的圖文配對(duì)數(shù)據(jù)訓(xùn)練，如caption數(shù)據(jù)。輸入圖片，預(yù)測(cè)圖片的文本描述介紹-MLLM的數(shù)據(jù)和訓(xùn)練方法第二階段：指令微調(diào)訓(xùn)練提升模型的指令遵循能力，學(xué)習(xí)泛化到各種任務(wù)通常使用各種任務(wù)的數(shù)據(jù)，如VQA數(shù)據(jù)、檢測(cè)數(shù)據(jù)等，并改造為指令格式（多輪對(duì)話形式）輸入圖片和指令，預(yù)測(cè)回答介紹-MLLM的評(píng)測(cè)常規(guī)任務(wù)Benchmark一般聚焦某個(gè)具體的特定任務(wù)，關(guān)注特定指標(biāo)VQA任務(wù)：要求模型基于圖片內(nèi)容進(jìn)行回答，常關(guān)注淺層元素如物體類(lèi)別、屬性，有時(shí)涉及淺層推理，回答一般比較簡(jiǎn)單。一般使用準(zhǔn)確率作為評(píng)估指標(biāo)介紹-MLLM的評(píng)測(cè)專(zhuān)門(mén)Benchmark除了基本的感知能力，還關(guān)注推理等能力，任務(wù)一般更為復(fù)雜、困難多模態(tài)大語(yǔ)言模型演進(jìn)03演進(jìn)-更高的分辨率更高的分辨率能看見(jiàn)更多的信息，更準(zhǔn)確地回答問(wèn)題演進(jìn)-更高的分辨率如何提高視覺(jué)編碼器的分辨率？思路一：使用更大的分辨率進(jìn)行微調(diào)(Qwen-VL:224->

448,

arXiv:2308.12966

)演進(jìn)-更高的分辨率如何提高視覺(jué)編碼器的分辨率？思路二：將大分辨率的圖片切成多塊，每塊依然是原來(lái)的分辨率一般保留一張低分辨率的完整圖片作為全局特征Citedfrom

arXiv:2311.07575演進(jìn)-更豐富的輸入形式從只支持單圖輸入到支持多圖、視頻輸入Citedfrom

arXiv:2406.12742演進(jìn)-更豐富的輸入形式從只支持單圖輸入到支持多圖、視頻輸入Citedfrom

arXiv:2407.03320演進(jìn)-更豐富的I/O模態(tài)支持輸出更多的模態(tài)？如圖片、音頻、視頻…輸出圖文交錯(cuò)的內(nèi)容，給文字配上圖，使內(nèi)容更生動(dòng)Citedfrom

arXiv:2401.16420演進(jìn)-更豐富的I/O模態(tài)支持輸出更多的模態(tài)？如圖片、音頻、視頻…基于基礎(chǔ)的MLLM框架，后接各種生成模型如擴(kuò)散模型，生成除文本外其他模態(tài)的信息。Citedfrom

arXiv:2309.05519演進(jìn)-更豐富的I/O模態(tài)支持輸出更多的模態(tài)？統(tǒng)一的多模態(tài)模型—擴(kuò)充語(yǔ)言模型的詞表，將連續(xù)信號(hào)離散化加入Tokenizer，訓(xùn)練時(shí)將圖片轉(zhuǎn)化為離散token進(jìn)行預(yù)測(cè)推理時(shí)統(tǒng)一預(yù)測(cè)多模態(tài)token，圖片token經(jīng)過(guò)De-tokenizer轉(zhuǎn)化為圖片輸出天然支持圖文交錯(cuò)的訓(xùn)練數(shù)據(jù)Citedfrom

arXiv:2405.0981804團(tuán)隊(duì)相關(guān)工作介紹相關(guān)工作-幻覺(jué)緩解背景：在開(kāi)源模型探索的早期，幻覺(jué)問(wèn)題還比較嚴(yán)重幻覺(jué):

大模型在描述對(duì)象屬性、對(duì)象數(shù)量等方面不準(zhǔn)確的現(xiàn)象。樣例如下圖所示。減少模型輸出的幻覺(jué)，提升準(zhǔn)確性和用戶(hù)體驗(yàn):

WoodpeckerYin,Shukang,etal."Woodpecker:Hallucinationcorrectionformultimodallargelanguagemodels."

arXiv:2310.16045相關(guān)工作-幻覺(jué)緩解能否集成專(zhuān)家模型緩解幻覺(jué)？利用外部反饋獲取更準(zhǔn)確的認(rèn)知，從而增強(qiáng)模型，減少幻覺(jué)基礎(chǔ)的感知能力：object類(lèi)別與數(shù)量、object的屬性信息(顏色、位置等)相關(guān)工作-幻覺(jué)緩解實(shí)現(xiàn):使用傳統(tǒng)視覺(jué)模型提升感知能力視覺(jué)基礎(chǔ)模型具有強(qiáng)大的感知能力。因此，我們利用預(yù)訓(xùn)練的視覺(jué)基礎(chǔ)模型從圖片中提取可靠的視覺(jué)信息。這些視覺(jué)信息為幻覺(jué)修正提供了參考。使用目標(biāo)檢測(cè)模型從圖片中提取目標(biāo)的數(shù)量信息，使用VQA(視覺(jué)問(wèn)答)模型提取目標(biāo)的屬性信息。相關(guān)工作-幻覺(jué)緩解實(shí)現(xiàn):利用視覺(jué)信息輔助大語(yǔ)言模型做幻覺(jué)修正大語(yǔ)言模型具有強(qiáng)大的推理能力與豐富的語(yǔ)言學(xué)知識(shí)。因此，大語(yǔ)言模型能夠基于已知信息進(jìn)行推理,

對(duì)幻覺(jué)做修正,

同時(shí)保持語(yǔ)義連貫性、完整性使用設(shè)計(jì)好的Prompt(提示)模板將原描述、視覺(jué)知識(shí)組織起來(lái)，送入大語(yǔ)言模型中。大語(yǔ)言模型基于視覺(jué)知識(shí)、文本語(yǔ)義進(jìn)行推理，將描述中帶有幻覺(jué)的部分進(jìn)行修正。相關(guān)工作-幻覺(jué)緩解實(shí)現(xiàn):利用視覺(jué)信息輔助大語(yǔ)言模型做幻覺(jué)修正大語(yǔ)言模型具有強(qiáng)大的推理能力與豐富的語(yǔ)言學(xué)知識(shí)。因此，大語(yǔ)言模型能夠基于已知信息進(jìn)行推理,

對(duì)幻覺(jué)做修正,

同時(shí)保持語(yǔ)義連貫性、完整性使用設(shè)計(jì)好的Prompt(提示)模板將原描述、視覺(jué)知識(shí)組織起來(lái)，送入大語(yǔ)言模型中。大語(yǔ)言模型基于視覺(jué)知識(shí)、文本語(yǔ)義進(jìn)行推理，將描述中帶有幻覺(jué)的部分進(jìn)行修正。相關(guān)工作-幻覺(jué)緩解實(shí)驗(yàn)結(jié)果:利用糾正框架可以顯著減少幻覺(jué)受益于基礎(chǔ)視覺(jué)模型的知識(shí)提取，幾個(gè)典型的多模態(tài)大模型在感知能力上均有提升為了構(gòu)建更強(qiáng)大的系統(tǒng)，使用外置專(zhuān)家模塊作為信息補(bǔ)充仍然是有效的手段上表為開(kāi)源多模態(tài)大模型在MME的存在、計(jì)數(shù)、位置和顏色子集上的測(cè)評(píng)結(jié)果，w/Ours表示是否加入我們提出的修正框架相關(guān)工作-長(zhǎng)視頻理解測(cè)評(píng)背景:現(xiàn)存測(cè)試集無(wú)法充分評(píng)估多模態(tài)大模型在理解長(zhǎng)視頻全局性?xún)?nèi)容的能力【長(zhǎng)視頻理解】絕大多數(shù)現(xiàn)存評(píng)測(cè)基準(zhǔn)平均時(shí)長(zhǎng)不超過(guò)1分鐘【通用模態(tài)理解】現(xiàn)存評(píng)測(cè)所提供的模態(tài)信息（如文本、音頻）均不豐富【全局信息利用】現(xiàn)存評(píng)測(cè)只利用局部信息即可得到答案，難以評(píng)估上下文理解、整合能力Fu,

Chaoyou,

et

al.

"Video-MME:

The

First-Ever

Comprehensive

Evaluation

Benchmark

of

Multi-modal

LLMs

in

Video

Analysis."arXiv:2405.21075平均時(shí)長(zhǎng)較短多模態(tài)信息不夠豐富相關(guān)工作-長(zhǎng)視頻理解測(cè)評(píng)人工采集三種長(zhǎng)度的視頻各300條，每條人工標(biāo)注3個(gè)問(wèn)答對(duì)，提供字幕以及音頻問(wèn)題設(shè)計(jì)均考慮視覺(jué)相關(guān)性，并且具有足夠高的有效時(shí)長(zhǎng)（38%）需要更充分地利用前后視頻信息，對(duì)視頻建立更深入的全局理解視頻中，那個(gè)戴著繃帶、拿著信封的男人是如何受傷的？他在放煙花時(shí)，一只手被煙花擊中了。他在試圖撲滅一棟著火的房子時(shí)，手臂受傷了。他在追趕Wayne的摩托車(chē)時(shí)，從地上摔下來(lái)，手受傷了。D.

他在侮辱Wayne的父親時(shí)，被Wayne用食物引誘的狗拖下了一只胳膊。被狗拖下[選項(xiàng)D]戴著繃帶的男人拿著一個(gè)信封追趕Wayne的摩托車(chē)[選項(xiàng)C]一棟著火的房子[選項(xiàng)B]被煙花擊中[選項(xiàng)A]選項(xiàng)在視頻中均出現(xiàn)模型做出正確選擇需對(duì)問(wèn)題和視頻有全局理解相關(guān)工作-長(zhǎng)視頻理解測(cè)評(píng)視頻類(lèi)別、視頻時(shí)長(zhǎng)、問(wèn)題類(lèi)型的多樣性視頻涵蓋各個(gè)領(lǐng)域視頻時(shí)長(zhǎng)覆蓋廣中、長(zhǎng)視頻分布均勻問(wèn)題類(lèi)別多短、中視頻注重感知長(zhǎng)視頻注重推理相關(guān)工作-長(zhǎng)視頻理解測(cè)評(píng)對(duì)現(xiàn)存的開(kāi)源與商業(yè)大模型進(jìn)行了綜合評(píng)測(cè)字幕對(duì)多模態(tài)大模型的視頻理解具有正向作用上表中為多模態(tài)大模型在Video-MME中短、中、長(zhǎng)三種視頻上的表現(xiàn)其中w/

subs代表使用字幕信息，w/o

subs代表不使用字幕信息圖片大模型：QwenVL系列、InternVL-Chat-V1.5視頻大模型：Video-LLaVA、Video-Chat2等，GPT4V/4o以及Gemini

1.5Pro開(kāi)源模型最優(yōu)結(jié)果＜閉源模型最差結(jié)果開(kāi)源模型仍具有較大提升空間模型在12種任務(wù)類(lèi)型上的表現(xiàn)雷達(dá)圖動(dòng)作識(shí)別物體識(shí)別屬性感知空間感知時(shí)間感知信息概要物體推理動(dòng)作推理空間推理時(shí)間推理計(jì)數(shù)問(wèn)題光學(xué)字符識(shí)別實(shí)體感知問(wèn)題仍是現(xiàn)存多模態(tài)大模型的共同瓶頸相關(guān)工作-多模態(tài)交互體驗(yàn)提升背景:GPT-4o的發(fā)布展現(xiàn)了多模態(tài)實(shí)時(shí)對(duì)話交互體驗(yàn)的新可能可以隨時(shí)打斷模型的輸出，而不需要等待輸出完再進(jìn)行下一輪交互/提問(wèn)實(shí)時(shí)響應(yīng)速度，模型及時(shí)回復(fù)，而不需要等待幾秒鐘的延遲模型能夠捕捉人類(lèi)情緒(如說(shuō)話人是失落/興奮的)，也能夠以不同的情緒(比如激昂、戲劇化的)、風(fēng)格(模仿機(jī)器人、歌唱式的)回答相關(guān)工作-多模態(tài)交互體驗(yàn)提升背景:探索提升對(duì)話交互體驗(yàn)的開(kāi)源方案:

VITA不需要專(zhuān)門(mén)的喚醒機(jī)制來(lái)激活語(yǔ)音助手，如喚醒詞“Hi！Siri”支持打斷語(yǔ)音輸出，插入新用戶(hù)請(qǐng)求，而不需要等候輸出完成再輸入新的用戶(hù)請(qǐng)求屏蔽環(huán)境噪聲，提升模型對(duì)話感知