殷述康：多模態(tài)大語言模型領(lǐng)域進展分享

多模態(tài)大語言模型領(lǐng)域進展分享殷述康/博士在讀D背景介紹D多模態(tài)大語言模型介紹D團隊相關(guān)工作介紹D未來展望·可以解決各種傳統(tǒng)NLP任務(wù)，如文本分類、命名實體識別等·作為聊天機器人，按照要求扮演某個角色(強大的指令遵循能力)·做高階的推理任務(wù)，如寫代碼、解數(shù)學(xué)問題等(強大的推理能力，CoT進一步增強)·無法處理多模態(tài)的輸入，導(dǎo)致有些任務(wù)無法做或者很難做，如根據(jù)網(wǎng)站截圖給出源代碼、理解一張表情包的含義·無法獲取更多的多模態(tài)的世界知識，如名畫、名人等ImageBind-LLMDreamMMICL●XcomposerOOLaVINMult男x◎◎◎O黑O黑◎◎AAAA在短短的兩年間，已有上百個模型涌現(xiàn)，包括大企業(yè)的閉源模型和學(xué)術(shù)社區(qū)的開源模型探索。BLIP-2HuggingGPTLTU2022MYin,Shukang,etal."Asurveyonmultimodallargelanguagemodels."arXiv:2306.13549·能做傳統(tǒng)視覺/多模態(tài)任務(wù)Prompt:Prompt:描述這張圖片這張圖片是一隻小貓在草地上走路的看起來很可愛。它的身體很小，四肢畿細,正在小心翼翼地在草地上行Caption任務(wù)計數(shù)任務(wù)定位任務(wù)64NUR2NLVk2圖表推理根據(jù)圖表寫代碼·由于大企業(yè)的模型是閉源的，學(xué)術(shù)界正積極研究探索開源的模型。模型評估·常用的架構(gòu)一般包含三個部分：KKVVVYin,Shukang,etal."Asurveyonmultimodallargelanguage·不改變視覺token的數(shù)量，使用線性層或者多層感知機做投影?！嚎s圖片token至固定的數(shù)量，提高運算效率·Q指query,使用一組可學(xué)習(xí)的query向量從視覺token中抽取更緊湊的表征信息LanguageResponseXafromarXiv:2305.06500·將視覺的語義空間與文本空間對齊·一種做法是凍結(jié)LLM,訓(xùn)練視覺編Pre-trainedLLMVisualVisualAbstractor·通常使用大量的圖文配對數(shù)據(jù)訓(xùn)練，如caption數(shù)據(jù)。輸入圖片，預(yù)測圖片的文本描述·第二階段：指令微調(diào)訓(xùn)練格式(多輪對話形式)圖中是比爾蓋茨，微軟的創(chuàng)始人之一圖中是比爾蓋茨，微軟的創(chuàng)始人之一。毛衣，看起來比較休閑。右邊的男人是誰?右邊的男人是誰?·一般聚焦某個具體的特定任務(wù)，關(guān)注特定指標·VQA任務(wù)：要求模型基于圖片內(nèi)容進行回答，常關(guān)注淺層元素如物體類別、屬性，有時涉及淺層推理，回答一般比較簡單。print(b)紹興加飯(花雕)紹興加飯(花雕)酒青草沙構(gòu)杞酒三i份有限公司W(wǎng)hatistheshelflifeoftheWhatisthenetweightof784_Resolution:250ml學(xué)EmbsFigure3:ThetrainingpipelTable8:TraininghyperparamMulti-taskPre-trainingQwen-7BQwen-VL2nd-stage·思路二：將大分辨率的圖片切成多塊，每塊依然是原來的分辨率MixedVisualEncodersletrsseta=21andThemostlikelyuseofthisvideoisasanadvertisemeasthepreparationofacoffeedrink,theinteractionbetweencustomersandbaristlogo,arecharacteristicofapromotionalpiecethecoffee-makingprocess,theuseoftheStarbucksapp,andthefriendlyinteractionsbetocreateapositiveimageofthebrand.Additionally,thefinalshotoftheStarbuckslogowithtYOU"suggestsacalltoactionforviewerstoengagewiththeadvertisementaimedatattractingne·輸出圖文交錯的內(nèi)容，給文字配上圖，使內(nèi)容更生動請根據(jù)給定標題：“熊貓：自然界的溫柔使者”,寫一篇長文章。首先，詳細介紹熊貓的基本特征，如請根據(jù)給定標題：“熊貓：自然界的溫柔使者”,寫一篇長文章。首先，詳細介紹熊貓的基本特征，如之后，詳細討論熊貓的保護工作現(xiàn)狀，包括建立自然保護區(qū)，大熊貓的人工熊貓：自然界的溫柔使者大熊貓，熊科哺乳動物，體肥頭大、圓臉圓耳，幼年體色為灰白色，因其獨立特征和憨態(tài)可掬的樣子被人們譽為“活化石”和“中國國寶”。從外表來看，大熊貓似乎是自然界最“溫柔”的生物：黑白相間的花紋讓它的外形看起來更像是一種卡通形象；圓滾滾的身軀和大大的頭部讓人忍不住想要抱一抱，即使不熟悉的人也會因為其憨態(tài)可掬的外表而心生好感……但就是這樣一種溫順的生物，卻也正面臨著種種危機——棲息地喪失、氣候變化等因素都對其生存構(gòu)成威脅。此外，氣候變暖也是大熊貓目前所面臨的重要問題之一。據(jù)研究，自20世紀70年代以來，我國東部沿海地區(qū)出現(xiàn)了持續(xù)增溫現(xiàn)象，這種趨勢仍在繼續(xù)發(fā)展。高溫會導(dǎo)致竹林生長緩慢，從而降低了竹子作為大熊貓主要食物的供應(yīng)量。除此之外，夏季降雨量增多還會造成泥石流、滑坡等災(zāi)害，進一步破壞大熊貓的棲息地。這些因素共同作用，使得大熊貓的種群數(shù)量日益減少。熊貓的保護現(xiàn)狀如何?針對上述問題，政府和企業(yè)相繼采取了一系列措施保護大熊貓及其棲息地。例如，建立自然保護區(qū)和森林公園，限制人類活動范圍，改善大熊貓的食物來源等。同時，還通過科學(xué)管理、合理開發(fā)利用等方式推動了當?shù)亟?jīng)濟發(fā)展。盡管如此，由于歷史原因和自然環(huán)境的惡化等原因，野生大熊貓仍處于瀕危狀態(tài)。根據(jù)國際自然保護聯(lián)盟最新發(fā)布的紅色名錄，目前全球現(xiàn)存的大熊貓約有1864只，其中約90%以上為中國境內(nèi)的大熊貓。學(xué)模態(tài)的信息。LLM-basedSemanticInstruction-foUnderstandingAlignmentMultimodalOutput模型的詞表，將連續(xù)信號離散化轉(zhuǎn)化為離散token進行預(yù)測·推理時統(tǒng)一預(yù)測多模態(tài)token,化為圖片輸出CitedfromarXiv:24團隊相關(guān)工作介紹相關(guān)工作-幻覺緩解象數(shù)量等方面不準確的現(xiàn)象。樣例如下圖所示?！p少模型輸出的幻覺，提升準確性和用戶體驗：Woodpecker請描述這張圖片。這張圖中出現(xiàn)了一只紅色的狗，它在草坪上奔跑。在這只狗的周圍，還可以看見其它幾只狗。有幾只離這只紅色的狗更近，其它的距離更遠一些。Yin,Shukang,etal."Woodpecker:Hallucina相關(guān)工作-幻覺緩解·利用外部反饋獲取更準確的認知，從而增強模型，減少幻覺·基礎(chǔ)的感知能力：object類別與數(shù)量、object的屬性信息(顏色、位置等)相關(guān)工作-幻覺緩解·實現(xiàn)：使用傳統(tǒng)視覺模型提升感知能力·視覺基礎(chǔ)模型具有強大的感知能力。因此，我們利用預(yù)訓(xùn)練的視覺基礎(chǔ)模型從圖片中提取可靠的視覺信息。這些視覺信息為幻覺修正提供了參考?！な褂媚繕藱z測模型從圖片中提取目標的數(shù)量信息，使用VQA(視覺問答)模型提取目標的屬相關(guān)工作-幻覺緩解·大語言模型具有強大的推理能力與豐富的語言學(xué)知識。因此，大語言模型能夠基于已知信·使用設(shè)計好的Prompt(提示)模板將原描述、視覺知識組織起來，送入大語言模型中。大語言模型基于視覺知識、文本語義進行推理，將描述中帶有幻覺的部分進行修正。帶有幻覺的描述大語言模型修正后的描述提取的視覺知識相關(guān)工作-幻覺緩解·大語言模型具有強大的推理能力與豐富的語言學(xué)知識。因此，大語言模型能夠基于已知信·使用設(shè)計好的Prompt(提示)模板將原描述、視覺知識組織起來，送入大語言模型中。大語言模型基于視覺知識、文本語義進行推理，將描述中帶有幻覺的部分進行修正。帶有幻覺的描述大語言模型修正后的描述提取的視覺知識相關(guān)工作-幻覺緩解√這張圖中出現(xiàn)了一這張圖中出現(xiàn)了一只棕色的狗，它在草坪這張圖中出現(xiàn)了一只紅色的狗，它看見其它幾只狗。有幾只離這只紅色的狗更近，其它的距離更遠一些。案例：大語言模型基于提取的視覺信息進行推理，修正了其相關(guān)工作-長視頻理解測評容的能力·【通用模態(tài)理解】現(xiàn)存評測所提供的模態(tài)信息(如文本、音頻)均不豐富 11.215.311.9AXXXXXX√√√XX√√XxxX56.014.6M xXXXxx√√vXvXFu,Chaoyou,etal."Video-MME:TheFirst-EverCo相關(guān)工作-長視頻理解測評·人工采集三種長度的視頻各300條，每條人工標注3個問答對，提供字幕以及音頻·問題設(shè)計均考慮視覺相關(guān)性，并且具有足夠高的有效時長(38%)·需要更充分地利用前后視頻信息，對視頻建立更深入的全局理解選項在視頻中均出現(xiàn)選項在視頻中均出現(xiàn)模型做出正確選擇需對問題和視頻有全局理解視頻中，那個戴著繃帶、拿著信封的男人是如何受傷的?A.他在放煙花時，一只手被煙花擊中了。B.他在試圖撲滅一棟著火的房子時，手臂受傷了。C.他在追趕Wayne的摩托車時，從地上摔下來，手受傷了。D.他在侮辱Wayne的父親時，被Wayne用食物引誘的狗拖下了一只胳膊。被狗拖下1戴著繃帶的男人追趕Wayne的摩托車拿著一個信封[選項G一棟著火的房子230…230……風(fēng)中、長視頻hFod短、中視頻注重感知長視頻相關(guān)工作-長視頻理解測評·對現(xiàn)存的開源與商業(yè)大模型進行了綜合評測w/osubs_w/subsw/osubs___上表中為多模態(tài)大模型在Video-MME中短、中、長三種視頻上的表現(xiàn)其中w/subs代表使用字幕信息，w/osubs代表不使用字幕信息實體感知問題仍是現(xiàn)存多模態(tài)大模型的共同瓶頸字幕對多模態(tài)大模型的視頻理解具有正向作用開源模型最優(yōu)結(jié)果<閉源模型最差結(jié)果開源模型仍具有較大提升空間模型在12種任務(wù)類型上的表現(xiàn)雷達圖動作識別空間感知光學(xué)字符空間感知時間推理信息概要動作推理—InternVL-Chat-V1.5—GPT-40的發(fā)布展現(xiàn)了多模態(tài)實時對話交互體驗的新可能·可以隨時打斷模型的輸出，而不需要等待輸出完再進行下一輪交互/提問·實時響應(yīng)速度，模型及時回復(fù)，而不需要等待幾秒鐘的延遲·模型能夠捕捉人類情緒(如說話人是失落/興奮的),也能夠以不同