大模型原理與技術(shù)-課件 chap9 單模態(tài)大模型

單模態(tài)通用大模型魏明強(qiáng)、宮麗娜計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院智周萬(wàn)物?道濟(jì)天下o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型結(jié)構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄2o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型結(jié)構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄3o

LLaMA是MetaAI公司在2023年2月發(fā)布的開源大模型，在開放基準(zhǔn)上有著非常出色的表現(xiàn)，是迄今為止最流行的開源語(yǔ)言模型之一。隨后，Meta推出了LLaMA2，該模型實(shí)現(xiàn)了更為優(yōu)越的性能表現(xiàn)，甚至可以與ChatGPT等閉源模型相媲美。o

同期谷歌的PaLM大模型，OpenAI的GPT-4都采用閉源的方式，不能從源碼來(lái)剖析模型的結(jié)構(gòu)，LLaMA的開源降低了大模型的研究門檻，后續(xù)許多大模型都是借鑒或沿用了LLaMA的模型框架。

開源大模型現(xiàn)狀4YangJ,JinH,TangR,etal.Harnessingthepowerofllmsinpractice:Asurveyonchatgptandbeyond[J].ACMTransactionsonKnowledgeDiscoveryfromData,2024,18(6):1-32.o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型架構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄5

LLaMa模型架構(gòu)o

與其他自然語(yǔ)言大模型一樣，LLaMA的模型架構(gòu)采用了Transformer架構(gòu)。但做出了幾點(diǎn)改進(jìn)：預(yù)先歸一化、SwiGLU激活函數(shù)和旋轉(zhuǎn)位置編碼；并在LLaMA2中使用了分組查詢注意力機(jī)制。o

預(yù)先歸一化[GPT-3]-為了提高訓(xùn)練的穩(wěn)定性，LLaMA對(duì)每個(gè)Transformer層的輸入進(jìn)行歸一化，而不是輸出進(jìn)行歸一化-使用了RMS歸一化方法o

SwiGLU激活函數(shù)[PaLM]-將常規(guī)的ReLU激活函數(shù)換為了SwiGLU激活函數(shù)o

旋轉(zhuǎn)位置編碼[GPTNeo]-將絕對(duì)位置編碼換為了旋轉(zhuǎn)位置編碼（RoPE）-核心思想是通過絕對(duì)位置編碼的方式實(shí)現(xiàn)相對(duì)位置編碼o

分組查詢注意力機(jī)制-為了進(jìn)一步減少計(jì)算開銷，將多頭注意力機(jī)制（MHA）替換為了分組查詢注意力機(jī)制（GQA）-是MHA與多查詢注意力機(jī)制（MQA）的折中方案6o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型架構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄7

預(yù)訓(xùn)練o

預(yù)訓(xùn)練使用了七種來(lái)自公開來(lái)源的數(shù)據(jù)l

預(yù)訓(xùn)練方法與GPT-3，PaLM等語(yǔ)言大模型類似，通過預(yù)測(cè)上下文信息來(lái)進(jìn)行自監(jiān)督學(xué)習(xí)l

最大的650億參數(shù)量模型需要使用2048張NVIDIAA100GPU訓(xùn)練21天8

微調(diào)o

LLaMA2中，作者團(tuán)隊(duì)進(jìn)一步利用人工標(biāo)注的數(shù)據(jù)對(duì)專為對(duì)話場(chǎng)景設(shè)計(jì)的LLaMA2-Chat模型進(jìn)行微調(diào)，主要采用了有監(jiān)督微調(diào)和RLHF兩種技術(shù)。l

在有監(jiān)督微調(diào)環(huán)節(jié)中，作者團(tuán)隊(duì)標(biāo)注了27540條數(shù)據(jù)用于微調(diào)，這些數(shù)據(jù)都是由人工撰寫提示和回答，包括有用性和安全性兩種標(biāo)注。這里的有用性指的是LLaMA2-Chat如何回應(yīng)以滿足用戶的請(qǐng)求和提供所需的信息，而安全性則關(guān)注LLaMA2-Chat的回應(yīng)是否安全。9

微調(diào)o

在RLHF環(huán)節(jié)中，目標(biāo)是使初步微調(diào)過的模型的輸出更符合人類偏好并遵循指令。為了實(shí)現(xiàn)這一目標(biāo)，Meta首先收集了一系列反饋了人類偏好的數(shù)據(jù)，并將這些數(shù)據(jù)用于獎(jiǎng)勵(lì)建模。l

人類偏好數(shù)據(jù)收集：作者團(tuán)隊(duì)選擇了二元比較協(xié)議來(lái)標(biāo)注樣本，因?yàn)檫@樣能最大化收集到數(shù)據(jù)的多樣性。在整個(gè)標(biāo)注過程中，首先要求標(biāo)注人員寫出一個(gè)提示，再在兩個(gè)采樣出的模型回答中基于給定的標(biāo)準(zhǔn)標(biāo)注更為偏好的一個(gè)，并給出4個(gè)不同的偏好等級(jí)。與監(jiān)督微調(diào)相似，在此過程中需要同時(shí)關(guān)注模型回答的有用性和安全性，并額外標(biāo)注了一個(gè)安全性標(biāo)簽。l

獎(jiǎng)勵(lì)建模：獎(jiǎng)勵(lì)模型將模型的回答和提示作為輸入，輸出一個(gè)標(biāo)量分?jǐn)?shù)來(lái)代表模型回答的質(zhì)量。利用這樣的分?jǐn)?shù)來(lái)作為獎(jiǎng)勵(lì)，便可以在RLHF過程中優(yōu)化LLaMA2-Chat來(lái)將其與人類偏好對(duì)其，并提高有用性和安全性。鑒于已有研究發(fā)現(xiàn)單個(gè)獎(jiǎng)勵(lì)模型會(huì)在有用性和安全性上做出權(quán)衡，從而很難在兩者上表現(xiàn)得都很好，作者團(tuán)隊(duì)分別訓(xùn)練了兩個(gè)獎(jiǎng)勵(lì)模型來(lái)優(yōu)化有用性和安全性。10o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型架構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄11

使用方法o

LLaMA模型可以通過官網(wǎng)或官方合作渠道獲得，并部署到本地。下面舉例如何在HuggingFace平臺(tái)使用LLaMA模型。l

首先下載模型權(quán)重到本地，其中token需要在HuggingFace申請(qǐng)l

然后下載LLaMA官方代碼，安裝依賴包并運(yùn)行對(duì)話模型推理代碼。運(yùn)行后輸入提示，模型便會(huì)給出回答12o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型架構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄13o

目前的自然語(yǔ)言大模型已經(jīng)展現(xiàn)出在零樣本和少樣本情況下強(qiáng)大的泛化能力。這種能力的構(gòu)建基于兩個(gè)關(guān)鍵要素：一是在互聯(lián)網(wǎng)規(guī)模的龐大數(shù)據(jù)集上進(jìn)行訓(xùn)練；二是通過輸入提示詞來(lái)引導(dǎo)預(yù)訓(xùn)練好的大模型在不同任務(wù)下產(chǎn)生相應(yīng)的輸出。o

在SAM這項(xiàng)工作中，MetaAI的研究者們對(duì)圖像分割任務(wù)建立了一個(gè)這樣具有強(qiáng)零樣本泛化能力的基礎(chǔ)模型。

研究背景14o

想要構(gòu)建這樣的一個(gè)模型，需要解決這三個(gè)問題：l

什么樣的分割任務(wù)能支持零樣本泛化？l

模型結(jié)構(gòu)應(yīng)該是什么樣？l

什么樣的訓(xùn)練數(shù)據(jù)才能達(dá)到這樣的效果？

研究背景15o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型架構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄16o

提示下的圖像分割任務(wù)：在自然語(yǔ)言大模型中，零樣本泛化的關(guān)鍵往往源自于巧妙的提示工程技術(shù)。受到此啟發(fā)，SAM提出了“可提示分割任務(wù)”的概念，即模型根據(jù)給定的提示（這個(gè)提示可以是任何能夠指導(dǎo)目標(biāo)分割的信息，比如一組前景/背景點(diǎn)、一個(gè)粗略的邊界框或掩碼，以及任何形式的文本），生成分割目標(biāo)的掩碼。

任務(wù)定義17KirillovA,MintunE,RaviN,etal.Segmentanything[C]//ProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision.2023:4015-4026.o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型架構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄18o

SAM包含三個(gè)模塊，包括圖像編碼器、提示編碼器和掩碼解碼器l

圖像編碼器將輸入的圖像轉(zhuǎn)為高維特征嵌入，該部分直接采用了由MaskedAutoencoder（MAE）預(yù)訓(xùn)練好的VisionTransformer（ViT）模型。MAE是一種圖像自監(jiān)督預(yù)訓(xùn)練技術(shù)，經(jīng)過MAE預(yù)訓(xùn)練后，ViT本身已經(jīng)具備了強(qiáng)大的表征學(xué)習(xí)能力，并且更有利于以此為基礎(chǔ)訓(xùn)練一個(gè)分割大模型。在整個(gè)訓(xùn)練過程中采用了不同版本的ViT模型，包括ViT-H、ViT-L和ViT-B。

模型架構(gòu)19o

SAM包含三個(gè)模塊，包括圖像編碼器、提示編碼器和掩碼解碼器l

提示編碼器將不同類型的提示轉(zhuǎn)換為高維特征嵌入。SAM考慮了兩大種類的提示：第一種是稀疏提示，包括點(diǎn)、包圍框或文本。對(duì)于點(diǎn)和包圍框（可視為左上和右下兩個(gè)點(diǎn)），SAM采用了Transformer中的三角函數(shù)位置編碼，結(jié)合可學(xué)習(xí)參數(shù)，生成每個(gè)點(diǎn)的特征。對(duì)于文本提示，SAM使用了CLIP中預(yù)訓(xùn)練好的文本編碼器，將文本提示編碼為高維特征。l

第二種是稠密提示，即粗略的分割掩碼。對(duì)于這種類型的提示，SAM通過卷積神經(jīng)網(wǎng)絡(luò)將其轉(zhuǎn)換為一個(gè)下采樣后的特征圖，其尺寸與圖像編碼器輸出的圖像特征相同。

模型架構(gòu)20o

SAM包含三個(gè)模塊，包括圖像編碼器、提示編碼器和掩碼解碼器l

掩碼解碼器接收前兩個(gè)模塊編碼得到的特征作為輸入，用于預(yù)測(cè)最終的掩碼。這一模塊類似于一個(gè)Transformer解碼器，其中包含自注意力和雙向的交叉注意力機(jī)制，用以融合不同的信息。最終，通過一個(gè)多層感知機(jī)來(lái)回歸出掩碼結(jié)果。為了使模型能夠區(qū)分具有混淆意義的提示，模型一次會(huì)預(yù)測(cè)三個(gè)結(jié)果，并為每個(gè)結(jié)果預(yù)測(cè)一個(gè)IoU值作為置信度得分。

模型架構(gòu)21o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型架構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄22o

損失函數(shù)：訓(xùn)練使用的損失函數(shù)為focal和dice損失函數(shù)的線性組合，這兩者是分割問題中的常用損失函數(shù)，計(jì)算公式為：o

數(shù)據(jù)集：一個(gè)海量的訓(xùn)練數(shù)據(jù)集是SAM取得成功的關(guān)鍵。SAM最終構(gòu)建的SA-1B數(shù)據(jù)集包含了11億個(gè)掩碼數(shù)據(jù)。

訓(xùn)練方法23KirillovA,MintunE,RaviN,etal.Segmentanything[C]//ProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision.2023:4015-4026.o

SA-1B數(shù)據(jù)集的標(biāo)注過程分為三個(gè)階段：l

第一階段是人工輔助標(biāo)注的過程。首先，使用已有的公開分割數(shù)據(jù)對(duì)SAM模型進(jìn)行初始訓(xùn)練。接著，使用該初始模型在沒有分割標(biāo)注的數(shù)據(jù)上生成預(yù)標(biāo)注，然后由人工檢查模型的結(jié)果，進(jìn)行修改和確認(rèn)。隨后，將新的數(shù)據(jù)加入訓(xùn)練集，重新訓(xùn)練SAM，得到新的模型版本。整個(gè)過程循環(huán)進(jìn)行，總共進(jìn)行了6次訓(xùn)練。l

第二階段是一個(gè)半自動(dòng)化的過程，其目標(biāo)是增加掩碼的多樣性。為了引導(dǎo)標(biāo)注者關(guān)注那些不太突出的對(duì)象，首先進(jìn)行自動(dòng)檢測(cè)，找出一些可信的掩碼。然后，將這些已標(biāo)注了這些掩碼的圖像呈現(xiàn)給標(biāo)注者，讓他們標(biāo)注其他尚未標(biāo)注的對(duì)象。與第一階段類似，使用新收集的數(shù)據(jù)，進(jìn)行了5次模型的迭代訓(xùn)練。l

第三階段是完全自動(dòng)化的，也就是數(shù)據(jù)完全由模型自己標(biāo)注。這得益于模型的兩方面增強(qiáng)。首先，在這個(gè)階段開始時(shí)，已經(jīng)收集到足夠多的掩碼，極大地改進(jìn)了模型，包括來(lái)自前一階段的多樣性掩碼。其次，到了這個(gè)階段，模型已具備了區(qū)分具有混淆意義的提示的能力，使其能夠在混淆的提示下預(yù)測(cè)有效的掩碼。具體而言，將模型預(yù)測(cè)出的置信度高且穩(wěn)定的掩碼作為標(biāo)注的新數(shù)據(jù)。在選擇了這樣的掩碼后，再使用非極大值抑制（NMS）來(lái)過濾重復(fù)的掩碼。

訓(xùn)練方法24o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型架構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄25o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)o

Zero-1-to-3：二生三維

目錄25o

SAM模型已被開源，可以通過官方線上demo或者調(diào)用python接口使用。

使用方法26/demo#AudioLM：讓人工智能為你譜曲寫歌Google提出的一個(gè)具有長(zhǎng)期一致性的高質(zhì)量音頻生成框架AudioLM。該框架僅通過輸入段落音頻，在沒有任何文字標(biāo)注或注釋的情況下，能夠完成兩個(gè)不同音頻領(lǐng)域的任務(wù)，突破了使用語(yǔ)音合成和計(jì)算機(jī)輔助音樂應(yīng)用程序生成音頻的極限。AudioLM：讓人工智能為你譜曲寫歌AudioLM：讓人工智能為你譜曲寫歌離散音頻表示的選擇AudioLM：讓人工智能為你譜曲寫歌離散音頻表示的選擇選擇w2v-BERT的MLM模塊的中間層并計(jì)算該層的嵌入，將其進(jìn)行k均值聚類，將質(zhì)心索引作為語(yǔ)義標(biāo)記。對(duì)w2v-BERT嵌入進(jìn)行歸一化，使每個(gè)維度在聚類之前具有零均值和單位方差，可顯著提高其語(yǔ)音辨別能力。在這種標(biāo)記化方案中，語(yǔ)義標(biāo)記實(shí)現(xiàn)了長(zhǎng)期的結(jié)構(gòu)一致性，而對(duì)以語(yǔ)義標(biāo)記為條件的聲學(xué)標(biāo)記進(jìn)行建模，則實(shí)現(xiàn)了高質(zhì)量的音頻合成。AudioLM：讓人工智能為你譜曲寫歌語(yǔ)義和聲學(xué)標(biāo)記的建模方法AudioLM：讓人工智能為你譜曲寫歌AudioLM安裝與使用AudioLM：讓人工智能為你譜曲寫歌AudioLM的推理應(yīng)用無(wú)條件生成聲學(xué)生成生成語(yǔ)音延續(xù)o

在這種設(shè)置中，無(wú)條件地對(duì)所有語(yǔ)義標(biāo)記???進(jìn)行采樣，然后將其用作聲學(xué)建模的條件，過程如圖9.5。該模型能夠生成多種多樣、句法和語(yǔ)義一致的語(yǔ)言內(nèi)容，且這些語(yǔ)言內(nèi)容具有不同的說話人身份、韻律和聲學(xué)條件。o

3D-LLM可用于增強(qiáng)實(shí)體的感知和認(rèn)知能力，提高其與環(huán)境的交互效果，尤其在虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等場(chǎng)景中有較多潛在應(yīng)用。o

應(yīng)用于智能導(dǎo)覽和規(guī)劃中，3D-LLM可以幫助系統(tǒng)更好地理解復(fù)雜的環(huán)境結(jié)構(gòu)，并提供更智能、個(gè)性化的導(dǎo)覽和規(guī)劃服務(wù)。o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型架構(gòu)l

訓(xùn)練方法l

使用方法o

Zero-1-to-3：二生三維

目錄25Zero-1-to-3：二生三維根據(jù)二維信息推理三維信息是計(jì)算機(jī)視覺領(lǐng)域的重要研究方向，也是眾多領(lǐng)域進(jìn)行深入研究前不可或缺的一項(xiàng)基礎(chǔ)研究。本節(jié)將介紹由哥倫比亞大學(xué)和豐田研究所提出的Zero-1-to-3模型。Zero-1-to-3旨在開發(fā)一種具有零樣本泛化能力、不受限于來(lái)自訓(xùn)練數(shù)據(jù)先驗(yàn)信息的基于單張二維圖像的三維重建模型。Zero-1-to-3實(shí)現(xiàn)效果展示：子圖(a)是館藏于柏林博物館中的蒂夫娜娜胸像實(shí)拍圖像，作為Zero-1-to-3的輸入；子圖(b)-(d)分別為生成的后視圖、右視圖和左視圖結(jié)果該過程無(wú)需額外訓(xùn)練，且本圖片不在訓(xùn)練數(shù)據(jù)集中Zero-1-to-3：二生三維Zero-1-to-3要解決的問題：此前方法高度依賴于復(fù)雜的三維標(biāo)記信息先驗(yàn)作為輔助，它們往往泛化性不足，僅能有效地對(duì)閉集內(nèi)的數(shù)據(jù)進(jìn)行重建；常見開集重建模型也囿于完善的、帶有完整標(biāo)注的三維數(shù)據(jù)集規(guī)模不足而缺乏泛化能力Zero-1-to-3的實(shí)現(xiàn)動(dòng)機(jī)：模仿人類對(duì)于三維的理解1.龐大的知識(shí)庫(kù)，得以從中抽象出足以應(yīng)對(duì)未知模式的知識(shí)2.擁有良好的風(fēng)格遷移和細(xì)節(jié)重建能力，得以為合成的新視角賦予與原視角相匹配的風(fēng)格與細(xì)節(jié)信息3.不必構(gòu)建具象的三維物體模型，理解三維空間變換的過程可以是潛在的。Zero-1-to-3：二生三維挖掘預(yù)訓(xùn)練大模型中的三維理解能力擴(kuò)散模型預(yù)訓(xùn)練權(quán)重中已經(jīng)包含了豐富的圖像信息和一定程度對(duì)物理世界的理解能力。Zero-1-to-3的核心是改良的擴(kuò)散模型，為，賦予擴(kuò)散模型視角控制能力。采用了一種數(shù)據(jù)集“仿真”策略：對(duì)Objaverse數(shù)據(jù)集中共計(jì)超過80000