大語(yǔ)言模型通識(shí)微課課件：大模型預(yù)訓(xùn)練的數(shù)據(jù)來(lái)源

大語(yǔ)言模型通識(shí)微課

大模型預(yù)訓(xùn)練的數(shù)據(jù)來(lái)源一般情況下用于預(yù)訓(xùn)練的都是大模型，具備復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)，眾多參數(shù)量，以及在足夠大的數(shù)據(jù)集下進(jìn)行訓(xùn)練而產(chǎn)生的模型。在自然語(yǔ)言處理領(lǐng)域，預(yù)訓(xùn)練模型往往是語(yǔ)言模型，其訓(xùn)練是無(wú)監(jiān)督的，可以獲得大規(guī)模語(yǔ)料。同時(shí)，語(yǔ)言模型又是許多典型自然語(yǔ)言處理任務(wù)的基礎(chǔ)，如機(jī)器翻譯、文本生成、閱讀理解等。

圖5-1從語(yǔ)言模型嵌入微課5.1大模型預(yù)訓(xùn)練的數(shù)據(jù)（1）在RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）模型中，每一個(gè)詞嵌入的輸出是要參考前面已經(jīng)輸入過(guò)的數(shù)據(jù)，所以叫做上下文化詞嵌入。（2）不止要考慮每個(gè)詞嵌入前文，同時(shí)還要考慮后文，所以再?gòu)木湮蚕蚓涫子?xùn)練。（3）使用多層隱藏層后，最終的詞嵌入=該詞所有層的詞嵌入進(jìn)行加權(quán)平均。微課5.1大模型預(yù)訓(xùn)練的數(shù)據(jù)訓(xùn)練大語(yǔ)言模型需要數(shù)萬(wàn)億的各類型數(shù)據(jù)。如何構(gòu)造海量“高質(zhì)量”數(shù)據(jù)對(duì)于大模型的訓(xùn)練至關(guān)重要。研究表明，預(yù)訓(xùn)練數(shù)據(jù)是影響大模型效果及樣本泛化能力的關(guān)鍵因素之一。大模型采用的預(yù)訓(xùn)練數(shù)據(jù)需要覆蓋盡可能多的領(lǐng)域、語(yǔ)言、文化和視角，通常來(lái)自網(wǎng)絡(luò)、圖書(shū)、論文、百科和社交媒體等。微課5.1大模型預(yù)訓(xùn)練的數(shù)據(jù)OpenAI訓(xùn)練GPT-3使用的主要數(shù)據(jù)來(lái)源，包含經(jīng)過(guò)過(guò)濾的CommonCravwl、WebText2、Books1、Books2及英文維基百科等數(shù)據(jù)集。通過(guò)詞元方式對(duì)數(shù)據(jù)進(jìn)行切分。為了保證模型使用更多高質(zhì)量數(shù)據(jù)進(jìn)行訓(xùn)練，在GPT-3訓(xùn)練時(shí)，根據(jù)數(shù)據(jù)來(lái)源的不同，設(shè)置不同的采樣權(quán)重。Meta公司研究人員在訓(xùn)練OPT模型時(shí)，采用了混合RoBERTa、Pile和PushShift.ioReddit數(shù)據(jù)的方法。微課5.1大模型預(yù)訓(xùn)練的數(shù)據(jù)大模型預(yù)訓(xùn)練所需的數(shù)據(jù)來(lái)源大體上分為通用數(shù)據(jù)和專業(yè)數(shù)據(jù)兩大類。通用數(shù)據(jù)在大模型訓(xùn)練數(shù)據(jù)中占比非常高，主要包括網(wǎng)頁(yè)、圖書(shū)、新聞、對(duì)話文本等不同類型的數(shù)據(jù)，具有規(guī)模大、多樣性和易獲取等特點(diǎn)，因此支持大模型的語(yǔ)言建模和泛化能力。專業(yè)數(shù)據(jù)包括多語(yǔ)言數(shù)據(jù)、科學(xué)文本數(shù)據(jù)、代碼及領(lǐng)域特有資料等。雖然專業(yè)數(shù)據(jù)在大模型中所占比例通常較低，但是其對(duì)改進(jìn)大模型在下游任務(wù)上的特定解決能力有著非常重要的作用。專業(yè)數(shù)據(jù)種類非常多，大模型使用的專業(yè)數(shù)據(jù)主要有三類，包括多語(yǔ)言數(shù)據(jù)、科學(xué)文本數(shù)