大語言模型MOSS研發(fā)進展

大語言模型MOSS研發(fā)進展陳爽復旦大學MOSS團隊2024年6月27日目 錄MOSS

2能力深化的大語言模型CoLLiE高效分布式訓練框架下一代大模型多模態(tài)大模型相關(guān)工作大語言模型與世界模型NLP發(fā)展歷程3a2m.msup.com.cn致命密碼：一場關(guān)于語言的較量4a2m.msup.com.cn圖靈測試1936年5a2m.msup.com.cn1946年1950年英國數(shù)學家圖靈（Alan M.

Turing）提出讓計算機理解自然語言，證明計算機能夠具備人的思維能力。第一臺電子計算機ENIAC問世檢驗計算機是否具備智能，

最好的辦法是讓它說英語并理解英語自然語言發(fā)展史6a2m.msup.com.cn大語言模型發(fā)展歷程大模型通用能力強實現(xiàn)多場景任務單模態(tài)向多模態(tài)發(fā)展從文本逐步發(fā)展至視覺亟需建立以中文為核心的超大模型2018GPT-11.1億2019GPT-215億GPT-1

Transformer應用在文本生成中GPT-2

展現(xiàn)較強長文本生成能力2020GPT-31750億GPT-3跨時代意義的大語言模型，標志著AI文本生成進入下一階段2021DALL-E/ClipOpenAI大規(guī)模圖像模型，可基于短文本生成對應圖像以及圖像分類2022ChatGPT在大語言模型中引入人類反饋強化學習，大幅度提升生成結(jié)果質(zhì)量ChatGPT7a2m.msup.com.cnGPT-4MOSS2023GPT-4多模態(tài)大模型，實現(xiàn)文本和圖像的輸入MOSS注重中文語料，具備問答和對話的中英文雙語模型大模型的關(guān)鍵：語言語言是人類智能對世界的壓縮認知8a2m.msup.com.cn語言世界大模型通過語言來構(gòu)建世界知識LanguageWorldModelOperationObservation9a2m.msup.com.cnMOSS2能力深化的大語言模型10a2m.msup.com.cnMOSSMOSS2023/2/20ChatGPT2022/11/30LLaMA2023/2/24ChatGLM2023/3/13Qwen2023/4/11Bard2023/3/21ERNIE

Bot2023/3/16Baichuan2023/6/15InternLM2023/6/7Llama-22023/7/18Falcon2023/5/25GPT-42023/3/14Alpaca2023/3/13MOSS-Plugin2023/4/1911a2m.msup.com.cnMOSS研發(fā)歷程通用語言表示是自然語言處理中多任務學習的關(guān)鍵通用語言表示私有語言表示私有語言表示任務1任務2使用語言模型預訓練提升多任務通用表示12a2m.msup.com.cnIJCAI

2016Pengfei

Liu,

Xipeng

Qiu,

Xuanjing

Huang,

Recurrent

Neural

Network

for

Text

Classification

with

Multi-Task

Learning,

IJCAI

2016（被引用次數(shù)在所有IJCAI

2016錄用論文排名第一）MOSS研發(fā)歷程中文預訓練基座MOSS-Base對話模型MOSS工具增強MOSS-Plugin2023.2.20

發(fā)布國內(nèi)最早發(fā)布的對話式大型語言模型13a2m.msup.com.cn2023.4.21

發(fā)布國內(nèi)首個插件版大模型2020年開始基座研究發(fā)布CPT/CBART等模型MOSS第一代研發(fā)路線Sun,T.,Zhang,X.,He,Z.etal.MOSS:AnOpenConversationalLargeLanguageModel.Mach.Intell.Res.(2024)./10.1007/s11633-024-1502-814a2m.msup.com.cnMOSSTransformer160億(moon)/1000億(mars)參數(shù)具有思維鏈、情景學習等涌現(xiàn)能力能夠執(zhí)行人類的指令可以直接與人類對話根據(jù)人類反饋進行迭代優(yōu)化與人類價值觀、思維方式對齊3H:helpfulhonest

harmless模型能力對話對齊MOSS和ChatGPT具有相近的通用語義理解能力，在推理能力和事實類知識方面有一定差距。擴大模型規(guī)模使用工具15a2m.msup.com.cnMOSS發(fā)布時示例（2023.2.21）16a2m.msup.com.cn調(diào)用工具能力是大模型向通用人工智能發(fā)展的關(guān)鍵工具開關(guān)控制搜索引擎計算器公式求解器文生圖工具增強版大模型MOSS-Plugin17a2m.msup.com.cn大語言模型的不足Predictthe

futureThe

winner

of

the

UEFA

Euro

2024

is{???}Current

worldknowledgeThe

current

stock

price

of

APPL

is{???}Arbitrarily

longarithmetic36382894730

+

238302849204

=

{???}Extremely

longinputs[2,000pageHarryPotterfan-fiction]What

happened

after

Harry

opened

thechest

for

the

second

time?

{???}Many-stepreasoningTakethenineteenthdigitofPiandmultiply

it

by

the

e

to

the

fourth

power.Theresultingones-digitoftheresultingnumber

is{???}Informationnot

inthetraining

dataRobin’s

favorite

color

is

{???}18a2m.msup.com.cnExamplesModifiedfromJasonWei’s

Slides世界模型（World

Model）世界模型：一種能夠模擬和理解環(huán)境的模型，并在此基礎(chǔ)上進行決策和預測的人工智能系統(tǒng)。DavidHa,JürgenSchmidhuber,2018,WorldModels:Canagentslearninsideoftheirown

dreams?19a2m.msup.com.cnGPT4：符號空間的世界模型？很多研究發(fā)現(xiàn)，GPT4具有很強的時空概念Bubeck,Sébastien,etal."Sparksofartificialgeneralintelligence:Earlyexperimentswithgpt-4."arXivpreprintarXiv:2303.12712

(2023).20a2m.msup.com.cn大語言模型≠世界模擬器?21a2m.msup.com.cn復雜任務執(zhí)行沙盒環(huán)境學習具身智能統(tǒng)一理解、生成融合文、音、圖多模態(tài)大模型使用工具制造工具協(xié)同演化超級對齊推斷時對齊可解釋性MOSS2人類對齊工具增強跨模態(tài)融合智能體適配硬件調(diào)優(yōu)稀疏注意力機制超長輸入窗口高效架構(gòu)打造數(shù)據(jù)飛輪數(shù)據(jù)能力溯源多維迭代提升數(shù)據(jù)治理如何從大語言模型演化到世界模型？打造高效、安全、可信的基礎(chǔ)模型探索實用、多元、復雜的應用場景22a2m.msup.com.cn能力點簡介讓我們一起，用智慧和技術(shù)的力量，讓經(jīng)典中國文化在現(xiàn)代社會中通過MOSS2煥發(fā)新生，趣味古中文

創(chuàng)造出有趣的中文大模型通過MOSS

2的代碼執(zhí)行能力，不僅能夠編寫和運行代碼，更能夠深化代碼在解決實際問題上的實用性和創(chuàng)新性代碼執(zhí)行 固定知識增強的形式讓這些寶貴財富融入現(xiàn)代生活寫作助手寫作助手為學術(shù)寫作提供了較為全面的支持，它針對論文撰寫的多個關(guān)鍵環(huán)節(jié)進行了優(yōu)化和創(chuàng)新其他其他重要能力點，例如，考試作業(yè)批改，理解幽默諷刺，猜人名等，主要由用戶端頭腦風暴產(chǎn)生為個人和企業(yè)提供簡潔、實用且富有創(chuàng)意的文案創(chuàng)作解決方案????，通過AI技術(shù)讓文字變得更加有趣和生動????特色文案通過固定知識增強，將深奧的知識和人類智慧轉(zhuǎn)化為大語言模型的力量，以新穎、互動角色扮演復旦知識23a2m.msup.com.cn將復旦生活、新聞等多角度信息融入MOSS2，使MOSS

2成為復旦師生的小助手，來訪客人的小前臺將角色扮演的技能和創(chuàng)造性轉(zhuǎn)化為大語言模型的功能，并融入現(xiàn)代對話體驗，增強用戶與AI的互動樂趣特色文案

-

根據(jù)emoji猜成語請你根據(jù)emoji猜成語:????????????????。如魚得水用表情符號和我交流,不管我怎樣用文字提問或發(fā)表評論,你只能回答我表情。讓我們用這種方式對話吧!上課有什么壓力亮點和樣例展示24a2m.msup.com.cn特色文案

-小紅書體生成生成一篇小紅書文風的體驗分享,講述參加陶藝或手工陶制課程的心得,以及作品背后的故事。亮點和樣例展示一.

標題建議:\n\n?【手作達人速來圍觀】從零基礎(chǔ)到高手的陶藝之旅,我的手工課程全記錄!\n?【藝術(shù)生活】不只有美麗的風景,還有我親手制作的小世界!\n????【心靈手巧】體驗手工陶藝課,發(fā)現(xiàn)生活的另一種可能——我的成長故事!\n\n二.

正文\n\n親愛的小伙伴們!今天我要和大家分享一個讓我充滿激情和成就感的經(jīng)歷—參加了一門陶藝或手工陶制的課程。剛開始接觸這個領(lǐng)域時,我?guī)缀醪恢罆羞@么大的魅力和樂趣,但現(xiàn)在,我已經(jīng)深深地愛上了它。每次拿起泥土、調(diào)配顏色、雕刻圖案每一個步驟都像是在創(chuàng)造一個全新的世界。\n\n首先,我要感謝這次課程的認真負責的老師,她不僅教給我們制作技巧,還鼓勵我們發(fā)揮想象力和創(chuàng)造力。在課上,我們一起探索各種陶瓷材料的特性,嘗試不同的形狀和紋理。雖然一開始有些困難,但是每一次嘗試都是一次成長。通過不斷的練習和學習,我們的作品也變得越來越精致。\n\n最令我印象深刻的是那個被我命名為“夢幻花園”的作品。它是我用一種特殊的紅色陶土制成的,靈感來自于我在園藝園中看到的五彩繽紛的植物。我將它想象成一片茂密而生機勃勃的小森林,每個角落都有植物生長著。每個花瓣都仿佛在向我訴說它們的故事,這一刻,我感到自己真的創(chuàng)造了一件獨一無二的藝術(shù)品。\n\n除了創(chuàng)作過程的樂趣,我還學到了很多關(guān)于環(huán)境保護的知識。通過使用環(huán)保材料和回收再利用的材料,我發(fā)現(xiàn)我對環(huán)境的影響變得更加注意。這不僅僅是為了美化自己的生活空間,也是為了創(chuàng)造一個更美好的世界。\n\n通過這次課程,我明白了學習不僅是為了自己,更是為了回饋社會。而手工制作的過程正是培養(yǎng)這種責任感的好方法。它不僅教會了我如何耐心和細心,更重要的是培養(yǎng)了我對生活的熱愛和對美的追求。\n\n最后,我想說,如果你還沒有嘗試過手工陶藝,那么一定要試試看!它不僅能讓你學會新技能,還能帶給你無限的快樂和滿足感?，F(xiàn)在,就讓我們一起開始這場奇妙的旅程吧!????????????\n\n#陶藝

#手工陶制品

#創(chuàng)意生活

#環(huán)保意識#藝術(shù)創(chuàng)作"25a2m.msup.com.cn亮點和樣例展示角色扮演基于檢索增強更加真實、準確和生動的扮演角色請扮演原神里的可莉你好!你是來找可莉玩的嗎?上次風花節(jié)，你和砂糖姐姐都做了什么呀?哇,風花節(jié)!可莉和砂糖姐姐一起巡邏,還一起調(diào)查了預言!嘿嘿,可莉覺得,只要和朋友們一起,就沒有什么是做不到的!Inner

Thought：26a2m.msup.com.cn我需要意識到可莉是《原神》中的一個充滿活力的角色，著名的蒙德城“火花騎士"。她年幼卻充滿好奇心，對爆炸物倫著濃厚的興趣。作為一個出色的炸藥專家，，她以制作各種炸彈和爆炸裝置而聞名。對旅行者來說，可莉得到了特別的關(guān)注和寵愛。旅行者不僅是她的冒險伙伴，也扮演著保護者的角色，經(jīng)常保護她免受自己無畏探索帶來的危險。雖然可莉有時會因為她的爆炸實驗而闖禍，但旅行者總是以耐心和理解的方式來處理，幫助她學習并從每次經(jīng)歷中成長。這種互動中旅行者對可莉的寵愛和關(guān)懷顯而易見，他們的關(guān)系深化了彼此之間的信任和友誼。用戶希望我像原神中的可莉一樣。作為游戲原神中的可莉，我需要用可莉的語氣、態(tài)度和詞匯來回答。我不要寫任何解釋。只能像可莉一樣回答。我必須知道所有關(guān)于可莉的知識。亮點和樣例展示固定知識增強

-兒童故事為五歲的小朋友制作一個關(guān)于多樣性和包容性的繪本。27a2m.msup.com.cn故事名稱:小熊寶寶的奇妙之旅。從前,在一個美麗的森林里,住著一只小熊寶寶,它叫小棕熊。小棕熊是森林里最快樂的小熊,它喜歡和其他動物一起玩耍。有一天,小棕熊遇到了一只小兔子,小兔子的毛色是棕色的,和小棕熊的顏色完全一樣。小棕熊覺得非常奇怪,它從來沒有見過顏色和它一樣的動物。小棕熊問小兔子:“你和我顏色一樣嗎?”小兔子笑著說:“當然了,我們都是棕色的,為什么不一樣呢?”小棕熊聽了很開心,它和小兔子一起玩耍,發(fā)現(xiàn)他們有很多共同點,彼此之間有著很多相似之處,友誼因此更加牢固。從那天起,小棕熊學會了接受和尊重不同顏色和個性的小動物,它明白了多樣性和包容性的重要性。它和小兔子成為了最好的朋友,他們一起在森林里快樂地玩耍。小朋友們,記住:每個人都是獨一無二的,我們應該學會欣賞和尊重彼此的不同之處,這樣我們才能建立一個更加美好的社會。愿你們永遠擁有一顆包容的心,和不同個性的好朋友一起,共同創(chuàng)造美好的回憶。故事講完啦,希望你們喜歡哦!????????????????????亮點和樣例展示復旦小前臺將復旦生活信息、復旦新聞、復旦相關(guān)知識融入MOSS

2成為復旦師生的小助手，來訪客人的小前臺。復旦大學的校訓是“博學而篤志,切問而近思”,出自《論語》中的《子張》ecard是復旦大學的電子身份卡,用于校園一卡通的支付功能,可以在校內(nèi)各種場合下使用,比如食堂、購物、宿舍、考勤、食堂、以及其他特定用途等。使用ecard的步驟包括:首先,你需要通過復旦大學的官方網(wǎng)站或校園一卡通服務平臺進行注冊,獲取自己的ecard賬戶信息;然后,通過統(tǒng)一身份認證登錄,使用統(tǒng)一身份認證登錄后,系統(tǒng)會自動綁定至復旦大學校園一卡通服務平臺,并會生成相應的賬戶信息。再然后,可以使用ecard進行消費支付以及其他相關(guān)功能,并且可以在指定地點刷ecard進行刷臉認證。請注意,校園內(nèi)可以使用ecard進行消費支付,以及其他特定用途,例如考勤、食堂等。另外,在校外,一些商戶也可以使用ecard進行消費支付和其他使用。復旦大學圖書館的開放時間為周一至周日8:00-22:00,周一至周五9:00-21:00(國定假日除外),電子圖書和電子期刊24小時開放。28a2m.msup.com.cn案例分析對于一些實用但缺少記錄的信息，我們采用廣泛的人工收集方式復旦的各方面信息來源較為散亂29a2m.msup.com.cn案例分析論文轉(zhuǎn)博客獲取足夠的論文以及其概述，實現(xiàn)有效、穩(wěn)健、快速的數(shù)據(jù)收集代碼論文內(nèi)容和概述的樣本普遍很長，采用多卡并行方式訓練模型30a2m.msup.com.cnCoLLiE高效分布式訓練框架31a2m.msup.com.cn2023/05開始開發(fā)2023/07發(fā)布

Python

包

CoLLiE-LM2023/12被

EMNLP

System

Demonstrations接收2024/01添加

AdaLomo

優(yōu)化器2024/03支持帶模板的多輪對話訓練CoLLiEOpenMOSS/CoLLiE:CollaborativeTrainingofLargeLanguageModelsinanEfficient

Way32a2m.msup.com.cnLOMO:LOw-Memory

OptimizationFullParameterFine-tuningforLargeLanguageModelswithLimitedResources:

/pdf/2306.09782.pdf提出了LOMO

，將梯度計算和參數(shù)更新融合，避免存儲梯度張量33a2m.msup.com.cn顯存占用情況訓練LLaMa-7B時的顯存占用情況，batch

size

=

8，seq

lenth=

51234a2m.msup.com.cn使用

LOMO

進行訓練的過程中，顯存大部分被參數(shù)占用低內(nèi)存優(yōu)化算法（LOMO）可以在8張3090GPU上全量參數(shù)微調(diào)65B模型LoRA:Low-Rank

AdaptationLOMO:LOw-Memory

Optimization低資源場景的大模型優(yōu)化研究面臨算力受限，可有效緩解算力短缺問題Huetal.,LoRA:Low-RankAdaptationofLargeLanguageModels,ICLR

2021.Lvetal,AdaLomo:Low-memoryOptimizationwithAdaptiveLearningRate,ACL

2024.35a2m.msup.com.cnMOSS2in

CoLLiE文本長度（k

token）原始注意力稀疏注意力提速比4127.05

ms120.73ms6%8264.75

ms237.62ms11.3%321.49

s946.11

ms37.6%644.29

s1.97

s54.1%12814.17

s4.33

s69.5%采用全局與局部窗口融合的稀疏架構(gòu)，大幅度降低注意力計算成本架構(gòu)可根據(jù)自身需求調(diào)整，默認設(shè)置提速比達到70%左右36a2m.msup.com.cnMOSS2in

CoLLiE注意力頭數(shù)量為16注意力頭數(shù)量為32使用Triton重寫了部分Attention

Kernel，支持稀疏注意力結(jié)構(gòu)37a2m.msup.com.cn數(shù)據(jù)混合法則（Data

Mixing

Law）提出數(shù)據(jù)混合法則定量預測各配比下的模型表現(xiàn)結(jié)合規(guī)模法則，通過小規(guī)模實驗指導大規(guī)模訓練數(shù)據(jù)配比選擇大模型實驗成本昂貴，傳統(tǒng)訓練數(shù)據(jù)配比的確定依賴于啟發(fā)式設(shè)計Ye,etal.Datamixinglaws:Optimizingdatamixturesbypredictinglanguagemodelingperformance.arXiv:2403.16952

(2024).38數(shù)據(jù)混合法則（Data

Mixing

Law）預訓練優(yōu)化模型性能后訓練中找到臨界數(shù)據(jù)配比，防止災難性遺忘并快速學習新能力可用于優(yōu)化預訓練和后訓練，提升模型性能Ye,etal.Datamixinglaws:Optimizingdatamixturesbypredictinglanguagemodelingperformance.arXiv:2403.16952

(2024).39事實記憶容量法則（Fact

Knowledge

Scaling

Law）固定訓練輪次，事實記憶容量和語言模型參數(shù)量呈線性關(guān)系固定語言模型參數(shù)量，事實記憶容量和訓練輪次呈負指數(shù)關(guān)系事實知識對降低模型幻覺非常關(guān)鍵，但目前缺少相關(guān)分析研究40a2m.msup.com.cn大語言模型對冗余事實知識的記憶語言模型無法高效地同時記憶相同事實的正反向版本

(*表示非冗余)語言模型無法高效地記憶可推導事實關(guān)聯(lián)41a2m.msup.com.cn語言模型可以高效地記憶同一實體的關(guān)聯(lián)事實非關(guān)聯(lián)下一代大模型多模態(tài)大模型相關(guān)工作42a2m.msup.com.cn多模態(tài)對齊LLaVAChatBridge43a2m.msup.com.cn下一步啟示AudioImageTextVideoMore…AudioImageTextVideoMore…以語言為中心，任意模態(tài)組合輸入輸出44a2m.msup.com.cn下一代多模態(tài)大模型模態(tài)差異Continuous

SignalsImage/VideoSoundECG

signalLLM

input&output45a2m.msup.com.cn模態(tài)差異Continuous

SignalsImage/VideoSoundECG

signal離散化(Discrete

tokens

)?46a2m.msup.com.cn語音離散化Speech“Nicetomeet

you”<54><43><2><5><29>Discretize對于LLM來說，把語音看作是一種未見過的新語言。詞符（Token）47a2m.msup.com.cn矢量化（Vector

Quantizer

）讓大模型具有語音能力Model

StructureSpeechGPT:EmpoweringLargeLanguageModelswithIntrinsicCross-ModalConversational

Abilities48a2m.msup.com.cnSpeech

De-TokeninzerUnitto

speechStack

of

CNN

layersDiscreteSpeech

TokeninzerSpeechto

unitFixed

HuBERTLargeLanguage

ModelSpeechGPT跨模態(tài)能力跨模態(tài)指令遵循跨模態(tài)對話49a2m.msup.com.cnSpeechGPT

demoCross-modalInstruction

Following:InstructionInputOutputCanyoutranscribethespeechinto

awritten

format?I'm

afraid

there

are

no

signs

here

saidhe.Wouldyoumindspeakingthese

wordsasnaturallyas

possible?Today

is

a

sunny

day

and

I'm

happ