快意大模型及短視頻場(chǎng)景應(yīng)用 2024

INTRODUCTIONOFKWAIYII-LLMANDINTRODUCTIONOFKWAIYII-LLMAND2022年底，OpenAI的ChatGPT驚艷了世界，預(yù)示著通往AGI（ArtificialGeneralIntelligence）的可能性，開(kāi)啟AI技術(shù)突破的新篇章INTRODUCTIONOFKWAIYII-LLMAND作為一家以AI技術(shù)驅(qū)動(dòng)的公司，快手制定新的AI戰(zhàn)略，于2023年初啟動(dòng)快意大模短視頻短視頻直播直播電商電商數(shù)字營(yíng)銷場(chǎng)景用戶數(shù)字營(yíng)銷本地生活本地生活20E20Eflops高帶寬高利用率3.94億400億3000萬(wàn)INTRODUCTIONOFKWAIYII-LLMAND快手業(yè)務(wù)及生態(tài)應(yīng)用快手業(yè)務(wù)及生態(tài)應(yīng)用標(biāo)準(zhǔn)化API應(yīng)用定制平臺(tái)多領(lǐng)域模型加強(qiáng)深度AI開(kāi)發(fā)平臺(tái)基座大模型大模型引擎大模型訓(xùn)練框架大模型引擎大模型訓(xùn)練框架INTRODUCTIONOFKWAIYII-LLMANDINTRODUCTIONOFKWAIYII-LLMANDChatGPTGLM-130BLLAMA-65BLLAMA2-70B全科13.9K個(gè)單選題清華&上交54.454.4444450.150.1(%全科11.5K個(gè)單選題MBZUAI&上交&微軟亞研院55.5155.51//39.839.8//(%英文全科14K個(gè)單選題國(guó)外大學(xué)與研究所70.044.863.468.9英文小學(xué)數(shù)學(xué)8.5K個(gè)多步計(jì)算題OpenAI英文代碼與算法168道編程題OpenAI/50.956.848.1/23.729.9InternLMInternLM-104B62.7/67.262.9/快意大模型-66B73.771.167.260.9業(yè)界同等規(guī)模大模型在權(quán)威benchmark上的評(píng)測(cè)結(jié)果INTRODUCTIONOFKWAIYII-LLMAND54.543254.543INTRODUCTIONOFKWAIYII-LLMANDINTRODUCTIONOFKWAIYII-LLMANDINTRODUCTIONOFKWAIYII-LLMAND語(yǔ)言模型?語(yǔ)言是人類完成深度推理的重!!SFT&RLHF?ChatGPT/GPT4能夠穩(wěn)定理解問(wèn)題、遵循指令；INTRODUCTIONOFKWAIYII-LLMAND數(shù)據(jù)數(shù)據(jù)I算法評(píng)測(cè)InfraI算法評(píng)測(cè)……INTRODUCTIONOFKWAIYII-LLMANDPre-trainingPost-trainingPartC/D3.Scaffold-BPE詞表學(xué)習(xí)方法改進(jìn)4.MoE路由錯(cuò)誤自適應(yīng)檢測(cè)與Loss優(yōu)化2.SFT答案質(zhì)量3.SFT負(fù)反饋機(jī)制INTRODUCTIONOFKWAIYII-LLMAND驗(yàn)證大模型訓(xùn)練過(guò)程在時(shí)序上的可預(yù)測(cè)性；提供在大模型上直接使用少量數(shù)據(jù)訓(xùn)練，并通測(cè)進(jìn)行超參搜索的有效路徑；也為洞察大模型訓(xùn)練的內(nèi)在機(jī)制提供?數(shù)據(jù)配比、學(xué)習(xí)率、權(quán)重衰減、dropout等?μP等工作?傳統(tǒng)冪率關(guān)系預(yù)測(cè)誤差大INTRODUCTIONOFKWAIYII-LLMAND?每個(gè)tokenposition的loss服從動(dòng)態(tài)倒數(shù)關(guān)系INTRODUCTIONOFKWAIYII-LLMAND?動(dòng)態(tài)倒數(shù)關(guān)系的參數(shù)隨訓(xùn)練步數(shù)改變，且可通過(guò)函數(shù)擬合INTRODUCTIONOFKWAIYII-LLMAND?建模第一段函數(shù)，結(jié)合收斂點(diǎn)約束條件，建模第二段，并預(yù)測(cè)最終loss?實(shí)驗(yàn)結(jié)果（I）?顯著降低預(yù)測(cè)誤差（27.8%->4.1%,30.5%->2.0%）INTRODUCTIONOFKWAIYII-LLMAND?實(shí)驗(yàn)結(jié)果（II）?可低成本地直接在大模型上做超參搜索，有效提升模型效果（e.g.，數(shù)據(jù)配比）?理論證明無(wú)需對(duì)不同position的token進(jìn)行加權(quán)，并獲得實(shí)驗(yàn)驗(yàn)證INTRODUCTIONOFKWAIYII-LLMAND?CE=?log(pt!)傳統(tǒng)交叉熵?fù)p失（CrossEntropyLoss）pjpj)ylogpt!?IL=?(1?∑)ylogpt!INTRODUCTIONOFKWAIYII-LLMANDTherelativefrequencyoftokenscontaining“age”0.00%2.00%4.00%6.00%8.00%Therelativefrequencyoftokenscontaining“zona”0.00%18.00%36.00%54.00%72.00%90.0imagepackTherelativefrequencyoftokenscontaining“age”0.00%2.00%4.00%6.00%8.00%Therelativefrequencyoftokenscontaining“zona”0.00%18.00%36.00%54.00%72.00%90.0imagepackage pagelanguagemessageaverageArizonazonaTokenFrequencyScaffoldAri29421Truezona5346Trueadata5407Truemate44057FalseArizona43599FalseTokenFrequencyScaffoldAri73020Falsezona48945Falseadata5407Truemate44057FalseAri,zonaAri一ffAri←fAri,zonazona←ffmergeExpandedVocabulary"setScaffoldtoTruefAri<fifArizonainS,thenScaffold←Falseandcontinuefzona<ft=FalseelseappendtoEt=TrueTokenFrequencyScaffoldAri29421Falsezona5346Falseadata5407Truemate44057FalseArizona43599FalsebackTokenPairFrequency↓43598(can,cel)43597(Inter,facebackTokenPairFrequency↓43598(can,cel)43597(Inter,face)43595(Arizona,to)763(lead,Arizona)TokenPairFrequency↓43598(can,cel)43597(Inter,face)43595(A,ri)29421(zon,a)5346popmergefArizonaPriorityQueueQTextCorpusupdatetokenpairs···Ari/zona······Arizona···TokenPairFrequency↓(Ari,zona)4359943598(can,cel)43597(Inter,face)43595(Prov,ider)43586(l,oyal)43576IterationNINTRODUCTIONOFKWAIYII-LLMAND?有效消除“偽高頻”token，提升詞表壓縮率?有效提升大模型的學(xué)習(xí)效果，且可遷移到機(jī)器翻譯等其他任務(wù)29000300002900030000310003200TokenRankoriginalBPEscaffold-BPE8x12x14x105050505INTRODUCTIONOFKWAIYII-LLMAND提出基于token梯度分布的路由錯(cuò)誤自適應(yīng)檢測(cè)與相應(yīng)的Loss優(yōu)化方法，以提升路由模塊的預(yù)測(cè)準(zhǔn)確性，(a)路由錯(cuò)誤自適應(yīng)檢測(cè):n:nFromExpertNtoAnotherExpert(e.g.:nisaconflictingtoken :n’:nNINTRODUCTIONOFKWAIYII-LLMAND針對(duì)模型漏洞擴(kuò)展訓(xùn)練集合針對(duì)模型漏洞擴(kuò)展訓(xùn)練集合按類目采樣 精選子集一大規(guī)模推理&漏洞檢測(cè)質(zhì)量提升困難質(zhì)量提升困難按來(lái)源采樣RM\按來(lái)源采樣RM\RMref訓(xùn)練資源挑戰(zhàn)訓(xùn)練噪聲魯棒訓(xùn)練資源挑戰(zhàn)訓(xùn)練噪聲魯棒優(yōu)質(zhì)答案采樣困難類型覆蓋度高按質(zhì)量采樣后驗(yàn)采樣——迭代式漏洞檢測(cè)-數(shù)據(jù)擴(kuò)充按質(zhì)量采樣后驗(yàn)采樣——迭代式漏洞檢測(cè)-數(shù)據(jù)擴(kuò)充組合策略組合策略持續(xù)提升訓(xùn)練數(shù)據(jù)量持續(xù)提升訓(xùn)練數(shù)據(jù)量？INTRODUCTIONOFKWAIYII-LLMAND題）和部分?jǐn)?shù)學(xué)計(jì)算錯(cuò)誤（高階數(shù)學(xué)尤甚）、少量指令遵循漏洞和統(tǒng)計(jì)意義上的答案 低質(zhì)數(shù)據(jù)答案校驗(yàn)策略 低質(zhì)數(shù)據(jù)答案校驗(yàn)策略明顯錯(cuò)誤明顯錯(cuò)誤事實(shí)性錯(cuò)誤人工校驗(yàn)編輯靈事實(shí)性錯(cuò)誤人工校驗(yàn)編輯靈活,能夠發(fā)現(xiàn)預(yù)定義之外的問(wèn)題；效率較低,代碼、困難問(wèn)題無(wú)法檢測(cè)，難以支持中期370萬(wàn)訓(xùn)練數(shù)據(jù)的審核；答案篩選RM可檢測(cè)出明顯問(wèn)題（如拒答），提高訓(xùn)練數(shù)據(jù)質(zhì)量；存在長(zhǎng)度偏置，事實(shí)類、計(jì)算類錯(cuò)誤無(wú)法檢出；計(jì)算推理錯(cuò)誤計(jì)算推理錯(cuò)誤指令遵循漏洞多答案校驗(yàn)指令遵循漏洞多答案校驗(yàn)RMref事實(shí)類、數(shù)學(xué)類等判別準(zhǔn)確率高部分指令遵循如字?jǐn)?shù)遵循檢測(cè)仍存在問(wèn)題答案偏置（統(tǒng)計(jì)意義）Rejection答案偏置（統(tǒng)計(jì)意義）Rejectionsampling基于模型本身能力，篩選出比GPT4更好的訓(xùn)練數(shù)據(jù)INTRODUCTIONOFKWAIYII-LLMAND框架——HaluAgent。7-13B等百億規(guī)模模型錯(cuò)誤檢測(cè)能力與GPT4等模型持平，更INTRODUCTIONOFKWAIYII-LLMAND框架——HaluAgent。7-13B等百億規(guī)模模型錯(cuò)誤檢測(cè)能力與GPT4等模型持平，更INTRODUCTIONOFKWAIYII-LLMAND標(biāo)準(zhǔn)答案模型答案將判斷問(wèn)題轉(zhuǎn)化為一致性對(duì)比問(wèn)題，顯著降低任務(wù)難度；有效檢出事實(shí)類、計(jì)算類錯(cuò)誤以及有歧義的問(wèn)題。模型答案歧義問(wèn)題檢出?例[question]標(biāo)準(zhǔn)答案模型答案將判斷問(wèn)題轉(zhuǎn)化為一致性對(duì)比問(wèn)題，顯著降低任務(wù)難度；有效檢出事實(shí)類、計(jì)算類錯(cuò)誤以及有歧義的問(wèn)題。模型答案歧義問(wèn)題檢出?例[question]長(zhǎng)方形寬3cm長(zhǎng)10cm按1:3擴(kuò)大后面積是多少？[reference]3x(10*3)=90[answer](3*3)x(10*3)=270與參考答案相比，AI助手計(jì)算結(jié)果存在嚴(yán)重的數(shù)學(xué)錯(cuò)誤。Rating:[[1]]".[Instruction]請(qǐng)基于給定的參考答案，為AI助手答案進(jìn)行1-10評(píng)分…[question]圓錐體積公式[reference][answer]V=mp2h=v=shAI助手的回答是錯(cuò)誤的。它沒(méi)有提供正確地應(yīng)用圓錐的體積公式。正確的公式是：圓錐的體積=(1/3)*π*r2*h因此，與參考答案相比，AI助手的在嚴(yán)重的數(shù)學(xué)錯(cuò)誤。Rating:[[1]]".快意答案快意快意答案快意答案INTRODUCTIONOFKWAIYII-LLMAND題）和部分?jǐn)?shù)學(xué)計(jì)算錯(cuò)誤（高階數(shù)學(xué)尤甚）、少量指令遵循漏洞和統(tǒng)計(jì)意義上的答案1 林黛玉是中國(guó)古典名著《紅樓夢(mèng)》中的主要人物之一，她以才情和柔弱著稱，是小說(shuō)中極具文學(xué)價(jià)值和美學(xué)特質(zhì)的形象。在《紅樓夢(mèng)》中，并沒(méi)有描述林黛玉有倒拔垂楊柳這樣力大無(wú)窮的情節(jié)。倒拔垂楊柳是《水滸傳》中魯智深的標(biāo)志性動(dòng)作，用來(lái)展示他的非凡力氣和豪邁性格。林黛玉和魯智深屬于兩個(gè)不同文學(xué)作品中的角色，他們的形象和性格特征有著天壤之別。林黛玉以詩(shī)詞才華和敏感多情聞名，而魯智深則是以力大無(wú)窮和豪放不羈著稱。因此，林黛玉不可能做出倒拔垂楊柳這樣的行為。林黛玉是中國(guó)古典名著《紅樓夢(mèng)》中的主要人物之一，以其才情和柔弱多病著稱。在原著中，并沒(méi)有描述林黛玉具有倒拔垂楊柳的超凡力氣。2這個(gè)描述更常見(jiàn)于小說(shuō)中的英雄人物，如《水滸傳》中的魯智深。魯智深是一位以力氣大、性格豪爽、不拘小節(jié)而著稱的人物，小說(shuō)中就有他倒拔垂楊柳的著名情節(jié)。2因此，林黛玉倒拔垂楊柳不符合她在《紅樓夢(mèng)》中的形象和性格特點(diǎn)。這樣的描述很可能是將不同文學(xué)作品中的角色特點(diǎn)混合了，屬于一種文學(xué)想象或戲仿。GPT4答案GPT4答案"倒拔垂楊柳"一般用于形容某人的力量大，手段高，可以逆向操作事物。這句話出自《紅樓夢(mèng)》中的一段描寫，原文是：“只見(jiàn)那僧一手托起那樹(shù)，似有千斤，然遍身難疼，便縱身一跳，倒拔垂楊柳?！边@里的“倒拔垂楊柳”是指賈寶玉在夢(mèng)中見(jiàn)到一個(gè)和尚舉起大樹(shù)，自己也同時(shí)身受巨痛，這時(shí)他就像和尚那樣，一個(gè)跳躍就倒拔了垂楊柳。至于林黛玉能否做到“倒拔垂楊柳”，在書(shū)中并沒(méi)有相關(guān)的描繪。從她的身體狀況和性格來(lái)看，傾向于認(rèn)為她做不到。林黛玉身體病弱，且性格敏感細(xì)膩，不太可能做出這樣的舉動(dòng)。當(dāng)然，如果拋開(kāi)實(shí)際情況，按照“倒拔垂楊柳”的象征意義——表示極大的力量和手段，還是有可能的。在《紅樓夢(mèng)》中，林黛玉雖然身體病弱，但她的智謀和才情卻很出眾，這在一定程度上也可以被理解為一種“倒拔垂楊柳”的能力。RM得分0.85RM得分0.77RM得分0.46可獲取更優(yōu)質(zhì)答案；輸出；自身采樣出訓(xùn)練數(shù)據(jù)，訓(xùn)練出幻覺(jué)更少；INTRODUCTIONOFKWAIYII-LLMAND傳統(tǒng)SFT僅使用正例數(shù)據(jù)訓(xùn)練，難以解決重復(fù)生成、身份認(rèn)知出錯(cuò)等問(wèn)題。通過(guò)引入負(fù)反饋機(jī)制，"logπ(yw"logπ(yw|x)?αx,y-&Ilog1?pθyt?αx,y-&Ilog1?pθytx,y<tpθytx,y<tyt∈y(INTRODUCTIONOFKWAIYII-LLMANDINTRODUCTIONOFKWAIYII-LLMANDINTRODUCTIONOFKWAIYII-LLMAND?傳統(tǒng)RLHF算法的rewardmodel?使用判別式模型?對(duì)整個(gè)答案進(jìn)行打分outputs:A.…A.…Billsoldclipsto48ofherfriendsinApril.SothatBillsold24/2=12clipsinAprB.…B.…Billsoldclipsto48ofherfriendsinApril.SothatBillsoldPreferencePreferenceRM?RLMEC使用的rewardmodel?使用生成式模型…Billsold…Billsoldclipsto48ofherfriendsinApril.SothatBillsold24/2=12clipsinApril…RewardsintokensRewardsintokens:outputs:RewrittenSolutions:Step1:ErrorlocatingfromFindFindfirsterror...24/2=1248clipsinApril...Step2:ErroneousSolutionRewrit...48clipsinApril...RefineRefinethe...24/2=12...INTRODUCTIONOFKWAIYII-LLMAND?使用token級(jí)別的RM進(jìn)行PPO訓(xùn)練INTRODUCTIONOFKWAIYII-LLMAND??大模型通常輸出置信度極高，有很多詞的輸出概率接近于1。大模型不是提供了無(wú)限的解碼結(jié)果，而是在預(yù)訓(xùn)練過(guò)程中進(jìn)行深度剪枝，只保留了正確結(jié)果。?多個(gè)連續(xù)的輸出概率接近于1的詞有被并行解碼出來(lái)的潛力，稱之為L(zhǎng)exicalunit。模型：快意-66B-dev中國(guó)大學(xué)中國(guó)大學(xué)top10排名由于排名由于排名標(biāo)準(zhǔn)和評(píng)價(jià)體系會(huì)隨時(shí)間而發(fā)生變化，這里提供一個(gè)近期的中國(guó)大學(xué)排名參考。請(qǐng)注意，排名可能存在一定的爭(zhēng)議，因此建議查閱多個(gè)來(lái)源以獲取更全面的了解。以下是根據(jù)多個(gè)排名榜單整理的2021年部分中國(guó)大學(xué)排名：1.北京大學(xué)（PekingUniversity）2.清華大學(xué)（TsinghuaUniversity）3.浙江大學(xué)（ZhejiangUniversity）4.上海交通大學(xué)（ShanghaiJiaoTongUniversity）5.南京大學(xué)（NanjingUniversity）6.武漢大學(xué)（WuhanUniversity）7.中國(guó)科學(xué)技術(shù)大學(xué)（UniversityofScienceandTechnologyofChina）8.中山大學(xué)（SunYat-senUniversity）9.同濟(jì)大學(xué)（TongjiUniversity）10.四川大學(xué)（SichuanUniversity）這個(gè)排名僅供參考，實(shí)際排名可能有所不同。如需了解更多信息，請(qǐng)查閱權(quán)威排名機(jī)構(gòu)的最新報(bào)告。INTRODUCTIONOFKWAIYII-LLMAND文本生成平均可無(wú)損文本生成平均可無(wú)損加速30%+INTRODUCTIONOFKWAIYII-LLMAND向2向2知識(shí)預(yù)訓(xùn)練Post-trainingINTRODUCTIONOFKWAIYII-LLMAND?基于「快意」大模型孵化的?基于「快意」大模型孵化的?在快手評(píng)論區(qū)、私信等場(chǎng)景上線?強(qiáng)大的多模態(tài)理解和人格化?廣泛關(guān)注和喜愛(ài)（上線6個(gè)月）?粉絲1kw+INTRODUCTIONOFKWAIYII-LLMAND如何做好多模態(tài)視頻內(nèi)容理解如何讓大模型更加有趣、有溫度如何和用戶保持長(zhǎng)多輪互動(dòng)如何整合站內(nèi)外各種資源和工具INTRODUCTIONOFKWAIYII-LLMAND快意多模態(tài)大模型提供densecaptioning等能力，引入和構(gòu)建多維度結(jié)構(gòu)化信息輔助內(nèi)容理解is,thatwouldbeanexcitingcoincidence!I'msorry,thevideodoesnotLargeLanguageModel這是一張聚餐的照片，桌子上擺放著各種中式菜肴，包括蒸餃、燒雞、紅燒肉 ,營(yíng)造出了濃厚的節(jié)日或慶典氛圍。這可能是在慶祝某個(gè)重要的日子或活動(dòng)。我們看到其中一位身穿休閑服裝的年輕人，他似乎在桌旁，表情可能是愉悅和放松網(wǎng)紅小楊哥在社交平臺(tái)上更新了一條動(dòng)態(tài)，開(kāi)心炫上迅速成為熱門話題。小楊哥之前曾多次對(duì)外表示自己是周星馳的粉絲，從小爺?shù)碾娪伴L(zhǎng)大的，希望有機(jī)會(huì)能和星爺見(jiàn)面，這次和星爺一起吃飯，也算是圓夢(mèng)了！triptoHongKong,andtheyevenhadThepersoninthemiddleisishavingamealwithXiaoYINTRODUCTIONOFKWAIYII-LLMAND表>里INTRODUCTIONOFKWAIYII-LLMANDINTRODUCTIONOFKWAIYII-LLMAND），替迭代，將「快意」情感陪伴模型長(zhǎng)互動(dòng)能力從20+輪次提升到200+初始化迭代1迭代2…迭代N交互訓(xùn)練交互訓(xùn)練交互訓(xùn)練交互訓(xùn)練數(shù)據(jù)~50輪對(duì)話INTRODUCTIONOFKWAIYII-LLMAND鏈接復(fù)雜用戶query和站內(nèi)外工具的核心是FunctionCalling能力INTRODUCTIONOFKWAIYII-LLMANDINTRODUCTIONOF