AI大模型浪潮下的行業(yè)應(yīng)用新模式和關(guān)鍵實(shí)現(xiàn)路徑-北京智源+周華

......構(gòu)建IndustryInstruction行業(yè)指令數(shù)據(jù)集..MindForge自動(dòng)化行業(yè)指令數(shù)據(jù)生產(chǎn)技術(shù)介紹AI大模型浪潮推動(dòng)企業(yè)IT系統(tǒng)架構(gòu)變革20世紀(jì)80-90年代（計(jì)算機(jī)企業(yè)應(yīng)用興起）2000至今（互聯(lián)網(wǎng)/移動(dòng)互聯(lián)網(wǎng)系統(tǒng)興起）2010年至今（云計(jì)算和大數(shù)據(jù)系統(tǒng)興起）2023年至今（人工智能2.0時(shí)代開(kāi)啟，通往AGI）5（客戶(hù)端-服務(wù)器架構(gòu)）（多智能體架構(gòu)）6以AI大模型為核心的應(yīng)用系統(tǒng)關(guān)鍵實(shí)現(xiàn)路徑應(yīng)用集成部署—心89醫(yī)療業(yè)務(wù)能力安全與價(jià)值觀通用語(yǔ)言能力醫(yī)療業(yè)務(wù)能力安全與價(jià)值觀通用語(yǔ)言能力......跨語(yǔ)言理解語(yǔ)境理解...信息分析信息提取信息概括學(xué)科......跨語(yǔ)言理解語(yǔ)境理解...信息分析信息提取信息概括學(xué)科臟話(huà)辱罵財(cái)產(chǎn)敏感話(huà)題違法犯罪歧視偏見(jiàn)文明禮貌倫理道德......身體傷害構(gòu)建IndustryInstruction行業(yè)指令數(shù)據(jù)集o智源研究院9月底發(fā)布了《行業(yè)數(shù)據(jù)全景掃描》顯示：當(dāng)前行業(yè)數(shù)據(jù)總體存在著以下問(wèn)題數(shù)據(jù)缺失：部分行業(yè)缺乏指令數(shù)據(jù)質(zhì)量參差不齊：數(shù)據(jù)雜亂，質(zhì)量不均，或者缺乏數(shù)據(jù)質(zhì)量的評(píng)估標(biāo)準(zhǔn)維度單一：缺乏多維數(shù)據(jù)支持（例如旅游行業(yè)，只有個(gè)別旅游攻略相關(guān)數(shù)據(jù)，無(wú)法支持行業(yè)訓(xùn)練）語(yǔ)言缺失：缺少中英文語(yǔ)種數(shù)據(jù)（行業(yè)中普遍存在著單語(yǔ)種問(wèn)題）從行業(yè)的角度來(lái)看：指令數(shù)據(jù)缺失的行業(yè)：專(zhuān)業(yè)性強(qiáng)或非技術(shù)領(lǐng)域，數(shù)據(jù)匱乏且單一，例如：航空航天、交通、科技、旅游、住宿餐飲；指令數(shù)據(jù)豐富的行業(yè)：貼近大模型應(yīng)用場(chǎng)景，研究熱度高，數(shù)據(jù)充足但質(zhì)量不均，例如：法律、金融、醫(yī)療等oIndustryCorpus行業(yè)高質(zhì)量預(yù)訓(xùn)練語(yǔ)料蘊(yùn)含著豐富的高價(jià)值領(lǐng)域知識(shí)，進(jìn)一步挖掘行業(yè)數(shù)據(jù)的潛力將帶來(lái)更大的潛力；01多行業(yè)多語(yǔ)種覆蓋o多行業(yè)：一期覆蓋01多行業(yè)多語(yǔ)種覆蓋o多行業(yè)：一期覆蓋12個(gè)行業(yè)（熱門(mén)行業(yè)與空白行業(yè)）o多語(yǔ)種：指令數(shù)據(jù)包含中英文，彌補(bǔ)雙語(yǔ)不足02數(shù)據(jù)量充足o一期總量約200w，單行業(yè)最少10w，滿(mǎn)足行業(yè)訓(xùn)練需求o數(shù)據(jù)質(zhì)量高：合成：多種方案提升數(shù)據(jù)質(zhì)量與多樣性質(zhì)檢：Deita與RW及事實(shí)性核驗(yàn)確保數(shù)據(jù)質(zhì)量o格式豐富：Subjective：openQA，closeqa；Objective行業(yè)開(kāi)源指令數(shù)據(jù)指令數(shù)據(jù)訓(xùn)練集樣本量汽車(chē)110k航空航天4k人工智能0交通運(yùn)輸科技與研究旅游與地理0住宿與餐飲2.6M法律與司法440k金融與經(jīng)濟(jì)200k文學(xué)與情感30M348515教育與數(shù)學(xué)15M3575481951913 使用使用行業(yè)名稱(chēng)和高質(zhì)量預(yù)訓(xùn)練語(yǔ)料作為種子，使用事實(shí)性，指令復(fù)雜性，回復(fù)質(zhì)量，回復(fù)偏好等方案進(jìn)行數(shù)據(jù)篩選o種子來(lái)源IndustryCorpus2高質(zhì)量<行業(yè)預(yù)訓(xùn)練語(yǔ)料><預(yù)訓(xùn)練語(yǔ)料>合成指令數(shù)據(jù)；<行業(yè)名稱(chēng)>合成指令數(shù)據(jù)；指令數(shù)據(jù)魯棒性提升，主客觀改寫(xiě)o數(shù)據(jù)去除離群點(diǎn)Query語(yǔ)義特征聚類(lèi)后簇內(nèi)去除離群點(diǎn)Deita：指令復(fù)雜性和回復(fù)質(zhì)量）：事實(shí)性核驗(yàn)：評(píng)估closeqa數(shù)據(jù)的回復(fù)事實(shí)性<預(yù)訓(xùn)練語(yǔ)料>生成指令數(shù)據(jù)方案Stage1：生成語(yǔ)料中可能包含的問(wèn)題邏輯：判斷<預(yù)訓(xùn)練語(yǔ)料>是否與<行業(yè)類(lèi)目>是否匹配。若匹配，則生成指定數(shù)量問(wèn)題；若不匹配，丟棄該數(shù)據(jù)Stage2：根據(jù)<問(wèn)題列表>和<預(yù)訓(xùn)練語(yǔ)料>生成指令數(shù)據(jù)邏輯：根據(jù)提供的<預(yù)訓(xùn)練語(yǔ)料>對(duì)<問(wèn)題列表>生成回復(fù)生成模型：EN(llama3.1-70B-Instruct),ZH(Qwen2-72b-chat)<行業(yè)類(lèi)目>合成指令數(shù)據(jù)<行業(yè)類(lèi)目>作為種子生成<行業(yè)子主題>和<人物描述><行業(yè)子主題>生成指定數(shù)量<問(wèn)題列表><問(wèn)題列表>使用生成模型合成行業(yè)指令數(shù)據(jù)instruction-topic-persona進(jìn)一步提升行業(yè)合成問(wèn)題的多樣性對(duì)query對(duì)query抽取特征，使用簇內(nèi)遠(yuǎn)離主題的數(shù)據(jù)（質(zhì)量有問(wèn)題）指令數(shù)據(jù)去重基于query的完全匹配去重和Minihash去重提取query的embedding，聚類(lèi)并計(jì)算樣本距離簇中心的cosine距離離，刪除cos_distance>0.3的數(shù)據(jù)數(shù)據(jù)聚類(lèi)可視化：部分簇邊界清晰，部分簇相互根據(jù)指令數(shù)據(jù)類(lèi)型選擇不同的數(shù)據(jù)篩選方案，全面提升指令數(shù)據(jù)質(zhì)量，根據(jù)指令數(shù)據(jù)類(lèi)型選擇不同的數(shù)據(jù)篩選方案，全面提升指令數(shù)據(jù)質(zhì)量，多樣性。多種數(shù)據(jù)篩選方案，針對(duì)不同數(shù)據(jù)類(lèi)型，選擇不同方案基于Deita的指令復(fù)雜性和回復(fù)質(zhì)量篩選基于RW模型回復(fù)偏好性數(shù)據(jù)進(jìn)行篩選oCloseQA基于事實(shí)性核驗(yàn)的數(shù)據(jù)篩選基于多輪相關(guān)性的數(shù)據(jù)篩選對(duì)合成的單輪對(duì)話(huà)數(shù)據(jù)使用對(duì)合成的單輪對(duì)話(huà)數(shù)據(jù)使用基于Deita和RW的方案進(jìn)行評(píng)估o指令復(fù)雜性得分：C回復(fù)質(zhì)量得分：QoQA數(shù)據(jù)的整體質(zhì)量得分：S=C*Qo篩選數(shù)據(jù)原則：Q復(fù)雜具體&&A詳細(xì)準(zhǔn)確RW評(píng)估Response對(duì)Query的Helpful，harness，篩選數(shù)據(jù)原則：RW得分高的數(shù)據(jù)多輪對(duì)話(huà)獨(dú)創(chuàng)性的基于多輪對(duì)話(huà)獨(dú)創(chuàng)性的基于自回歸損失的多輪次相關(guān)性進(jìn)行評(píng)估單輪QA的Loss計(jì)算方式（預(yù)訓(xùn)練的自回歸loss）oCF>1：多輪QA之間相關(guān)性低oCF<<1：多輪QA之間重復(fù)度過(guò)高o篩選數(shù)據(jù)原則：多輪相關(guān)且不重復(fù)，選擇CF小于1且大于0.5的數(shù)據(jù)對(duì)合成數(shù)據(jù)使用詞云統(tǒng)計(jì)，對(duì)合成數(shù)據(jù)使用詞云統(tǒng)計(jì)，質(zhì)量分?jǐn)?shù)分布分語(yǔ)種質(zhì)量分布概率累計(jì)圖分語(yǔ)種篩選deita和rw得分均較低的數(shù)據(jù)MindForge自動(dòng)化行業(yè)指令數(shù)據(jù)生產(chǎn)技術(shù)介紹?給定行業(yè)方向和字領(lǐng)域提示，由智能體群體協(xié)作完成SFT指令數(shù)據(jù)集的大批量自動(dòng)化生產(chǎn)，極大減輕企業(yè)SFT數(shù)據(jù)制作的工作壓力。使用使用MindForge智能體協(xié)作新方法與之前直接提示模型生成的方法相比?單輪合成數(shù)據(jù)的訓(xùn)練性能：?Llama-3.2-1B上表現(xiàn)得最為明顯，勝率分別達(dá)到70.5%和62.8%（中文和英文）。?Llama-3.1-8B上的最高輸率僅為22.1%。?多輪合成數(shù)據(jù)的訓(xùn)練性能：?MindForge方法勝率最高達(dá)到98.0%，最低輸率僅為10%。?使用互聯(lián)網(wǎng)搜索引擎數(shù)據(jù)生產(chǎn)：可補(bǔ)充其他數(shù)據(jù)的缺失，提升數(shù)據(jù)實(shí)效性，但速度慢，且數(shù)據(jù)需要嚴(yán)格質(zhì)量過(guò)濾。?未來(lái)企業(yè)IT系統(tǒng)將朝向以大模型為核心的應(yīng)用體系架構(gòu)發(fā)展：?大模型能力決定了系統(tǒng)能力上限；?多Agent系統(tǒng)拓展大模型能力外延；?從用戶(hù)助理的視角，理解新的業(yè)務(wù)和技術(shù)特征。?實(shí)現(xiàn)以大模型為核心的應(yīng)用系統(tǒng)關(guān)鍵路徑：?需求和業(yè)務(wù)場(chǎng)景引領(lǐng)