信息技術(shù) 神經(jīng)網(wǎng)絡(luò)表示與模型壓縮 第2部分：大規(guī)模預(yù)訓(xùn)練模型 編制說明

《信息技術(shù)神經(jīng)網(wǎng)絡(luò)表示與模型壓縮第2部分:大規(guī)模預(yù)訓(xùn)練模型》（征求意見稿）編制說明牽頭制定國家標(biāo)準(zhǔn)《信息技術(shù)神經(jīng)網(wǎng)絡(luò)表示與模型壓縮第2部分：大規(guī)模預(yù)訓(xùn)《信息技術(shù)神經(jīng)網(wǎng)絡(luò)表示與模型壓縮第2部分：大規(guī)模預(yù)訓(xùn)練模型》的正相關(guān)技術(shù)提案；2021年8月，接收神經(jīng)網(wǎng)絡(luò)表示等提案，輸出神經(jīng)網(wǎng)絡(luò)表示與模型壓縮WD0.1；2021年12月，完善神經(jīng)網(wǎng)絡(luò)表示與模型壓縮標(biāo)準(zhǔn)框架，輸出標(biāo)準(zhǔn)WD撰寫規(guī)范，更新需求征集書；2022年3月，更新神經(jīng)網(wǎng)絡(luò)表示W(wǎng)D撰寫規(guī)范，輸2023年8月，由國家標(biāo)準(zhǔn)委下達(dá)國家標(biāo)準(zhǔn)計(jì)劃，接收蒸餾等提案，更新WD撰寫規(guī)發(fā)并負(fù)責(zé)了標(biāo)準(zhǔn)文本編輯工作；主要起草人XXX，提出了技術(shù)提案、參與了標(biāo)準(zhǔn)文參與了標(biāo)準(zhǔn)需求討論及部分技術(shù)討論、在標(biāo)準(zhǔn)制《信息技術(shù)神經(jīng)網(wǎng)絡(luò)表示與模型壓縮第2部分：大規(guī)模預(yù)訓(xùn)練模型》標(biāo)準(zhǔn)習(xí)算法框架之間的壁壘，促進(jìn)深度學(xué)習(xí)在端邊輸、更新。大規(guī)模預(yù)訓(xùn)練模型在表示、壓縮與適配、傳輸與分發(fā)等環(huán)節(jié)相互關(guān)聯(lián)，形成了一個(gè)完整的生態(tài)系統(tǒng)。各個(gè)環(huán)節(jié)之間的聯(lián)系是緊密的，貫穿了從模型訓(xùn)練到應(yīng)用的整個(gè)生命周期。三、主要試驗(yàn)[或驗(yàn)證]情況分析參照AVS工作組制定的完善的工作組規(guī)約和知識產(chǎn)權(quán)政策，包括：《數(shù)字音別是得益于第一代AVS標(biāo)準(zhǔn)的產(chǎn)業(yè)化推廣及普及，工作組吸引到越來越多的國際有影響力企業(yè)的真正加盟，他們攜帶了國際先進(jìn)的技術(shù)參與第二代AVS標(biāo)準(zhǔn)的制根據(jù)分析，神經(jīng)網(wǎng)絡(luò)表示與模型壓縮標(biāo)準(zhǔn)相關(guān)的和企業(yè)的自主專利技術(shù)以及公開技術(shù)構(gòu)成了神經(jīng)網(wǎng)絡(luò)表示與模型壓縮標(biāo)準(zhǔn)的專序號專利申請?zhí)枌＠Q12022102951896一種基于可微量化訓(xùn)練的視覺Transformer壓縮方法及系統(tǒng)2202210842886.9基于層間特征相似性網(wǎng)絡(luò)稀疏化方法、裝置、介質(zhì)及設(shè)備3202410358176一種兩階段微調(diào)大語言模型代理的方法4202311290661.8一種提高大型語言模型適配多模態(tài)任務(wù)效率的方法5202410154029.9數(shù)據(jù)處理方法、裝置、介質(zhì)及電子設(shè)備6202210615980.0神經(jīng)網(wǎng)絡(luò)模型裁剪方法、裝置、電子設(shè)備及存儲介質(zhì)7202210709171.6任務(wù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)8202211186183.1基于模型量化的任務(wù)處理方法、裝置、設(shè)備及存儲介質(zhì)9113065576A一種特征提取的方法以及裝置113