2023智能礦山數(shù)據(jù)融合共享AI大規(guī)模預(yù)訓(xùn)練模型技術(shù)要求

智能礦山數(shù)據(jù)融合共享AI大規(guī)模預(yù)訓(xùn)練模型技術(shù)要求目次前言 III范圍 1規(guī)范性引用文件 1術(shù)語和定義 1大模型FoundationModels 1人工智能artificialintelligence 1人工智能系統(tǒng)artificialintelligencesystem 1模型訓(xùn)練modeltraining 2推理reasoning 2訓(xùn)練數(shù)據(jù)trainingdata 2自然語言處理naturallanguageprocessing;NLP 2縮略語 2大模型功能要求 3大模型通用要求 3礦山大模型功能要求 3算法兼容性要求 4兼容算法框架要求 4大模型接口技術(shù)要求 5礦山大模型與上層應(yīng)用之間的接口 5礦山大模型與數(shù)據(jù)源之間的接口 5礦山大模型與人工智能系統(tǒng)使能平臺之間的接口 5大模型對數(shù)據(jù)的技術(shù)要求 5L0通用預(yù)訓(xùn)練大模型數(shù)據(jù)要求 5L1行業(yè)預(yù)訓(xùn)練大模型數(shù)據(jù)要求 6L2部署模型數(shù)據(jù)要求 6大模型對軟硬件平臺的要求 7計(jì)算能力 7IIIII11軟件能力 8大模型的部署規(guī)范 8大模型部署架構(gòu) 8中心云部署要求 9邊緣節(jié)點(diǎn)部署要求 10附 錄A（資料性附錄）礦山大模型應(yīng)用場景 11附 錄B（資料性附錄）人工智能系統(tǒng)功能參考架構(gòu) 14智能化礦山數(shù)據(jù)融合共享AI大規(guī)模預(yù)訓(xùn)練模型技術(shù)要求范圍本文件規(guī)定了AI大規(guī)模預(yù)訓(xùn)練模型功能要求、接口技術(shù)要求、對數(shù)據(jù)的技術(shù)要求、對軟硬件平臺的要求，以及部署規(guī)范。本文件適用于基于工業(yè)互聯(lián)網(wǎng)架構(gòu)的礦山大模型人工智能系統(tǒng)的規(guī)劃設(shè)計(jì)、工程建設(shè)、運(yùn)營管理和運(yùn)行維護(hù)。規(guī)范性引用文件用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T41867-2022信息技術(shù)人工智能術(shù)語術(shù)語和定義下列術(shù)語和定義適用于本文件。FoundationModels“大規(guī)?！焙汀邦A(yù)訓(xùn)練”通用數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，大幅提升AI的泛化性、通用性、實(shí)用性。artificialintelligence（學(xué)科）人工智能系統(tǒng)相關(guān)研制和應(yīng)用的研究和開發(fā)。[GB/T41867-2022，3.1.2]artificialintelligencesystem（學(xué)科）人工智能系統(tǒng)相關(guān)研制和應(yīng)用的研究和開發(fā)。工程系統(tǒng)。PAGEPAGE10PAGEPAGE3注1：該工程系統(tǒng)使用人工智能相關(guān)的多種技術(shù)和方法，開發(fā)表征數(shù)據(jù)、知識、過程等的模型，用于執(zhí)行任務(wù)。注2：人工智能系統(tǒng)具備不同的自動化級別。[GB/T41867-2022，3.1.8]modeltraining利用訓(xùn)練數(shù)據(jù)，基于機(jī)器學(xué)習(xí)算法，確定或改進(jìn)機(jī)器學(xué)習(xí)模型參數(shù)的過程。[GB/T41867-2022，3.2.18]reasoning從給定的前提進(jìn)行論證并得出結(jié)論。[GB/T41867-2022，3.2.30]trainingdata用于訓(xùn)練機(jī)器學(xué)習(xí)模型的輸入數(shù)據(jù)樣本子集。[GB/T41867-2022，3.2.35]naturallanguageprocessing;NLP（系統(tǒng)）基于自然語言理解和自然語言生成的信息處理。[GB/T41867-2022，3.3.16]縮略語下列縮略語適用于本文件。AI：人工智能（ArtificialIntelligence）IaaS：基礎(chǔ)設(shè)施即服務(wù)（InfrastructureasaService）NLP：自然語言處理（NaturalLanguageProcessing）CV：計(jì)算機(jī)視覺（ComputerVision）RTSP：實(shí)時流傳輸協(xié)議（RealTimeStreamingProtocol）大模型功能要求大模型通用要求方面，符合下列規(guī)定：應(yīng)支持圖像、文本、語音等多模態(tài)數(shù)據(jù)；10億量級超大規(guī)模架構(gòu)設(shè)計(jì)，可靈活擴(kuò)展至百億量級，滿足多樣化硬件速度需求；應(yīng)支持超大批次訓(xùn)練優(yōu)化，保持收斂過程穩(wěn)定；應(yīng)支持多樣化訓(xùn)練方式，包括無監(jiān)督訓(xùn)練與監(jiān)督訓(xùn)練；模型的高精度生產(chǎn)；值。礦山大模型功能要求L210.2.23。能夠?qū)崿F(xiàn)不同礦山場景數(shù)據(jù)，任務(wù)的高效復(fù)用，應(yīng)符合下列規(guī)定：應(yīng)支持海量無標(biāo)注數(shù)據(jù)構(gòu)建行業(yè)預(yù)訓(xùn)練模型，通過行業(yè)數(shù)據(jù)預(yù)訓(xùn)練，大模型應(yīng)擁有更強(qiáng)的針對行業(yè)數(shù)據(jù)的表征能力以及對不同場景的泛化能AIAIAI/旋轉(zhuǎn)/圖像加噪聲，圖像仿真等算法對圖像進(jìn)行預(yù)處理，提升圖像識別精度。同時可以根據(jù)更新數(shù)據(jù)快速進(jìn)行模型迭代，做到“邊學(xué)邊用”。針對不同區(qū)域各地方言情況，做到通過自動化訓(xùn)練文本語言模型小包的方式，實(shí)現(xiàn)大模型復(fù)用，語言模型小包方言個性化部署，達(dá)到區(qū)域場景定制效果；3活部署；中的遺忘機(jī)制，實(shí)現(xiàn)模型的持續(xù)優(yōu)化；2~3樣本中長尾分布等“小數(shù)據(jù)”問題；宜支持行業(yè)定制，結(jié)合行業(yè)先進(jìn)知識開發(fā)定制化解決方案。算法兼容性要求算法兼容性應(yīng)滿足如下要求：算法應(yīng)支持物體檢測、圖像分類、字符識別（OCR）任務(wù)場景；WindowsLinuxAndroidMacOS等；IntelCPUNVIDIAGPUJetsonCPU等，部分硬件包含Python部署和C++部署；算法應(yīng)支持不同量級的數(shù)據(jù)、不同類型數(shù)據(jù)進(jìn)行模型訓(xùn)練和模型推理。兼容算法框架要求飛槳(PaddlePaddle)KerasTensorflowPytorch環(huán)境。礦山大模型應(yīng)具備直接調(diào)用多種模型的能力，可調(diào)用的文件格式應(yīng)包括：*.ckpt（TensorFlow模型）、*.h5(Keras模型)、*.pth(Pytorch模型)等。大模型接口技術(shù)要求礦山大模型與上層應(yīng)用之間的接口以下規(guī)范：HTTPS協(xié)議；接口需要進(jìn)行認(rèn)證鑒權(quán)；HTTPresetful接口，便于理解使用。礦山大模型與數(shù)據(jù)源之間的接口API接口HTTPSresetful礦山大模型與人工智能系統(tǒng)使能平臺之間的接口下規(guī)范：HTTPS協(xié)議；接口需要進(jìn)行認(rèn)證鑒權(quán)；HTTPresetful接口，便于理解使用。大模型對數(shù)據(jù)的技術(shù)要求10TB1TB10萬小時要求。L0通用預(yù)訓(xùn)練大模型數(shù)據(jù)要求通用預(yù)訓(xùn)練模型數(shù)據(jù)應(yīng)遵循如下要求：1種場景。720P符合要求的圖像。對語音的數(shù)據(jù)要求：16k16bit簽為中文簡體漢字，如包含英文，統(tǒng)一大小寫用詞規(guī)范進(jìn)行標(biāo)準(zhǔn)化轉(zhuǎn)寫，標(biāo)注文件統(tǒng)一采用utf-8格式。音頻數(shù)據(jù)符合信息安全規(guī)范要求，獲取途徑合規(guī)合法。大數(shù)據(jù)要求至少十萬小時量級；定制數(shù)據(jù)要求：語音數(shù)據(jù)要求同“大數(shù)據(jù)數(shù)據(jù)要求”，文本數(shù)據(jù)要求統(tǒng)一編碼gbk應(yīng)用場景真實(shí)使用的漢字或者英文，無任何出簡體漢字英文字母空100少1M；短板數(shù)據(jù)要求：語音數(shù)據(jù)要求同“大數(shù)據(jù)數(shù)據(jù)要求”，主要挖掘模10%左右目標(biāo)。L1行業(yè)預(yù)訓(xùn)練大模型數(shù)據(jù)要求L1行業(yè)預(yù)訓(xùn)練大模型數(shù)據(jù)應(yīng)遵循如下要求：L11000萬量級以上。對圖片的數(shù)據(jù)要求：圖片質(zhì)量應(yīng)達(dá)到至少720P分辨率，不能出現(xiàn)過曝，低曝，運(yùn)動模糊等不符合要求的圖像；礦山行業(yè)大部分場景環(huán)境特殊，光線效果差，成像圖片需要清晰沒對語音的數(shù)據(jù)要求：同“L0通用預(yù)訓(xùn)練大模型數(shù)據(jù)要求”。L2部署模型數(shù)據(jù)要求L2部署模型數(shù)據(jù)應(yīng)遵循如下要求：對圖片的數(shù)據(jù)要求：應(yīng)滿足每類的場景大于50720P不能出現(xiàn)過曝，低曝，運(yùn)動模糊等不符合要求的圖像；礦山行業(yè)大部分場景環(huán)境特殊，光線效果差，成像圖片需要清晰沒對語音的數(shù)據(jù)要求：同“L0通用預(yù)訓(xùn)練大模型數(shù)據(jù)要求”。大模型對軟硬件平臺的要求計(jì)算能力計(jì)算能力應(yīng)遵循如下要求：CPU訓(xùn)練/推理服務(wù)器和基GPU/NPU的訓(xùn)練推理服務(wù)器。訓(xùn)練服務(wù)器主要部署在中心側(cè)，推理服務(wù)器主要部署在中心側(cè)（心側(cè)）和邊緣側(cè)（礦山側(cè)）。邊緣節(jié)點(diǎn)（礦山側(cè)）體機(jī)組成，應(yīng)符合下列規(guī)定：邊緣推理服務(wù)器配置應(yīng)符合下列規(guī)定：和更新業(yè)務(wù)應(yīng)用（容器應(yīng)用、AI模型文件），處理業(yè)務(wù)的功能；視頻接入平臺配置應(yīng)符合下列規(guī)定：Linux操作系統(tǒng)，7×24小時穩(wěn)定運(yùn)行；超融合，高性能；監(jiān)控架構(gòu)，省去存儲服務(wù)器以及轉(zhuǎn)發(fā)服務(wù)器，具有綠色節(jié)能的特點(diǎn)；支持媒體塊存儲技術(shù)，消除磁盤碎片提升磁盤寫入性能；支持錄像備份，關(guān)鍵數(shù)據(jù)雙重備份；支持緩存補(bǔ)錄技術(shù)，保證業(yè)務(wù)數(shù)據(jù)的完整性；應(yīng)配置高性能電腦，包含主機(jī)、顯示器，需帶獨(dú)立顯卡；200W像素，宜有變焦功能；應(yīng)配置補(bǔ)光燈，增加光照，保障成像質(zhì)量。生產(chǎn)系統(tǒng)數(shù)據(jù)打通。軟件能力軟件能力應(yīng)具備如下要求：AI訓(xùn)練、模型部署等動作。AI置等功能。AI能呈現(xiàn)。大模型的部署規(guī)范大模型部署架構(gòu)L1L1AIL2L2部署模型分發(fā)到各個邊緣節(jié)點(diǎn)上完成推理，達(dá)到訓(xùn)練部署的閉環(huán)。圖1 云邊協(xié)同架構(gòu)圖部署在中心云側(cè)的人工智能大模型平臺，提供統(tǒng)一的開發(fā)、訓(xùn)練和運(yùn)營運(yùn)維能力。利用中心訓(xùn)練算力池進(jìn)行模型訓(xùn)練、模型評估，完成訓(xùn)練和驗(yàn)證的模型，可按需部署到邊緣推理服務(wù)器生產(chǎn)環(huán)境。云端-L1行業(yè)預(yù)訓(xùn)練大模型參數(shù)規(guī)模在十億L1行業(yè)預(yù)訓(xùn)練大模型通過抽取以及蒸餾（可選）得，其參數(shù)范圍覆蓋百萬至十億量級，支持邊端多樣化部署。中心云部署要求型統(tǒng)一部署管理，應(yīng)符合以下要求：進(jìn)行進(jìn)一步的突破；境應(yīng)支持分布式訓(xùn)練能力，以持續(xù)提升訓(xùn)練效率和精度；應(yīng)實(shí)現(xiàn)人工智能模型管理與部署，隨著算法模型的不斷豐富和應(yīng)用范圍建立礦山等生產(chǎn)領(lǐng)域的人工智能生態(tài)。邊緣節(jié)點(diǎn)部署要求監(jiān)控應(yīng)用運(yùn)行。PAGEPAGE13PAGEPAGE12附 錄A（資料性附錄）礦山大模型應(yīng)用場景AI圈，可以全面提升煤礦智能化水平。依托人工智能平臺、AI算法方面的技術(shù)積累，引入AI大模型的理念，降低人工智能開發(fā)門檻，縮短模型訓(xùn)練周期，開啟人工智能的“工業(yè)化開發(fā)模式”。以下是人工智能在各生產(chǎn)系統(tǒng)應(yīng)用的典型應(yīng)用場景。圖1 礦山大模型應(yīng)用場景表大類場景描述1.綜采面智能放頂煤（視頻、聲音、煤層厚度等因子）綜采面全景視頻拼接滾筒、護(hù)幫板防碰撞檢測煤壁片幫識別刮板輸送機(jī)堆煤識別刮板輸送機(jī)斷鏈識別刮板輸送機(jī)刮板損壞識別刮板輸送機(jī)異物檢測危險區(qū)域進(jìn)入線槽電纜掉落檢測轉(zhuǎn)載機(jī)破碎滾筒擋煤鏈2.掘進(jìn)面危險區(qū)域進(jìn)入空頂作業(yè)檢測敲幫問頂合規(guī)檢測探放水作業(yè)合規(guī)檢測瓦斯抽采作業(yè)合規(guī)檢測作業(yè)序列視頻分析卸壓鉆鉆桿數(shù)統(tǒng)計(jì)3.機(jī)電智能化語音詢問與調(diào)度設(shè)備運(yùn)行狀態(tài)監(jiān)測設(shè)備故障診斷與智能運(yùn)維鋼絲繩表面狀態(tài)監(jiān)測4.主運(yùn)輸皮帶異物識別轉(zhuǎn)載點(diǎn)堆煤識別皮帶跑偏識別皮帶撕裂識別煤量識別（煤量視頻圖像分析）及煤流調(diào)速危險區(qū)域進(jìn)入皮帶卡子損壞檢測光纖傳感托輥檢測5.地質(zhì)礦壓危險等級評估礦井水害預(yù)測及分析隱蔽致災(zāi)地質(zhì)構(gòu)造預(yù)測沖刷帶發(fā)育區(qū)預(yù)測瓦斯富集區(qū)預(yù)測構(gòu)造煤發(fā)育區(qū)預(yù)測煤層厚度分布預(yù)測煤巖異構(gòu)區(qū)域分布檢測6.洗煤廠煤流超粒度識別溜槽、膠帶機(jī)機(jī)頭卡堵識別淺槽分選機(jī)異常狀態(tài)識別磁選機(jī)翻花斷流識別煙霧、火焰識別煤泥水泄漏識別篩機(jī)煤層厚度監(jiān)測膠帶機(jī)煤量精準(zhǔn)預(yù)測振動篩異常分析智能洗選參數(shù)優(yōu)化7.人員行為出入井人臉識別出入井人數(shù)統(tǒng)計(jì)人員違章概率排名及人員跟蹤人員未按安全防護(hù)規(guī)范穿戴檢測人員睡崗識別人員離崗識別人員摔倒識別抽煙識別人員違規(guī)跨越電子圍欄8.礦山環(huán)境保護(hù)與修復(fù)礦山生態(tài)環(huán)境空-天-地協(xié)同監(jiān)測礦區(qū)開采沉陷監(jiān)測礦區(qū)土地利用變化遙感監(jiān)測礦區(qū)植被退化監(jiān)測礦區(qū)水體質(zhì)量監(jiān)測礦區(qū)生態(tài)修復(fù)效果評價礦區(qū)生態(tài)退化預(yù)警9.其它安全隱患分析危險區(qū)域周界防護(hù)智慧溜井管理附 錄B（資料性附錄）人工智能系統(tǒng)功能參考架構(gòu)人工智能系統(tǒng)在智能化礦山中的技術(shù)參考架構(gòu)圖圖2 智能化礦山技術(shù)參考架構(gòu)圖參考國家能源局《煤礦智能化建設(shè)指南（2021年版）》，人工智能系統(tǒng)在智能化礦山技術(shù)參考架構(gòu)圖中的位置如圖2所示。各層的功能描述如下：人與物、物與物相聯(lián)，實(shí)現(xiàn)智能化識別、定位、跟蹤監(jiān)控和管理。工業(yè)承載：實(shí)現(xiàn)礦山物聯(lián)網(wǎng)和云平臺之間傳送各種數(shù)據(jù)業(yè)務(wù)。礦山工業(yè)互聯(lián)網(wǎng)平臺：面向礦山行業(yè)信息化、數(shù)字化、智能化需求，構(gòu)彈性供給、高效配置的工業(yè)云平臺。AI應(yīng)用場景?；诘V山大模型的人工智能參考架構(gòu)圖圖3 基于礦山大模型的人工智能參考架構(gòu)圖基于礦山大模型的人工智能功能架構(gòu)如圖3所示，