2023人工智能大模型在工業(yè)領(lǐng)域知識(shí)問(wèn)答穩(wěn)定性評(píng)測(cè)報(bào)告

中國(guó)工業(yè)互聯(lián)網(wǎng)研究院中國(guó)工業(yè)互聯(lián)網(wǎng)研究院穩(wěn)定評(píng)測(cè)香港科技大學(xué)2023年9月前言前言人工智能大模型作為實(shí)現(xiàn)通用人工智能的重要途徑，正在對(duì)制造業(yè)的產(chǎn)業(yè)發(fā)展和應(yīng)用模式產(chǎn)生變革性影響。近期，中國(guó)工業(yè)互聯(lián)網(wǎng)研究院聯(lián)合香港科技大學(xué)、新華指數(shù)，共同研究AI大模型在工業(yè)領(lǐng)域的應(yīng)用性能、技術(shù)架構(gòu)工業(yè)領(lǐng)域?qū)θ斯ぶ悄艽竽Ｐ偷膽?yīng)用穩(wěn)定性要求極高。人工智能大模型在工業(yè)領(lǐng)域應(yīng)用的穩(wěn)定性研究對(duì)于應(yīng)用安全性保障、穩(wěn)健性提升、可信賴性增強(qiáng)、決策優(yōu)化以及合規(guī)性等方面都具有重要的指導(dǎo)意義。本報(bào)告聚焦評(píng)測(cè)大模型在工業(yè)領(lǐng)域的知識(shí)問(wèn)答穩(wěn)定性，通過(guò)選取工業(yè)領(lǐng)域典型的八大行業(yè)，構(gòu)建基礎(chǔ)知識(shí)測(cè)試集與變體測(cè)試集，對(duì)國(guó)內(nèi)外具有代表性的AI大模型在文法、數(shù)據(jù)、精簡(jiǎn)表達(dá)、擴(kuò)充表達(dá)四大類八個(gè)子維度展開(kāi)深入評(píng)估。選取性能前本報(bào)告評(píng)測(cè)結(jié)果雖經(jīng)專家組認(rèn)真論證，但因大模型迭代速度快，評(píng)測(cè)結(jié)果僅適用于測(cè)試期間。報(bào)告難免存在分23目錄目錄香港科技大學(xué)第三部分總結(jié)新華指數(shù)新華指數(shù)■指人工智能大模型在工業(yè)知識(shí)問(wèn)答領(lǐng)域，具備較高回答準(zhǔn)確性能的前提下，針對(duì)一定參數(shù)擾動(dòng)，維持某些性能特■指人工智能大模型在工業(yè)知識(shí)問(wèn)答領(lǐng)域，具備較高回答準(zhǔn)確性能的前提下，針對(duì)一定參數(shù)擾動(dòng)，維持某些性能特評(píng)測(cè)體系：■穩(wěn)定性評(píng)測(cè)圍繞AI大模型在數(shù)據(jù)、文法、精簡(jiǎn)表達(dá)、擴(kuò)充表達(dá)四大類八個(gè)子維度展開(kāi)深入評(píng)估。5穩(wěn)定性能力指數(shù)=抗擾動(dòng)能力指數(shù)算術(shù)平均值穩(wěn)定性能力指數(shù)=抗擾動(dòng)能力指數(shù)算術(shù)平均值綜合能力指數(shù)■若變體與原問(wèn)題回答一致時(shí)，得分(1分);若變體與原問(wèn)題回答不一致時(shí)，不得分(0分)。的模型工業(yè)領(lǐng)域知識(shí)問(wèn)答穩(wěn)定性評(píng)測(cè)數(shù)據(jù)集香港科技大學(xué)新華社新華指數(shù)電子設(shè)備制造業(yè)裝備制造行業(yè)電力行業(yè)石化化工行業(yè)紡織行業(yè)根據(jù)OT經(jīng)驗(yàn)，結(jié)合外部數(shù)據(jù)源，建材行業(yè)7新華指數(shù)華大學(xué)教授，信息科清華大學(xué)教授，創(chuàng)新東北大學(xué)副校長(zhǎng)，第工業(yè)智能與系統(tǒng)優(yōu)化哈爾濱工業(yè)大學(xué)(深圳)講席教授，國(guó)際人工智能研究院院長(zhǎng)。張大慶，歐洲科學(xué)院院士，IEEEFellow,CCF普適計(jì)算專委會(huì)主任。劉江川，加拿大工程院院士，IEEE菲莎大學(xué)計(jì)算機(jī)學(xué)院正教授和大學(xué)杰出教授。8香港科技大學(xué)第三部分總結(jié)工業(yè)領(lǐng)域知識(shí)問(wèn)答穩(wěn)定性評(píng)測(cè)結(jié)果干問(wèn)4星火大模型44大模型精簡(jiǎn)表達(dá)穩(wěn)定能力指數(shù)干問(wèn)腦星火大模型★*★★4星火智腦四大能力維度穩(wěn)定性00八大細(xì)分能力維度穩(wěn)定性58,8333,9145,86量綱83,86ANDTECHNOLOGY行業(yè)維度穩(wěn)定性國(guó)內(nèi)大模型能力區(qū)間國(guó)內(nèi)大模型能力區(qū)間GPT4GPT3.5香港科技大學(xué)香港科技大學(xué)和過(guò)和過(guò)工業(yè)場(chǎng)景的潛在應(yīng)用工業(yè)場(chǎng)景的潛在應(yīng)用檢查：正確產(chǎn)品1捌月生產(chǎn)2023年8月生產(chǎn)4數(shù)據(jù)形式抗擾動(dòng)能力數(shù)據(jù)形式抗擾動(dòng)能力數(shù)據(jù)穩(wěn)定能力—數(shù)據(jù)量綱抗擾動(dòng)·大模型對(duì)工業(yè)領(lǐng)域不同數(shù)值數(shù)據(jù)量綱的回答穩(wěn)定性。新華指數(shù) ANDTECHNOLOGY工業(yè)場(chǎng)景的潛在應(yīng)用智腦大模型大模型大模型大模型大模型4天工星火*大模型同/近義抗擾動(dòng)能力大模型同/近義抗擾動(dòng)能力文法穩(wěn)定能力一同/近義抗擾動(dòng)顆社新華指數(shù)顆社新華指數(shù)顆社新華指數(shù)原提問(wèn)：物體受熱時(shí)發(fā)生體積膨脹的現(xiàn)象稱為()A:熱穩(wěn)定性B:熱膨脹性C:透氣性D:化學(xué)穩(wěn)定性擾動(dòng)提問(wèn)：物體受熱時(shí)發(fā)生體積膨脹的現(xiàn)象稱為()A:熱穩(wěn)定性B:透氣性C:化學(xué)穩(wěn)定性D:熱膨脹性新華武新華指數(shù)瓶過(guò)ANDTECHNOLOGY·指大模型在工業(yè)應(yīng)用中表達(dá)變化精簡(jiǎn)的輸出穩(wěn)定性。工業(yè)場(chǎng)景潛在應(yīng)用工業(yè)場(chǎng)景潛在應(yīng)用4干問(wèn)360**智腦星火大模型大模型大模型大模型能力；精簡(jiǎn)表達(dá)穩(wěn)定能力一上下文精簡(jiǎn)抗擾動(dòng)新華武新華指數(shù)A:熱穩(wěn)定性B:熱膨脹性C:透氣性D:化學(xué)穩(wěn)定性擾動(dòng)提問(wèn)：物體受熱時(shí)發(fā)生體積膨脹的現(xiàn)象稱為()A:熱穩(wěn)定性B:熱膨脹性C:透氣性D:化學(xué)穩(wěn)定性和粒新華指數(shù)原提問(wèn)：原提問(wèn)：結(jié)合中華人民共和國(guó)工業(yè)和信息化部鋼鐵行業(yè)氧1.0%,可提高理論燃燒溫度35～45℃,增加噴煤率··對(duì)于安全生產(chǎn)指令變動(dòng)的影響，國(guó)內(nèi)外大模型穩(wěn)定性差距較小，尾對(duì)于大模型供應(yīng)商，需進(jìn)行知識(shí)提取型任務(wù)的強(qiáng)化和優(yōu)化，例如引入安全生產(chǎn)知識(shí)庫(kù)等，以進(jìn)一步提升模型穩(wěn)定性；·對(duì)于工業(yè)企業(yè)，在安全性要求高的領(lǐng)域使用大模型ANDTECHNOLOGY工業(yè)場(chǎng)景的潛在應(yīng)用4天工星火通義*★干問(wèn)大模型大模型大模型信息提取抗擾動(dòng)能力原提問(wèn)：噪聲最小的織機(jī)是()擾動(dòng)提問(wèn)1:噪聲最小的織機(jī)是()擾動(dòng)提問(wèn)2:今天天氣不太好，噪聲最小的織機(jī)是()中國(guó)工業(yè)互聯(lián)網(wǎng)研究院標(biāo)準(zhǔn)差國(guó)內(nèi)大模型平均值標(biāo)準(zhǔn)差國(guó)內(nèi)大模型平均值香港科技大學(xué)香港科技大學(xué)綜合能力指數(shù)綜合能力指數(shù)綜合能力指數(shù)綜合能力指數(shù)綜合能力指數(shù)綜合能力指數(shù)綜合能力指數(shù)綜合能力指數(shù)目錄目錄香港科技大學(xué)第一部分評(píng)測(cè)規(guī)則第二部分評(píng)測(cè)結(jié)果第三部分總結(jié)中國(guó)工業(yè)互聯(lián)網(wǎng)研究院中國(guó)工業(yè)互聯(lián)網(wǎng)研究院附錄1:穩(wěn)定性評(píng)測(cè)數(shù)據(jù)集瓶過(guò)新華指數(shù)構(gòu)建變體測(cè)試集(抽取1080道)2.對(duì)工業(yè)領(lǐng)域相關(guān)語(yǔ)句表達(dá)順序變換。--→4.對(duì)工業(yè)數(shù)值進(jìn)行恒等數(shù)值變換。5.對(duì)工業(yè)領(lǐng)域常見(jiàn)量綱進(jìn)行同義變換。中國(guó)工業(yè)互聯(lián)網(wǎng)研究院中國(guó)工業(yè)互聯(lián)網(wǎng)研究院新華耐版本信息Web鏈接通義干問(wèn)https://qianwen.aliyu文心一言百度智譜華章https://tiang