人工智能 深度學(xué)習(xí)算法評估規(guī)范

IAIOSS01-2018前言 III引言 IV1范圍 12術(shù)語和定義 13評估指標(biāo)體系 23.1評估指標(biāo)體系表 23.2算法功能實(shí)現(xiàn)的正確性 43.3代碼實(shí)現(xiàn)的正確性 43.4目標(biāo)函數(shù)的影響 43.5訓(xùn)練數(shù)據(jù)集的影響 43.6對抗性樣本的影響 43.7軟硬件平臺依賴的影響 53.8環(huán)境數(shù)據(jù)的影響 54評估流程 54.1概述 54.2確定可靠性目標(biāo) 64.3選擇評估指標(biāo) 74.4評估準(zhǔn)則 74.5各階段評估 84.6評估結(jié)論 85需求階段的評估 85.1概述 85.2前提條件 85.3輸入 85.4關(guān)鍵活動(dòng) 95.5輸出 96設(shè)計(jì)階段的評估 96.1概述 96.2前提條件 96.3輸入 96.4關(guān)鍵活動(dòng) 96.5輸出 107實(shí)現(xiàn)階段的評估 107.1概述 10AIOSS-01-2018 附錄A(規(guī)范性附錄)深度學(xué)習(xí)算法可靠性評估指標(biāo)選取規(guī)則 13附錄B(資料性附錄)深度學(xué)習(xí)算法可靠性評估實(shí)施案例 15 1AIOSS01-2018人工智能深度學(xué)習(xí)算法評估規(guī)范現(xiàn)階段評估和運(yùn)行階段評估等內(nèi)容。義tylityassessment現(xiàn)有深度學(xué)習(xí)算法的可靠性所達(dá)到的預(yù)期水平的過程。orithmfailure失完成規(guī)定功能的能力的事件。azard誤。hazardseverity險(xiǎn)可能引起的事故后果的嚴(yán)重程度。isionallaccuracy2AIOSS-01-2018timeadversarialexamples出。fidence標(biāo)體系評估指標(biāo)體系表應(yīng)根據(jù)可靠性目標(biāo)選取相應(yīng)指標(biāo)。3深度學(xué)習(xí)算法的可靠性指標(biāo)體系A(chǔ)IOSS01-2018深度學(xué)習(xí)算法的可靠性指標(biāo)體系任務(wù)指標(biāo) 正確性任務(wù)指標(biāo) 正確性 響應(yīng)時(shí)間 代碼漏洞代碼規(guī)范性 代碼漏洞代碼規(guī)范性 擬合程度 優(yōu)化目標(biāo)數(shù)量 擬合程度 優(yōu)化目標(biāo)數(shù)量 數(shù)據(jù)集均衡性 數(shù)據(jù)集規(guī)模 數(shù)據(jù)集標(biāo)注質(zhì) 數(shù)據(jù)集污染情況白盒方式生成的樣本 的樣本的樣本指定目標(biāo)方式對抗性樣本的影響 生成的樣本式生成的樣本深度學(xué)習(xí)框架差異響操作系統(tǒng)差異硬件架構(gòu)差異干擾數(shù)據(jù)的影響移4AIOSS-01-2018算法功能實(shí)現(xiàn)的正確性示例：分類任務(wù)中的查準(zhǔn)率(見2.6)、查全率(見2.7)、準(zhǔn)確率(見2.8)等；語音識別任務(wù)中的詞錯(cuò)誤偏差程度帶來的影響等。b)響應(yīng)時(shí)間(見2.9)。代碼實(shí)現(xiàn)的正確性估代碼實(shí)現(xiàn)功能的正確性，應(yīng)包括下列內(nèi)容：目標(biāo)函數(shù)的影響內(nèi)容：很需要調(diào)整算法使得模型表達(dá)能力更強(qiáng)。訓(xùn)練數(shù)據(jù)集的影響估訓(xùn)練數(shù)據(jù)集帶來的影響，應(yīng)包括下列內(nèi)容：b)數(shù)據(jù)集規(guī)模：通常用樣本數(shù)量來衡量，大規(guī)模數(shù)據(jù)集通常具有更好的樣本多樣性；c據(jù)集標(biāo)注質(zhì)量：指數(shù)據(jù)集標(biāo)注信息是否完備并準(zhǔn)確無誤；d)數(shù)據(jù)集污染情況：指數(shù)據(jù)集被人為添加的惡意數(shù)據(jù)的程度。對抗性樣本的影響c通過指定樣本的方式生成對抗性樣本；性樣本。5AIOSS01-2018軟硬件平臺依賴的影響評估運(yùn)行深度學(xué)習(xí)算法的軟硬件平臺對可靠性的影響，應(yīng)包括下列內(nèi)容：習(xí)算法可靠性的影響；環(huán)境數(shù)據(jù)的影響觀察值。估流程.1概述估、運(yùn)行階段的評估及得出評估結(jié)論這七個(gè)活動(dòng)。6否否否否得出通過可靠性評估結(jié)論得出未通過可靠性評估結(jié)論AIOSS-01-2018否否否否得出通過可靠性評估結(jié)論得出未通過可靠性評估結(jié)論開開始確確定可靠性目標(biāo)選選擇評估指標(biāo)需求階段的評估需求階段的評估是否滿足評估準(zhǔn)則是否滿足評估準(zhǔn)則？是設(shè)設(shè)計(jì)階段的評估是是否滿足評估準(zhǔn)則？是實(shí)現(xiàn)階段的評估是否滿足評估準(zhǔn)則是否滿足評估準(zhǔn)則？是運(yùn)行階段的評估是是否滿足評估準(zhǔn)則？是結(jié)束結(jié)束2確定可靠性目標(biāo)7AIOSS01-2018ab)危險(xiǎn)分析錄和軟件失效模式和影響分析等技術(shù)識別深度學(xué)習(xí)算法發(fā)生算法失效的危害；3)危險(xiǎn)事件應(yīng)由運(yùn)行場景和算法失效的相關(guān)組合確定；4)應(yīng)以能在深度學(xué)習(xí)算法所在的軟件系統(tǒng)層面觀察到的輸出來定義結(jié)果。c性等級評估法失效，應(yīng)基于確定的理由來預(yù)估潛在危險(xiǎn)的嚴(yán)重性等級。危險(xiǎn)嚴(yán)重性等級(見表1)。影響。等造成嚴(yán)重影響。造成一般影響。統(tǒng)完成任務(wù)有障礙但能夠完成，或?qū)Π踩?、?cái)產(chǎn)、環(huán)境和業(yè)務(wù)等造成輕微影響或d)確定可靠性目標(biāo)根據(jù)算法失效的危險(xiǎn)嚴(yán)重性等級，建立深度學(xué)習(xí)算法的可靠性目標(biāo)(見表2)。其中可靠性目應(yīng)說明A造成災(zāi)難級危險(xiǎn)B造成嚴(yán)重級危險(xiǎn)C造成一般級危險(xiǎn)D造成輕微級危險(xiǎn)選擇評估指標(biāo)評估準(zhǔn)則應(yīng)遵守以下準(zhǔn)則：8AIOSS-01-2018范性附錄A選取的某一級指標(biāo)下的二級指標(biāo)全部通過；2)依據(jù)規(guī)范性附錄A選取的某階段的一級指標(biāo)全部通過。5各階段評估a面向深度學(xué)習(xí)算法的需求階段、設(shè)計(jì)階段、實(shí)現(xiàn)階段、運(yùn)行階段四個(gè)階段實(shí)施評估活動(dòng)；b)通過當(dāng)前階段的評估是進(jìn)入下一階段評估的前提條件之一；d)各階段評估活動(dòng)的輸入、關(guān)鍵活動(dòng)及輸出要求詳見本標(biāo)準(zhǔn)第5至第8章；e容：法的可靠性目標(biāo)；2)開展可靠性評估的階段名稱；3)針對算法在該階段開展可靠性評估工作所選擇的評估指標(biāo)及針對評估指標(biāo)的評估結(jié)果；4)該階段的可靠性評估結(jié)果。6評估結(jié)論段的評估概述功能性需求、非功能性需求和應(yīng)滿足的設(shè)計(jì)約束的階段。確性和軟硬件平臺依賴的影響等進(jìn)行評估，以確定算法的需求滿足可靠性目標(biāo)要求。前提條件估工作前至少應(yīng)完成獲取深度學(xué)習(xí)算法的可靠性目標(biāo)。輸入估工作的輸入至少應(yīng)包括：ab)系統(tǒng)設(shè)計(jì)規(guī)范；c口規(guī)范；d)深度學(xué)習(xí)算法的需求；e狀態(tài)；f)深度學(xué)習(xí)算法的運(yùn)行條件與環(huán)境約束。9AIOSS01-2018關(guān)鍵活動(dòng)務(wù)指標(biāo)要求是否影響可靠性目標(biāo)；2)分析需求階段設(shè)定的響應(yīng)時(shí)間要求是否影響可靠性目標(biāo)。b)對軟硬件平臺依賴的影響進(jìn)行評估：1)分析深度學(xué)習(xí)框架差異對算法帶來的影響；2)分析操作系統(tǒng)差異對算法帶來的影響；3)分析硬件架構(gòu)差異對算法帶來的影響。輸出算法需求階段的可靠性評估報(bào)告，評估報(bào)告要求見4.5e)。估述、訓(xùn)練數(shù)據(jù)集的影響及目標(biāo)函數(shù)等進(jìn)行評估，以確定算法的設(shè)計(jì)滿足可靠性目標(biāo)要求。件估工作前至少應(yīng)完成：a學(xué)習(xí)算法需求階段的可靠性評估工作；b)深度學(xué)習(xí)算法的設(shè)計(jì)工作。入估工作的輸入至少應(yīng)包括：a學(xué)習(xí)算法需求階段的可靠性評估報(bào)告；b)深度學(xué)習(xí)算法的可靠性評估目標(biāo)；c習(xí)算法的功能說明；d)深度學(xué)習(xí)算法所在的軟硬件系統(tǒng)的接口規(guī)范；f)深度學(xué)習(xí)算法的設(shè)計(jì)說明。動(dòng)設(shè)計(jì)完成后任務(wù)指標(biāo)要求是否滿足需求階段設(shè)定的相應(yīng)要求；2)分析設(shè)計(jì)完成后響應(yīng)時(shí)間要求是否滿足需求階段設(shè)定的相應(yīng)要求。AIOSS-01-2018b)對訓(xùn)練數(shù)據(jù)集進(jìn)行分析：1)分析訓(xùn)練數(shù)據(jù)集是否存在不均衡情況；2)分析訓(xùn)練數(shù)據(jù)集規(guī)模是否滿足訓(xùn)練需求；3)分析訓(xùn)練數(shù)據(jù)集標(biāo)注質(zhì)量是否滿足訓(xùn)練需求；4)分析訓(xùn)練數(shù)據(jù)集是否受到污染。數(shù)量是否滿足算法需求。出算法設(shè)計(jì)階段的可靠性評估報(bào)告，評估報(bào)告要求見4.5e)。開展訓(xùn)練、測試與驗(yàn)證等活動(dòng)。估工作前至少應(yīng)完成：a學(xué)習(xí)算法設(shè)計(jì)階段的可靠性評估工作；b)深度學(xué)習(xí)算法的實(shí)現(xiàn)工作。估工作的輸入至少應(yīng)包括：a學(xué)習(xí)算法需求階段的可靠性評估報(bào)告；b)深度學(xué)習(xí)算法設(shè)計(jì)階段的可靠性評估報(bào)告；c學(xué)習(xí)算法的可靠性評估目標(biāo)；d)深度學(xué)習(xí)算法所在的軟硬件系統(tǒng)的接口規(guī)范；f的對抗性樣本；g)深度學(xué)習(xí)算法的設(shè)計(jì)說明；h)深度學(xué)習(xí)算法的功能說明；i)深度學(xué)習(xí)算法的源代碼。1)驗(yàn)證算法實(shí)現(xiàn)后的任務(wù)指標(biāo)是否達(dá)到需求階段設(shè)定的相應(yīng)要求；AIOSS01-20182)驗(yàn)證算法實(shí)現(xiàn)后的響應(yīng)時(shí)間是否達(dá)到需求階段設(shè)定的相應(yīng)要求。b)對代碼實(shí)現(xiàn)的正確性進(jìn)行評估：1)分析代碼是否滿足相應(yīng)的編程規(guī)范或指南；2)驗(yàn)證代碼是否存在漏洞。c對目標(biāo)函數(shù)的影響進(jìn)行評估：分析算法的擬合程度對算法可靠性的影響。d對對抗性樣本的影響進(jìn)行分析：盒方式生成的樣本對算法的影響；2)分析黑盒方式生成的樣本對算法的影響；3)分析指定目標(biāo)方式生成的樣本對算法的影響；4)分析不指定目標(biāo)方式生成的樣本對算法的影響。算法實(shí)現(xiàn)階段的可靠性評估報(bào)告，評估報(bào)告要求見4.5e)。段的評估概述景下運(yùn)行包含深度學(xué)習(xí)算法的軟件系統(tǒng)的階段。前提條件估工作前至少應(yīng)完成：a學(xué)習(xí)算法實(shí)現(xiàn)階段的可靠性評估工作；b)深度學(xué)習(xí)算法在目標(biāo)運(yùn)行環(huán)境中的部署工作。輸入估工作的輸入至少應(yīng)包括：a習(xí)算法的可靠性評估目標(biāo)；b)深度學(xué)習(xí)算法需求階段的可靠性評估報(bào)告；c學(xué)習(xí)算法設(shè)計(jì)階段的可靠性評估報(bào)告；d)深度學(xué)習(xí)算法實(shí)現(xiàn)階段的可靠性評估報(bào)告；e習(xí)算法運(yùn)行中使用的真實(shí)數(shù)據(jù)；f含深度學(xué)習(xí)算法的軟件系統(tǒng)。關(guān)鍵活動(dòng)算法運(yùn)行時(shí)任務(wù)指標(biāo)是否達(dá)到需求階段設(shè)定的相應(yīng)要求；2)驗(yàn)證算法運(yùn)行時(shí)響應(yīng)時(shí)間是否達(dá)到需求階段設(shè)定的相應(yīng)要求。AIOSS-01-2018b)軟硬件平臺依賴對算法運(yùn)行的影響：1)分析深度學(xué)習(xí)框架差異對算法帶來的影響；2)分析操作系統(tǒng)差異對算法帶來的影響；3)分析硬件架構(gòu)差異對算法帶來的影響。c環(huán)境數(shù)據(jù)對算法運(yùn)行的影響：1)分析環(huán)境干擾數(shù)據(jù)對算法運(yùn)行的影響，可以參考以下幾個(gè)方面：-算法輸入對象所處環(huán)境的復(fù)雜情況；-算法輸入對象自身環(huán)境的復(fù)雜情況；-算法輸入對象的傳輸過程的復(fù)雜情況；-算法輸入對象的數(shù)據(jù)產(chǎn)品的復(fù)雜情況。2)分析數(shù)據(jù)集分布發(fā)生遷移對算法運(yùn)行的影響；3)分析野值數(shù)據(jù)對算法運(yùn)行的影響。輸出算法運(yùn)行階段的可靠性報(bào)告，評估報(bào)告要求見4.5e)。AIOSS01-2018A(規(guī)范性附錄)可靠性評估指標(biāo)選取規(guī)則階段可靠性目標(biāo)性影響響標(biāo)間洞度量況移A●●●●●B●●●●○C●○●○○D●○○○○A●●●●●●●B●●●●●●○C●○○●●○○D●○○●○○○AIOSS-01-2018階段可靠性目標(biāo)影響響標(biāo)間洞度量況移A●●●●●●●●●B●●●●●●●●●C●○●○○●○○○D●○○○○○○○○A●●●●●●●●B●●●●○●●○C●○●○○●○○D●○○○○○○○性目標(biāo)，推薦選擇的二級指標(biāo)。AIOSS01-2018(資料性附錄)可靠性評估實(shí)施案例算法名稱算法說明人臉識別是基于人的臉部特征信息進(jìn)行身份識別的一種生物識別技術(shù)。其通過攝像機(jī)或攝像。人臉識別閘機(jī)系統(tǒng)將傳統(tǒng)閘機(jī)設(shè)備集成人臉識別能力，用戶在閘機(jī)處提供人臉影像進(jìn)行人臉靠性評估方□第三方確定深度學(xué)習(xí)算法可靠性目標(biāo)行條件le行模式下個(gè)視頻幀。如果存在人臉，則判斷是否存在遮擋以及是否為活體人臉。如果存在遮擋等干擾，返回信息提醒除去遮擋物，展示真實(shí)人臉。如果人臉正常，算法判斷。像像頭，攝像頭捕捉到影像斷身份，返回識別結(jié)果常識別圖片來請求人臉識別臉如雙胞胎進(jìn)行人臉識別效序號效說明1、口罩等遮擋時(shí)的識別的歷史數(shù)據(jù)2來請求人臉識別3如雙胞胎進(jìn)行人臉識別效序號性等級12能造成嚴(yán)重后果3能造成嚴(yán)重后果AIOSS-01-2018嚴(yán)重性等級說明基于本人臉識別的算法會被應(yīng)用到國際會議的門禁系統(tǒng)中。會議的參會人員包括各員無法正常進(jìn)入會B選擇可靠性評估指標(biāo)的二級指標(biāo)率、響應(yīng)時(shí)間、深度學(xué)習(xí)框架差異、操作系統(tǒng)差異生成的樣本、指定目標(biāo)方式生成的樣本、不指定目標(biāo)方式生成的樣本指標(biāo)全部通過。b段、實(shí)現(xiàn)階段及運(yùn)行階段面向算法需求階段的可靠性評估軟件系統(tǒng)的需求說明書：人臉識別系統(tǒng)需求說明書-V1.0軟件系統(tǒng)設(shè)計(jì)規(guī)范：人臉識別系統(tǒng)設(shè)計(jì)規(guī)范-V1.0軟硬件接口規(guī)范：人臉閘機(jī)系統(tǒng)軟硬件接口規(guī)范-V1.0深度學(xué)習(xí)算法的需求說明書：人臉檢測識別算法需求說明書-V1.0法功能實(shí)現(xiàn)的正確性平臺依賴的影響移植導(dǎo)致失效的風(fēng)險(xiǎn)。AIOSS01-2018面向算法需求階段的可靠性評估?通過□未通過面向算法設(shè)計(jì)階段的可靠性評估的訓(xùn)練數(shù)據(jù)集：全球人臉數(shù)據(jù)集-A深度學(xué)習(xí)算法的設(shè)計(jì)說明：人臉識別算法設(shè)計(jì)文檔-V1.0法功能實(shí)現(xiàn)的正確性的影響集-A”，數(shù)據(jù)包含情況面向算法設(shè)計(jì)階段的可靠性評估?通過□未通過AIOSS-01-2018面向算法實(shí)現(xiàn)階段的可靠性評估的對抗性樣本數(shù)據(jù)集：人臉對抗樣本集-A深度學(xué)習(xí)算法的源代碼：人臉識別算法源碼-V1.0法功能實(shí)現(xiàn)的正確性實(shí)現(xiàn)的正確性etyarf充完善。著過擬合或者欠擬合情況性樣本的影響面向算法實(shí)現(xiàn)階段的可靠性評估?通過□未通過面向算法運(yùn)行階段的可靠性評估中使用的數(shù)據(jù)：實(shí)時(shí)采集攝像頭捕捉的影像AIOSS01-2018法功能實(shí)現(xiàn)的正確性算法實(shí)際運(yùn)行30天時(shí)間中平均單次識別響應(yīng)時(shí)間為ms。平臺依賴的影響險(xiǎn)。據(jù)影響法正確運(yùn)行的情況。布較為近似，系統(tǒng)未發(fā)生失效。面向算法運(yùn)行階段的可靠性評估?通過□未通過深度學(xué)習(xí)算法的可靠性評估AIOSS-01-2018算法名稱算法說明拋等不友好的暴力行為。具體實(shí)現(xiàn)是通過對輸入的視頻單幀圖像，首先檢測圖像中的人是否手拿包裹，以開始出現(xiàn)拿包裹的人圖像作為起始幀，再對拿包裹的人進(jìn)行軌跡追蹤與行為分類，。行為檢測系統(tǒng)是將行為檢測技術(shù)集成至一個(gè)小型高性能計(jì)算盒子中，場院的監(jiān)控視頻通過交換機(jī)傳輸?shù)胶凶雍?，搭載在盒子上的行為檢測技術(shù)對監(jiān)控視頻進(jìn)行行為識別，識別出來的結(jié)果傳輸?shù)皆贫诉M(jìn)行事件的管控(如預(yù)警)?，F(xiàn)該系統(tǒng)已經(jīng)運(yùn)用在物流企業(yè)多個(gè)作業(yè)區(qū)域?？啃栽u估方□第三方確定深度學(xué)習(xí)算法可靠性目標(biāo)行條件硬件設(shè)備：普通攝像頭、高性能計(jì)算盒子(NVIDIATX2w行模式 。后的候選區(qū)域。行為分類是對侯選區(qū)域進(jìn)行行為分類(如是否暴力行為)，如果分類結(jié)果為暴檢測體常檢測出候選區(qū)域并上傳檢測結(jié)果至云端常內(nèi)無檢測體程丟失信息效序號效說明1常，如幀率過低23無檢測體效序號性等級1存在漏檢隱患2存在漏檢隱患3作安全隱患AIOSS01-2018嚴(yán)重性等級說明術(shù)的行為檢測系統(tǒng)將會被運(yùn)用到多種環(huán)境下作業(yè)區(qū)域的多種行為檢測(暴力、著裝、禮儀等)，多種環(huán)境包含快遞、銀行等作業(yè)2)無法檢測行為，存在操作安全隱患。B選擇可靠性評估指標(biāo)的二級指標(biāo)、響應(yīng)時(shí)間、深度學(xué)習(xí)框架差異、操作系統(tǒng)差異本