《電力視覺檢測(cè)算法評(píng)價(jià)方法》

ICS國(guó)際標(biāo)準(zhǔn)分類號(hào)

CCS中國(guó)標(biāo)準(zhǔn)文獻(xiàn)分類號(hào)

CES

團(tuán)體標(biāo)準(zhǔn)

T/CESXXX-XXXX

電力視覺檢測(cè)算法評(píng)價(jià)方法

Evaluationmethodofpowervisiondetectionalgorithm

（征求意見稿）

XXXX-XX-XX發(fā)布XXXX-XX-XX實(shí)施

中國(guó)電工技術(shù)學(xué)會(huì)發(fā)布

T/CESXXX—XXXX

電力視覺檢測(cè)算法評(píng)價(jià)方法

1范圍

本文件規(guī)定了電力視覺檢測(cè)算法的評(píng)價(jià)指標(biāo)與計(jì)算方法、評(píng)價(jià)數(shù)據(jù)集的質(zhì)量要求、評(píng)價(jià)方法、模型

功能性等級(jí)判定。

本文件適用于對(duì)電力設(shè)備運(yùn)行時(shí)含有大目標(biāo)、中目標(biāo)或小目標(biāo)的可見光場(chǎng)景目標(biāo)圖片、紅外光場(chǎng)景

目標(biāo)圖片或紫外光場(chǎng)景目標(biāo)圖片進(jìn)行目標(biāo)分類、檢測(cè)或分割的人工智能模型進(jìn)行評(píng)價(jià)。

2規(guī)范性引用文件

下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

GB/T5271.28信息技術(shù)詞匯第28部分：人工智能基本概念與專家系統(tǒng)

AIOSS—01—2018人工智能深度學(xué)習(xí)算法評(píng)估規(guī)范

ITU-TF.748.12:Deeplearningsoftwareframeworkevaluationmethodology

ITU-TLSuppl.48:Datacentreenergysaving:Applicationofartificialintelligencetechnologyin

improvingenergyefficiencyoftelecommunicationroomanddatacentreinfrastructure

ITU-TLSuppl.53:Guidelinesontheimplementationofenvironmentalefficiencycriteriaforartificial

intelligenceandotheremergingtechnologies.

3術(shù)語和定義

下列術(shù)語和定義適用于本文件。

3.1人工智能artificialintelligence

利用數(shù)字計(jì)算機(jī)或者由數(shù)字計(jì)算機(jī)控制的機(jī)器，模擬、延伸和擴(kuò)展人類的智能，感知環(huán)境、獲取知

識(shí)并使用知識(shí)獲得最佳結(jié)果的理論、方法、技術(shù)和應(yīng)用系統(tǒng)。

3.2人工智能模型artificialintelligencemodel

通過學(xué)習(xí)海量樣本數(shù)據(jù)中的內(nèi)在規(guī)律和表現(xiàn)層次，實(shí)現(xiàn)包括分類、聚類、目標(biāo)檢測(cè)、分割等任務(wù)。

3.3視覺檢測(cè)visualinspection

針對(duì)可見光、紅外光、紫外光三種光線場(chǎng)景下的圖像數(shù)據(jù)，使用分類、檢測(cè)、分割等深度學(xué)習(xí)模型

進(jìn)行訓(xùn)練后，模型能夠準(zhǔn)確預(yù)測(cè)出圖像中待檢測(cè)的目標(biāo)并確定其位置。

3.4分類模型classificationmodel

判斷一個(gè)新的觀察樣本所屬的類別的模型。

3.5檢測(cè)模型detectionmodel

確定圖像上目標(biāo)類別和位置屬性信息的模型。

3.6分割模型segmentationmodel

將圖像上的目標(biāo)以像素為單位標(biāo)記出來的模型。

1

T/CESXXX—XXXX

3.7訓(xùn)練數(shù)據(jù)集trainingset

模型構(gòu)建過程中使用的數(shù)據(jù)集合。

3.8測(cè)試數(shù)據(jù)集testingset

評(píng)估模型構(gòu)建質(zhì)量的數(shù)據(jù)集合。

3.9召回率recall

模型正確判定的正類樣本占所有正類樣本的比例。

3.10信噪比signal-to-noiseratio

信號(hào)均值與背景標(biāo)準(zhǔn)偏差的比值。

3.11色差值chromaticaberrationvalue

表示樣品顏色空間和標(biāo)準(zhǔn)品顏色空間之間的歐氏距離。

3.12照度均勻度illuminationuniformity

最小照度值與平均照度值的比值。

3.13熱靈敏度thermalsensitivity

紅外探測(cè)器能探測(cè)到的最小溫差。

3.14電力業(yè)務(wù)場(chǎng)景powerbusinessscenarios

包括電力系統(tǒng)發(fā)、輸、配、用等全環(huán)節(jié)傳統(tǒng)業(yè)務(wù)場(chǎng)景，及新興業(yè)務(wù)場(chǎng)景，如儲(chǔ)能、電碳交易等。

3.15大目標(biāo)bigobject

在圖像中的尺寸大于96×96像素的物體。

3.16中目標(biāo)middleobject

在圖像中的尺寸小于96×96像素，并且大于32×32像素的物體。

3.17小目標(biāo)smallobject

在圖像中的尺寸小于32×32像素的物體。

4符號(hào)、代號(hào)和縮略語

下列符號(hào)、代號(hào)和縮略語適用于本文件。

TP：真正例truepositive

FP：假正例falsepositives

TN：真負(fù)例truenegative

FN：假負(fù)例falsenegative

aij：分割模型中標(biāo)注為第i類，且被預(yù)測(cè)為第j類的樣本

5評(píng)價(jià)指標(biāo)與計(jì)算方法

本文件規(guī)定了用于模型評(píng)價(jià)的指標(biāo)與計(jì)算方法。

5.1性能指標(biāo)

5.1.1精度accuracy

2

T/CESXXX—XXXX

評(píng)價(jià)要素內(nèi)容如下：

a)用于目標(biāo)分類模型，定義為分類正確的樣本數(shù)占總樣本數(shù)的比例；

b)表征模型分類正確水平，精度越高，模型分類越正確；

c)計(jì)算方法見附錄A.1.1。

5.1.2準(zhǔn)確率precision

評(píng)價(jià)要素內(nèi)容如下：

a)用于目標(biāo)分類模型，定義為真正例數(shù)量占預(yù)測(cè)結(jié)果為正例的數(shù)量的比例；

b)表征模型分類正樣本查準(zhǔn)水平，準(zhǔn)確率越高，模型正樣本分類越準(zhǔn)確；

c)計(jì)算方法見附錄A.1.2。

5.1.3召回率recall

評(píng)價(jià)要素內(nèi)容如下：

a)用于目標(biāo)分類模型，定義為真正例數(shù)量占樣本正例數(shù)量的比例；

b)表征模型分類正樣本查全水平，召回率越高，模型分類正樣本識(shí)別越完整；

c)計(jì)算方法見附錄A.1.3。

5.1.4場(chǎng)景準(zhǔn)確率sceneaccuracy

評(píng)價(jià)要素內(nèi)容如下：

a)用于目標(biāo)檢測(cè)模型，表示模型檢測(cè)結(jié)果中包含檢測(cè)目標(biāo)的圖片數(shù)量占總圖片數(shù)量的比例；

b)表征模型檢測(cè)包含檢測(cè)目標(biāo)的圖片水平，場(chǎng)景準(zhǔn)確率越高，模型檢測(cè)圖片的性能越好；

c)計(jì)算方法見附錄A.2.1。

5.1.5平均準(zhǔn)確率averageprecision

評(píng)價(jià)要素內(nèi)容如下：

a)用于目標(biāo)檢測(cè)模型，表示以準(zhǔn)確率為縱軸、召回率為橫軸繪制的曲線下面積；

b)表征模型查準(zhǔn)和查全的綜合水平，平均精度越高，模型查準(zhǔn)和查全的綜合性能越好；

c)計(jì)算方法見附錄A.2.2。

5.1.6平均準(zhǔn)確率均值meanaverageprecision

評(píng)價(jià)要素內(nèi)容如下：

a)用于目標(biāo)檢測(cè)模型，表示模型檢測(cè)結(jié)果中各類標(biāo)簽平均精度的平均值；

b)表征模型查準(zhǔn)和查全的綜合水平，平均精度均值越高，模型在查準(zhǔn)和查全的綜合性能越好；

c)計(jì)算方法見附錄A.2.3。

5.1.7平均交并比meanintersectionoverunion

評(píng)價(jià)要素內(nèi)容如下：

a)用于目標(biāo)分割模型，表示圖像分割結(jié)果中各預(yù)測(cè)區(qū)域和標(biāo)準(zhǔn)區(qū)域交并比的平均值；

b)表征圖像分割的準(zhǔn)確程度，平均交并比越高，模型對(duì)圖像分割越準(zhǔn)確；

c)計(jì)算方法見附錄A.3.1。

5.2效率性指標(biāo)

5.2.1推理速度inferencespeed

評(píng)價(jià)要素內(nèi)容如下：

a)用于所有模型，評(píng)價(jià)模型對(duì)單張圖片的處理所需要的時(shí)間；

b)表征模型的運(yùn)算速度，所需時(shí)間越少，模型對(duì)圖像推理速度越快；

5.3穩(wěn)定性評(píng)價(jià)

評(píng)價(jià)要素內(nèi)容如下：

3

T/CESXXX—XXXX

a)用于所有模型，對(duì)測(cè)試數(shù)據(jù)集加入噪聲、改變亮度、平移等操作后，模型對(duì)該數(shù)據(jù)集改變前后

的測(cè)試指標(biāo)變化程度；

b)表征模型的泛化能力和穩(wěn)定性，兩次指標(biāo)相差越小，模型的泛化能力和穩(wěn)定性越好；

5.4可信性評(píng)價(jià)

5.4.1K折交叉驗(yàn)證K-foldcrossvalidation

評(píng)價(jià)要素內(nèi)容如下：

a)用于所有模型，評(píng)價(jià)模型結(jié)果的可信性；

b)表征模型采用交叉驗(yàn)證進(jìn)行訓(xùn)練和驗(yàn)證時(shí)輸出的K個(gè)精度值，這些值的方差越小，模型的可信

性越高；

6評(píng)價(jià)數(shù)據(jù)集的質(zhì)量要求

本標(biāo)準(zhǔn)規(guī)定了用于模型評(píng)價(jià)的數(shù)據(jù)集的質(zhì)量要求。

6.1可見光圖片的質(zhì)量要求

a)采集的原始圖像分辨率不小于1280像素×720像素，主要目標(biāo)大小不小于1024像素，橫向色差

小于等于0.08；

b)色差值小于等于6.0；

c)信噪比大于等于50dB；

d)照度均勻度大于等于90%；

e)可見光圖片類別覆蓋全體實(shí)際應(yīng)用場(chǎng)景；

f)每個(gè)實(shí)際應(yīng)用場(chǎng)景中的測(cè)試圖片數(shù)不少于該場(chǎng)景圖片的20%

6.2紅外線圖片的質(zhì)量要求

a)采集的原始圖像分辨率不小于640像素×480像素；

b)熱靈敏度小于等于50mk；

c)紅外線波長(zhǎng)大于7.5微米，小于14微米；

d)可見光圖片類別覆蓋全體實(shí)際應(yīng)用場(chǎng)景；

e)每個(gè)實(shí)際應(yīng)用場(chǎng)景中的測(cè)試圖片數(shù)不少于該場(chǎng)景圖片的20%

6.3紫外線圖片的質(zhì)量要求

a)采集的原始圖像分辨率不小于320像素×240像素；

b)紫外線波長(zhǎng)大于185納米，小于260納米；

c)可見光圖片類別覆蓋全體實(shí)際應(yīng)用場(chǎng)景；

d)每個(gè)實(shí)際應(yīng)用場(chǎng)景中的測(cè)試圖片數(shù)不少于該場(chǎng)景圖片的20%

7評(píng)價(jià)方法

本文件規(guī)定了模型評(píng)價(jià)的方法。

7.1評(píng)價(jià)流程

評(píng)價(jià)流程應(yīng)包含模型基礎(chǔ)信息完整性評(píng)價(jià)、確定模型任務(wù)和場(chǎng)景、選擇評(píng)價(jià)指標(biāo)、選擇測(cè)試數(shù)據(jù)集、

樣本循環(huán)測(cè)試、評(píng)價(jià)結(jié)果匯總等7個(gè)關(guān)鍵步驟，詳見圖1。

4

T/CESXXX—XXXX

基確

礎(chǔ)定選

選樣評(píng)

信模擇

開擇本價(jià)模評(píng)

息型測(cè)

始評(píng)循結(jié)型價(jià)

完任試

評(píng)價(jià)環(huán)果評(píng)結(jié)

整務(wù)數(shù)

價(jià)指測(cè)匯級(jí)束

性和據(jù)

標(biāo)試總

評(píng)場(chǎng)集

價(jià)景

圖1模型評(píng)價(jià)流程

7.2評(píng)價(jià)方法

7.2.1模型基礎(chǔ)信息完整性評(píng)價(jià)

用于測(cè)試的模型應(yīng)進(jìn)行完整性評(píng)價(jià)，模型基礎(chǔ)信息具體應(yīng)包含如下內(nèi)容：

a)模型負(fù)責(zé)人及所屬單位；

b)模型名稱；

c)模型光線場(chǎng)景，主要包括可見光場(chǎng)景、紅外線場(chǎng)景、紫外線場(chǎng)景；

d)模型應(yīng)用場(chǎng)景，描述測(cè)試目標(biāo)的電力業(yè)務(wù)場(chǎng)景和適用目標(biāo)大小；

e)模型任務(wù)類型，主要包括分類、目標(biāo)檢測(cè)和語義分割；

f)模型編寫語言，主要包括C/C++語言、Java語言、Python語言；

g)模型配置文件，描述所需庫(kù)的名稱、版本、依賴關(guān)系；

h)模型參考文獻(xiàn)，描述模型結(jié)構(gòu)主要參考的論文名稱；

i)K折交叉驗(yàn)證結(jié)果，描述K=10時(shí)，模型在采用交叉驗(yàn)證的方法進(jìn)行訓(xùn)練的結(jié)果；

j)模型全部代碼；

k)模型運(yùn)行指令，描述如何操作模型進(jìn)行訓(xùn)練和測(cè)試。

7.2.2確定模型任務(wù)及場(chǎng)景

確定模型任務(wù)，包括圖像分類、目標(biāo)檢測(cè)、圖像分割；

確定評(píng)價(jià)數(shù)據(jù)集的電力業(yè)務(wù)場(chǎng)景及光線場(chǎng)景，包括可見光場(chǎng)景、紅外線場(chǎng)景、紫外線場(chǎng)景；

確定模型適用目標(biāo)大小，包括大目標(biāo)、中目標(biāo)、小目標(biāo)。

7.2.3選擇評(píng)價(jià)指標(biāo)

7.2.3.1針對(duì)可見光樣本的模型性能評(píng)價(jià)指標(biāo)

a)按照附錄A.1選擇分類模型指標(biāo)；

b)按照附錄A.2選擇檢測(cè)模型指標(biāo)；

c)按照附錄A.3選擇分割模型指標(biāo)；

d)評(píng)價(jià)模型對(duì)評(píng)價(jià)數(shù)據(jù)集的處理并輸出運(yùn)算結(jié)果所需要的時(shí)間。

7.2.3.2針對(duì)紅外樣本的模型性能評(píng)價(jià)指標(biāo)

a)按照附錄A.1選擇分類模型指標(biāo)；

b)按照附錄A.2選擇檢測(cè)模型指標(biāo)；

c)按照附錄A.3選擇分割模型指標(biāo)；

d)評(píng)價(jià)模型對(duì)評(píng)價(jià)數(shù)據(jù)集的處理并輸出運(yùn)算結(jié)果所需要的時(shí)間。

7.2.3.3針對(duì)紫外樣本的模型性能評(píng)價(jià)指標(biāo)

a)按照附錄A.1選擇分類模型指標(biāo)；

b)按照附錄A.2選擇檢測(cè)模型指標(biāo)；

5

T/CESXXX—XXXX

c)按照附錄A.3選擇分割模型指標(biāo)；

d)評(píng)價(jià)模型對(duì)評(píng)價(jià)數(shù)據(jù)集的處理并輸出運(yùn)算結(jié)果所需要的時(shí)間。

7.2.4選擇測(cè)試數(shù)據(jù)集

測(cè)試數(shù)據(jù)集選擇要求如下：

a)按照7.2.2規(guī)定的場(chǎng)景下的目標(biāo)選擇數(shù)據(jù)集；

b)測(cè)試數(shù)據(jù)集應(yīng)與訓(xùn)練數(shù)據(jù)集具有互斥性；

c)測(cè)試數(shù)據(jù)集樣本格式參照《人工智能樣本基本要求和標(biāo)注規(guī)范》；

d)測(cè)試數(shù)據(jù)集、訓(xùn)練數(shù)據(jù)集的比例宜為2：8；

e)測(cè)試數(shù)據(jù)集樣本包含的各類別的樣本數(shù)量宜相同。

7.2.5樣本循環(huán)測(cè)試

將測(cè)試數(shù)據(jù)集分成10等份，對(duì)模型進(jìn)行多次測(cè)試，記錄每次得到的指標(biāo)，去除異常數(shù)值后取平均

值，避免誤差的干擾。

分類和檢測(cè)模型功能性測(cè)試流程圖如圖2所示，首先將TP、TN、FP、FN初始化為0，輸入圖片，按

行讀取JSON結(jié)果，遍歷所有的檢出值。如果檢出值數(shù)量為0，且標(biāo)注數(shù)量為0，則TN+1，繼續(xù)讀取下一

張圖片；如果標(biāo)注數(shù)量不為0，則FN+a（a等于標(biāo)注的數(shù)量）。如果檢出值數(shù)量大于0，則遍歷所有檢出

值，如果檢出值為0（即只檢測(cè)到背景時(shí)），則FN+b（b等于剩余標(biāo)注值數(shù)量）；如果標(biāo)注為0，則FP+c

（c等于剩余檢出值數(shù)量）。標(biāo)注值和檢出值都不為0時(shí)，比對(duì)標(biāo)注值的交并比，若交并比最大值大于等

于0.5且標(biāo)簽正確，則TP+1，標(biāo)簽錯(cuò)誤則FP+1，然后讀取下一個(gè)檢出值，繼續(xù)上述過程；若交并比最大

值小于0.5且標(biāo)簽正確，則FP+1，讀取下一個(gè)檢出值，繼續(xù)上述過程。依此法檢測(cè)并判斷完所有的圖片，

最后，根據(jù)公式計(jì)算相應(yīng)指標(biāo)。

圖2分類和檢測(cè)測(cè)試流程圖

分割模型功能性測(cè)試流程圖如圖3所示。首先將aii、aij、ajj、aji初始化為0，輸入圖片，遍歷圖片上

的所有像素。將分割值為第i類且標(biāo)注值為第i類的像素個(gè)數(shù)記為aii，分割值為第i類且標(biāo)注值為第j類的

像素個(gè)數(shù)記為aji，分割值為第j類且標(biāo)注值為第i類的像素個(gè)數(shù)記為aij，分割值為第j類且標(biāo)注值為第j類

的像素個(gè)數(shù)記為ajj。更新參數(shù)，依此法檢測(cè)并判斷完所有的圖片，并按照附錄A.3.1所給公式計(jì)算平均

交并比。

分類模型場(chǎng)景測(cè)試流程圖如圖4所示，首先輸入圖片，按行讀取JSON結(jié)果，遍歷所有的檢出值。

如果有輸出值，則場(chǎng)景預(yù)測(cè)正確數(shù)量+1，并進(jìn)行下一張圖片的判斷。直到所有圖片測(cè)試結(jié)束，統(tǒng)計(jì)正

確預(yù)測(cè)的數(shù)量，結(jié)束。

6

T/CESXXX—XXXX

圖3分割測(cè)試流程圖圖4分類場(chǎng)景測(cè)試流程圖

7.2.6評(píng)價(jià)結(jié)果匯總

被評(píng)價(jià)模型如涉及分類、檢測(cè)、分割相關(guān)功能，宜優(yōu)先選用本標(biāo)準(zhǔn)中模型功能性指標(biāo)進(jìn)行評(píng)價(jià)。評(píng)

價(jià)結(jié)果包括以下內(nèi)容：

模型分類性能測(cè)試。按照7.2.5給出的參數(shù)計(jì)算方法得到標(biāo)簽的正確預(yù)測(cè)個(gè)數(shù)TP、標(biāo)簽漏檢FN或誤

檢FP個(gè)數(shù)、場(chǎng)景預(yù)測(cè)正確個(gè)數(shù)，然后根據(jù)附錄A給出的公式，計(jì)算精度、準(zhǔn)確率、召回率和場(chǎng)景準(zhǔn)確率。

模型目標(biāo)檢測(cè)性能測(cè)試，需要將測(cè)試結(jié)果可視化，評(píng)估人員對(duì)檢測(cè)類別標(biāo)簽、預(yù)測(cè)框的置信度和預(yù)

測(cè)框框選區(qū)域做出評(píng)價(jià)。其次按照附錄A給出的公式，代入TP、FN、FP計(jì)算標(biāo)簽的平均準(zhǔn)確率、平均

準(zhǔn)確率均值。

模型像素分割性能測(cè)試，對(duì)于分割模型的檢測(cè)需根據(jù)附錄A提供的指標(biāo)進(jìn)行評(píng)估，還需要將分割結(jié)

果可視化，評(píng)估人員對(duì)分割區(qū)域及類別信息做出評(píng)價(jià)。

模型效率性能測(cè)試，對(duì)于所有模型，評(píng)估人員需隨機(jī)挑選單張圖片進(jìn)行推理速度測(cè)試，并對(duì)推理時(shí)

間做出評(píng)價(jià)。

模型穩(wěn)定性能測(cè)試，對(duì)于所有模型，評(píng)估人員需將數(shù)據(jù)集隨機(jī)地加入高斯或椒鹽噪聲、提高或降低

亮度、進(jìn)行平移，得到一份用于測(cè)試模型泛化能力和穩(wěn)定性的數(shù)據(jù)集，再次執(zhí)行樣本循環(huán)測(cè)試，對(duì)前后

兩次測(cè)試得到的指標(biāo)進(jìn)行比較并做出評(píng)價(jià)。

模型可信性測(cè)試，對(duì)于所有模型，評(píng)估人員需記錄10次樣本循環(huán)測(cè)試時(shí)每次測(cè)試得到的指標(biāo)，對(duì)

每個(gè)指標(biāo)的方差做出評(píng)價(jià)。

8模型功能性等級(jí)判定

本標(biāo)準(zhǔn)適用于電力視覺檢測(cè)算法的應(yīng)用效果評(píng)價(jià)，對(duì)算法的功能性進(jìn)行等級(jí)判定，實(shí)際應(yīng)用中應(yīng)考

慮算法效率、穩(wěn)定性、可信性等其他因素。

等級(jí)判定總體要求如下：

a）模型等級(jí)對(duì)應(yīng)的模型性能為：A代表模型優(yōu)秀，可以直接使用；B代表模型良好，稍加修改后

可以投入使用；C代表模型一般，需要提升部分性能后，再根據(jù)情況而定能否投入使用；D代表模型較

差，需在大量修改后，重新對(duì)模型進(jìn)行測(cè)試，再根據(jù)測(cè)試結(jié)果判定模型能否投入使用；E代表模型不合

格，需要建立全新的模型。

b）評(píng)價(jià)模型等級(jí)時(shí)，所有指標(biāo)需同時(shí)滿足等級(jí)要求，例如：可見光場(chǎng)景下的分類模型的測(cè)試結(jié)果

為，場(chǎng)景準(zhǔn)確率88%、精度87%、準(zhǔn)確率86%、召回率85%，則模型等級(jí)為B；

7

T/CESXXX—XXXX

c）針對(duì)分類和檢測(cè)模型，若指標(biāo)中存在一個(gè)或兩個(gè)指標(biāo)低于判定閾值，則模型等級(jí)需根據(jù)情況而

定，例如：紅外線場(chǎng)景下的檢測(cè)模型測(cè)試結(jié)果為，平均準(zhǔn)確率83%、平均準(zhǔn)確率均值79%，則模型等級(jí)

為A-；可見光場(chǎng)景下的分類模型測(cè)試結(jié)果為，場(chǎng)景準(zhǔn)確率86%、精度83%、準(zhǔn)確率82%、召回率82%，

則模型等級(jí)為B+；紫外線場(chǎng)景下的分類模型測(cè)試結(jié)果為，場(chǎng)景準(zhǔn)確率82%、精度78%、準(zhǔn)確率77%，召

回率64%，則模型等級(jí)為B-。

d）針對(duì)不同的電力業(yè)務(wù)場(chǎng)景，模型能否投入使用由該場(chǎng)景下的最高等級(jí)決定，例如：可見光場(chǎng)景

下的輸電通道煙霧數(shù)據(jù)集，現(xiàn)有的檢測(cè)模型能達(dá)到的最高等級(jí)為C，則判定待測(cè)試模型時(shí)，等級(jí)達(dá)到D

就能符合測(cè)試標(biāo)準(zhǔn)。

e）針對(duì)中目標(biāo)和小目標(biāo)的測(cè)試數(shù)據(jù)集，模型等級(jí)的指標(biāo)判定閾值分別比大目標(biāo)數(shù)據(jù)集的閾值降低

5%、10%

8.1分類模型等級(jí)判定

功能性評(píng)價(jià)等級(jí)可參考以下規(guī)則：

表1針對(duì)大目標(biāo)可見光圖片的分類模型評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

場(chǎng)景準(zhǔn)確率≥90%，精度≥90%，準(zhǔn)確率≥90%，召回率≥90%A

場(chǎng)景準(zhǔn)確率≥85%，精度≥85%，準(zhǔn)確率≥85%，召回率≥85%B

場(chǎng)景準(zhǔn)確率≥80%，精度≥80%，準(zhǔn)確率≥80%，召回率≥80%C

場(chǎng)景準(zhǔn)確率≥70%，精度≥70%，準(zhǔn)確率≥70%，召回率≥70%D

場(chǎng)景準(zhǔn)確率≥60%，精度≥60%，準(zhǔn)確率≥60%，召回率≥60%E

表2針對(duì)大目標(biāo)紅外線圖片的分類模型評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

場(chǎng)景準(zhǔn)確率≥80%，精度≥80%，準(zhǔn)確率≥80%，召回率≥80%A

場(chǎng)景準(zhǔn)確率≥75%，精度≥75%，準(zhǔn)確率≥75%，召回率≥75%B

場(chǎng)景準(zhǔn)確率≥70%，精度≥70%，準(zhǔn)確率≥70%，召回率≥70%C

場(chǎng)景準(zhǔn)確率≥60%，精度≥60%，準(zhǔn)確率≥60%，召回率≥60%D

場(chǎng)景準(zhǔn)確率≥50%，精度≥50%，準(zhǔn)確率≥50%，召回率≥50%E

表3針對(duì)大目標(biāo)紫外線圖片的分類模型評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

場(chǎng)景準(zhǔn)確率≥80%，精度≥80%，準(zhǔn)確率≥80%，召回率≥80%A

場(chǎng)景準(zhǔn)確率≥75%，精度≥75%，準(zhǔn)確率≥75%，召回率≥75%B

場(chǎng)景準(zhǔn)確率≥70%，精度≥70%，準(zhǔn)確率≥70%，召回率≥70%C

場(chǎng)景準(zhǔn)確率≥60%，精度≥60%，準(zhǔn)確率≥60%，召回率≥60%D

場(chǎng)景準(zhǔn)確率≥50%，精度≥50%，準(zhǔn)確率≥50%，召回率≥50%E

8.2檢測(cè)模型等級(jí)判定

功能性評(píng)價(jià)等級(jí)可參考以下規(guī)則：

表4針對(duì)大目標(biāo)可見光圖片的檢測(cè)模型評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

平均準(zhǔn)確率≥90%，平均準(zhǔn)確率均值≥90%A

平均準(zhǔn)確率≥85%，平均準(zhǔn)確率均值≥85%B

平均準(zhǔn)確率≥80%，平均準(zhǔn)確率均值≥80%C

平均準(zhǔn)確率≥70%，平均準(zhǔn)確率均值≥70%D

平均準(zhǔn)確率≥60%，平均準(zhǔn)確率均值≥60%E

8

T/CESXXX—XXXX

表5針對(duì)大目標(biāo)紅外線圖片的檢測(cè)模型評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

平均準(zhǔn)確率≥80%，平均準(zhǔn)確率均值≥80%A

平均準(zhǔn)確率≥75%，平均準(zhǔn)確率均值≥75%B

平均準(zhǔn)確率≥70%，平均準(zhǔn)確率均值≥70%C

平均準(zhǔn)確率≥60%，平均準(zhǔn)確率均值≥60%D

平均準(zhǔn)確率≥50%，平均準(zhǔn)確率均值≥50%E

表6針對(duì)大目標(biāo)紫外線圖片的檢測(cè)模型評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

平均準(zhǔn)確率≥80%，平均準(zhǔn)確率均值≥80%A

平均準(zhǔn)確率≥75%，平均準(zhǔn)確率均值≥75%B

平均準(zhǔn)確率≥70%，平均準(zhǔn)確率均值≥70%C

平均準(zhǔn)確率≥60%，平均準(zhǔn)確率均值≥60%D

平均準(zhǔn)確率≥50%，平均準(zhǔn)確率均值≥50%E

8.3分割模型等級(jí)判定

功能性評(píng)價(jià)等級(jí)可參考以下規(guī)則：

表7針對(duì)大目標(biāo)可見光圖片的分割模型評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

平均交并比≥80%A

平均交并比≥75%B

平均交并比≥70%C

平均交并比≥60%D

平均交并比≥50%E

表8針對(duì)大目標(biāo)紅外線圖片的分割模型評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

平均交并比≥80%A

平均交并比≥75%B

平均交并比≥70%C

平均交并比≥60%D

平均交并比≥50%E

表9針對(duì)大目標(biāo)紫外線圖片的分割模型評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

平均交并比≥80%A

平均交并比≥75%B

平均交并比≥70%C

平均交并比≥60%D

平均交并比≥50%E

9

T/CESXXX—XXXX

附錄A評(píng)價(jià)指標(biāo)計(jì)算方法

（規(guī)范性）

A.1分類模型性能指標(biāo)

A.1.1精度

精度的計(jì)算方式見公式（A.1）：

Acc=（+）/(cccc+++)（A.1）

TPTNTPTNFPFN

式中：

A——精度；

——模型分類正確的正樣本數(shù)量；

cTP

——模型分類成正類的負(fù)樣本數(shù)量；

cFP

——模型分類正確的負(fù)樣本數(shù)量；

cTN

——模型分類成負(fù)類的正樣本數(shù)量。

cFN

A.1.2準(zhǔn)確率

準(zhǔn)確率的計(jì)算方式見公式（A.2）：

（）

Pc=TP/(cTP+cFP)A.2

式中：

P——準(zhǔn)確率；

模型分類正確的正樣本數(shù)量；

cTP——

模型分類成正類的負(fù)樣本數(shù)量。

cFP——

A.1.3召回率

召回率的計(jì)算方式見公式（A.3）：