《面向電力行業(yè)的圖像檢測識別系統(tǒng)技術(shù)要求》

ICS國際標準分類號ICS27.100

CCS中國標準文獻分類號F29

團體標準

T/CESXXX-XXXX

面向電力行業(yè)的圖像檢測識別系統(tǒng)技術(shù)

要求

Technicalrequirementsforimagedetectionandrecognitionsystemsforthe

powerindustry

（征求意見稿）

XXXX-XX-XX發(fā)布XXXX-XX-XX實施

中國電工技術(shù)學會發(fā)布

T/CESXXX—XXXX

面向電力行業(yè)的圖像檢測識別系統(tǒng)技術(shù)要求

1范圍

本文件規(guī)定了面向電力的圖像檢測識別系統(tǒng)技術(shù)要求，包括系統(tǒng)的架構(gòu)、硬件要求、功能要求、

性能要求、安全要求和測試方法等。

本文件適用于電力行業(yè)圖像檢測識別系統(tǒng)的規(guī)劃、設計和實施。

2規(guī)范性引用文件

下列文件對于本文件的應用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文

件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

GB/T2900.1電工術(shù)語基本術(shù)語

GB/T5271.34信息技術(shù)詞匯第34部分：人工智能神經(jīng)網(wǎng)絡

3術(shù)語和定義

GB/T2900.1、GB/T5271.34界定的以及下列術(shù)語和定義適用于本文件。

3.1

正檢truepositive

對于有異常的檢測樣本，識別為有異常的檢測結(jié)果。

3.2

誤檢falsepositive

對于無異常的檢測樣本，識別為有異常的檢測結(jié)果。

3.3

漏檢falsenegative

對于有異常的檢測樣本，識別為無異常的檢測結(jié)果。

3.4

檢測率truepositiverate

正檢數(shù)與總樣本數(shù)的百分比。

3.5

誤檢率falsepositiverate

誤檢數(shù)與總樣本數(shù)的百分比。

3.6

漏檢率falsenegativerate

漏檢數(shù)與總樣本數(shù)的百分比。

3.7

準確率precision

計算模型在測試集上正確分類的樣本數(shù)量與總樣本數(shù)量的百分比。

3.8

精確率accuracy

預測為正例且實際為正例的樣本數(shù)除以預測為正例的樣本數(shù)。

3.9

召回率recallrate

預測為正例且實際為正例的樣本數(shù)除以實際為正例的樣本數(shù)。

3.10

F1分數(shù)

4

T/CESXXX—XXXX

根據(jù)精確率和召回率計算F1分數(shù)。

4符號、代號和縮略語

下列符號、代號和縮略語適用于本文件。

AI：人工智能（ArtificialIntelligence）。

ROI：感興趣區(qū)域（RegionofInterest）。

OCR：光學字符識別（OpticalCharacterRecognition）

5系統(tǒng)架構(gòu)

圖1電力圖像檢測識別系統(tǒng)架構(gòu)

面向電力行業(yè)的圖像檢測識別系統(tǒng)應采用分層式設計、分布式部署、模塊化管理，主要應包括數(shù)據(jù)

管理系統(tǒng)、方案設計與實施系統(tǒng)、在線推理系統(tǒng)和運行管理系統(tǒng)。

a)數(shù)據(jù)管理系統(tǒng)應主要涉及人工智能算法基礎數(shù)據(jù)庫搭建，其功能包括數(shù)據(jù)采集、數(shù)據(jù)清洗和數(shù)

據(jù)管理等。

b)方案設計與實施系統(tǒng)應主要涉及實現(xiàn)電力圖像檢測識別需要具備的算法和模型訓練功能，包括

方案規(guī)劃、圖像預處理、數(shù)據(jù)標注、模型構(gòu)建、模型訓練、模型評估、模型優(yōu)化等。

c)在線推理系統(tǒng)應主要涉及面向不同電力場景的圖像檢測識別所需的解決方案管理，包含方案配

置、方案管理、方案查詢、方案發(fā)布、方案集成等。

d)運行管理系統(tǒng)應主要涉及客戶端軟件、硬件、通訊、模型導入等內(nèi)容，包含權(quán)限管理、模型管

理、圖像處理等。

6硬件要求

系統(tǒng)硬件要求如下：

a)內(nèi)存不小于256GB。

b)系統(tǒng)盤不小于128GB，數(shù)據(jù)盤不小于12TB。

5

T/CESXXX—XXXX

c)CPU為多核，核心數(shù)不小于16。

d)雙電源供電。

7功能要求

7.1數(shù)據(jù)管理系統(tǒng)

7.1.1數(shù)據(jù)采集

電力圖像采集功能要求如下：

a)圖像源

1)圖像源應支持相機和本地圖像；

2)圖像源應支持一個或多個相機連接；

3)圖像成像像素應支持30萬以上的分辨率；

4)圖像成像編碼格式支持RGB、YUV、RGB-D等一種或多種格式；

5)圖像成像文件格式應支持jpg、jpeg、bmp、png、tif、tiff等一種或多種格式；

6)圖像幀率應滿足電力應用要求，支持20FPS以上。

b)圖像窗口

1)應支持一個或多個圖像窗口顯示；

2)應支持多個圖像窗口內(nèi)設置不同圖像源、光源和圖像處理方案，能夠適應不同的檢測場

景。

7.1.2數(shù)據(jù)清洗

數(shù)據(jù)清洗功能要求如下：

a)數(shù)據(jù)去重：去除數(shù)據(jù)集中的重復記錄。

b)異常值處理：檢測和處理數(shù)據(jù)集中的異常值。

c)數(shù)據(jù)標準化：將數(shù)據(jù)格式標準化為一致的格式，以便于處理和分析。

7.1.3數(shù)據(jù)管理

數(shù)據(jù)管理功能要求如下：

a)數(shù)據(jù)操作：對數(shù)據(jù)的追加、刪除、更新、查詢等操作。

b)數(shù)據(jù)分類：對數(shù)據(jù)名稱、數(shù)據(jù)類型、存取路徑等屬性對數(shù)據(jù)的分類。

c)數(shù)據(jù)保護：對數(shù)據(jù)的操作進行權(quán)限操作保護。

7.1.4數(shù)據(jù)存儲

實現(xiàn)數(shù)據(jù)、模型、用戶信息的存儲功能，包括但不限于基于權(quán)限的實體創(chuàng)建、刪除、編輯、訪問、

導出指定的數(shù)據(jù)。

7.2方案設計與實施系統(tǒng)

7.2.1方案規(guī)劃

根據(jù)已采集數(shù)據(jù)和項目需求，選擇對應的AI算法，以對電力圖像檢測項進行智能識別。

7.2.2圖像預處理

6

T/CESXXX—XXXX

圖像預處理功能要求如下：

a)圖像尺寸調(diào)整：將圖像調(diào)整為模型所需的輸入尺寸。

b)數(shù)據(jù)增強：通過對圖像進行旋轉(zhuǎn)、翻轉(zhuǎn)、縮放、平移等操作來增加數(shù)據(jù)樣本的多樣性，以提

高模型的泛化能力。

c)歸一化：將圖像的像素值縮放到一個固定的范圍，通常是[0,1]或[-1,1]，以便更好地適應模

型的輸入要求。

d)噪聲去除：通過濾波等技術(shù)去除圖像中的噪聲，以提高圖像質(zhì)量和模型的穩(wěn)定性。

e)圖像增強：通過調(diào)整圖像的對比度、亮度、飽和度等參數(shù)來增強圖像的特征，以提高模型的

性能。

f)圖像標準化：將圖像轉(zhuǎn)換為特定顏色空間或表示形式的過程。例如，將彩色圖像轉(zhuǎn)換為灰度

圖像、將圖像轉(zhuǎn)換為特定的色彩空間（如RGB、HSV等）。

7.2.3圖像標注

圖像數(shù)據(jù)標注功能要求如下：

a)標注工具

1)有筆刷、多邊形、矩形、特征標簽與帶文本的矩形和多邊形工具用于進行數(shù)據(jù)的標注；

2)標注工具產(chǎn)生標注實例會附帶特征標簽，應可通過特征列表對特征標簽集合進行管理，

應可對特征標簽進行新增、修改、刪除和合并；

b)智能標注

可通過智能標注功能，使得標注工作量得到簡化，如交互式標注分割、預訓練打標等；

c)標注管理

1)可對標注進行存儲、編輯，按條件的篩選查看；能夠?qū)С黾皩霕俗⑹沟脴俗⒖梢詮?/p>

用。對不同算法模型的訓練可應用不同的數(shù)據(jù)集進行訓練；

2)可通過編輯ROI區(qū)域，讓算法方案之關注圖片局部信息；串聯(lián)模塊下，ROI區(qū)域也可以

作為前置模塊輸出結(jié)果的調(diào)整；

3)有放大縮小功能、抓手功能、隱藏/顯示標注/推理結(jié)果功能以及撤銷與恢復功能輔助標

注。

7.2.4模型構(gòu)建

模型構(gòu)建功能要求如下：

a)靈活且可擴展：系統(tǒng)應該能夠支持各種圖像數(shù)據(jù)源和數(shù)據(jù)類型，包括bmp、png、jpg、

jpeg、tif、tiff等。系統(tǒng)應該具備靈活的數(shù)據(jù)處理和分析能力，以支持不同的模型構(gòu)建需

求。

b)模塊化設計：系統(tǒng)架構(gòu)應該采用模塊化的設計，以便于擴展和維護。每個算法模塊應該具有

獨立的功能和責任，并且模塊之間的交互應該清晰和簡潔。

c)高效計算能力：系統(tǒng)應該具備高效的計算能力，包括高性能的硬件資源和優(yōu)化的軟件算法，

以支持大規(guī)模數(shù)據(jù)的處理和復雜的模型構(gòu)建。

d)全面的算法模型工具箱：系統(tǒng)應該提供全面的模型工具箱，包括單分類算法、多分類算法、

目標檢測算法、語義分割算法、OCR算法、無監(jiān)督算法等。同時，它還應該支持自定義模型

構(gòu)建，以滿足特定的業(yè)務需求。

7

T/CESXXX—XXXX

e)易用性：系統(tǒng)應該具備友好的用戶界面和簡潔的操作流程，以便用戶能夠方便地進行模型構(gòu)

建、調(diào)試和評估。

f)可視化分析：系統(tǒng)應該提供強大的可視化分析功能，包括數(shù)據(jù)檢索、特征選擇、模型評估等

過程的可視化展示，以幫助用戶更好地理解和解釋模型結(jié)果。

g)安全性：系統(tǒng)應該具備完善的安全性措施，包括數(shù)據(jù)加密、訪問控制和漏洞管理等，以保護

用戶的數(shù)據(jù)和模型安全。

h)基礎性：系統(tǒng)應該能夠于其他系統(tǒng)或工具集成，包括數(shù)據(jù)庫、報表系統(tǒng)、可視化工具等，以

實現(xiàn)更全面的模型構(gòu)建和管理。

7.2.5模型訓練

模型訓練功能要求如下：

a)模型訓練：能夠根據(jù)選擇的算法應用，利用標注的數(shù)據(jù)進行模型訓練，包含設置超參數(shù)與訓

練策略；

b)模型推理：利用訓練好的模型對指定的數(shù)據(jù)進行推理；

c)模型信息查看：查看歷史版本信息，訓練與推理在數(shù)據(jù)集上的表現(xiàn)等；

d)運行參數(shù)配置：能夠配置模型的運行參數(shù)，如閾值，分割算法的面積過濾，檢測算法的IOU

等，使得在不重新訓練模型就能夠快速調(diào)節(jié)模型效果。

7.2.6模型評估

模型評估功能要求如下：

a)評估能力：系統(tǒng)應該能夠選擇已有模型和數(shù)據(jù)進行模型評估，評估指標應包括穩(wěn)定性、準確

性等方面；

b)評估方法：系統(tǒng)應該能夠針對算法模型進行不同維度的效果評估，如圖像級別、實例級別、

像素級別、字符級別等。

7.2.7模型優(yōu)化

模型優(yōu)化功能要求如下：

a)系統(tǒng)應該可調(diào)整超參數(shù)以優(yōu)化模型性能，如學習率、迭代次數(shù)；

b)系統(tǒng)應該可選擇采用不同的模型結(jié)構(gòu)來適應不同的電力場景；

c)系統(tǒng)應該具備特征選擇的能力，提升模型的準確性和穩(wěn)定性；

d)系統(tǒng)應該具備多模型串并聯(lián)的方式，通過結(jié)合多個模型的預測結(jié)果來提升模型總體的預測性

能；

e)系統(tǒng)應該具備一個已有的模型通過添加少量數(shù)據(jù)集繼續(xù)學習的能力；

f)系統(tǒng)應該具備基本的后處理參數(shù)能力，如置信度過濾、面積過濾、長邊短邊過濾、灰度過濾

等方法。

7.2.8模型編排

模型編排功能要求如下：

a)模型選擇和組合：模型編排應該能夠選擇適合特定任務的模型，并將它們組合在一起，以實

現(xiàn)更高效和準確的結(jié)果；

8

T/CESXXX—XXXX

b)數(shù)據(jù)傳遞和轉(zhuǎn)換：模型編排需要能夠在不同模型之間傳遞數(shù)據(jù)，并進行必要的數(shù)據(jù)轉(zhuǎn)換和格

式化；

c)上下文管理：模型編排需要能夠管理上下文信息，以確保在不同模型之間傳遞的信息是一致

和完整的；

d)錯誤處理和回退機制：模型編排應該具備錯誤處理和回退機制，以應對模型執(zhí)行過程中可能

出現(xiàn)的錯誤或失敗情況。

7.3在線推理系統(tǒng)

7.3.1方案配置

方案配置功能要求如下：

a)應支持將圖像采集和圖像處理相關參數(shù)保存為方案配置文件；

b)應支持方案二次開發(fā)，包括算法前后處理、運行邏輯、結(jié)果輸出方案等，幫助AI算法適用于

實際電力業(yè)務場景；

c)應支持運行界面下快速選擇運行的方案，適用于測試情況下的方案快速切換。

7.3.2方案管理

方案管理功能要求如下：

a)方案操作：對方案的追加、刪除、更新、導出、查詢等操作；

b)方案編排：對方案進行串聯(lián)或并聯(lián)的編排。

7.3.3方案發(fā)布

方案發(fā)布功能要求如下：

a)導出模型：導出模型的使用場景主要是為已經(jīng)構(gòu)建好調(diào)用方案的實例，這些實例僅需要在各

自方案中對算法模型進行更新，無需重新編譯或者修改調(diào)用代碼。

b)二次開發(fā)：提供的接口包含方案信息獲取，方案運行結(jié)果獲取，運行參數(shù)設置，結(jié)果可視

化。并提供環(huán)境安裝指引，示例程序、調(diào)用示例和豐富的調(diào)用文檔。系統(tǒng)使用人員可以快速

進行電力圖像的目標分割、目標檢測、圖片分類、圖像識別、OCR等功能，充分覆蓋電力業(yè)

務場景，如輸電、變電、配電、安監(jiān)等。

7.3.4方案集成

方案集成功能要求如下：

a)支持配置：SDK支持自定義方案的集成；

b)二次開發(fā)：SDK支持C、C#、Python、Java中至少一種語言的二次開發(fā)。

7.4運行管理系統(tǒng)

7.4.1相機控制

相機控制功能要求如下：

a)應支持兼容不同型號的相機，以滿足系統(tǒng)分辨率、鏡頭類型等要求；

9

T/CESXXX—XXXX

b)應支持實時圖像采集，支持設置曝光、白平衡、幀率等參數(shù)；

c)應支持選擇相機觸發(fā)方式，如軟觸發(fā)和硬觸發(fā)；

d)應支持與相機的SDK、API或協(xié)議進行通信，以便控制攝像頭的參數(shù)設置、開關、焦距調(diào)整

等；

e)圖像傳輸應支持USB、GIGE、CameraLink等一種或多種傳輸協(xié)議；

7.4.2光源管理

光源管理功能要求如下：

a)應支持基于RS-232、以太網(wǎng)等一種或多種通訊方式；

b)應支持光源通道開關控制和強度設置。

7.4.3模型管理

模型管理功能要求如下：

a)模型部署和調(diào)度：支持將模型進行部署到不同的環(huán)境中，并提供調(diào)度功能，可以根據(jù)需求自

動調(diào)度模型的運行；

b)模型權(quán)限和訪問控制：提供模型的權(quán)限管理和訪問控制，可以控制不同用戶或角色對模型的

訪問權(quán)限。

c)模型生命周期管理：支持模型的完整生命周期管理，包括模型的創(chuàng)建、訓練、部署、更新和

退役等各個階段的管理；

d)模型版本追蹤和溯源：可以追蹤和溯源模型的版本，記錄模型的訓練數(shù)據(jù)、參數(shù)配置和訓練

日志等，方便模型的復現(xiàn)和追溯。

7.4.4圖像處理

圖像處理功能要求如下：

a)應支持運行AI或傳統(tǒng)算法方案；

b)應支持調(diào)整標準方案和定制方案的參數(shù)，可根據(jù)方案類型來定制參數(shù)類型；

c)應支持采圖測試或抓拍測試，能夠?qū)崿F(xiàn)不同應用場景的實時調(diào)試；

d)系統(tǒng)兼容性：能夠基于CPU或GPU處理圖像，能夠在Windows系統(tǒng)運行，能夠在國產(chǎn)操作系

統(tǒng)上運行；

e)算法運行能力：能夠基于系統(tǒng)發(fā)布的方案以及設定好的運行參數(shù)進行圖像處理并返回圖像處

理結(jié)果；

f)異常處理：能夠在輸入數(shù)據(jù)非法時給出對應提示，避免系統(tǒng)異常。

7.4.5權(quán)限管理

權(quán)限管理功能要求如下：

a)用戶鑒權(quán)：能夠?qū)τ脩暨M行身份驗證，基于角色判斷用戶是否擁有訪問系統(tǒng)和相應功能的權(quán)

利。

10

T/CESXXX—XXXX

b)權(quán)限管理：對用戶和角色的權(quán)限進行編輯，可以通過權(quán)限管理賦予不同用戶對不同資源的訪

問、編輯、刪除等權(quán)限從而實現(xiàn)視覺檢測任務中不同角色的資源共享與協(xié)助。

8性能要求

8.1系統(tǒng)檢測速度

面向電力的圖像識別檢測，單張圖像平均檢測耗時不宜超過5秒。

面向電力的語音識別檢測，單個文件平均檢測耗時不宜超過5秒。

8.2準確率

指模型在所有預測中正確的比值，常規(guī)圖像檢測項目不低于80%。

8.3精確率

指模型在預測為正例中真正為正例的比例，精確率越高表示模型識別結(jié)果中正確的結(jié)果越多，常規(guī)

圖像檢測項目不低于80%；

8.4召回率

指模型在所有正例中成功預測為正例的比例，召回率越高表示模型的漏檢結(jié)果越少，常規(guī)圖像檢測

項目不低于80%；

8.5F1分數(shù)

是精確率和召回率的調(diào)和平均值，綜合考慮了模型的精確率和召回率，F(xiàn)1分數(shù)不低于0.7。

8.6圖像處理算法

圖像處理算法應確保圖像處理后的質(zhì)量不會降低，如信噪比（SNR）、對比度、清晰度和顏色準確

性。

8.7并發(fā)數(shù)

系統(tǒng)最大并發(fā)用戶數(shù)宜不少于20人。

8.8數(shù)據(jù)保存

系統(tǒng)的模型數(shù)據(jù)保存不小于15年，圖像數(shù)據(jù)的保存時間不小于10年，音頻數(shù)據(jù)的保存時間不小于

10年。

9安全要求

9.1日志管理

對用戶登錄，模型管理和模型調(diào)用記入日志。對管理員提供日志查詢的功能。日志不可刪除。

9.2安全憑證

系統(tǒng)使用簽名方法對對外接口調(diào)用進行鑒權(quán)。對外接口每被調(diào)用一次都需要包含簽名信息，以驗

證用戶身份，防止信息被惡意篡改。

10測試方法

10.1數(shù)據(jù)管理系統(tǒng)功能測試

10.1.1數(shù)據(jù)采集

11

T/CESXXX—XXXX

電力圖像采集測試方法如下：

a)圖像源

1)檢查圖像源應支持相機和本地圖像；

2)檢查圖像源應支持一個或多個相機連接；

3)檢查圖像成像像素應支持30萬以上的分辨率；

4)檢查圖像成像編碼格式支持RGB、YUV、RGB-D、Bayer8等一種或多種格式；

5)檢查圖像成像文件格式應支持jpg、jpeg、bmp、png、tif、tiff等一種或多種格式；

6)檢查圖像幀率應滿足電力應用要求，支持20FPS以上。

b)圖像窗口

1)檢查應支持一個或多個圖像窗口顯示；

2)檢查應支持多個圖像窗口內(nèi)設置不同圖像源、光源和圖像處理方案，能夠適應不同的檢

測場景。

10.1.2數(shù)據(jù)清洗

數(shù)據(jù)清洗測試方法如下：

a)數(shù)據(jù)去重：檢查數(shù)據(jù)集中的重復數(shù)據(jù)，如根據(jù)md5去重。

b)異常值處理：檢查是否不支持的格式進行異常處理，如測試不支持的圖像。

c)數(shù)據(jù)標準化：檢查數(shù)據(jù)格式標準化為一致的格式，如統(tǒng)一存儲格式為jpg。

10.1.3數(shù)據(jù)管理

數(shù)據(jù)管理測試方法如下：

a)數(shù)據(jù)操作：檢查對數(shù)據(jù)的追加、刪除、更新、查詢等操作功能。

b)數(shù)據(jù)分類：檢查對數(shù)據(jù)名稱、數(shù)據(jù)類型、存取路徑等屬性對數(shù)據(jù)的分類功能。

c)數(shù)據(jù)保護：檢查對數(shù)據(jù)的操作進行權(quán)限操作保護功能。

10.1.4數(shù)據(jù)存儲

檢查實現(xiàn)數(shù)據(jù)、模型、用戶信息的存儲功能，包括但不限于基于權(quán)限的實體創(chuàng)建、刪除、編輯、

訪問、導出指定的數(shù)據(jù)。

10.2方案設計與實施系統(tǒng)功能測試

10.2.1方案規(guī)劃

方案規(guī)劃測試方法如下：

a)測試是否支持新建方案；

b)測試是否支持刪除方案；

c)測試是否支持修改方案；

d)測試方案中是否支持模塊拖拽構(gòu)建。

10.2.2圖像預處理

圖像預處理測試方法如下：

12

T/CESXXX—XXXX

a)圖像尺寸調(diào)整：將圖像調(diào)整為模型所需的輸入尺寸,檢查是否滿足要求。

b)數(shù)據(jù)增強：通過對圖像進行旋轉(zhuǎn)、翻轉(zhuǎn)、縮放、平移等操作來增加數(shù)據(jù)樣本的多樣性，以提

高模型的泛化能力,檢查是否滿足要求。

c)歸一化：將圖像的像素值縮放到一個固定的范圍，通常是[0,1]或[-1,1]，以便更好地適應模

型的輸入要求,檢查是否滿足要求。

d)噪聲去除：通過濾波等技術(shù)去除圖像中的噪聲，以提高圖像質(zhì)量和模型的穩(wěn)定性,檢查是否滿

足要求。

e)圖像增強：通過調(diào)整圖像的對比度、亮度、飽和度等參數(shù)來增強圖像的特征，以提高模型的

性能,檢查是否滿足要求。

f)圖像標準化：將圖像轉(zhuǎn)換為特定顏色空間或表示形式的過程,檢查是否滿足要求。例如，將彩

色圖像轉(zhuǎn)換為灰度圖像、將圖像轉(zhuǎn)換為特定的色彩空間（如RGB、HSV等）。

10.2.3圖像標注

圖像數(shù)據(jù)標注測試方法如下：

a)打開系統(tǒng)標準工具，對預定的數(shù)據(jù)集，打開待標注的電力圖像，在特征編輯區(qū)域進行創(chuàng)建類

別；

b)對類別進行編輯；

c)選中合適的標注工具，按照標注工具說明進行標注，完成后進行保存，導出標注文件，打開

導出的標注文件，檢查信息是否正確。

10.2.4模型評估

模型評估測試方法如下：

a)留出法：將數(shù)據(jù)集D直接劃分為互斥的兩個集合，分別作為訓練集S和測試集T。用測試集T

的測試誤差來估計模型的泛化誤差。數(shù)據(jù)的劃分比例一般是：2/3~4/5比例的樣本用于訓

練，剩下的樣本用于測試。

b)交叉驗證法：將數(shù)據(jù)集D劃分為k個大小相似的互斥子集，每個子集都盡可能保持數(shù)據(jù)分布

的一致性。然后每次用k-1個子集的并集作為訓練集，剩下的作為測試集。最終返回的是這

k個測試結(jié)果的均值。常見的有10次10折交叉驗證。

c)自助法：是有放回抽樣，將抽出來的樣本作為訓練集，再將其訓練集的補集作為測試集。

10.3在線推理系統(tǒng)功能測試

10.3.1方案配置

方案配置測試方法如下：

a)檢查方案配置應支持將圖像采集和圖像處理相關參數(shù)保存為方案配置文件；

b)檢查方案配置應支持方案二次開發(fā)，包括算法前后處理、運行邏輯、結(jié)果輸出方案等，幫助

AI算法適用于實際電力業(yè)務場景；

c)檢查方案配置應支持運行界面下快速選擇運行的方案，適用于測試情況下的方案快速切換。

10.3.2方案管理

方案管理測試方法如下：

a)方案操作：檢查對方案的追加、刪除、更新、導出、查詢等操作；

13

T/CESXXX—XXXX

b)方案編排：檢查對方案進行串聯(lián)或并聯(lián)的編排。

10.3.3方案發(fā)布

方案發(fā)布測試方法如下：

a)導出模型：檢查支持可導出模型。

b)二次開發(fā)：檢查方案發(fā)布支持提供的接口包含方案信息獲取，方案運行結(jié)果獲取，運行參數(shù)

設置、結(jié)果可視化。

c)檢查支持提供環(huán)境安裝指引，示例程序，調(diào)用示例和調(diào)用文檔。

10.3.4方案集成

方案集成測試方法如下：

a)支持配置：檢查SDK支持自定義方案的集成；

b)二次開發(fā)：檢查SDK支持C、C#、Python、Java中至少一種語言的二次開發(fā)。

10.4運行管理系統(tǒng)功能測試

10.4.1相機控制

相機控制測試方法如下：

a)檢查應支持兼容不同型號的相機，以滿足系統(tǒng)分辨率、鏡頭類型等要求；

b)檢查應支持實時圖像采集，支持設置曝光、白平衡、幀率等參數(shù)；

c)檢查應支持選擇相機觸發(fā)方式，如軟觸發(fā)和硬觸發(fā)；

d)檢查應支持與相機的SDK、API或協(xié)議進行通信，以便控制攝像頭的參數(shù)設置、開關、焦距調(diào)

整等；

e)檢查圖像傳輸應支持USB、GIGE、CameraLink等一種或多種傳輸協(xié)議；

10.4.2光源管理

光源管理測試方法如下：

a)檢查應支持基于RS-232、以太網(wǎng)等一種或多種通訊方式；

b)檢查應支持光源通道開關控制和強度設置。

10.4.3模型管理

模型管理測試方法如下：

a)對模型進行加載和初始化，試用或者檢測其輸入和輸出，測試其部署功能。

b)以不同權(quán)限的用戶賬號登錄，確認不同權(quán)限和訪問控制的有效性；

c)執(zhí)行模型的創(chuàng)建、訓練、部署、更新和退役等操作，驗證每個階段的功能和流程是否正常；

d)創(chuàng)建多個模型版本，記錄版本信息，模擬更新場景比對新舊版本；更新模型時保存舊版本信

息并與新版本關聯(lián)，從而驗證模型版本追蹤和溯源功能。

14

T/CESXXX—XXXX

10.4.4圖像處理

圖像處理測試方法如下：

a)分別準備訓練和測試數(shù)據(jù)集；

b)使用系統(tǒng)進行模型訓練，記錄模型訓練時長，完成模型訓練和配置后導出方案；

c)使用系統(tǒng)進行圖像處理，并記錄每個圖像的推理結(jié)果和處理速度，并將推理結(jié)果與標準答案

進行比對得到精度指標，對處理速度取平均得到速度指標；

d)多次使用系統(tǒng)進行圖像處理，并將推理結(jié)果記錄，對多次推理結(jié)果進行比對，得到多次檢測

一致率；

e)使用系統(tǒng)對新圖片進行圖像處理，查看方案是否具有泛化性。

10.4.5結(jié)果輸出

結(jié)果輸出測試方法如下：

a)檢查結(jié)果輸出模塊應支持原始圖片和渲染圖片的展示和保存；

b)檢查結(jié)果輸出模塊應支持數(shù)據(jù)統(tǒng)計和展示，包含檢測結(jié)果、檢測總數(shù)、良率計算；

c)檢查結(jié)果輸出模塊應支持軟件運行日志的展示和保存。

10.4.6權(quán)限管理

權(quán)限管理測試方法如下：

a)用戶鑒權(quán)：檢查是否能夠?qū)τ脩暨M行身份驗證，如基于角色判斷用戶是否擁有訪問系統(tǒng)和相

應功能的權(quán)利。

b)權(quán)限管理：檢查對是否能夠?qū)τ脩艉徒巧臋?quán)限進行編輯，如通過權(quán)限管理賦予不同用戶對

不同資源的訪問、編輯、刪除等權(quán)限。

10.5性能測試

10.5.1系統(tǒng)檢測速度測試

采用多次平均的方法對電力圖像、語音進行檢測。平均值不超過5秒。

10.5.2準確率

準確率不低于80%。