CESA-2021-001《人工智能 計算機視覺系統(tǒng)可信賴技術(shù)規(guī)范》

ICS35.240

CCSL70

團體標準

T/CESAXXXX—202X

人工智能計算機視覺系統(tǒng)可信賴技術(shù)規(guī)范

Artificialintelligence-Specificationfortrustworthinessforcomputervisionsystems

征求意見稿

在提交反饋意見時，請將您知道的相關專利連同支持性文件一并附上。

已授權(quán)的專利證明材料為專利證書復印件或扉頁，已公開但尚未授權(quán)的專利申

請證明材料為專利公開通知書復印件或扉頁，未公開的專利申請的證明材料為專利

申請?zhí)柡蜕暾埲掌凇?/p>

202X-XX-XX發(fā)布202X-XX-XX實施

中國電子工業(yè)標準化技術(shù)協(xié)會發(fā)布

T/CESAXXXX-2022

人工智能計算機視覺系統(tǒng)可信賴技術(shù)規(guī)范

1范圍

本文件規(guī)定了基于人工智能的計算機視覺系統(tǒng)的可信賴技術(shù)要求和測試方法。

本文件適用于基于人工智能的計算機視覺系統(tǒng)及其硬件、軟件和模型等部件的可信賴設計及測試,

為計算機視覺相關研制機構(gòu)、測試機構(gòu)、服務提供機構(gòu)及用戶提供參考。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T35273―2020信息安全技術(shù)個人信息安全規(guī)范

GB/T41867―2022信息技術(shù)人工智能術(shù)語

GB/T41864―2022信息技術(shù)計算機視覺術(shù)語

GB/T42018―2022信息技術(shù)人工智能平臺計算資源規(guī)范

T/CESA1169―2021信息技術(shù)人工智能服務器系統(tǒng)性能測試規(guī)范

3術(shù)語和定義

GB/T35273―2020，GB/T41864―2022及GB/T41867―2022界定的以及下列術(shù)語和定義適用于本文

件。

3.1

計算機視覺系統(tǒng)computervisionsystem

具備獲取、處理及解釋圖形、圖像數(shù)據(jù)能力的計算機系統(tǒng)

注1：計算機視覺系統(tǒng)，在特定頻域內(nèi)，完成目標識別、目標跟蹤、目標測量等任務。

注2：計算機視覺系統(tǒng)一般可作為其它作業(yè)系統(tǒng)的子系統(tǒng)。

注3：計算機視覺系統(tǒng)的功能藉由人工智能技術(shù)實現(xiàn)。

[參考：ISO/IEC2382―2015,2123787]

3.2

故障failure

<計算機視覺系統(tǒng)>整體或其部分無法提供或無法在限定條件下提供用戶要求功能的狀態(tài)。

[來源：ISO/IEC25040―2011，4.26，有修改]

3.3

異常exception

5

T/CESAXXXX-2022

<計算機視覺系統(tǒng)>運行過程中的一類條件或現(xiàn)象，引起與業(yè)務邏輯過程不同的另一個處理序列。后

者實現(xiàn)對此條件或現(xiàn)象的識別、忽略或處理過程。

[來源：ISO/IEC2382―2015，2121997，有修改]

3.4

視覺功能模塊visionfunctionmodule

計算機視覺系統(tǒng)中，單一視覺功能（圖像、視頻處理或分析）的實現(xiàn)。

注：人工智能是實現(xiàn)視覺功能的技術(shù)途徑之一。

3.5

工作流workflow

<計算機視覺>系統(tǒng)中為完成用戶特定業(yè)務邏輯的必要活動的序列。

注：計算機視覺系統(tǒng)的工作流一般由一個或多個視覺模塊組合實現(xiàn)。

[來源：ISO20186.2―2019,3.28，有修改]

4縮略語

DIIM多樣性輸入迭代法（DiverseInputIterativeMethod）

FGSM快速梯度符號法（FastGradientSignMethod）

IT信息技術(shù)（InformationTechnology）

JSMA雅可比矩陣的顯著性圖攻擊（Jacobian-basedSaliencyMapAttack）

MIM動量迭代法（MomentumIterativeMethod）

PGD投影梯度下降（ProjectedGradientDescent）

RISE基于隨機輸入采樣的解釋（RandomizedInputSamplingforExplanation）

ROC接收者操作特征曲線（ReceiverOperatingCharacteristiccurve）

RSSLLCM隨機最不可能類方法（RandomSingleStepLeast-LikelyClassMethod）

5概述

5.1計算機視覺可信賴要素

對基于人工智能的計算機視覺系統(tǒng)的可信賴，考察系統(tǒng)對圖1中各可信賴要素相關要求的滿足程度。

圖1人工智能可信賴框架

6

T/CESAXXXX-2022

5.2技術(shù)要求的適用原則

符合本文件的計算機視覺系統(tǒng)，并不需滿足全部可信賴技術(shù)要求。不包含某些視覺功能（如“水印”）

的系統(tǒng)，則不必滿足這些功能對應的可信賴要求。

6可信賴概念要求

6.1可靠性

計算機視覺系統(tǒng)，符合以下可靠性要求：

a)應能對附錄B中規(guī)定的圖像、視頻輸入給出反饋；

b)附錄B中規(guī)定的圖像、視頻輸入，應不致使系統(tǒng)進入異?；驘o法持續(xù)服務的狀態(tài)；

c)對不在附錄B中規(guī)定的圖像、視頻輸入，其中間或最終處理、分析結(jié)果應可用；

d)訓練過程應能保存斷點，在訓練因故障停止后，從斷點繼續(xù)訓練，宜能自動重啟訓練。

6.2公平性

計算機視覺系統(tǒng)，符合以下公平性要求：

a)圖像、視頻處理、分析結(jié)果不應對個體、社群造成歧視性傷害；

注：對視覺業(yè)務需求本身要求的情況除外（如某醫(yī)療視覺業(yè)務本身要求從步態(tài)判別殘障及恢復狀態(tài)，則不屬于歧視

性傷害）。

b)在未得到法律授權(quán)時，圖像、視頻處理、分析過程對同類數(shù)據(jù)應采用相同的自動決策邏輯；

c)對特殊人群（如殘障人群），宜實現(xiàn)特別的信息處理或傳遞方式，使該群體能使用系統(tǒng)的功能。

示例：某視覺系統(tǒng)識別輸入圖像輸出對圖像的解釋音頻，但對聾啞人群提供解釋音頻的文本以便閱讀。

6.3隱私保護

6.3.1隱私數(shù)據(jù)的判定

計算機視覺系統(tǒng)涉及的隱私數(shù)據(jù)，包含GB/T35273―2020中3.1和3.2規(guī)定的類型，按GB/T35273―

2020中附錄A和附錄B提出的方法判定。

6.3.2隱私保護要求

計算機視覺系統(tǒng)隱私數(shù)據(jù)保護應滿足以下要求，包含但不限于：

a)明確隱私數(shù)據(jù)保護在數(shù)據(jù)生命周期管理內(nèi)的工作和要求，形成方案體系，內(nèi)容應符合法律、行

政法規(guī)、部門規(guī)章和其他規(guī)范性文件的強制性要求（包括GB/T35273—2020要求）。隱私數(shù)

據(jù)保護的方案體系，內(nèi)容應至少覆蓋：

1)涉及隱私數(shù)據(jù)存儲時，應履行告知義務、獲取同意隱私數(shù)據(jù)存儲請求及相應安全管理措施；

2)業(yè)務目標完成或圖像、視頻采集、處理分析計算設施更換、報廢時，刪除用戶隱私數(shù)據(jù)并

實施防恢復措施；

3)可再分配資源（視頻、圖像云空間）再分配之前，刪除原有用戶隱私數(shù)據(jù)并實施防恢復措

施；

4)隱私數(shù)據(jù)留存方案應對用戶透明，明確界定需要留存的用戶隱私數(shù)據(jù)范圍、留存時間、目

的及用戶告知機制。

b)控制用戶隱私數(shù)據(jù)可見范圍，宜使用以下方法，包含但不限于：

1)主動隱私提醒；

7

T/CESAXXXX-2022

2)隱私符號；

3)透明日志。

c)控制數(shù)據(jù)關聯(lián)性，宜使用解關聯(lián)方法，包含但不限于：

1)K匿名，L多樣性，T接近性；

2)數(shù)據(jù)屏蔽（如數(shù)據(jù)掩碼、數(shù)據(jù)截斷等）；

3)隨機化（如使用圖像、視頻加噪、置換等）；

4)同態(tài)加密；

5)安全多方計算。

d)增強基本安全性，宜使用安全加密方法，包含但不限于：

1)可搜索加密；

2)基于身份認證的訪問控制；

3)安全加密傳輸。

e)檢查數(shù)據(jù)完整性，宜使用完整性檢測技術(shù)，包含但不限于：

1)數(shù)字簽名；

2)遠程證明。

f)確保對數(shù)據(jù)的可干預性，宜使用數(shù)據(jù)存取干預技術(shù)，包含但不限于：

1)圖像、視頻數(shù)據(jù)溯源；

2)細粒度訪問控制；

3)隱私風險度量；

4)用戶（圖像、視頻數(shù)據(jù)主體）同意機制及工具。

g)提高用戶身份標識數(shù)據(jù)安全性，宜實施數(shù)據(jù)脫敏，包含但不限于：

1)將居民身份證、銀行卡、刑事證據(jù)、用戶面部、行為動作、病灶、傷殘部位的圖像、視頻

數(shù)據(jù)與用戶身份標識數(shù)據(jù)分離存儲；

2)使用動態(tài)脫敏技術(shù)，確保數(shù)據(jù)從數(shù)據(jù)庫中取出時已脫敏；

3)針對用戶身份標識數(shù)據(jù)設計脫敏算法和混淆冗余數(shù)據(jù)，抗重識別，滿足以下要求；

?在不慎泄露部分圖像、視頻數(shù)據(jù)及部分用戶身份識別數(shù)據(jù)時，用戶身份不被重識別；

?在不慎泄露部分身份標識數(shù)據(jù)時，用戶身份不被重識別；

?在不慎泄露部分敏感屬性數(shù)據(jù)時，用戶身份不被重識別。

h)宜采用差分隱私技術(shù)，保護訓練數(shù)據(jù)中的個人信息；

i)宜采用聯(lián)邦學習，使訓練數(shù)據(jù)不被泄露。

6.4可問責性

計算機視覺系統(tǒng)，符合以下關于可問責性的要求：

a）宜建立系統(tǒng)技術(shù)、管理方面的責任模型，明確各子系統(tǒng)提供者的角色和責任，至少包含：

1)數(shù)據(jù)處理者和控制者；

2)計算機視覺計算設施提供者，包含計算設備提供者、軟件工具提供者、集成服務提供者和

云計算設施提供者；

3)視覺算法或模型提供者；

4)應用提供者；

5)部署、運維、運營服務提供者；

6)用戶；

注：對不同的應用，因工作邏輯的不同可導致角色及責任的差別。

8

T/CESAXXXX-2022

b）應建立系統(tǒng)設計、研發(fā)過程管理機制，其中包含計算機視覺系統(tǒng)相關業(yè)務被問責主體的責任及

其代表；

c）在研發(fā)過程中，應具備問責依據(jù)，即對法律、協(xié)議或授權(quán)遵從的說明；

d）在使用過程中，應定義系統(tǒng)對其利益相關方行使的權(quán)能，提供供方免責聲明；

e）宜對計算機視覺系統(tǒng)服務過程中產(chǎn)生的問題進行分析，按服務重要性和技術(shù)、管理完備性，分

析問題等級（越重要的服務，其技術(shù)、管理完備性越差時，問題等級越高）；

f）計算機視覺系統(tǒng)或服務提供方，宜建立責任認定及應對機制，至少規(guī)定以下內(nèi)容：

1)責任認定的起點（如合同違約、服務質(zhì)量下降、資產(chǎn)損失、社會影響等）；

2)法律或合同規(guī)定的任責或免責的事項（如不可抗力）；

3)明確責任認定的發(fā)起者及方式；

4)責任認定的第三方監(jiān)督方式；

g）宜建立計算機視覺算法周期性審計制度，規(guī)定以下內(nèi)容：

1)審計頻次（如年審等）；

2)審計方式（如全局、局部）；

3)稽查方法（如順查、逆查、抽查等）和使用原則；

4)記錄方法及其生效和保存條件；

5)報告，其中應明確調(diào)查者與被調(diào)查者，包含范圍段、意見段、簽章及日期等要素；

6)審計結(jié)果的利用方法，復核方法。

6.5透明性

計算機視覺系統(tǒng)，符合以下關于透明性的要求：

a）應分析視覺處理、子系統(tǒng)對外部的影響，包含但不限于：

1)工作流上下游子系統(tǒng)；

2)外部關聯(lián)系統(tǒng)；

b）應披露視覺處理、子系統(tǒng)對外部的影響，包含但不限于a）中提出的系統(tǒng)能完全、部分或無法

獲知的影響其業(yè)務的數(shù)據(jù)及行為；

c）應定義人工智能子系統(tǒng)的潛在受益、受害群體，并保證這些群體能獲知完整信息；

d）應對數(shù)據(jù)集的利益相關方，就數(shù)據(jù)使用情況（含使用方法、展示方式、周期等）建立通報機制；

e）對涉及重識別的數(shù)據(jù)擁有者，應提供關于其數(shù)據(jù)使用、展示、維護過程等的信息；

f）在系統(tǒng)部署前，應將系統(tǒng)行為告知利益相關方，包含但不限于：決策的效果、目的、依據(jù)和局

限性；

g）應明確告知最終用戶或其他主體其正在與機器交互；

h）應對用戶在使用過程中受不公平對待的情形，提出維護權(quán)益的途徑；

i）應提供對系統(tǒng)所使用或生成數(shù)據(jù)的來源及變化的描述，宜提供檢查手段。

7可信賴實踐要求

7.1魯棒性

7.1.1圖像、視頻處理

計算機視覺系統(tǒng)圖像、視頻處理魯棒性要求，包含但不限于：

a)如系統(tǒng)提供編解碼功能，則該功能滿足以下要求：

1)對合法的圖像輸入，應能輸出指定格式、分辨率、位分辨率的圖像數(shù)據(jù)；

9

T/CESAXXXX-2022

2)對合法的視頻輸入，應能輸出指定編碼格式、分辨率、位分辨率、幀速率、碼率的視頻數(shù)

據(jù)；

b)如系統(tǒng)提供去噪功能，則該功能應能識別并去除不同水平的和類型（如高斯、泊松、斑點等）

的噪聲；

c)如系統(tǒng)提供邊緣檢測功能，則該功能滿足以下要求：

1)檢測算法（核或算子）的輸出質(zhì)量不因輸入圖像的方向變化而改變；

2)能識別帶噪邊緣，區(qū)別噪聲與邊緣；

d)如系統(tǒng)提供圖像、視頻填充功能，則該功能滿足以下要求：

1)應能對含鋸齒狀邊緣、自交多邊形邊緣、內(nèi)或外多邊形邊緣的輸入輸出準確填充結(jié)果；

2)具備圖像完整性和邏輯性檢查能力，填充結(jié)果不應出現(xiàn)邊界判別錯誤、邊界丟失；

e)如系統(tǒng)提供拼接功能，則該功能應滿足以下要求：

1)拼接圖像結(jié)果符合尺度不變性、旋轉(zhuǎn)不變性；

2)拼接圖像結(jié)果的質(zhì)量不因圖像噪聲、采集角度差異、光照差異等因素下降；

3)拼接過程應能平滑拼接處的光照、色澤差異，不引起重影、形變；

f)如系統(tǒng)提供圖像、視頻分割功能，對邊界識別不應受光照、噪點等因素影響；

g)系統(tǒng)提供水印處理功能時：

1)人眼不可見水?。に。瑵M足以下要求：

?應保證人眼不可見；

?宜不因圖像域變換、擾動等操作而復見；

?應能被授權(quán)操作檢出，水印類別可識別（可識別性）；

?應能被授權(quán)操作去除，所得圖像與原圖像一致（可還原性）；

?宜不因圖像亮度變化、對比度變化、噪聲等操作而去除或無法檢出；

2)人眼可見水印的處理，滿足以下要求：

?應保證人眼可見；

?宜不因圖像域變換、擾動等操作而消失。

7.1.2圖像、視頻分析

計算機視覺系統(tǒng)圖像、視頻分析魯棒性要求，包含但不限于：

a)如系統(tǒng)提供顏色識別功能，則該功能滿足以下要求：

1)應能在不同的噪聲環(huán)境下，準確標識顏色；

2)識別過程、結(jié)果宜具備顏色恒常性；

3)宜能在不同環(huán)境遮擋物、覆蓋物、天候影響下，準確標識顏色。

b)如系統(tǒng)提供物體識別功能，則該功能宜滿足以下要求：

1)不受表面其它圖形、噪聲、（部分）遮擋等因素影響，輸出錯誤分類結(jié)果；

2)不受物體光照、角度、對抗樣本等因素影響，輸出錯誤分類結(jié)果。

c)如系統(tǒng)提供人臉識別功能，則識別結(jié)果準確率不應受圖像灰度值的影響，不宜受角度及臉部涂

鴉遮擋等因素的影響。

d)如系統(tǒng)提供物體檢測功能，則檢測過程不應受圖像灰度值、噪音等因素影響，而輸出錯誤的物

體邊界；

e)如系統(tǒng)提供字符識別功能，則該功能滿足以下要求：

1)應能識別不同顏色的字符；

2)應能識別混色字符；

3)宜能識別復雜背景中的字符；

10

T/CESAXXXX-2022

4)宜能識別扭曲（彎曲、非直線走向、不規(guī)則形狀）的字符；

5)應能識別大小混寫字符；

6)宜能識別失真（如移動中拍攝）字符；

7)宜能識別非均勻光照（明暗變化、曝光過度）圖像中的字符；

8)宜能識別形態(tài)退化（灰度/清晰度退化或形態(tài)結(jié)構(gòu)規(guī)劃）圖像中的字符。

7.2韌性

7.2.1概述

計算機視覺系統(tǒng)的韌性，包含：

a)故障防御：系統(tǒng)的視覺功能具備防止外部惡意侵害的能力；

b)故障承受：系統(tǒng)視覺功能失能或部分失能時，系統(tǒng)不降低服務質(zhì)量或停止服務；

c)系統(tǒng)恢復：系統(tǒng)能夠自動檢出，定位圖像、視頻處理、分析模塊及工作流的故障，并重置故障

模塊，恢復其正常功能。

7.2.2故障防御要求

計算機視覺系統(tǒng)，應能夠防御如下攻擊，包含但不限于：

a)閃避攻擊：通過修改圖像、視頻輸入，使機器學習模型無法正確判斷、決策，導致系統(tǒng)錯誤輸

出的行為。包含但不限于：

1)對抗樣本攻擊：對輸入圖像、視頻幀實施微小擾動，從而使機器學習模型決策失效；

2)物理實體攻擊：在現(xiàn)實物理世界中放置加入擾動之后的對抗樣本圖像、視頻幀等，以使計

算機視覺系統(tǒng)對物理世界認知出現(xiàn)偏差，導致錯誤決策；

注：對不涉及物理世界視覺業(yè)務的計算機視覺系統(tǒng)，2）不適用。

3)模型竊取攻擊：在未知機器學習模型結(jié)構(gòu)及參數(shù)的情況下，通過多次查詢得出相同或近似

的訓練數(shù)據(jù)集，并以此訓練功能類似的模型來生成對抗樣本，使系統(tǒng)在未察覺數(shù)據(jù)、模型

參數(shù)泄露的情況下遭受攻擊，導致錯誤決策；

b)過載攻擊：產(chǎn)生并高頻發(fā)送大量圖像、視頻幀，使處理、分析模塊所依賴的計算軟硬件發(fā)生過

載、緩沖溢出、擁塞丟失輸入、過熱燒毀等情況，造成計算機視覺系統(tǒng)故障。

7.2.3故障承受要求

在部分組件故障的情況下，計算機視覺系統(tǒng)應能提供視覺功能服務，宜保持故障發(fā)生前的服務水平

（如預測準確率，吞吐率等）。

7.2.4故障恢復要求

計算機視覺系統(tǒng)，宜具備如下故障恢復能力：

a)能直接察覺決策錯誤，并確定是否存在故障；

b)能定位故障，或配備故障定位的輔助措施；

c)能重置故障組件，使之在業(yè)務邏輯可接受的時間范圍內(nèi)恢復正常工作。

7.3可解釋性

計算機視覺系統(tǒng)，符合以下關于可解釋性的要求：

a）應能提供事前（固有）解釋（內(nèi)在、設計時的解釋），在投入應用前，向利益相關方總結(jié)、說

明系統(tǒng)行為特性；

11

T/CESAXXXX-2022

b）應能提供事后解釋，在投入使用后，向利益相關方解釋特定輸入與輸出的邏輯關系，此邏輯關

系應能被利益相關方理解；

c）應能結(jié)合訓練數(shù)據(jù)及訓練過程，對模型中某區(qū)域的權(quán)值及變化給出解釋，說明訓練數(shù)據(jù)及其使

用是如何影響模型特定區(qū)域的權(quán)值的；

d）應能結(jié)合訓練數(shù)據(jù)及訓練過程，對系統(tǒng)表現(xiàn)出的行為給出解釋，說明訓練數(shù)據(jù)及其使用是如何

影響模型行為的；

e）宜能對基于生產(chǎn)環(huán)境數(shù)據(jù)的訓練和推理提供a）~d）規(guī)定的解釋；

f）宜通過可視化等方式增強視覺系統(tǒng)可解釋性，在模型訓練、推理過程中，提供對特定現(xiàn)象的解

釋。

7.4實時性

計算機視覺系統(tǒng)，符合以下實時性要求：

a)如系統(tǒng)提供編解碼功能，則該功能應在設計要求延時范圍內(nèi)完成編、解碼。編解碼參數(shù)，按計

算機視覺系統(tǒng)的形態(tài)，參考GB/T42018―2022中，6.1.2.1i）~6.1.2.1k），6.1.2.2e），

6.1.2.2g）~6.1.2.2j）和6.1.3i）~6.1.3j）的規(guī)定；

b)如系統(tǒng)提供去噪功能，則該功能應滿足以下要求：

1)對不同噪聲功率的圖像，在規(guī)定延時內(nèi)輸出符合設計要求；

2)視頻去噪不降低幀率；

c)如系統(tǒng)提供邊緣檢測功能，則該功能滿足以下要求：

1)應在設計要求延時范圍內(nèi)完成檢測邊緣；

2)圖像分辨率變化不宜顯著增加邊緣檢測操作延時（延時差距不大于10%）；

d)如系統(tǒng)提供拼接功能，則該功能滿足以下要求：

1)對給定張數(shù)、分辨率的輸入圖像，應在設計要求延時范圍內(nèi)輸出拼接結(jié)果；

2)光照差異不宜顯著影響拼接操作延時（延時差距不大于10%）；

e)如系統(tǒng)提供分割功能，則該功能滿足以下要求：

1)應在設計要求延時范圍內(nèi)識別像素區(qū)域語義界線；

2)光照變化不宜顯著影響分割操作延時（延時差距不大于10%）。

f)如系統(tǒng)提供顏色識別功能，則該功能滿足以下要求：

1)應在設計要求延時范圍內(nèi)標識像素顏色；

2)圖像中漸變陰影覆蓋及其復雜度的變化不宜顯著增加操作延時（延時差距不大于10%）；

g)如系統(tǒng)提供物體識別功能，則該功能應在設計要求延時范圍內(nèi)歸類物體；

h)如系統(tǒng)提供物體檢測功能，則該功能應在設計要求延時范圍內(nèi)檢測物體，輸出包圍框或等效指

示數(shù)據(jù)。

7.5可復現(xiàn)性

計算機視覺系統(tǒng)，應符合以下關于可復現(xiàn)性的要求：

i)相同服務條件下，對相同的圖像、視頻輸入，計算機視覺系統(tǒng)總輸出一致的決策結(jié)果；

注1：服務條件，包含作業(yè)工具（人工智能計算設施軟硬件配置，啟停狀態(tài)，版本，功能）,操作賬號,業(yè)務處理組

件（計算機視覺系統(tǒng)業(yè)務邏輯軟、硬件實現(xiàn)）,業(yè)務處理方法（模型初始化、調(diào)參、優(yōu)化過程、分布式運行策略等）,

運行環(huán)境條件（處理器、磁盤、內(nèi)存、數(shù)據(jù)通道利用率，系統(tǒng)中其他作業(yè)運行狀態(tài)等）。

注2：a）中的“一致”指對于給定的測試集，不一致結(jié)果不超過總樣本數(shù)量的5%。

j)相同服務條件下，對相同的圖像、視頻輸入，處理、分析過程耗時和能耗一致。

注：b）中的“一致”指對于給定的測試集中的任一輸入樣本，耗時、能耗與該測試集上均值的差距不大于20%。

12

T/CESAXXXX-2022

7.6可控性

計算機視覺系統(tǒng)，符合以下可控性要求：

a)計算機視覺系統(tǒng)模塊、工作流存在一定程度的自主能力，控制過程宜包含系統(tǒng)狀態(tài)、過程觀測、

控制指令調(diào)用、系統(tǒng)響應、系統(tǒng)狀態(tài)遷移及觀測和狀態(tài)滿足度度量等過程；

b)視覺處理模塊的運行狀態(tài)及其遷移控制，應滿足業(yè)務權(quán)限（角色）設計要求；

c)應具備權(quán)限控制策略，授權(quán)控制命令的執(zhí)行；

d)應具備權(quán)限控制策略，約束狀態(tài)及遷移過程對于業(yè)務邏輯規(guī)定的用戶群的可觀測性；

e)控制命令宜與業(yè)務邏輯指令分離傳輸和執(zhí)行；

f)應提供能“終止”服務的操作；

g)宜實現(xiàn)人工接管機制。

7.7可追溯性

7.7.1異?？勺匪?/p>

計算機視覺系統(tǒng)應能追溯以下異常信息：

a)邏輯異常，即與業(yè)務邏輯相關的異常，由業(yè)務程序?qū)崿F(xiàn)定義。對邏輯異常，能至少追溯異常的

描述，促使、判決系統(tǒng)進入異常狀態(tài)的組件（或人）和異常發(fā)生時間；

b)軟件異常，即與業(yè)務邏輯無關的異常，由IT系統(tǒng)或程序本身的錯誤（如空指針，IO錯誤等）

觸發(fā)。對軟件異常，能至少追溯異常組件的名稱，或進程標識，異常發(fā)生的緩沖區(qū)標識（如適

用）和異常類型；

c)硬件異常，即硬中斷（如stm32硬件錯誤），指明硬件到達了某種暫時不可恢復的狀態(tài)。對硬

件異常，能至少追溯硬中斷標識，物理緩沖區(qū)標識（如適用）和物理緩沖區(qū)、寄存器、扇區(qū)信

息（如適用）。

7.7.2組成可追溯

計算機視覺系統(tǒng)，滿足以下組成可追溯要求：

a)記錄以下圖像、視頻處理、分析過程所使用的硬件信息及使用過程，包含但不限于：

1)硬件標識、名稱、品牌、用途、型號、生產(chǎn)日期、產(chǎn)地、生產(chǎn)商、使用手冊獲取方法；

2)采購、運輸、庫存、交接信息；

3)拆封、組裝、調(diào)試、安裝等過程涉及的儀器、人員、時間、地點信息；

4)在3）中涉及的圖形驅(qū)動，工具軟件等，應按7.7.2b）中的要求記錄；

5)在調(diào)試、運行配置腳本時發(fā)生異常時，應按7.7.1的規(guī)定記錄；

b)記錄以下圖像、視頻分析、處理軟件的獲取、調(diào)試和使用過程，包含但不限于：

1)軟件名稱、版本號、用途、運行環(huán)境要求信息；

2)配置參數(shù)、實施人員信息；

3)實現(xiàn)圖像處理、分析功能的每個處理模塊的名稱，版本號，參數(shù)配置信息；

4)視覺機器學習模型或算法的部署過程調(diào)用及參數(shù)，宜包含完整性校驗方法和結(jié)果；

5)如計算機視覺系統(tǒng)采用在線訓練視覺模型，應記錄每次訓練過程的信息，包含操作組件

（人）標識，訓練數(shù)據(jù)標識，訓練時段，新模型校驗結(jié)果，部署過程（按4）的要求記錄）。

6)如存在調(diào)試過程，應記錄調(diào)試程序版本和存放路徑；

7)在調(diào)試過程中出現(xiàn)異常，按7.7.1的要求記錄。

7.7.3運行可追溯

13

T/CESAXXXX-2022

計算機視覺系統(tǒng)，滿足以下運行可追溯要求：

a)應支持單一功能模塊、工作流功能調(diào)用記錄；

b)功能調(diào)用的記錄，應包含調(diào)用行為的時間戳、操作組件（人），參數(shù)值（對于圖片、視頻等二

進制參數(shù)，需記錄存取地址）和返回值；

c)圖像、視頻處理模塊運行的記錄，應包含模塊名稱、版本號、輸入、輸出圖像、視頻存取地址，

運行起止時間、操作人（組件）；

d)涉及決策的模塊的運行記錄應包含模塊名稱、版本號、輸入圖像（或圖像序列）存取地址、輸

出值等信息，運行起止時間戳，操作人員（組件）；

e)對從系統(tǒng)外部施加的視頻盜取等非授權(quán)操作，宜能追溯如下信息：

1)錄屏、盜攝片段信息，包含視頻文件標識和被錄屏、盜攝片段的起止時間；

2)錄屏、盜攝片段的流出渠道信息，包含操作者賬號和片段流向目標信息；

3)對從網(wǎng)絡流出的片段，流向目標應包含接收方地址；

f)運行過程中，有異常發(fā)生時，按照7.7.1的要求記錄異常信息。

7.7.4維護可追溯

計算機視覺系統(tǒng)，滿足以下維護可追溯要求：

a)計算機視覺系統(tǒng)維護信息應至少包含操作人、操作過程信息（如存在自動維護過程，則應記錄

控制組件信息及調(diào)用過程）和維護過程的起止時間；

b)當硬件發(fā)生變更時（新加入或移除），應按7.7.2a）的規(guī)定記錄硬件信息。

a)當軟件發(fā)生變更時（新安裝或卸載），應按7.7.2.b）的規(guī)定記錄軟件信息。對新安裝的軟件，

記錄安裝結(jié)果（成功或失敗），對卸載的軟件，記錄卸載結(jié)果（成功或失?。瑲堄鄶?shù)據(jù)、組

件地址；

b)數(shù)據(jù)集變更的記錄，滿足以下要求：

1)如新加入數(shù)據(jù)，供圖像處理、分析機器學習模型在線學習時，應記錄數(shù)據(jù)標識及存取地址；

2)如淘汰舊數(shù)據(jù)，應具備介質(zhì)來存儲淘汰數(shù)據(jù)，記錄數(shù)據(jù)標識及存取地址；

3)如整體更換新的圖像、視頻數(shù)據(jù)集，應記錄數(shù)據(jù)集完整性校驗值及其存儲過程；

c)人工智能算法或模型變更的記錄，滿足以下要求：

1)如在線更新圖像處理、分析模型，應按7.7.2b）5）的規(guī)定，記錄信息；

2)應配備存儲媒體，保存所移除模型或算法，并對存儲媒體的訪問實施控制；

d)模塊或系統(tǒng)啟停的記錄，應包含啟停操作的原因，宜包含相關業(yè)務的影響范圍及通告復本；

e)模塊或系統(tǒng)配置參數(shù)變更的記錄，應滿足以下要求：

1)配置文件被替換時，記錄原配置文件及新配置文件的存取地址，完整性校驗值；

2)配置文件被修改時，記錄新的文件完整性校驗值；

f)計算機視覺系統(tǒng)銷毀時，應記錄移除軟硬件的操作和去向。

7.8備份

計算機視覺系統(tǒng)，宜制備備份系統(tǒng)，符合以下要求：

a)備份系統(tǒng)實現(xiàn)與視覺子系統(tǒng)相同的業(yè)務邏輯，滿足業(yè)務要求；

b)備份系統(tǒng)采用與主系統(tǒng)不同的技術(shù)路線實現(xiàn)（如對基于深度學習的子系統(tǒng)的備份，可由非人工

智能技術(shù)實現(xiàn)業(yè)務邏輯），在無不同技術(shù)路線備份時，可采用多模型互備；

c)系統(tǒng)失能情況下，卻無備份系統(tǒng)時，已定義人工操作流程。

7.9可泛化性

14

T/CESAXXXX-2022

計算機視覺系統(tǒng)，應符合以下關于可泛化性的要求：

a）在研發(fā)過程中，使用至少1種方法增強可泛化性，包含Dropout、數(shù)據(jù)增強（如縮放、裁剪等）、

噪聲（如白噪聲）注入、提前停止、批量歸一化或梯度下降干預（如梯度截斷）等；

b）在與測試集光照,角度,目標尺寸等因素相近但場景不同的生產(chǎn)環(huán)境中，系統(tǒng)預測準確率不低于

模型在測試集上準確率的50%。

7.10緩解偏見

計算機視覺系統(tǒng)，宜符合以下關于緩解偏見行為的要求：

a)在研發(fā)階段，識別可能涉及的偏見類型，包含但不限于：性別，人種，民族，特殊群體（如殘

障）等；

b)在研發(fā)階段，識別可能導致偏見的原因，包含但不限于：

1)樣本分布（如在特定特征明顯的圖像集合上訓練模型，使模型在此特征不明顯的情況下獲

得較低預測準確率）；

2)錯誤排除（如未將非顯著特征作為訓練輸入）；

3)不一致測量（僅使用1種照相或攝像設備采集圖像，使模型在其他設備所采集的圖像上獲

得較低的預測準確率）；

4)不一致標記（采用不一致的標注尺度，標注類似的圖像樣本）；

5)主觀態(tài)度（標注帶有一致的主觀因素；

c)在運行階段，提供偏見結(jié)果復議機制，至少提供問題反饋渠道，包含但不限于電話、網(wǎng)頁等。

7.11信息安全

7.11.1數(shù)據(jù)保護要求

計算機視覺系統(tǒng)訓練及測試數(shù)據(jù)保護，符合以下要求，包含但不限于：

a)不被非授權(quán)篡改：

1)應能實施數(shù)據(jù)完整性校驗，隔離存儲校驗值；

2)應能以日志的方式記錄訓練數(shù)據(jù)修改操作，且不提供日志修改、刪除操作，確保日志獨立

存儲；

3)應能對訓練數(shù)據(jù)的訪問操作設置權(quán)限；

4)應能實施訪問源過濾機制，宜能對非授權(quán)的訪問源給予訓練數(shù)據(jù)假象；

5)應能實施圖像、視頻訓練數(shù)據(jù)加密，獨立保存解密密鑰；

6)宜能實施圖像、視頻訓練數(shù)據(jù)同態(tài)加密，并在密文上訓練；

b)不被非授權(quán)拷貝：

1)應實施權(quán)限控制，能針對訓練數(shù)據(jù)目錄，最小化讀權(quán)限授予對象（操作者）集合；

2)在多參與方協(xié)同訓練時，應實現(xiàn)方案（如聯(lián)邦學習），保護各方數(shù)據(jù)不被非授權(quán)獲??；

3)應符合a）中3）~5）的要求。

c)不被非授權(quán)檢視：

1)應符合b）中1）和2）的要求；

2)應符合a）中3）~6）的要求。

7.11.2模型保護要求

計算機視覺系統(tǒng)機器學習模型保護，符合以下要求，包含但不限于：

a)模型不被非授權(quán)修改和拷貝：

15

T/CESAXXXX-2022

1)應能實施模型完整性校驗，隔離存儲校驗值；

2)應能以日志記錄模型修改操作，不提供日志修改、刪除操作，確保日志獨立存儲；

3)應能對模型的訪問操作設置權(quán)限；

4)應能實施訪問源過濾機制，宜對來自非授權(quán)訪問給予模型假象；

5)在模型編譯后，宜能轉(zhuǎn)移編譯前模型到獨立存儲空間，該空間與網(wǎng)絡物理斷開；

6)應能實施模型加密，獨立保存解密密鑰。

b)模型不被竊?。?/p>

1)應能夠?qū)嵤┰L問行為控制，熔斷高頻大量推理任務；

2)宜能實施查詢控制，識別惡意查詢模式（如特定頻率、類型等），降低模型被仿造的風險；

c)宜能實施基于模型結(jié)構(gòu)的防御策略，在訓練中調(diào)整模型結(jié)構(gòu)，降低模型輸出結(jié)果對樣本偏差的

敏感性；

d)宜能實施信息混淆防御，修改模型輸出、參數(shù)更新等交互數(shù)據(jù)，保證模型有效性的前提下，降

低信息泄露的風險。

8計算機視覺系統(tǒng)可信賴測試

8.1通則

計算機視覺系統(tǒng)可信賴測試的實施：

a)由運行測試系統(tǒng)完成或由測試者人為評價：

1)由運行測試系統(tǒng)獲得的測試結(jié)果，宜由測試者（抽樣）復查；

2)由測試者人為評價獲得的結(jié)果，應由第三方（或其他測試者）復查或評審；

b)人為評價，應基于及必要證據(jù)的檢查，證據(jù)包含但不限于：

3)用戶反饋或服務記錄；

4)系統(tǒng)組成、說明書、技術(shù)文件、應用案例、自聲明或其他任何具有證明效力的文件；

c)應按5.2的要求及系統(tǒng)的功能，選擇實施測試；

d)測試配置見附錄A。

8.2可靠性

計算機視覺系統(tǒng)的可靠性測試，魯棒性測試，參照表1的對應關系，按8.2.2規(guī)定的操作實施，測試

的配置見附錄A.1。系統(tǒng)不具備測試集時，使用8.7.2和8.7.3提出的數(shù)據(jù)集。具備時，則使用系統(tǒng)提供

的測試集。

表1計算機視覺系統(tǒng)可靠性測試方法與技術(shù)要求的對應關系

測試類項技術(shù)要求測試方法

6.1a）8.2.2a），8.2.2b）

非法輸入

6.1b）8.2.2a），8.2.2b），8.2.2c）

合法輸入6.1c）8.2.2d）

視覺模型訓練恢8.2.2e），8.2.2f），8.2.2g），8.2.2

6.1d）

復h）

按以下規(guī)定，實施計算機視覺系統(tǒng)可靠性測試：

16

T/CESAXXXX-2022

a)對測試集中的任1樣本，按附錄B，實施格式或編碼格式轉(zhuǎn)換、縮放、位分辨率調(diào)整等操作，

生成不合法樣本；

b)將不合法樣本輸入計算機視覺系統(tǒng)或模塊，觀察輸出或其他信息；

c)交替輸入合法及不合法樣本，觀察計算機視覺系統(tǒng)或模塊的行為或反饋；

d)對合法圖像、視頻輸入，至少應能從視覺系統(tǒng)獲得處理結(jié)果。按業(yè)務邏輯要求，人為評價結(jié)果

的可用性；

e)啟動計算機視覺系統(tǒng)訓練過程，觀察斷點保存情況，至少包含訓練中間結(jié)果模型；

f)在計算機視覺系統(tǒng)訓練過程中，注入故障（見8.8.3e）~8.8.3g）），獲取系統(tǒng)報錯、警

告或停止信息；

g)設置系統(tǒng)訓練從保存的斷點重啟，觀察中間模型的準確率變化情況（重啟之后，訓練過程獲得

的中間模型在驗證集上的準確率，不顯著低于斷點模型在相同驗證集上的準確率（偏差<

5%））；

h)在系統(tǒng)因故障停止后，觀察系統(tǒng)自動按斷點恢復訓練的情況，按g）的規(guī)定觀察準確率變化情

況。

8.3公平性

計算機視覺系統(tǒng)或其提供方，向測試方提供關于6.3的規(guī)定的材料，證明技術(shù)、管理過程的準備情

況。

8.4隱私數(shù)據(jù)保護

計算機視覺系統(tǒng)或其提供方，向測試方提供關于6.3的規(guī)定的材料，證明技術(shù)、管理過程的準備情

況，對6.3.2的要求，提供實現(xiàn)、運行情況或規(guī)劃；

8.5可問責性

計算機視覺系統(tǒng)或其提供方，向測試方提供關于6.4的規(guī)定的證明材料，證明技術(shù)、管理過程的準

備情況。

8.6透明性

計算機視覺系統(tǒng)或其提供方，向測試方提供關于6.5的規(guī)定的證明材料，證明技術(shù)、管理過程的準

備情況。

8.7魯棒性

魯棒性的測試，按表2的對應關系，執(zhí)行8.7.2和8.7.3規(guī)定的操作實施，測試的配置見附錄A.6。如

計算機視覺系統(tǒng)沒有專用測試集，可使用8.7.2和8.7.3提出的數(shù)據(jù)集。具備專用測試集時，則使用專用

測試集：

表2計算機視覺系統(tǒng)魯棒性測試方法與技術(shù)要求的對應關系

測試類項技術(shù)要求測試方法

7.1.1a）1）

編解碼8.7.2a）

7.1.1a）2）

去噪7.1.1b）8.7.2b），8.7.2c），8.7.2d）

邊緣檢測7.1.1c)1）8.7.2e)

17

T/CESAXXXX-2022

7.1.1c）2）8.7.2f）

7.1.1d）1）8.7.2g）

填充

7.1.1d）2）8.7.2h）

7.1.1e）1）8.7.2i）1），8.7.2i）2）

拼接7.1.1e）2）8.7.2i）3），8.7.2i）4）

7.1.1e）3）8.7.2i）5）

分割7.1.1f）8.7.2j）

7.1.1g）1）8.7.2k）~q）

水印

7.1.1g）2）8.7.2k）~m）

7.1.2a）1）8.7.3a），8.7.3b），8.7.3e）

7.1.2a）2）8.7.3a），8.7.3c），8.7.3e）

顏色識別

8.7.3a），8.7.3b），8.7.3d），

7.1.2a3）

8.7.3e）

8.7.3f），8.7.3g），8.7.3l）；

7.1.2b）1）

8.7.3f），8.7.3h），8.7.3l）

物體識別8.7.3f），8.7.3c），8.7.3l）；

7.1.2b）2）8.7.3f），8.7.3j），8.7.3l）；

8.7.3f），8.7.3k），8.7.3l）

8.7.3m），8.7.3i），8.7.3n)；

人臉識別7.1.2c）8.7.3m），8.7.3j），8.7.3n)；

8.7.3m），8.7.3d），8.7.3n)

8.7.3o），8.7.3i），8.7.3p），

物體檢測7.1.2d）

8.7.3o），8.7.3h），8.7.3p）

7.1.2e）1）~7.1.2

8.7.3q），8.7.3s）

e）5）

字符識別

7.1.2e）6）~

8.7.3r），8.7.3s）

7.1.2e）8）

按以下方法實施圖像、視頻處理的魯棒性測試：

a)向系統(tǒng)輸入合法數(shù)據(jù)，系統(tǒng)應能按要求編解碼，并輸出正確結(jié)果；

b)采用Mnist或cifar10數(shù)據(jù)集，各隨機抽樣100例，分別加入高斯、泊松、斑點噪聲。對于每

種噪聲，設置2種強度參數(shù)配置，獲得18個帶噪數(shù)據(jù)集。噪聲點的像素值為全1（白色），

參考參數(shù)如下：

1)高斯噪聲：（），（）；

2)泊松噪聲：（），（）；

3)斑點噪聲（負指數(shù)分布）：（），（）；

c)運行計算機視覺系統(tǒng)噪聲識別功能，應能對60%的圖像，正確輸出噪聲類型；

d)運行計算機視覺系統(tǒng)噪聲去除功能，對比輸出圖像與未加噪圖像的差異（在60%的測試樣本上，

接近全0）；

18

T/CESAXXXX-2022

e)對特定測試集（如BSDS500），對任一輸入樣本圖像做旋轉(zhuǎn)操作，每隔60度，45度形成1個

新樣本（原樣本和旋轉(zhuǎn)后的樣本共13個），輸入邊緣檢測模塊或系統(tǒng)，檢查邊緣檢出情況；

f)對e）中描述的測試集中任一輸入樣本，施加b）中提出的任意噪聲，輸入邊緣檢測模塊或系

統(tǒng)，檢查邊緣檢出情況；

g)選取鋸齒狀邊緣，自交多邊形邊緣，內(nèi)外多邊形邊緣的圖像（如從Mnist數(shù)據(jù)集衍生），輸入

視覺系統(tǒng)或模塊，選取與色塊不同的顏色（如對于Mnist數(shù)據(jù)集，選取紅色）實施填充（如對

Mnist樣本，填充原字符黑色所占的區(qū)域），檢查填充結(jié)果（掃描填充后的圖像，是否含有原

字符色值像素）；

h)隨機從cifar10或Imagenet中選取特定數(shù)量（如100）的樣本，以其中前景物體為目標，使

用視覺系統(tǒng)或模塊實施填充操作（填充色可隨機選取原前景中不存在的顏色值），檢查填充結(jié)

果（掃描填充后的圖像，是否含有原圖前景的任何像素上的色值）；

i)隨機從cifar10或Imagenet中選取特定數(shù)量（如100）的樣本作為集合，對其中任1圖像，

實施以下操作：

4)切分為兩幅圖像（A，B），切分線為直線，A、B分別獲得原圖像的不少于40%像素，并補

充背景。對圖像A實施等比縮放（尺度為50%，150%），獲得A1和A2。使用視覺系統(tǒng)或

模塊，分別將A1，A2，A與B拼接，檢查拼接結(jié)果；

5)對1）中A1，A2和A實施旋轉(zhuǎn)操作（角度在0度-90度之間，隨機選?。┇@得A1’，A2’和

A’，使用視覺系統(tǒng)或模塊，分別將A1’，A2’和A’與B拼接，檢查拼接結(jié)果；

6)對1）中A1，A2和A實施，施加b）中的任何1種噪聲，再與B拼接，檢查拼接結(jié)果；

7)對1）中A1，A2和A實施，施加亮度調(diào)整（如通過調(diào)整c通道），再與B拼接，檢查拼

接結(jié)果；

8)對1）~4）中的結(jié)果，人工檢查，是否引起肉眼能分辨的光照、色澤差異或重影、形變；

j)隨機從PascalVOC2012中選取特定數(shù)量（如100）的樣本作為集合，對其中任1圖像，實施

亮度調(diào)整（增加及減小），或添加c）中的噪聲，分別形成新的圖像，對原圖和新圖像實施分

割操作，人工檢查新圖像與原圖像分割后的邊界的一致性和正確性；

k)使用LVM和PascalVOC2012，選取特定數(shù)量（如100）的樣本作為集合，對PascalVOC2012

中選中的圖像，施加LVM中規(guī)定的（LVM包含位置）水?。梢娀虿豢梢姡?/p>

l)對k）中的結(jié)果圖像，人工檢查是否肉眼可分辨；

m)對k）中的結(jié)果圖像，添加b）中任1噪聲，人工檢查水印是否肉眼可分辨；

n)對k）中的原始圖像，在圖內(nèi)不同區(qū)域，添加相同水印，記錄位置，人工檢查水印是否肉眼可

分辨；

o)對k）中的結(jié)果圖像，利用視覺系統(tǒng)檢出水印所在位置（或包圍框），對比標注值；

p)對k）中的結(jié)果圖像，利用視覺系統(tǒng)去除水印，將結(jié)果圖像與l）中對應原圖逐像素對比；

q)對l）中的結(jié)果圖像，實施8.7.3b），8.7.3c），8.7.3i）規(guī)定的操作，再按o），p）

的規(guī)定，檢查檢出和去除效果。

按以下方法實施圖像、視頻分析的魯棒性測試：

a)隨機選取100種顏色，記錄顏色值，生成純色圖像；

b)施加8.7.2b）中任1種噪聲；

c)改變圖像亮度（如增加50%和減小50%）；

d)隨機選取Mnist中的樣本作為前景，將已有圖像作為背景，合成新圖像；

e)識別顏色值，并與記錄的顏色值對比；

f)從cifar10中隨機選取一定數(shù)量樣本（如100）；

g)對每個樣本，將樣本作為背景，從Mnist中隨機選取樣本作為前景，合成新圖像；

19

T/CESAXXXX-2022

h)對每個樣本，實施b），生成新圖像；

i)對每個樣本，調(diào)整灰度值（如實施線性灰度變換），生成新圖像；

j)對每個樣本，實施旋轉(zhuǎn)操作，角度間隔為60度和45度，生成旋轉(zhuǎn)后的圖像集合；

k)對每個樣本，隨機使用FGSM，RSSLLCM，MIM，PGD，DeepFool，JSMA，DIIM中的1個，形成對

抗樣本；

l)識別物體，輸出物體分類，并與樣本標注對比；

m)使用LFW人臉數(shù)據(jù)集，隨機抽樣一定數(shù)量樣本（如100）；

n)識別人臉，輸出結(jié)果，并與樣本標注對比；

o)使用PascalVOC2012數(shù)據(jù)集，隨機選取一定數(shù)量樣本（如100）；

p)檢測物體，輸出物體位置、邊界（如包圍框），與樣本標注對比；

q)編制宏腳本，操縱文字處理軟件生成一定數(shù)量的（如100）符合7.1.2e）1）~7.1.2e）5）

的圖像，并生成標注，形成數(shù)據(jù)集。其中，對復雜背景，從Imagenet中隨機抽取樣本圖像作

為背景。對扭曲字符，使用藝術(shù)字庫或調(diào)用文字變形功能。字符可選擇中文字符，英文字符等；

r)使用ChineseTextinWild數(shù)據(jù)集，抽取一定數(shù)量的樣本（如100）；

s)實施字符識別，將結(jié)果與樣本標注比較。

8.8韌性

韌性測試，參照表3的對應關系，按8.8.2和8.8.3規(guī)定的操作實施，測試的配置見附錄A.7。如計算

機視覺系統(tǒng)沒有專用測試集，可使用8.7.2和8.7.3提出的數(shù)據(jù)集。具備時，則使用專用測試集：

表3計算機視覺系統(tǒng)韌性測試方法與技術(shù)要求的對應關系

測試類項技術(shù)要求測試方法

7.2.2a）1）8.8.2a），8.8.2b），8.8.2c）

閃避攻擊7.2.2a）2）8.8.2d）

7.2.2a）3）8.8.2e），8.8.2f），8.8.2g）

過載攻擊7.2.2b）8.8.2h）

8.8.3a），8.8.3b），8.8.3c），8.8.3

故障承受7.2.3

d）

7.2.4a）8.8.4a）

故障恢復7.2.4b）8.8.4b）

7.2.4c）8.8.4c）

故障防御要求按以下方法實施測試：

a)從cifar10中隨機選取一定數(shù)量樣本（如100）；

b)按8.7.3k）的規(guī)定實施操作；

c)輸出視覺處理或分析結(jié)果，與樣本對比；

d)按業(yè)務要求的介質(zhì)，打印或建立物理樣本，按a）~c）的規(guī)定測試，按8.7.3g）的規(guī)定模

擬物理覆蓋或涂鴉；

e)選用VGG，Resnet或其他模型作為代替模型，使用公共數(shù)據(jù)集（如Imagenet，cifar10，cifar100，

PascalVOC2012等）或其他視覺數(shù)據(jù)集作為輸入，按特定頻率（或可變頻率）向計算機視覺

系統(tǒng)或模塊發(fā)送輸入請求，獲得輸出并與標注對比，選出預測正確的樣本，形成集合；

f)完成代替模型的訓練；

g)測試代替模型與計算機視覺系統(tǒng)或模塊在特定測試集上的準確率差異；

20

T/CESAXXXX-2022

h)按T/CESA1169―2021中“表13”規(guī)定的“高峰到達”模式，向計算機視覺系統(tǒng)或模塊重復

發(fā)送a）中的數(shù)據(jù)，測量系統(tǒng)吞吐率（定義見T/CESA1169―2021中7.3.3）。

故障承受要求按以下方法實施測試：

a)運行計算機視覺系統(tǒng)業(yè)務（如訓練或推理），記錄平均吞吐率，預測準確率或其他業(yè)務指標；

b)在視覺業(yè)務過程中，按適用情況，選擇注入e）~g）規(guī)定的故障；

c)人工觀察并記錄輸出。有自動故障記錄的系統(tǒng)，應提供包含故