《面向機器視覺安防攝像機圖像質(zhì)量評測方法研究報告白皮書》

面向機器視覺安防攝像機圖像質(zhì)量評測方法研究報告面向機器視覺安防攝像機圖像質(zhì)量評測方法研究報告

安防攝像機成像技術(shù)趨勢及質(zhì)量E2E環(huán)節(jié)給人看到給機器看的架構(gòu)變化

鏡頭及sensor從可見光到多光譜支持

評價體系的演進

1采集環(huán)節(jié)大幅提升紅外QE性能

寬動態(tài)技術(shù)

從簡單面向人眼視覺到面向機器視覺任務(wù)增強圖像質(zhì)量

1.1安防攝像機成像技術(shù)趨勢圖像ISP

現(xiàn)有ISP大部分環(huán)節(jié)都是面向人眼視覺的，需要針對機器視覺識別率重構(gòu)或增強

1.1.1攝像機從給人看到給機器看為主

從傳統(tǒng)面向人眼感知模型的編碼到面向機器感知模型的編碼。傳統(tǒng)面向人眼感知模型

編碼

隨著AI技術(shù)、算力和數(shù)據(jù)量的快速發(fā)展，使得大量視頻數(shù)據(jù)的“受眾”已不再是人，而是機器和算法。的編碼降低識別率，需要面向機器感知模型的編碼保證識別率不下降。

通過人臉識別、車輛識別、行人再識別ReID、行為分析等算法，使得視頻中嵌入的信息發(fā)揮了越來越大

質(zhì)量評價從面向人眼到面向機器視覺任務(wù)，從主觀到客觀

的價值。安防行業(yè)正在從“給人看”轉(zhuǎn)變成“給機器看”為主。

“給機器看”可以實現(xiàn)海量視頻的快速分析，大幅提升效率及發(fā)現(xiàn)更多目標細節(jié)。對于攝像機拍攝的1.1.2AI算力換圖像，提升目標圖像質(zhì)量

海量數(shù)據(jù)，機器處理將是后續(xù)發(fā)展的唯一選擇，因為單純依靠人力識別需要海量的人力投入且效率底下，

自從Intel發(fā)表了“l(fā)earningtoseeinthedark”的論文后，學術(shù)界及業(yè)界關(guān)于AI算力應(yīng)用與提

而機器算法可以7×24小時全天不間斷分析，大幅減少操作人員瀏覽視頻數(shù)據(jù)的時間，快速自動定位敏

升圖像質(zhì)量的研究如火如荼。這篇論文中提出了一個大的方向，就是AIISP，論文中提出一個模型，

感信息并進行結(jié)構(gòu)化的存儲，減少疲勞等原因造成的審查疏忽，從而極大的提升效率；同時，依靠算法

一個以RAWbayer為輸入，RGB輸出為輸出，論文主要關(guān)注圖像噪聲，示例中噪聲被很好的去除，

模型的優(yōu)化和海量數(shù)據(jù)訓練的優(yōu)勢，智能算法已經(jīng)表現(xiàn)出超越人眼的性能，在目標檢測、目標識別等多

尤其是彩色噪聲部分讓大家有深刻印象，在消除噪聲方面取得了很好的效果。2020年，蘇黎世聯(lián)邦理

項指標上都達到新的高度，因此利用機器可以發(fā)現(xiàn)更多人眼忽略的細節(jié)，找出更多隱藏的目標。

工學院（ETHZ）發(fā)表了一篇論文“ReplacingMobileCameraISPwithaSingleDeepLearning

在這種背景下，攝像機系統(tǒng)的整體設(shè)計也在從面向人眼視覺到面向機器視覺任務(wù)的系統(tǒng)進行重構(gòu)，覆Model”，其中提出一個新的算法PyNet，只需單個端到端深度學習模型，就能替代手機的ISP。它調(diào)

蓋從采集成像，圖像ISP，水印增強及編碼增強關(guān)鍵端到端環(huán)節(jié)，包括針對機器視覺特性的光學系統(tǒng)和教出的相機算法可以從一個手機移植到另一個手機上，而不必使用手機的ISP更是將AIISP推向了一個

傳感器特殊設(shè)計、針對機器視覺關(guān)注目標區(qū)域的圖像增強、編碼增強等。新的高度。如下圖是一個采用AIISP一個采用傳統(tǒng)ISP的差異。

主觀視頻圖片質(zhì)量評價

壓縮傳輸

鏡頭Sensor圖像ISP編碼

攝像機成像及評價關(guān)鍵環(huán)節(jié)

0203

面向機器視覺安防攝像機圖像質(zhì)量評測方法研究報告面向機器視覺安防攝像機圖像質(zhì)量評測方法研究報告

大家可以看出AIISP圖像效果在噪聲，顏色、清晰度等方面都有了大幅提升。但該方案的一個關(guān)鍵光譜的方式，同時獲取彩色圖像及高信噪比的紅外圖像，通過圖像融合的方式得到高質(zhì)量的彩色圖像。

問題是需要大量的AI算力及內(nèi)存帶寬。無疑，這方面芯片公司會走在前面，因為他們可以結(jié)合芯片算力紅外補光不會被人感知，從而可以做到“零光污染”。

及硬件設(shè)計實現(xiàn)ISP的部分或全部AI化，消除這些關(guān)鍵瓶頸。

綜上，在新的技術(shù)趨勢下，安防攝像機成像從只給人看到給機器看為主，同時環(huán)保無光污染也是關(guān)鍵

當然，在芯片實現(xiàn)之前，結(jié)合現(xiàn)有芯片的有限算力及內(nèi)存帶寬，很多廠商采用了降低算力及帶寬的方技術(shù)趨勢。圖像質(zhì)量評價也迫切需要對現(xiàn)有以給人主觀評價為主的進行變革，結(jié)合攝像機成像技術(shù)針對

式比如針對部分幀或針對目標ROI區(qū)域進行AI圖像增強，提升圖像效果從而提升目標識別率也有了很好給機器看制定新的評價標準體系。

的實踐。

1.2圖像質(zhì)量評價體系的演進

1.1.3高質(zhì)量成像與環(huán)保無光污染兼顧

在監(jiān)控攝像機行業(yè)的圖像評測領(lǐng)域，近年主要使用的行業(yè)標準為《GA/T1127-2013安全防范視頻

最近幾年，隨著人們對于環(huán)保要求越來越高，越來越多的人注意到身邊的監(jiān)控攝像機，特別是因為夜監(jiān)控攝像機通用技術(shù)要求》和《GA/T1128-2013安全防范視頻監(jiān)控高清晰度攝像機測量方法》，里面

間的光污染問題會導致人們的反感。為了獲得高質(zhì)量的圖像質(zhì)量，攝像機需要配備足夠強的補光燈，但對圖像測試主要包括分辨力、圖像尺寸、最大亮度鑒別等級、最低可用照度、照度適應(yīng)范圍、亮度信號

在夜間的黑暗背景下人眼對強光非常敏感，運動進入監(jiān)控拍攝范圍時因為適應(yīng)時間不夠，會引起明顯不適，信噪比、色彩還原誤差等。這些指標主要是直接計算一些特定的物理參數(shù)。通常是在較好的光照下，對

甚至會產(chǎn)生眩暈和短時致盲，威脅人身健康和道路安全。二維圖卡進行測試分析。這種方式與實際場景的光照、拍攝對象都不相符，不能很好地反映真實使用場

景下的圖像質(zhì)量。同時也不能反映機器視覺角度的圖像質(zhì)量。特別地，很多安防攝像機針對目標如人臉、

車、車牌等重點進行圖像質(zhì)量增強，按照傳統(tǒng)圖卡等方式無法真實評價。

很多讀者會問，安防攝像機能否采用手機領(lǐng)域的DXO標準來評價。我們知道Dxomark按照視覺感

知模型對成像評價指標權(quán)重進行設(shè)定，評價體系中還加入部分主觀評測分數(shù)，給人看為主而不是機器看。

同時其評價對象手機拍攝的主要目標和安防攝像機的目標要求也存在很大差異。

其實，結(jié)合機器視覺任務(wù)進行圖像質(zhì)量評價最近幾年也在快速成熟。大家知道在自動駕駛領(lǐng)域，業(yè)

界開始制定圖像質(zhì)量的主觀和客觀測試方法，即給人看和給機器看的標準體系。國際電氣電子工程師學

會在2018年發(fā)布白皮書《IEEEP2020AutomotiveImagingWhitePaper》，分為給人看的標準IQ

forviewingstandard和給機器看的標準IQforComputervisionstandards。在給機器看的標準里，

建議將圖像采集系統(tǒng)作為一個整體來評價。當前針對機器視覺考慮的KPI評價指標包括基于檢出目標物

的評價Contrastdetectionprobability(CDP)和基于顏色區(qū)分度的評價Colorseparationprobability

(CSP)。

夜間光污染嚴重750nm補光也存在一定光污染

針對安防關(guān)鍵應(yīng)用場景，結(jié)合機器視覺任務(wù)進行圖像質(zhì)量評價是當前的一個關(guān)鍵方向。

針對強烈的用戶需求，攝像機行業(yè)也在快速推出相應(yīng)的技術(shù)。總結(jié)起來有這么四種：一是部分攝像機

改進補光方式，通過頻閃補光、脈沖補光、補光透鏡優(yōu)化等方式減少同量級補光下對人眼的刺激程度；

二是攝像機通過大光圈加高感度sensor來實現(xiàn)；三是部分攝像機通過AI來提升圖像質(zhì)量；四是采用多

0405

面向機器視覺安防攝像機圖像質(zhì)量評測方法研究報告面向機器視覺安防攝像機圖像質(zhì)量評測方法研究報告

1.3面向機器視覺任務(wù)的圖像質(zhì)量評價概述量最差的圖像類內(nèi)相似度最低（紅色曲線）。因此，采用類內(nèi)圖像對的相似度能夠?qū)D像樣本質(zhì)量做較

好的區(qū)分。

研究面向機器視覺任務(wù)的圖像質(zhì)量評價方法，對改進面向特定機器視覺任務(wù)的成像能力，有著非常重

要的作用和指導價值。不同的機器視覺任務(wù)對圖像質(zhì)量的要求各有側(cè)重，如人臉識別任務(wù)，對圖像的清

晰度，對比度等有較高的要求，對顏色偏差等要求相對較低；而行人再識別任務(wù)，則對圖像的顏色表達

的準確性具有較高的需求。

本文重點研究面向人臉識別任務(wù)的圖像質(zhì)量評價方法。

我們知道，人臉識別性能容易受到光照、姿態(tài)、表情、分辨率、遮擋，年齡等因素的影響[1]。這些

因素可以分為內(nèi)部因素和外部因素。內(nèi)部因素是指人臉生理變化產(chǎn)生的圖像差異，如年齡變化等；外部

因素與環(huán)境交互有關(guān)，如光照、姿態(tài)、表情等；根據(jù)與攝像機成像能力的關(guān)系，又可以進一步將外部因

素分為與攝像機成像能力相關(guān)和不相關(guān)的因素，如光照、分辨率、清晰度等與攝像機成像能力直接相關(guān)，

圖1.1不同質(zhì)量的類內(nèi)樣本相似度分布（左）和類間樣本相似度分布（右），摘自文獻[4]

而姿態(tài)、遮擋等因素，更多的是與人臉與攝像機的相對位置有關(guān)，與攝像機成像能力關(guān)聯(lián)并不緊密。本

文旨在研究面向機器視覺任務(wù)的攝像機成像能力，因此重點考慮與攝像機成像能力直接相關(guān)的質(zhì)量因素

（如清晰度、噪聲、亮度、色彩飽和度等），而忽略其他外部因素的影響。

人臉圖像相似度是進行人臉識別任務(wù)的重要依據(jù)。粗略來說，人臉圖像相似度可認為由兩部分組成，

一是人臉身份的相似度，二是圖像質(zhì)量的相似度（見公式1-1）。

其中S(I1,I2)是圖像I1和I2的整體相似度（即人臉識別任務(wù)的相似度），Sid(I1,I2)是圖像I1和I2

的身份信息相似度，Squality(I1,I2)是圖像I1和I2的質(zhì)量相似度。由于我們評價的是圖像質(zhì)量，那么采用人

臉相似度評價與圖像質(zhì)量評價是否等價呢？當兩張人臉圖像身份越相似，圖像質(zhì)量越相似，則整體相似

度越高。當兩張圖像來自于同一個人的時候，Squality(I1,I2)為1，此時S(I1,I2)=Squality(I1,I2)，即圖像識

別任務(wù)相似度與圖像質(zhì)量相似度一致。因此，若采用圖像整體相似度對類內(nèi)樣本（即圖像來自于同一個人）

的質(zhì)量相似度進行描述，即可保證圖像質(zhì)量評價與圖像識別任務(wù)的一致性，實現(xiàn)面向機器視覺任務(wù)的圖

像質(zhì)量評價方法。

Bowyer等人[4]對不同質(zhì)量圖像對的相似度分數(shù)進行了統(tǒng)計分析。如圖1.1所示，圖中橫坐標是圖

像對的相似度，縱坐標表示的樣本出現(xiàn)概率。從右圖中可以看出，類間相似度都比較低，且不同質(zhì)量的

圖像對類間相似度分布并無明顯差別。而不同質(zhì)量圖像的類內(nèi)相似度分數(shù)則有明顯的差異（如左圖所示）。

質(zhì)量高的圖像類內(nèi)相似度相對較高（綠色曲線），質(zhì)量差的圖像類內(nèi)相似度相對偏低（藍色曲線），質(zhì)

0607

面向機器視覺安防攝像機圖像質(zhì)量評測方法研究報告面向機器視覺安防攝像機圖像質(zhì)量評測方法研究報告

1）使用ArcFace開源人臉識別模型，計算目標圖像的人臉特征向量。

面向機器視覺的圖像2）按公式（2-1）計算待評價目標圖像與對應(yīng)參考目標圖像的人臉特征相似度S。對應(yīng)參考目標圖

2質(zhì)量評價及分析方法像是指與待評價目標圖像拍攝時位置最接近的參考目標圖像。

式中：

常見的圖像質(zhì)量評價方法可以分為全參考方法、半?yún)⒖挤椒ê蜔o參考方法[6]。文獻[4]中指出，人

ε1——表示對應(yīng)參考目標圖像的人臉特征

臉圖像質(zhì)量差異來自于圖像對，而非單張圖像本身，而本方法需要對單張人臉圖像質(zhì)量進行打分。借鑒

全參考方法，提出一種類全參考的圖像質(zhì)量評價方法，引入標準參考圖像，將待評價圖像質(zhì)量與標準參ε2——表示待評價目標圖像的人臉特征

考圖像作比較，得到該圖像的質(zhì)量評價分數(shù)，將圖像對的差異轉(zhuǎn)換成單張圖像的質(zhì)量評價。因標準參考

需要說明的是，人臉識別算法存在距離不對齊問題。也就是說，系統(tǒng)對有些人的人臉特征學習得很好，

圖像與待評價圖像不是嚴格逐像素對齊，為與全參考方法做區(qū)別，故稱之為“類全參考方法”。

所以類間距很小，而對于那些學得不太好的人，類間距就會很大。為了減小波動，提升用戶體驗，在實踐上，

本方法拍攝畫面包含多張人臉圖像，因此需要從拍攝圖像中摳取所需人臉圖像作為評價時的目標圖像。需要結(jié)合誤報率指標進行距離修正，降低方差，從而顯著的提升識別算法的準確度。

圖2.1為人臉目標圖像示例。

2.2圖像質(zhì)量分析維度

基于類內(nèi)人臉特征相似度的評價方法由于神經(jīng)網(wǎng)絡(luò)的黑盒特點，其評價結(jié)果很難對圖像質(zhì)量調(diào)優(yōu)起到

指導意義，這個也是AI領(lǐng)域的關(guān)鍵挑戰(zhàn)之一。在本文中我們嘗試結(jié)合常用圖像質(zhì)量評價因子對圖像質(zhì)量

進行更細粒度的分析，并與基于類內(nèi)人臉特征相似度的評價方式關(guān)聯(lián)，從而對圖像質(zhì)量調(diào)測提供一定意

義上的指導。

在圖像質(zhì)量指標的選擇上，公安行業(yè)標準《安全防范人臉識別應(yīng)用靜態(tài)人臉圖像采集規(guī)范》一文中

指出“要求圖像清晰，五官及面部輪廓無明顯畸變，無明顯陰影，膚色呈自然真實色調(diào)”，并對色彩、

圖2.1人臉目標圖像示意圖

亮度和銳度處理提出了要求。公安行業(yè)標準《安防人臉識別應(yīng)用系統(tǒng)第2部分：人臉圖像數(shù)據(jù)》中對人

臉圖像臉部區(qū)域作出了如下要求：“人臉完整、輪廓清晰、人臉長寬比例不失真，光照均勻且無陰影”。

2.1整體質(zhì)量評價

Karahan等人[2]在《HowImageDegradationsAffectDeepCNN-basedFaceRecognition?》

如第一章所述，本方法采用人臉識別任務(wù)的類內(nèi)人臉特征相似度分數(shù)作為圖像整體質(zhì)量評價基礎(chǔ)。計

一文中從圖像清晰度、噪聲、遮擋、顏色失真等方面研究圖像退化對人臉識別性能的影響。Abhishek

算待評價圖像與參考圖像的人臉特征相似度，即得到待評價圖像的整體質(zhì)量評價。

Dutta等人[3]從人臉姿態(tài)、高斯噪聲和運動模糊角度研究了圖像質(zhì)量對識別分數(shù)的影響。

各種人臉識別算法由于訓練數(shù)據(jù)分布、權(quán)重選擇等各方面原因，其對于同一副圖像評價也不同，和人

從攝像機成像能力角度來看，清晰度，噪聲和顏色是三個最受關(guān)注的質(zhì)量維度。基于這三個維度進行

主觀評價類似也有算法自己的評價喜好。實操上，建議結(jié)合幾家的算法一起對圖像進行評價，相對客觀。

細化，提出6個質(zhì)量指標進行分析，包括清晰度、噪聲、對比度、亮度、色彩還原、色彩飽和度，給出

ArcFace開源人臉識別算法[7]是最近業(yè)界比較好的開源算法，本文采用它來計算人臉特征相似度進行

各單項的質(zhì)量評價及與整體質(zhì)量的相關(guān)度，用于指導調(diào)優(yōu)。

演示說明，評測步驟如下：

0809

面向機器視覺安防攝像機圖像質(zhì)量評測方法研究報告面向機器視覺安防攝像機圖像質(zhì)量評測方法研究報告

質(zhì)量指標計算時對圖像局部信息比較敏感，而不同次拍攝時人臉在圖像中的相對位置有差異，取人臉Fs——表示參考目標圖像的清晰度

圖像時容易出現(xiàn)偏差。因此，通過人臉識別模型找到人臉五點位置，利用五點位置摳取出人臉五點區(qū)域，

Ft——表示待評價目標圖像的清晰度

從而保證待評價目標圖像與對應(yīng)參考目標圖像的評測范圍對齊。圖2.2為目標圖像五點區(qū)域示例。

Sc1——表示待評價目標圖像的清晰度分數(shù)

清晰度由高到低的圖像示例如下：

圖2.2目標圖像五點區(qū)域示意圖

下文詳細列出6種細分圖像指標的計算方法。圖3.3不同清晰度水平圖像示例

2.2.1清晰度2.2.2噪聲

按如下步驟計算：

按如下步驟計算：

a）根據(jù)人臉五點位置尋找到人眼上方的額頭平滑區(qū)域，將該區(qū)域轉(zhuǎn)換為灰度圖，在灰度空間上計算

a）將目標圖像五點區(qū)域轉(zhuǎn)換為灰度圖，在灰度空間上計算清晰度：

噪聲水平：

式中：

R(x,y)——表示目標圖像五點區(qū)域第x行第y列的像素值式中：

R'(x,y)——表示目標圖像五點區(qū)域高斯低通濾波結(jié)果中第x行第y列的像素值R(x,y)——表示目標圖像五點區(qū)域第x行第y列的像素值

W,H——表示目標圖像五點區(qū)域的寬、高Av——表示目標圖像五點區(qū)域的均值

F——表示目標圖像的清晰度W,H——表示目標圖像五點區(qū)域的寬、高

b）用公式（2-3）計算待評價目標圖像相對于參考目標圖像的清晰度分數(shù)：N——表示目標圖像噪聲水平

（2-3）b）用公式（2-6）計算待評價目標圖像相對于參考目標圖像的噪聲分數(shù)：

式中：

1011

面向機器視覺安防攝像機圖像質(zhì)量評測方法研究報告面向機器視覺安防攝像機圖像質(zhì)量評測方法研究報告

式中：式中：

Ns——表示參考目標圖像的噪聲水平R(x,y)——表示目標圖像五點區(qū)域第x行y列的灰度值

Nt——表示待評價目標圖像的噪聲水平W,H——表示目標圖像五點區(qū)域的寬、高

Nth——表示預設(shè)的噪聲閾值D1con——表示目標圖像五點區(qū)域與其灰度均值求差后，保留差值圖中的正數(shù)值，將負數(shù)值取零的結(jié)果

2

Sc——表示待評價目標圖像的噪聲分數(shù)D2con——表示目標圖像五點區(qū)域與其灰度均值求差后，將差值圖中的正數(shù)值取零，將負數(shù)值取絕對

值的結(jié)果

噪聲由低到高的圖像示例如下：

AvD1、AvD1——表示D1con、D2con的圖像均值

b）用公式（2-12）計算待評價目標圖像相對于參考目標圖像的對比度分數(shù)：

式中：

Cons——表示參考圖像的對比度

圖3.4不同噪聲水平圖像示例

Cont——表示待評價圖像的對比度

2.2.3對比度

Sc3——表示待評價圖像的對比度分數(shù)

按如下步驟計算：

對比度由高到底的圖像示例如下：

a）將目標圖像五點區(qū)域轉(zhuǎn)換為灰度圖，在灰度空間上計算對比度：

圖2.5不同對比度水平圖像示例

1213

面向機器視覺安防攝像機圖像質(zhì)量評測方法研究報告面向機器視覺安防攝像機圖像質(zhì)量評測方法研究報告

2.2.4亮度2.2.5色彩還原

按如下步驟計算：將目標圖像五點區(qū)域轉(zhuǎn)到CIELAB色彩空間，并將該圖均分為8×8個區(qū)塊，計算色彩還原分數(shù)：

a）將目標圖像五點區(qū)域轉(zhuǎn)換為灰度圖，并將該圖均分為8×8個區(qū)塊，在灰度空間上計算亮度：

式中：式中：

W,H——表示目標圖像五點區(qū)域的寬、高s

Li——表示參考目標圖像五點區(qū)域第i個區(qū)塊的L分量均值

Ri(x,y)——表示目標圖像五點區(qū)域第i區(qū)塊第x行第y列的像素值t

Li——表示待評價目標圖像五點區(qū)域第i個區(qū)塊的L分量均值

Lti——表示目標圖像五點區(qū)域第i區(qū)塊的亮度均值s

Ai——表示參考目標圖像五點區(qū)域第i個區(qū)塊的A分量均值

b）用公式（2-14）計算待評價目標圖像相對于參考目標圖像的亮度分數(shù)：t

Ai——表示待評價目標圖像五點區(qū)域第i個區(qū)塊的A分量均值

s

Bi——表示參考目標圖像五點區(qū)域第i個區(qū)塊的B分量均值

式中：t

Bi——表示待評價目標圖像五點區(qū)域第i個區(qū)塊的B分量均值

s

Lti——表示參考目標圖像五點區(qū)域第i區(qū)塊的亮度

?Ei——表示待評價目標圖像五點區(qū)域第i個區(qū)塊的色彩還原分數(shù)

t

Lti——表示待評價目標圖像五點區(qū)域第i區(qū)塊的亮度

Sc5——表示待評價目標圖像的色彩還原分數(shù)

Sc4——表示待評價目標圖像的亮度分數(shù)

色彩還原由高到低的圖像示例如下：

亮度由高到低的圖像示例如下：

圖2.6不同亮度水平圖像示例圖2.7不同色彩還原水平圖像示例

1415

面向機器視覺安防攝像機圖像質(zhì)量評測方法研究報告