圖像質(zhì)量評價：從誤差的能見性到結(jié)構相似性

1、圖像質(zhì)量評估：從誤差的可見性到結(jié)構相似性Zhou Wang, Member, IEEE Alan Conrad Bovik, Fellow, IEEE Hamid Rahim Sheikh,Student Member, IEEEand Eero P. Simoncelli, Senior Member, IEEE摘要我們評估視覺圖像質(zhì)量的傳統(tǒng)方法是去量化可見的誤差，這個誤差評估是在失真圖 像和采用了人類視覺系統(tǒng)特性的參考圖像之間進行的。在我們的假設中，人類視覺視覺 系統(tǒng)非常容易從一個場景中提取結(jié)構信息，因此我們引入了一種替代互補架構，用來對 結(jié)構信息的退化進行質(zhì)量評估。作為此概念的一個實例，

2、我們引入結(jié)構相似度指數(shù)（Structural Similarity Index），然后用一組直觀的例子證明它，同時把SSI與主觀評級和圖像數(shù)據(jù)庫先進客觀算法作了比較，該數(shù)據(jù)庫是基于JPEG和JPEG2000壓縮技 術的。索引詞一誤差靈敏度，人類視覺系統(tǒng)（HVS），圖像編碼，圖像質(zhì)量評估，JPEG，JPEG2000，視覺質(zhì)量，結(jié)構信息，結(jié)構相似度（SSIM）。1、介紹數(shù)字圖像在采集、處理、壓縮、存儲、傳輸和再現(xiàn)過程中會產(chǎn)生各種各樣的失真， 其中任何一個都可能導致視覺質(zhì)量的退化。為了使圖像最終能夠被人類看懂，唯一正確 的視覺圖像質(zhì)量量化方法就是主觀評估。然而在實踐中，主觀評估通常不太方便，不但 耗

3、時，而且昂貴。我們對客觀圖像質(zhì)量評估進行研究的目的，是想開發(fā)一種能自動預測 圖像質(zhì)量的量化指標?？陀^圖像質(zhì)量指標可以在圖像處理應用中扮演各種角色。首先，它可以用于動態(tài)監(jiān) 測和評估圖像質(zhì)量。例如，一個網(wǎng)絡數(shù)字視頻服務器可以檢測傳輸視頻的質(zhì)量，來控制 和分配媒體流資源。其次，它可以用來優(yōu)化圖像處理系統(tǒng)參數(shù)和算法。例如，在視覺傳 輸系統(tǒng)中，質(zhì)量指標可以在預濾波器的優(yōu)化設計，編碼器中的比特分配算法，誤差隱藏 解碼器中的后濾波算法幾個方面提供幫助。第三，客觀圖像質(zhì)量指標可用于基準圖像處 理系統(tǒng)和算法中。我們可以用原始圖像與失真圖像做比較，然后用比較之后圖像的可用性來對客觀圖 像質(zhì)量指標來進行分類?，F(xiàn)有的

4、大多數(shù)方法都可以稱為全參考評估方法，這意味我們把一個完整的參考圖像認為是已知的。然而在許多實際應用中，參考圖像是不可用的，我 們迫切需要一個不需參考或“盲目”的質(zhì)量評估方法。在一部分方法中，參考圖像僅是部 分可用的，以提取特征作為邊緣信息，來協(xié)助評估失真的圖像的質(zhì)量。這種方法被稱為 部分參考評估方法，本文重點研究的是全參考圖像質(zhì)量評估。最簡單和最廣泛使用的全參考質(zhì)量指標是均方誤差（MSE），均方誤差可以通過對 圖像失真程度的不同和參考圖像的像素取均方來得到，還隨著峰值信噪比（PSNR）的 相關量而改變的。它們計算很簡單，有明確的物理意義，并且可以在數(shù)學上進行優(yōu)化， 但是不能很好和視覺視覺質(zhì)量相

5、匹配。在過去的三年中，人們在利用人類視覺系統(tǒng)（HVS）的特性改進質(zhì)量評估算法方面花了很大的經(jīng)歷。人們提出的大多數(shù)視覺質(zhì)量評 估模型都遵循校正MSE算法，這樣可以將誤差的能見度作為判定標準。第二部分總結(jié) 了這種誤差靈敏度的類型，并討論了其難點和局限性。在第三節(jié)中，我們描述了一個新 的質(zhì)量評估范式，該范式是基于人類視覺系統(tǒng)高度適合提取結(jié)構信息這一假設的。作為 一個實例，我們定義了一種測量結(jié)構相似度（SSIM）方法，該方法通過比較局部像素 的強度來進行測量，并且像素已經(jīng)在亮度和對比度進行了標準化。在第四節(jié)中，我們比 較不同質(zhì)量評估模型的試驗結(jié)果和一組主觀評級由344個圖像構成的數(shù)據(jù)庫，該數(shù)據(jù)庫 是基

6、于JPEG和JPEG2000圖像壓縮的。II、基于誤差靈敏度的圖像質(zhì)量評估算法一個圖像信號可以看作是未失真的基準信號和誤差信號之和。我們大量采用的假設 是，視覺質(zhì)量的損耗與誤差信號的可見性是直接相關的。均方誤差MSE）是實現(xiàn)這個 概念的最簡單方法，MSE能夠客觀量化信號強度的差值。但是兩個具有相同MSE的失 真圖像也可能有不同類型的誤差，其中一些比另一些的誤差明顯的多。在文獻中有一種 最貼合視覺性的圖像質(zhì)量評估方法，該方法嘗試根據(jù)誤差信號的可見度來衡量誤差信號 的不同方面，并且通過人類的心理測量或者動物生理學來確定。這種方法是Mannos和 Sakrison首創(chuàng)，并且已經(jīng)被其他研究人員發(fā)展。R

7、eference signal +Distorted .signalPreprocessing CSF FilteringA*ChannelDecompositionEro NormalizationErro PoolingQuality/ a DistorticinMeasureFig. L A protolypica quality assessment system based on error sensitivity. Noie thaL the CSF feature can be implemented either as a separate stage (as shown) o

8、r within tlError Normalzation.A.總體架構圖1說明了一個通用的圖像質(zhì)量評估框架，該框架是基于誤差靈敏度的。大多數(shù)視覺質(zhì)量評估模型可以用一個類似的圖來描述，雖然它們的細節(jié)不同。預處理：這個階段通常執(zhí)行各種基本的操作，將圖片消除已知的失真。首先，失真 信號和基準信號應該正確的壓縮和匹配。第二，信號可能被轉(zhuǎn)化為成色彩空間，這 樣對視覺更為適合。第三，質(zhì)量評估指數(shù)可能需要改變數(shù)字像素的值，將數(shù)字像素 的值通過非線性變換變成可以在顯示器上的顯示的亮度值。第四，我們可以使用一 個濾波器，該濾波器能夠模擬眼視光學的差分函數(shù)。最后，我們可以通過非線性點 運算來模擬眼睛的光適應，來

9、修改基準圖像和失真圖像。CSF濾波：對比敏感度函數(shù)（CSF）描述了在不同的空間頻率和時間頻率上，人眼 在視覺激勵中的敏感性。有些圖像質(zhì)量指數(shù)包含了一個部分，該部分根據(jù)這個函數(shù) 定義信號的權重（通常使用接近的CSF的頻率響應的線性濾波器）。許多最近提出的指數(shù)都選擇CSF作為信道分解后判定靈敏度基準的標準化因子。信道分解：圖像信號通常被分離到次頻帶，在次頻帶中可以有選擇性的識別時間頻 率，空間頻率和空間方向。其他質(zhì)量評估算法，實現(xiàn)復雜信道分解，他們認為信道 分解和視覺皮層的神經(jīng)反應密切相關，許多指數(shù)使用簡單的變換，如離散余弦變換（DCT），可分離小波變換，時間頻率的信道分解也被用來進行視頻質(zhì)量評估

10、。 誤差標準化：在每個信道中，基準信號和失真信號之間的誤差，根據(jù)一定的掩蔽模 型進行計算和標準化?？紤]到這樣的事實，在臨近的空間位置，時間位置，空間頻 率和空間方向上，一個圖像分量的存在會降低另一個圖像分量的可見性。標準化機 制用空間自適應的視覺閾來衡量信道中的誤差信號。每個點的視覺閾是基于一個鄰 域內(nèi)基準信號和失真信號的強度，以及該信道的基礎靈敏度來計算的。標準化過程 的目的是將誤差轉(zhuǎn)換成最小可覺差JND）單元。誤差合并：所有圖像質(zhì)量指指數(shù)的最后一步，在圖像的空間幅度上合并標準化誤差 信號，并且通過不同的信道轉(zhuǎn)換成單一的值。對于大多數(shù)質(zhì)量評估算法，誤差合并 通常采取閔可夫斯基規(guī)范如下：1E（

11、e, k）=（注e P）P i k et,k是第l信道中第k個系數(shù)的標準誤差，0是一個1和4之間常數(shù)。閔可夫斯 基合并可以表現(xiàn)在空間上（指數(shù)k），然后在頻率上（指數(shù)l），或反之亦然，具 有一定的非線性，或可能與不同的指數(shù)0。空間圖表明不同區(qū)域的相對重要性也 可用于提供空間移變加權。B.局限性誤差靈敏度算法的基本原理是，估計視覺質(zhì)量最好的方法，就是量化誤差的可見性。這是早期模擬人類視覺系統(tǒng)（HVS）時完成的功能特性。雖然這種自底向上的方法的問 題已經(jīng)被普遍接受了，重要的是要認識到它的局限性。特別是，人類視覺系統(tǒng)（HVS） 是一個復雜的、高度非線性的系統(tǒng)，但大多數(shù)早期視覺模型是基于線性和擬線性算子

12、， 通過簡單和有限的激勵。因此，誤差靈敏度算法需要一系列的強假設和強概化。質(zhì)量定義問題：傳統(tǒng)方法的最基本的問題是圖像質(zhì)量的定義。特別是，它是不明確 的，誤差的可見性應該等同于圖像質(zhì)量的損耗，因為一些失真雖然清晰可見，但并 不是那么有異議。一個明顯的例子是一個基于全局比例因子的圖像強度乘法。在29 的研究還表明，圖像保真度和圖像質(zhì)量之間的相關性是只能是一定的。超閾值問題：許多基于誤差靈敏度模型的基礎上的心理物理學實驗，專門來估計閾 值，看看那種激勵幾乎無法看見。這些測得的閾值然后被用于確定視覺誤差靈敏度 的方法，例如在CSF和掩蔽效應中。然而，很少有心理物理學研究表明，近閾模型是否可以推廣到視覺

13、表現(xiàn)失真顯著超過閾值的情況。在超閾值范圍，不同信道間 的相關視覺失真可以通過可見性閾值標準化嗎？最近有研究寫出，結(jié)合超閾值心理 物理學分析圖像失真。自然圖像復雜度問題：大多數(shù)心理物理實驗是用相對簡單的方式進行的，例如斑點， 正弦光柵。例如，CSF通常由使用全局正弦圖像的閾值實驗獲得。掩蔽效應通常特 征在于使用兩個（或者幾個）不同的圖案的疊加。但是所有這樣的圖案是比真實世 界圖像簡單的多的，真實世界可以看作是簡單圖案的超大量疊加。幾個簡單模式之 間的相互作用的模型是否能夠評估幾十或幾百個模式之間的相互作用？這個簡單 激勵實驗是否有效去建立一個模型來預測復雜結(jié)構的自然圖像的視覺質(zhì)量？ 去相關問題：

14、當一個人選擇使用一個閔可夫斯基度量空間集中的誤差，一個是隱含 的假設，在不同的位置的誤差是統(tǒng)計獨立。這將是真實的，如果處理之前，池消除 依賴于輸入信號。然而，這是不是線性信道分解方法，如小波變換的情況下。它已 被證明是一個強大的依賴關系之間存在的自然圖像的幀內(nèi)和幀間的小波系數(shù)36 ，37 。事實上，國家的最先進的小波圖像壓縮技術，實現(xiàn)他們的成功，利用這種強 烈的依賴38 - 41 。心理學上，各種視覺掩蔽模型已被用來解釋之間的相互作用 系數(shù)2 ， 42 。據(jù)統(tǒng)計，它已被證明，一個精心設計的非線性增益控制模型，在 該模型中，參數(shù)進行了優(yōu)化，以減少依賴關系，而不是從掩蔽實驗擬合數(shù)據(jù)，可以 大大減少

15、的依賴關系的變換系數(shù)43 ， 44 。在45 ， 46 ，它表明，優(yōu)化設計 的轉(zhuǎn)換和屏蔽模型可以減少統(tǒng)計和感性的依賴。它仍然可以看到多少這些模型可以 提高性能的電流質(zhì)量評估算法。 認知互動問題。認知理解和互動視覺處理（如眼睛運動）對圖像的視覺質(zhì)量有廣泛 的影響，這一認識是眾所周知的。例如，一個人類的觀察者會給不同的質(zhì)量分數(shù)相 同的圖像，如果他/他/他提供不同的說明4 ， 30 。以前的有關圖像內(nèi)容，或關 注和固定的信息，也可能會影響到圖像質(zhì)量的評估4 ， 47 。但大多數(shù)圖像質(zhì)量 指標不考慮這些影響，因為它們很難量化，而不是很好理解。III、基于結(jié)構相似度的圖像質(zhì)量評估自然圖像信號是高度結(jié)構化

16、的：它們的像素表現(xiàn)出強烈的依賴關系，特別是當它們 是空間上接近的時候，這些依賴關系攜帶在視覺場景中目標結(jié)構的重要信息。閔可夫斯 基誤差指數(shù)是各個點信號的差異為基礎的，這是獨立于底層的信號結(jié)構。雖然大多數(shù)質(zhì) 量測量是基于誤差靈敏度，使用線性變換分解圖像信號，但這些不會清除強烈的依賴關 系，如討論的前一節(jié)。我們的新方法的動機是找到一個更直接的方式來比較基準信號的 結(jié)構和失真信號。A、新理論在6 和9 中，作者提出了一個圖像質(zhì)量測量的新框架，基于這種假設，人類視覺系統(tǒng)（HVS）是非常適合從視覺領域中提取結(jié)構信息。它遵循，測量結(jié)構信息變化，可以提供很好的視覺圖像失真近似值。我們可以通過與誤差靈敏度算法

17、的比較進行理 解。第一，誤差靈敏度算法通過估計視覺誤差來量化視覺圖像失真，而新理論中圖像退化是因為結(jié)構信息變化中的視覺變化引起的。圖2中列舉了一個例子，原本的船圖像有著不同程度的失真，每次校準都期望產(chǎn)生和原來圖像相同的MSE （均方誤差）。盡管這樣，這鞋圖像仍然可以看出顯著不同的視覺質(zhì)量。通過誤差靈敏度算法，很難解釋為 什么對比度拉伸圖像有非常高的圖像質(zhì)量，考慮到他們和基準圖像的視覺差異是如此的 明顯。但這個現(xiàn)象在新理論中可以很好的解讀，因為參考圖像所有的結(jié)構信息都是存儲 著的，在這個意義上，原始信息幾乎通過一個簡單的逐點逆線性亮度變換算法完全恢復（除非是非常亮或非常暗的飽和區(qū)域）。另一方面，

18、原始圖像中的一些結(jié)構信息永久丟失在JPEG壓縮和圖像模糊中，因此他們應該得到比對比度拉伸圖像和均值漂移圖像更 低的品質(zhì)分數(shù)。第二，誤差靈敏度范式是一種自下而上的方法，模擬相關HVS （人類視覺系統(tǒng)）中的 早期組件的功能。這種新范式是一種自上而下的方法，可以虛擬所有HVS （人類視覺系 統(tǒng)）的功能。一方面，避免了在上一節(jié)中提到的超閾值的問題，因為它不依賴心理物理學閾限 去量化視覺失真。另一方面，在一定程度上也減少了認知的交互問題，因為測量觀察對 象的結(jié)構，被認為是整個視覺觀察過程的目的，包括高層和交互過程。第三，自然圖像的復雜性及其相關的問題也在一定程度上得到避免，因為新理論并 不試圖預測圖像質(zhì)

19、量，通過對心理物理簡模式相關誤差的累積。相反，新理論，提出了 一個從兩種復雜結(jié)構信號中直接提取結(jié)果信息變化的方法。B、SSIM （結(jié)構相似度）指標我們做了一個從圖像形成的角度測量SSIM (結(jié)構相似度)質(zhì)量的一個具體例子。以前的實例，這種方法是在6 - 8 和可喜的成果，實現(xiàn)了簡單的測試。在本文中，我 們推廣了該算法，并提供了更廣泛的驗證結(jié)果。觀察物體表面的亮度是光照和反射的產(chǎn)物，但在現(xiàn)實場景中的物體的結(jié)構信息是獨 立于亮度的。因此，想要得到圖像中的結(jié)構信息，我們希望分離光照的影響。我們定義 的圖像中的結(jié)構信息，是提供場景中圖像的機構信息的屬性，獨立的平均亮度和對比度。 由于亮度和對比度可以在

20、一個場景中變化，我們使用我們的定義的本地亮度和對比度。我們所提出的質(zhì)量評估系統(tǒng)如圖3所示。假設x和丁是2個非負的圖像信號，并 且是彼此一致的。如果我們認為其中一個信號具有完美的質(zhì)量，那么測量相似度可以作 為測量第二個信號的一個定量測量方法。將相似性度量的任務分為三個比較：亮度、對 比度和結(jié)構信息。首先，比較每個信號的亮度值。假設一個離散信號，下式是該信號平 均強度估計值：i yn 乙x (2)x N ii=1亮度比較函數(shù)l(x, y)是一個n x，n y的函數(shù)。其次，我們從信號中去除平均強度。在離散形式中，產(chǎn)生的信號x n x對應向量 x的投影在超平面上，該超平面定義：x = 0(3)ii=1

21、我們使用標準差(方差的平方根)作為信號對比度的估計值，無偏估計的離散表達 式為：N1O =(-工(x N )2)2(4)x N 1 i xi=1對比度表達式c(X, y)則是 x和 y的比較。第三，信號由本身的標準差標準化，這樣相比的兩個信號有單位標準差。結(jié)構比較 式 S (x, y )由(x N)/ 和(y N)/ 定義最后，三個部分組合在一起形成了相似度測量公式:S (%, y) = f (l (x, y), c (x, y), s (x, y)這三個部分是相互獨立的。例如，亮度或?qū)Ρ榷鹊淖兓粫绊憟D像的結(jié)構。為了完成（5）中對相似度測量的定義，我們需要定義三個函數(shù)l（x，y），c（x，

22、y）， 和s（x, y），以及組合函數(shù)fG），相似度測量滿足以下條件：1)對稱性：s (x, y) =s (y, x)2)有界性：s (x, y) -13）唯一最大值：s（x,y） =1，當且僅當x二y成立。（離散表達式x.二y.，對所 有的i = 1,2,，N成立）對于亮度表達式，我們定義:(6)2從從+ C(xx，y)從 2 + j 2 + Cx y 1在這里常數(shù)C 1是不能被忽略的，因為避免當NJ + N:趨近于0時分母無意義。實 xx y際上，我們選擇C1 = (K1L )2在這里L是像素值的動態(tài)范圍（8位灰度圖像的話是255），K 1 口 1是一個非常小的常數(shù)。類似的考慮也適用于后面

23、的對比度表達式和結(jié)構表達式中。方程（6）很容易 可以看出遵守以上三個屬性。方程（6）由韋伯定律一致定性，該定律已被廣泛應用到HVS （人類視覺系統(tǒng)）的 光適應模型中（也叫亮度掩蔽）。根據(jù)韋伯定律，恰可察覺亮度變化的幅度”與背景 亮度I是成正比的。換句話說，HVS （人類視覺系統(tǒng)）對相對亮度變化是敏感的，而 不是對絕對亮度變化。讓尺表示背景亮度的亮度變化大小，我們重寫失真信號的亮度 表達式為Ny = （1+ R）Nx。將這個式子代入（6）中：(8)2(1 + R)C1 + (1 + R )2 + 二R 2如果我們假定C 1足夠小(相對來說)，就可以被忽略不計，那么l(x, y)僅僅是R x的函數(shù)

24、，與韋伯定律定性一致。對比度表達式采取類似的形式：c (x, y)= 2 x y + C聲C 2 + 2 +Cx y 2其中C2=(K2L)2，并且K21，此表達式也滿足上面的三個性質(zhì)。此表達式的一個重要特點是，有相同數(shù)值的對比度變化“ 二y x，這種措施對 于高基準對比度 x是不敏感的，相較于低級準對比度來說。這和HVS (人類視覺系統(tǒng)) 的對比度掩蔽特性一致。結(jié)構表達式在亮度差和方差標準化后給出。具體來說，我們吧兩個單位向量(x R x)/ x和(y R y)/ y和兩個圖像的結(jié)構聯(lián)系在一起，單位向量都是 中定義在超平面上的。兩者之間的相關性(內(nèi)積)是一種簡單而有效的措施去量化結(jié)構相似 度

25、。注意到(x Rx)/x和(y Ry)/y之間的相關性等效于x和y的相關系 數(shù)。因此，我們定義的結(jié)構表達式如下： xy+C3 + C(10)在亮度和對比度表達式中，我們已經(jīng)推出了分母和分子是一個很小的常數(shù)。用離散形式 表達， xy可以寫為：1 N /一 = z (x R )(y R )(11)xy N 1 i x i yi=1幾何學上，相關系數(shù)對應向量xR x和y R y之間的角度的余弦。還要注意的是， s(x, y)可以取到負的i。最后，我們合并(6)(9)(10)三個式子，給出信號x和丁之間的SSIM指數(shù) 定義：SSIM (x, y) = l(x, y)a c(x, y)B s(x, y)

26、y(12)其中a 0，P 0和Y 0，用于調(diào)整三個部分的相對重要性的參數(shù)。很容易驗 證，該定義滿足上面提到的三個性質(zhì)。為了簡化表達，我們設置a = P =丫 = 1和 C3=C2 / 2。最后得到SSIM指數(shù)的具體形式：SSIM (x,y)=Q N,:,+ C產(chǎn)，+ C J(13)(日 2 + 日 2 + C )(0 2 +O 2 + C ) x y 1 x y 2C 二 C 二 0 一在6 和7 中定義的的通用質(zhì)量指標(UQI)，是特殊情況C1 C2 0時得 到的結(jié)果，無論是x2 +日y之)還是(Ox2 +Oy2)趨近于0時，該指標都會得到不 確定的結(jié)果。SSIM指數(shù)和傳統(tǒng)質(zhì)量指數(shù)之間的關系

27、，可以在圖像部件的向量空間中進行幾何解釋。這些圖像部件可以是像素亮度，也可以是其他特征，例如線性轉(zhuǎn)換系數(shù)。圖4展示 了三個參考向量例子的等失真度曲線，其中每條曲線表達了參考圖像的局部成分。為了 說明的方便，我們只用了二維空間，但一般情況下，空間的維數(shù)應該和被比較的圖像部 件相匹配。每條曲線都提供了相對于基準圖像的一組等失真圖像。圖4(a)顯示了一 個簡單的閔可夫斯基測量的結(jié)果。每條曲線都具有相同的大小和形狀(在這里，我們假 設指數(shù)為2)。也就是說視覺距離對應歐氏距離。圖4 (b)顯示了一個閔可夫斯基度量， 不同圖像部件的權重不同。這可能是，根據(jù)對比敏感度方程計算權重，在許多模型中是 常見的。這

28、里的曲線為橢圓形，但還是大小都一樣。這些曲線都是于坐標軸對齊的，一 般來說也可以傾斜到任何固定的方向上。許多最近的模型結(jié)合對比度掩蔽的方法，具有根據(jù)信號的大小縮放等失真度曲線的效 果，如圖4(c)所示。這可能被看作是一種具有自適應性的失真度量：它不僅取決于 信號之間的差異，而且還取決于信號本身。圖4(d)顯示了一種組合的對比度掩蔽(幅 度加權)，然后由分量加權。我們所提出的方法，另一方面，分別計算兩個獨立的數(shù)量：分別是矢量長度和角度。因此，曲線將與一個極坐標系對齊。圖片4 (e)和4 (f)展示了用不同的指數(shù)計算2個例子。再次，這可能被視為一種自適應性失真度量，但不像 以前的模型，無論曲線的大

29、小還是形狀都適應于基礎信號。一些最近的模型，使用分裂 的標準化來形容的掩蔽效應也表現(xiàn)出信號相關的曲線(例如，46 ， 45 ， 48 )， C、使用SSIM評估圖像質(zhì)量對于圖像質(zhì)量評估來說，局部用SSIM指數(shù)比全局使用更加有效。首先，圖像的統(tǒng) 計特征通常是高度空間不穩(wěn)定的。第二，圖像失真，可能依賴，也可能不依賴于局部圖 像統(tǒng)計，也可能是空間可變的。第三，從觀看距離來看，只有圖像中局部區(qū)域可以被人 類高分辨率的觀察到。最后，本地化的質(zhì)量測量可以提供一個空間可變的圖像質(zhì)量圖， 該圖可以提供更多圖像質(zhì)量退化的信息，并且可以應用于某些領域。在6 和7 ，局部統(tǒng)計量N %，0 %和盯是在8義8窗口內(nèi)計算

30、的。在每一步中，局部統(tǒng)計量和SSIM都是在局部窗口內(nèi)計算的。這種方法的一個問題是，由此產(chǎn)生的SSIM圖會顯示不可取的“阻塞”像素。在本文中，我們在11x11圓形對稱高斯加權函數(shù)w - w , i -1,2,1.5的標準偏差，單位和dw尸1)。這些本地統(tǒng)計量i -1%y的估計值可以修改為: 人y -N w %(14)i -1/ N - 0%i -11 w (% N )2)2 i i %(15)N ，、，、，一、 -Z w (% N )(y N )(16)%yi i % i yi-1用這樣加窗的方法，質(zhì)量圖顯示了局部各向同性性質(zhì)。在本文中，SSIM測量使用下面的參數(shù)設置：K 1 - 0.01； K

31、2 - 0.03。這些價值觀是有些武斷，但我們發(fā)現(xiàn),在我們目前的實驗，對SSIM算法的性能對這些值的變化相當敏感。在實踐中，通常需要整幅圖像的一個整體質(zhì)量指數(shù)。我們用平均SSIM (MSSIM) 來評估圖像的整體質(zhì)量指數(shù)：MSSIM (X, Y)= _1 十 SSIM (x , y )(17)Mj jj=1其中X和Y是分別是基準圖像和失真圖像，x j和y j是第j個窗口的圖像內(nèi)容，而 M 是圖像的局部窗口的數(shù)目。根據(jù)不同的應用，也可以計算在SSIM圖不同樣本平均 權重。例如，圖像感興趣區(qū)域的圖像處理系統(tǒng)可以給不同的圖像分割區(qū)域不同的權重。 另一個例子，我們觀察到的不同的圖像紋理吸引不同程度的人

32、注視(例如，51 ， 52 )。 一個平滑變化的漏斗權重模型(例如，50 )可以用來定義權重。然而，在本文中，我 們使用均勻權重。IV、實驗結(jié)果許多圖像質(zhì)量評估算法已被證明具有相似的表現(xiàn)，在應用于來自同一原始圖像而產(chǎn) 生失真時，該失真是同類型失真(例如，JPEG壓縮)。然而，當一組圖像來源于不同 的原始圖像的時候，或者其中包括各種不同類型的失真，這些模型的有效性會顯著退化。 因此，跨圖像測試和交叉失真測試在評估圖像質(zhì)量度量的有效性上是至關重要的。應該 可以給出這樣一個例子，但在圖2中，圖像提供一個關于交叉失真性能測試的質(zhì)量評估 算法的起點。MSE和MSSIM測量結(jié)果的數(shù)字說明了。顯然，在這種情

33、況下均表現(xiàn)很差。 MSSIM值具有很好的一致性與定性的視覺外觀。A、最佳案例/最壞案例驗證我們還制定了一種更有效的方法來檢驗我們的客觀測量和視覺質(zhì)量之間的關系。從 一個失真的圖像開始，我們提高/降低MSSIM的梯度來約束乂$，目的是與原始圖像 失真保持一致。具體來說，我們重申以下兩個線性代數(shù)步驟：(1)Y f Y 士九 P(X, Y)VYMSSIM (X, Y)(2) Y - X +。E (X, Y)八其中是MSE約束的平方根，控制間隔大小，E（X, Y）是一個單位向量由下式給出定義:八E( X, Y )=Y XII Y - X II同時P(X, Y)是一個投影算子八八P (X, Y) = I

34、 - E (X, Y) E T (X, Y)1是一個恒等運算符。MSSIM是可微的，此過程收斂于該可觀測量的局部最大值/最小值。這些最佳和最壞情況下圖像的視覺檢查，隨著初始失真圖像，提供了一個失真類型 的直觀指示，被目標測量判定是最重要/不重要的。因此，它是一個方便和直接的方法， 揭示了質(zhì)量測量的視覺影像。如圖5所示，初始圖像被高斯白噪聲污染。我們可以看出，原始圖像的局部結(jié)構，非常好的保存在最優(yōu)MSSIM圖像中。另一方面，圖像結(jié)構產(chǎn)生了劇烈的改變在最差MSSIM圖像中，但是在某些情況下對比發(fā)生了扭轉(zhuǎn)。B、基于JPEG和JPEG2000圖像數(shù)據(jù)庫的測試我們比較了交叉失真和交叉圖像表現(xiàn)，對于不同的

35、質(zhì)量評估模型，基于JPEG和JPEG2000壓縮技術的圖像數(shù)據(jù)庫。二十九個24比特/像素的高分辨率RGB彩色圖像 （通常為768義512或類似大小的）使用JPEG、JPEG2000技術壓縮圖像在一個質(zhì)量水平范圍內(nèi)，共生產(chǎn)175JPEG圖像和169JPEG2000圖像。比特率分別在0.150到3.336比特/像素，和0.028到3.150比特/像素，這些比特率是非均勻選擇的，這樣會 導致主觀質(zhì)量的恰好在整個域內(nèi)均勻分布。觀看者從舒適的座位距離觀看這些圖像（止匕 距離僅適度控制，以允許的數(shù)據(jù)反映自然的觀看條件），觀看者被要求提供他們的觀感 質(zhì)量，被分為五個相等的區(qū)域標記的形容詞“壞”，“較壞o”，

36、“中等”，“好”，“優(yōu)秀”。每個由JPEG和JPEG2000壓縮的圖像分別由1320名和25名受試者觀看。受試者大多 為男性大學生。每個圖像的原始分數(shù)通過取均方值來標準化（原始分數(shù)轉(zhuǎn)化為Z積分），那么整個數(shù)據(jù)集重新調(diào)整從1到100的范圍。然后計算每個圖像的平均意見得分，在刪除異常值 之后（大多數(shù)受試者沒有異常值）。對于JPEG，JPEG2000主觀評分的平均標準差（每 個圖像），所有圖像分別為6.00，7.33,和6.65。這種圖像數(shù)據(jù)庫，連同每個圖像的 主觀評分和標準偏差已經(jīng)可以在互聯(lián)網(wǎng)上找到。每個JPEG和JPEG2000壓縮圖像的亮度分量，都是在2 2的局部窗口下降低取樣通過系數(shù)為2的M

37、SSIM （平均結(jié)構相似度）。我們的實驗與當前的數(shù)據(jù)集表明， 使用其他顏色成分并沒有顯著改變模型的表現(xiàn)，盡管這在顏色圖像質(zhì)量評估中一般認為 是不正確的。與許多其他的視覺圖像質(zhì)量評估方法，在應用該算法到數(shù)據(jù)庫中時，沒有 特別的培訓過程，因為該方法是用于通用的圖像質(zhì)量評估（相對于圖像壓縮）。圖6和7顯示了一些在不同的質(zhì)量水平圖像數(shù)據(jù)庫示例，連同他們的SSIM圖和絕對誤差圖。值得注意的是，在低比特率下的PEG和JPEG2000算法通常在圖像的細節(jié) 區(qū)域有著光滑的表征。與其他類型區(qū)相比，這些區(qū)域可能不會是最糟的，在點式差測量 方面，例如絕對誤差。然而由于圖像細節(jié)的結(jié)構信息幾乎完全失去，所以他們表現(xiàn)出較 差的視覺質(zhì)量。比較圖6（g）與圖6（j）和圖7（g），7（j），我們觀察到SSIM指 數(shù)在質(zhì)量差的區(qū)域更容易捕捉到。另外注意到圖像密集的邊緣結(jié)構例如7（c），我們 很難降低壓縮圖像的點式誤差，即使在相對高的比特率下例如7（1）。然而，壓縮圖像 提供可接受的視覺質(zhì)量如圖7（f）所示。事實上，盡管圖7（F）的視覺質(zhì)量優(yōu)于圖7（E），它的絕對誤差圖7（L）比7（K）要差，因句對誤差是由PSNR值確定的。SSIM指數(shù)圖7（h）和7（i）提供更好的視覺質(zhì)量測量一致性。用于比較的質(zhì)量評估模型（包括信噪比），眾所周知的薩諾夫模型，UQI7和MSSIM。每個模型