圖像超分辨率重建總結(jié)匯報(bào)(SRCNN)

LearningaDeepConvolutionalNetworkforImageSuper-Resolution圖像超分辨率重建-----SRCNN匯報(bào)人姓名匯報(bào)日期論文介紹它是2016年由香港中文大學(xué)湯曉歐等人將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于單張圖像超分辨率重建上。SRCNN的網(wǎng)絡(luò)結(jié)構(gòu)非常簡(jiǎn)單，SRCNN首先使用雙三次(bicubic)插值將低分辨率圖像放大成目標(biāo)尺寸，接著通過(guò)三層卷積網(wǎng)絡(luò)擬合非線性映射，最后輸出高分辨率圖像結(jié)果。本文中，作者將三層卷積的分成三個(gè)步驟(1)圖像塊的提取和特征表示，(2)特征非線性映射(3)最終的重建。Contents單擊此處添加文本具體內(nèi)容，簡(jiǎn)明扼要的闡述您的觀點(diǎn)。01、概述單擊此處添加文本具體內(nèi)容，簡(jiǎn)明扼要的闡述您的觀點(diǎn)。02、模型及訓(xùn)練單擊此處添加文本具體內(nèi)容，簡(jiǎn)明扼要的闡述您的觀點(diǎn)。03、實(shí)驗(yàn)分析概述單擊此處添加文本具體內(nèi)容，簡(jiǎn)明扼要的闡述您的觀點(diǎn)。/01SRCNN是首個(gè)使用CNN結(jié)構(gòu)（即基于深度學(xué)習(xí)）的端到端的超分辨率算法，這個(gè)相當(dāng)于什么呢？就像fasterr-cnn在目標(biāo)檢測(cè)的地位一樣，將整個(gè)算法流程用深度學(xué)習(xí)的方法實(shí)現(xiàn)了，并且效果比傳統(tǒng)多模塊集成的方法好。SRCNN流程如下:首先，輸入預(yù)處理。對(duì)輸入的低分辨率lr圖像使用bicubic算法進(jìn)行放大，放大為目標(biāo)尺寸。那么接下來(lái)算法的目標(biāo)就是將輸入的比較模糊的lr圖像，經(jīng)過(guò)卷積網(wǎng)絡(luò)的處理，得到超分辨率sr的圖像，使它盡可能與原圖的高分辨率hr圖像相似。概述SRCNN

1.我們提出了一種用于圖像超分辨率的卷積神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)直接學(xué)習(xí)低分辨率和高分辨率圖像之間的端到端映射，除了優(yōu)化之外，幾乎沒有什么預(yù)處理/后處理。2.我們建立了基于深度學(xué)習(xí)的SR方法與傳統(tǒng)的基于稀疏編碼的SR方法之間的關(guān)系。這種關(guān)系為網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)提供了指導(dǎo)。3.我們證明了深度學(xué)習(xí)在經(jīng)典的超分辨率計(jì)算機(jī)視覺問(wèn)題中是有用的，可以達(dá)到良好的質(zhì)量和速度?？偟膩?lái)說(shuō)，這項(xiàng)工作的貢獻(xiàn)主要體現(xiàn)在三個(gè)方面:模型及訓(xùn)練單擊此處添加文本具體內(nèi)容，簡(jiǎn)明扼要的闡述您的觀點(diǎn)。/02模型與訓(xùn)練SRCNN的結(jié)構(gòu)較簡(jiǎn)單,整個(gè)卷積網(wǎng)絡(luò)包括三個(gè)卷積層，甚至沒有池化和全連接層：1）對(duì)低分辨率的圖進(jìn)行卷積操作，生成n1維的featuremaps2）對(duì)n1維的featuremap進(jìn)行卷積操作生成n2維featuremaps3）對(duì)n2維的featuremaps進(jìn)行卷積生成超分辨的圖像模型與訓(xùn)練

其中n是訓(xùn)練樣本數(shù)量，即每次訓(xùn)練的樣本數(shù)量。接下來(lái)無(wú)非就是隨機(jī)梯度下降法反向傳播，網(wǎng)絡(luò)訓(xùn)練得到最終的參數(shù)P使損失L最小化，參數(shù)更新公式如下：分別對(duì)應(yīng)三個(gè)處理流程：1）提取圖像特征：從低分辨率圖像中提取多個(gè)patch圖像塊，每個(gè)塊被卷積操作表示為多維的向量（維數(shù)等于filter的數(shù)量），所有的特征向量組成特征矩陣（featuremaps）2）非線性映射：將n1維特征矩陣，通過(guò)卷積操作實(shí)現(xiàn)非線性映射，變成另一n2維特征矩陣。3）重構(gòu)圖像：等于是個(gè)反卷積的過(guò)程，將n2的特征矩陣還原為超分辨圖像模型訓(xùn)練的優(yōu)化參數(shù)是三層卷積層對(duì)應(yīng)的卷積核（w）和bias（b），參數(shù)P={W_1,W_2,W_3,b_1,b_2,b_3}。訓(xùn)練的目標(biāo)損失是最小化超分辨率圖像F(Y;P)與原高分辨率圖像X基于像素的均方誤差MSE,定義如下：稀疏編碼的SR方法證明基于稀疏編碼的SR方法可以看作是卷積神經(jīng)網(wǎng)絡(luò)。稀疏編碼的SR方法

在基于稀疏編碼的方法中，我們考慮從輸入圖像中提取一個(gè)f1×f1低分辨率的patch。這個(gè)patches減去其平均值，然后投射到一個(gè)(低分辨率)字典上。如果這個(gè)字典大小是n1，這相當(dāng)于在輸入圖像上應(yīng)用n1維的線性濾波器(f1×f1)（減去平均值的操作也可以看成是線性操作）。然后將稀疏編碼求解器應(yīng)用于投影的n1維系數(shù)。該求解器的輸出為n2維系數(shù)，在稀疏編碼的情況下，通常為n2=n1。這些n2維系數(shù)是高分辨率patches的表示。在這個(gè)意義上，稀疏編碼求解器表現(xiàn)為一個(gè)非線性映射操作。參見圖3的中間部分。然而，稀疏編碼求解器不是前饋的，即，這是一個(gè)迭代算法。相反，我們的非線性算子是完全前饋的，可以有效地計(jì)算。我們的非線性算子可以看作是一個(gè)像素級(jí)的全連通層。稀疏編碼的SR方法然后將上述n2個(gè)系數(shù)(稀疏編碼后)投影到另一個(gè)系數(shù)上(高分辨率)字典生成高分辨率patch。然后對(duì)重疊的高分辨率斑塊進(jìn)行平均。如上所述，這等價(jià)于n2維特征圖上的線性卷積。如果用于重建的高分辨率patches尺寸為f3×f3，則線性濾波器的空間支持等效為f3×f3。請(qǐng)參見圖3的右側(cè)部分。上述討論表明，基于稀疏編碼的SR方法可以看作是一種卷積神經(jīng)網(wǎng)絡(luò)(具有不同的非線性映射)。但是在基于稀疏編碼的SR方法中，并沒有考慮到所有的操作。相反，在我們的卷積神經(jīng)網(wǎng)絡(luò)中，需要優(yōu)化的濾波器都涉及到低分辨率字典、高分辨率字典、非線性映射以及均值減法和均值平均。因此，我們的方法優(yōu)化了包含所有操作的端到端映射。實(shí)驗(yàn)分析單擊此處添加文本具體內(nèi)容，簡(jiǎn)明扼要的闡述您的觀點(diǎn)。/033.1、對(duì)比卷積核大?。╢iltersize）、卷積核數(shù)量（filternumbers）對(duì)復(fù)原效果的影響的實(shí)驗(yàn)結(jié)論：卷積核數(shù)量越多，即特征向量維數(shù)越高，實(shí)驗(yàn)效果越好，但是會(huì)影響算法速度，故需要綜合考慮；另外三層卷積層的卷積核大小越大，實(shí)驗(yàn)效果也會(huì)略微更好，同樣會(huì)影響算法速度。3.2、對(duì)比網(wǎng)絡(luò)層數(shù)（layernumbers）對(duì)復(fù)原效果的影響的實(shí)驗(yàn)結(jié)論：并非網(wǎng)絡(luò)越深，效果越好，結(jié)果恰恰相反。作者也給出了解釋：因?yàn)镾RCNN沒有池化層和全連接層，導(dǎo)致網(wǎng)絡(luò)對(duì)初始參數(shù)和學(xué)習(xí)率非常敏感，結(jié)果即網(wǎng)絡(luò)訓(xùn)練的時(shí)候非常難以收斂，即使收斂了也可能停在了壞的局部最小值（badlocalminimum）處，并且即使訓(xùn)練了足夠的時(shí)間，學(xué)習(xí)到的filter參數(shù)的分散度也不夠好。實(shí)驗(yàn)部分3.3、與最前沿的其他超分算法對(duì)比速度與性能的實(shí)驗(yàn)數(shù)據(jù)集選擇的是ImageNet上的BSD200、Set14、Set5，對(duì)比對(duì)象是Bicubic、SC、NE+LLE、KK、ANR、A+與SRCNN。結(jié)果如下：實(shí)驗(yàn)部分上圖顯示了幾種最先進(jìn)方法的運(yùn)行時(shí)間比較，以及它們的恢復(fù)性能。所有基線方法均來(lái)自于相應(yīng)作者的MATLAB實(shí)現(xiàn)，而我此方法則在c++。注意速度差距主要不是由MATLAB/c++實(shí)現(xiàn)的不同造成的;相反，其他方法需要在使用上解決復(fù)雜的優(yōu)化問(wèn)題(如稀疏編碼或嵌入)，而此方法是完全前饋的。次方法的處理時(shí)間與測(cè)試圖像分辨率高度線性，因?yàn)樗袌D像都經(jīng)過(guò)相同數(shù)量的卷積。實(shí)驗(yàn)時(shí)間復(fù)現(xiàn)實(shí)驗(yàn)分析文章使用均方誤差(MeanSquaredError,MSE)作為損失函數(shù)，有利于獲得較高的PSNR。對(duì)SR的質(zhì)量進(jìn)行定量評(píng)價(jià)常用的兩個(gè)指標(biāo)是PSNR和SSIM。這兩個(gè)值越高代表重建結(jié)果越好下圖表明，在不同的放大倍數(shù)下，SRCNN都取得比傳統(tǒng)方法好的效果。利用MATLAB復(fù)現(xiàn)的一部分結(jié)果

SRCNN

對(duì)于復(fù)原質(zhì)量，SRCNN在大部分指標(biāo)上都表現(xiàn)最好。超分辨率問(wèn)題（SR）用PSNR作為重建的指標(biāo)，但是高PSNR并不意味著重建結(jié)果好。因?yàn)镾R是病態(tài)問(wèn)題，這就意味著可能解有無(wú)窮多個(gè)。以MSE（等價(jià)于PSNR）為loss函數(shù)得到的解往往是這些可能解的平均，而不是最優(yōu)解。這就導(dǎo)致以MSE為loss的SR算法得到的結(jié)果有些區(qū)域看起來(lái)過(guò)于模糊，缺乏應(yīng)有的細(xì)節(jié)。這也是為什么出現(xiàn)了數(shù)值評(píng)估低，但肉眼看著效果更好的現(xiàn)象。故作者選擇了很多項(xiàng)指標(biāo)來(lái)評(píng)價(jià)復(fù)原圖像的質(zhì)量；對(duì)于復(fù)原速度，前面提到卷積核大小會(huì)影響速度，故作者對(duì)比了三種不同卷積核大小的SRCNN與其他算法的速度，總的來(lái)說(shuō)SRCNN的復(fù)原速度屬于前列水平。1實(shí)驗(yàn)結(jié)論：論文原文：/stamp/stamp.jsp?