計(jì)算機(jī)視覺(jué)應(yīng)用開發(fā)課件：SRCNN

SRCNNSRCNN的提出01任務(wù)網(wǎng)絡(luò)結(jié)構(gòu)02任務(wù)學(xué)習(xí)目標(biāo)了解SRCNN超分辨率重建網(wǎng)絡(luò)的由來(lái)掌握SRCNN超分辨率重建網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)1SRCNN的提出1SRCNN的提出SRCNN是由香港中文大學(xué)ChaoDong等人提出的基于深度學(xué)習(xí)對(duì)圖像進(jìn)行重建的方法。該團(tuán)隊(duì)提出的SRCNN算法是首次使用深度學(xué)習(xí)（CNN）用來(lái)進(jìn)行圖像重建的，所以被稱為是深度學(xué)習(xí)在圖像重建領(lǐng)域的“開山制作”。2網(wǎng)絡(luò)結(jié)構(gòu)2網(wǎng)絡(luò)結(jié)構(gòu)SRCNN的網(wǎng)絡(luò)結(jié)構(gòu)非常簡(jiǎn)單，僅僅用了三個(gè)卷積層，網(wǎng)絡(luò)結(jié)構(gòu)如圖所示：2網(wǎng)絡(luò)結(jié)構(gòu)SRCNN首先使用雙三次(bicubic)插值將低分辨率圖像放大成目標(biāo)尺寸，這三次插值分別為：1.LR特征提?。≒atchextractionandrepresentation），這個(gè)階段主要是對(duì)LR進(jìn)行特征提取，并將其特征表征為一些featuremaps；2.特征的非線性映射（Non-linearmapping），這個(gè)階段主要是將第一階段提取的特征映射至HR所需的featuremaps；3.HR重建（Reconstruction），這個(gè)階段是將第二階段映射后的特征恢復(fù)為HR圖像。接著通過(guò)三層卷積網(wǎng)絡(luò)擬合非線性映射，最后輸出高分辨率圖像結(jié)果。利用三層卷積層分別實(shí)現(xiàn)：1.圖像的圖像塊抽取與稀疏字典建立；2.圖像高、低分辨率特征之間的非線性映射；3.高分辨率圖像塊的重建。2網(wǎng)絡(luò)結(jié)構(gòu)Patchextraction：提取圖像Patch，進(jìn)行卷積提取特征，類似于稀疏編碼中的將圖像patch映射到低分辨率字典中。其目的是找到一組可以表達(dá)之前預(yù)處理后所得到圖像塊的一組“基”，這些基是沿著不同方向的邊緣，稀疏系數(shù)就是分配給各個(gè)基的權(quán)重。這部分可以轉(zhuǎn)化為一定數(shù)量的濾波器（卷積核）來(lái)代替。Non-linearmapping：將低分辨率的特征映射為高分辨率特征，類似于字典學(xué)習(xí)中找到圖像patch對(duì)應(yīng)的高分辨字典。將第一步得到的表達(dá)圖像塊的高維向量映射到另外一個(gè)高維向量中，通過(guò)這個(gè)高維向量表達(dá)高分辨率圖像塊，用于最后的重建。這一步驟可以使用1×1的卷積來(lái)實(shí)現(xiàn)向量維數(shù)的變換。2網(wǎng)絡(luò)結(jié)構(gòu)Reconstruction：根據(jù)高分辨率特征進(jìn)行圖像重建。類似于字典學(xué)習(xí)中的根據(jù)高分辨率字典進(jìn)行圖像重建。將最后得到的高分辨率圖像塊進(jìn)行聚合（重合的位置取平均）形成最后的高分辨率圖像。這一部分可以看成是一種線性運(yùn)算，可以構(gòu)造一個(gè)線性函數(shù)（不加激活函數(shù)）來(lái)實(shí)現(xiàn)?；诰矸e神經(jīng)網(wǎng)絡(luò)的超分辨率算法將這三個(gè)步驟都統(tǒng)一到一個(gè)模型中，顯著地提高了模型效率。相對(duì)于傳統(tǒng)方法提高了圖像重建質(zhì)量。但計(jì)算量