計(jì)算機(jī)視覺(jué)應(yīng)用開發(fā)課件：超分辨率重建技術(shù)

超分辨率重建技術(shù)基于傳統(tǒng)的超分辨率技術(shù)01任務(wù)基于深度學(xué)習(xí)的超分辨率技術(shù)02任務(wù)學(xué)習(xí)目標(biāo)掌握基于傳統(tǒng)的圖像超分辨率技術(shù)了解基于深度學(xué)習(xí)圖像超分辨率技術(shù)1基于傳統(tǒng)的超分辨率技術(shù)1基于傳統(tǒng)的超分辨率技術(shù)圖像超分辨率技術(shù)的主要任務(wù)是生成真實(shí)、清晰且人為痕跡盡可能少的高分辨率圖像，根據(jù)輸入輸出的不同，其定義有所區(qū)別，主要可分為三類：1、多圖像超分辨率：多圖像超分辨率方法利用多幅LR（低分辨率）圖像得到一幅真實(shí)且清晰的HR（高分辨率）圖像，主要采用基于重建的算法，即試圖通過(guò)模擬圖像形成模型來(lái)解決LR圖像中的混疊偽像問(wèn)題。多圖像超分辨率重建算法根據(jù)重建過(guò)程所在域不同可分為頻域法和空域法。2、視頻超分辨率：視頻超分辨率輸入的是一個(gè)視頻序列，該技術(shù)不僅可以提高視頻中每一幀的分辨率，還可以利用算法在時(shí)域中增加圖像幀的數(shù)目，從而達(dá)到提高視頻整體質(zhì)量的目的。視頻超分辨率方法可以分為以下兩大類：一是增量視頻超分辨率方法；二是同時(shí)視頻超分辨率方法。1基于傳統(tǒng)的超分辨率技術(shù)3、單圖像超分辨率：?jiǎn)螆D像超分辨率輸入的是一幅LR圖像，僅利用一幅LR圖像來(lái)重建得到HR圖像。目前傳統(tǒng)的單幅圖像超分辨率方法主要分為三類，即基于插值的圖像超分辨率算法、基于重建模型的圖像超分辨率算法和基于學(xué)習(xí)的圖像超分辨率算法。其次還有一些基于深度學(xué)習(xí)的圖像超分辨率方法也取得不錯(cuò)的重建效果。本單元主要對(duì)單圖像超分辨率重建技術(shù)進(jìn)行介紹，下面將對(duì)其方法進(jìn)行簡(jiǎn)要介紹。1基于傳統(tǒng)的超分辨率技術(shù)基于傳統(tǒng)的超分辨率技術(shù)大致課分為三類：（1）基于插值的超分辨率重建：基于插值的單圖像超分辨率算法利用基函數(shù)或插值核來(lái)逼近損失的圖像高頻信息，從而實(shí)現(xiàn)HR圖像的重建。將圖像上每個(gè)像素都看作是圖像平面上的一個(gè)點(diǎn)，那么對(duì)超分辨率圖像的估計(jì)可以看作是利用已知的像素信息為平面上未知的像素信息進(jìn)行擬合的過(guò)程，這通常由一個(gè)預(yù)定義的變換函數(shù)或者插值核來(lái)完成。常見的基于插值的方法包括最近鄰插值法、雙線性插值法和雙立方插值法等。但是在重建過(guò)程中，僅根據(jù)一個(gè)事先定義的轉(zhuǎn)換函數(shù)來(lái)計(jì)算超分辨率圖像，不考慮圖像的降質(zhì)退化模型，往往會(huì)導(dǎo)致復(fù)原出的圖像出現(xiàn)模糊、鋸齒等現(xiàn)象。1基于傳統(tǒng)的超分辨率技術(shù)（2）基于退化模型的超分辨率重建

從圖像的降質(zhì)退化模型出發(fā)，假定高分辨率圖像是經(jīng)過(guò)了適當(dāng)?shù)倪\(yùn)動(dòng)變換、模糊及噪聲才得到低分辨率圖像。這種方法通過(guò)提取低分辨率圖像中的關(guān)鍵信息，并結(jié)合對(duì)未知的超分辨率圖像的先驗(yàn)知識(shí)來(lái)約束超分辨率圖像的生成。常見的方法包括迭代反投影法、凸集投影法和最大后驗(yàn)概率法等。（3）基于學(xué)習(xí)的超分辨率重建

基于學(xué)習(xí)的方法則是利用大量的訓(xùn)練數(shù)據(jù)，從中學(xué)習(xí)低分辨率圖像和高分辨率圖像之間某種對(duì)應(yīng)關(guān)系，然后根據(jù)學(xué)習(xí)到的映射關(guān)系來(lái)預(yù)測(cè)低分辨率圖像所對(duì)應(yīng)的高分辨率圖像，從而實(shí)現(xiàn)圖像的超分辨率重建過(guò)程。常見的基于學(xué)習(xí)的方法包括流形學(xué)習(xí)、稀疏編碼方法。2基于深度學(xué)習(xí)的超分辨率技術(shù)2基于深度學(xué)習(xí)的超分辨率技術(shù)超分辨率的研究工作中，傳統(tǒng)超分辨率重建方法主要依賴于約束項(xiàng)的構(gòu)造以及圖像之間配準(zhǔn)的精確度達(dá)到重建效果，但其不適用于放大倍數(shù)較大的超分辨率重建。隨著放大因子的增大，人為定義的先驗(yàn)知識(shí)和觀測(cè)模型所能提供的用于超分辨率重建的信息越來(lái)越少，即使增加LR圖像的數(shù)量，亦難以達(dá)到重建高頻信息的目的。深度學(xué)習(xí)的出現(xiàn)解決了傳統(tǒng)超分辨率技術(shù)中的許多瓶頸問(wèn)題，在近幾年取得了巨大的成功。目前，越來(lái)越多具有深度學(xué)習(xí)功能的超分辨率模型被提出，根據(jù)是否依賴于LR圖像和對(duì)應(yīng)的HR圖像訓(xùn)練網(wǎng)絡(luò)模型，可以粗略地將其分為有監(jiān)督的超分辨率和無(wú)監(jiān)督的超分辨率，由于有監(jiān)督的超分辨率技術(shù)能夠取得較好的重建效果，是目前研究的主流方向。2基于深度學(xué)習(xí)的超分辨率技術(shù)基于深度學(xué)習(xí)的超分辨率方法中關(guān)鍵是建立學(xué)習(xí)模型，即神經(jīng)網(wǎng)絡(luò)框架。常見的基于深度學(xué)習(xí)的超分辨重建技術(shù)有SRCNN，在SRCNN基礎(chǔ)上改進(jìn)的FSRCNN，ESPCN，VDSR等。對(duì)于上一單元提及的對(duì)抗生成網(wǎng)絡(luò)，不僅僅可以將其用作圖像的風(fēng)格轉(zhuǎn)換