第12組題-圖像超分辨率-第七組匯報

1、圖像超分辨率技術Image SuperResolution小組成員： 20132112 任萬盛 20132216 周子軒 圖像超分辨率是指由一幅低分辨率圖像或圖像序列恢復出高分辨率圖像。 圖像超分辨率技術分為超分辨率復原和超分辨率重建。 目前， 圖像超分辨率研究可分為 3個主要范疇: 基于插值、 基于重建和基于學習的方法.概述 圖像超分辨率示意圖基于插值的超分辨率技術： 基于多幀圖像插值技術的方法是超分辨率研究中最直觀的方法。這類方法首先估計各幀圖像之間的相對運動信息，獲得HR圖像在非均勻間距采樣點上的像素值，接著通過非均勻插值得到HR柵格上的像素值，最后采用圖像恢復技術來去除模糊和降低噪聲。

2、典型的方法包括：Rajan和Chaudhuri通過分解、插值和融合3個步驟實現(xiàn)的通用插值方法；TAOHJ等提出的小波域的雙線性插值；Lertrattanapanich和Bose提出的使用基于光滑性約束的Delaunay三角化插值算法等。這類方法的優(yōu)點是算法快速易行，適合并行計算，基本可以滿足實時要求，但因為不能引入額外有用的高頻信息，因而很難在SR圖像中得到銳化的效果，同時，也沒有考慮到LR圖像的像素值并不是HR圖像的理想采樣值，而是對HR圖像像素值的空間平均和卷積效應這一事實。理想插值最近鄰插值四點三次插值六點雙三次插值基于重建的超分辨率技術： 基于重建的超分辨率方法的基礎是均衡及非均衡采樣

3、定理。它假設低分辨率的輸入采樣信號(圖像) 能很好地預估出原始的高分辨率信號(圖像)。絕大多數(shù)超分辨率算法都屬于這一類，其中主要包括頻域法和空域法。 頻率域方法是圖像超分辨率重建中一類重要方法，其中最主要的是消混疊重建方法。消混疊重建方法是通過解混疊而改善圖像的空間分辨率實現(xiàn)超分辨率復原，最早的研究工作是由 Tsai 和 Huang在 1984 年進行的。在原始場景信號帶寬有限的假設下，利用離散傅立葉變換和連續(xù)傅立葉變換之間的平移、混疊性質，給出了一個由一系列欠采樣觀察圖像數(shù)據(jù)復原高分辨率圖像的公式。多幅觀察圖像經(jīng)混頻而得到的離散傅立葉變換系數(shù)與未知場景的連續(xù)傅立葉變換系數(shù)以方程組的形式聯(lián)系起

4、來，方程組的解就是原始圖像的頻率域系數(shù)，再對頻率域系數(shù)進行傅立葉逆變換就可以實現(xiàn)原始圖像的準確復原。 在空域類方法中，其線性空域觀測模型涉及全局和局部運動、光學模糊、幀內運動模糊、空間可變點擴散函數(shù)、非理想采樣等內容。空域方法具有很強的包含空域先驗約束的能力，主要包括非均勻空間樣本內插、迭代反投影方法、凸集投影法、最大后驗概率以及混合 MAP/ POCS 方法、最優(yōu)和自適應濾波方法、確定性重建方法等。頻域方法通過在頻率域消除頻譜而改善圖像的空間分辨率?；诟道锶~變換的移位特性； (Tsai andHuang)考慮光學系統(tǒng)的點擴展函數(shù)和噪聲的影響；（Tekalp）估計幀間整體平移參數(shù)的解算方法；

5、(Kaltenbacker and Hardie)用遞歸最小二乘對對Tsai公式中的混疊矩陣進行求解。由于頻率域方法只能應用于全局平移和線性空間不變降質模型，并且它對空間域先驗的能力不足，缺少靈活性，所以目前這類方法已經(jīng)不再是研究的熱點?？沼蚍椒ǚ蔷鶆驑颖緝炔宸ǎ∟on-uniform interpolation）；迭代反投影方法（Iterative Back Projection , IBP）;凸影投影法（Projection onto Convex Set, POCS）;最大后驗概率估計（Maximum a Posteriori ,MAP）;混合Map/POCS方法；自適應濾波方法；基于學

6、習的超分辨率技術 基于學習的方法是近年來超分辨率算法研究中的熱點，它采用大量的高分辨率圖像構造學習庫產生學習模型，在對低分辨率圖像進行恢復的過程中引入由學習模型獲得的先驗知識，以得到圖像的高頻細節(jié)，獲得較好的圖像恢復效果。 基于學習的超分辨率方法中關鍵是建立學習模型，獲得先驗知識。常用的學習模型有馬爾科夫隨機場模型、圖像金字塔模型、神經(jīng)網(wǎng)絡模型、主成分分析模型等?；趯W習的方法充分利用了圖像本身的先驗知識，在不增加輸入圖像樣本數(shù)量的情況下仍能產生高頻細節(jié)，獲得比基于重建方法更好的復原結果，并能較好的應用于人臉和文字等圖像的復原。具體步驟為：（1）將高分辨率圖像按照降質模型進行降質，產生訓練集。

7、（2）根據(jù)高分辨率圖像的低頻部分和高頻部分對應關系對圖像分塊，通過一定算法進行學習，獲得先驗知識，建立學習模型。（3）以輸入的低分辨率塊為依據(jù)，在建立好的訓練集中搜索最匹配的高頻塊。(1)生物醫(yī)學成像: 核磁共振成像等；(2)衛(wèi)星成像：遙感、遙測、軍事偵察等；(3)視頻監(jiān)控(4)視頻格式轉換(5)視頻增強和復原：老舊電影的翻制等；(6)顯微成像、虛擬現(xiàn)實等超分辨率重建技術應用存在的問題 目前，圖像超分辨率重建的研究比較成熟，但距離實用還有較大差距。未來研究方向主要集中在以下幾個方面： 發(fā)展和尋求新的退化模型，使成像模型更加精確和全面，實現(xiàn)對點擴散函數(shù)和噪聲的精確估計。圖像超分辨率增強的成功依賴

8、于準確的、符合實際成像系統(tǒng)特性和成像條件的降模型，而要獲得符合實際成像過程的降質模型是十分困難的，通常采用簡單、確定的降質模型進行近似，這樣的近似模型與實際成像過程差距較大。 壓縮域的超分辨率重建。傳統(tǒng)的超分辨率算法都是針對圖像序列，而實際中最常見的圖像序列是視頻文件。因而下一步的工作可以針對不同的視頻壓縮格式和編解碼技術，在超分辨率算法中綜合考慮成像模型和壓縮算法帶來的圖像降質效果，以及運動補償和編碼傳輸機制，實現(xiàn)壓縮域的超分辨率重建。 效率和魯棒性問題。目前的超分辨率算法具有很高的計算復雜度，如何減少計算量，提高算法速度，是下一步值得研究問題。同時，在目前很多算法中都做了各種假設，如照度變等，這在實際應用中是很難滿足的，因此需要研究穩(wěn)健的算法滿足實際應用的需要。 模糊圖像和三維圖像的超分辨率研究。模糊一直是圖像處理中的一個難點，如何對模糊圖像進行超分辨率需要進一步研究。目前針對三維圖