計(jì)算攝像學(xué)專題第8講(上)課件

1、計(jì)算攝像學(xué)專題第八講(上)戴瓊海 付長(zhǎng)軍清華大學(xué) 自動(dòng)化系2011-03-18 圖像超分辨問(wèn)題研究引 言隨著計(jì)算機(jī)的迅猛發(fā)展，信號(hào)處理理論的不斷增強(qiáng)，現(xiàn)代成像技術(shù)不再僅僅依賴那些能工巧匠，還需要強(qiáng)大的理論知識(shí)作為指導(dǎo)。計(jì)算攝像學(xué)就是在信號(hào)處理的基礎(chǔ)知識(shí)上研究如何有效成像的一門交叉學(xué)科通過(guò)對(duì)圖像超分辨率的學(xué)習(xí)，希望大家能對(duì)基礎(chǔ)理論與實(shí)際應(yīng)用（計(jì)算攝像學(xué)）之間的差距有一個(gè)直觀認(rèn)識(shí)，學(xué)會(huì)用“Vision”的方式來(lái)思考問(wèn)題。提 綱背景介紹1理論分析2圖像超分辨率方法介紹3展望單像素相機(jī)4背景介紹成像結(jié)果不同顯示設(shè)備場(chǎng)景發(fā)射/反射出光線光線傳輸曝光鏡頭匯聚原始圖像（CCD/CMOS）不同形式的圖像：電視

2、相片畫報(bào)等等積分效應(yīng)鏡頭畸變散射折射成像過(guò)程受到多種干擾主要通過(guò)算法實(shí)現(xiàn)背景介紹原始圖像（CCD/CMOS）圖像超分辨率技術(shù)還被廣泛應(yīng)用于不同分辨率圖像之間的轉(zhuǎn)換，亞像素運(yùn)動(dòng)/視差估計(jì)等問(wèn)題中紅色通道綠色通道藍(lán)色通道圖像超分辨率技術(shù)需要的圖像提 綱背景介紹1理論分析2圖像超分辨率方法介紹3展望單像素相機(jī)4理論分析場(chǎng)景發(fā)射/反射出光線光線傳輸曝光鏡頭匯聚原始圖像理論分析 數(shù)學(xué)描述理論分析圖像超分辨率的病態(tài)性(信息量角度)根據(jù)最大熵原理，隨著對(duì)現(xiàn)實(shí)場(chǎng)景處理的加深，圖像熵將會(huì)增大，所得到的數(shù)據(jù)中包含的信息量將減少，為了從低分辨率圖像恢復(fù)出高分辨率圖像，必須引入新的先驗(yàn)信息先驗(yàn)知識(shí)信息量信息量信息量信

3、息量自然場(chǎng)景低分辨率圖像高分辨率圖像理論分析圖像超分辨率的病態(tài)性（信號(hào)處理角度）香農(nóng)乃奎斯特采樣定理：當(dāng)采樣頻率應(yīng)該不小于奈奎斯特頻率(即模擬信號(hào)頻譜中的最高頻率)的兩倍時(shí)，可以不失真地恢復(fù)模擬信號(hào)。由于現(xiàn)實(shí)圖像只是可以近似看做具有帶限性，很難恢復(fù)出真實(shí)圖像。當(dāng)系統(tǒng)響應(yīng)函數(shù)中包含零點(diǎn)時(shí)，采集到的圖像中與零點(diǎn)所對(duì)應(yīng)的頻率將不可恢復(fù)：理論分析圖像超分辨率的病態(tài)性（矩陣分析角度）DFh不滿秩，在求解x的過(guò)程中，解不唯一當(dāng)Fh為循環(huán)卷積矩陣時(shí)，其奇異值即為濾波器h的傅里葉變換系數(shù)理論分析圖像超分辨率的問(wèn)題就是如合從所有的可行解中找出一個(gè)最合理的結(jié)果出來(lái)。例如：在所有解中可以找一個(gè)x的全部值相同的解，找

4、一個(gè)具有最小能量的解提 綱背景介紹1理論分析2圖像超分辨率方法介紹3展望單像素相機(jī)4圖像超分辨率方法介紹Burg的最大熵原理表明: 滿足如下約束的最大熵隨機(jī)平穩(wěn)過(guò)程Xi是p階的 Gauss-Markov 隨機(jī)過(guò)程自然圖像往往具有分段平穩(wěn)特性，AR系數(shù)變換緩慢。因此，可以利用AR（autoregressive）模型來(lái)解決圖像超分辨等一些問(wèn)題。圖像超分辨率方法介紹現(xiàn)代信號(hào)處理理論中的AR系數(shù)估計(jì)方法Yuler-walker 方程圖像超分辨率方法介紹圖像的AR模型圖像超分辨率方法介紹圖像插值常用的六邊形窗圖像超分辨率方法介紹圖像超分辨率方法介紹基于AR模型的圖像插值圖像超分辨率方法介紹基于AR模型的

5、圖像插值圖像超分辨率方法介紹基于AR模型的圖像插值圖像超分辨率方法介紹基于AR模型的圖像插值圖像超分辨率方法介紹關(guān)鍵問(wèn)題此時(shí)，該方程具有嚴(yán)重的病態(tài)性，圖像的噪聲將嚴(yán)重影響到所估計(jì)的AR系數(shù)，但是也帶來(lái)了新的機(jī)會(huì)，他的增廣矩陣是低秩的：圖像超分辨率方法介紹低秩理論特征值的稀疏性，低秩圖像超分辨率方法介紹低秩理論實(shí)證相應(yīng)增廣矩陣的奇異值圖像超分辨率方法介紹利用低秩先驗(yàn)的圖像超分辨率目標(biāo)函數(shù)：圖像超分辨率方法介紹提 綱背景介紹1理論分析2圖像超分辨率方法介紹3展望單像素相機(jī)4壓縮感知相機(jī)壓縮感知原理先驗(yàn)知識(shí)觀測(cè)過(guò)程相關(guān)壓縮感知相機(jī)隨機(jī)投影頻率相應(yīng)x=0.2 0.2 0.2 0.2 0.2;x=rand(1,5);壓縮感知相機(jī)壓縮感知相機(jī)結(jié)構(gòu)示意圖壓縮感知相機(jī)DMD示意圖壓縮感知相機(jī)成像結(jié)果總結(jié)自從計(jì)算機(jī)出現(xiàn)以來(lái)，數(shù)字信號(hào)處理無(wú)疑大大方便了某些問(wèn)題的處理。一直以來(lái)數(shù)字計(jì)算都是對(duì)原有設(shè)備采集到的信號(hào)進(jìn)行加工處理。但是隨著計(jì)算機(jī)的日益發(fā)展，以及人們對(duì)數(shù)