基于各向異性擴(kuò)散的深度圖像增強(qiáng)

摘要................................................1引言..................................................................2..2相關(guān)工作..............................................................3..2.1指導(dǎo)深度上采樣..............................2.2引導(dǎo)深度圖像修復(fù).......2.3各向異性擴(kuò)散...............3方法論...........................................................3.1問(wèn)題制定...................3.2數(shù)值方案...................4實(shí)驗(yàn)...............................................................4.1實(shí)驗(yàn)在Middlebury數(shù)據(jù)集上..............4.3實(shí)驗(yàn)在雷達(dá)數(shù)據(jù)上.....................結(jié)論......................................1摘要:在本文中，當(dāng)對(duì)準(zhǔn)的彩色圖像被給出時(shí)我們對(duì)有缺陷的深度圖像進(jìn)行修復(fù)，并進(jìn)行采樣。這些任務(wù)被稱為引導(dǎo)深度增強(qiáng)。我們基于熱擴(kuò)散模型擬訂該問(wèn)題。已知深度值的像素被視為熱源并且深度增強(qiáng)是指通過(guò)將深度值從這些熱源擴(kuò)散到深度缺失的區(qū)域這個(gè)過(guò)程。進(jìn)一步將此擴(kuò)散的穩(wěn)態(tài)問(wèn)題放到著名的隨機(jī)游走模型中考慮，在這個(gè)模型中深度增強(qiáng)可以通過(guò)求解稀疏線性系統(tǒng)來(lái)有效地實(shí)現(xiàn)。該算法在米德?tīng)柌锪Ⅲw數(shù)據(jù)集上被定量的評(píng)估，并應(yīng)用于修復(fù)Kinect的數(shù)據(jù)同時(shí)也可以應(yīng)用于對(duì)由雷達(dá)獲得的距離數(shù)據(jù)進(jìn)行采樣。與常用的雙邊濾波器和馬爾可夫基于隨機(jī)場(chǎng)的方法的比較也被提出，通過(guò)比較表明我們的算法是可以成功的。2雖然最新的距離傳感技術(shù)的革命發(fā)展在許多計(jì)算機(jī)視覺(jué)應(yīng)用領(lǐng)域獲得了快速發(fā)展，但是通過(guò)最新的距離傳感器捕獲的數(shù)據(jù)仍然有缺陷。例如，微軟的kinect[16]，一種室內(nèi)測(cè)距傳感器，產(chǎn)生的深度圖中含有大量由于遮擋和其他方面因素導(dǎo)致的深度信息缺失區(qū)域。激光雷達(dá)[25]適用于室內(nèi)和室外環(huán)境中，提供的距離信息比普通圖像的分辨率低得多。這些缺陷現(xiàn)在導(dǎo)致各種對(duì)深度圖像修復(fù)和采樣研究方面的問(wèn)題。本文目的是當(dāng)對(duì)準(zhǔn)彩色圖被給出的情況下解決對(duì)深度圖像的修復(fù)和采樣問(wèn)題。在這項(xiàng)工作中這些任務(wù)被稱為引導(dǎo)深度增強(qiáng)，該彩色圖像被當(dāng)作引導(dǎo)[9]。以前在引導(dǎo)深度增強(qiáng)方面的工作主要采用的是濾波器的方法[7][26][12][10]或依靠馬爾可夫隨機(jī)場(chǎng)(MRFs)[18][28][31][6]。像提供的顏色信息的引導(dǎo)，深度可以從源擴(kuò)散到深度缺失的區(qū)域。平滑和修補(bǔ)[20][4][2][3]中被廣泛使用但是據(jù)我們所知，他們沒(méi)有為引導(dǎo)集成其他的圖像。此外，我們將引導(dǎo)向異性擴(kuò)散的穩(wěn)態(tài)問(wèn)題放到著名的隨機(jī)游走模型[8][30][11]中考慮而通過(guò)這個(gè)模型，引導(dǎo)深度增強(qiáng)問(wèn)題能夠通過(guò)求解一個(gè)稀疏線性系統(tǒng)來(lái)解決。3它的目的是通過(guò)融合高分辨率視覺(jué)圖像和低分辨率深度數(shù)據(jù)來(lái)生成高清晰度深度圖。為此，馬爾可夫隨機(jī)域（回收設(shè)施）被首先使用[6]。它通過(guò)優(yōu)化一個(gè)能量函數(shù)來(lái)推斷深度，這個(gè)能量函數(shù)是由對(duì)已知測(cè)量結(jié)果的長(zhǎng)期合理的評(píng)估和對(duì)深度平滑的長(zhǎng)期正交化組成。之后，提出了幾個(gè)MRF的基礎(chǔ)方法，這個(gè)方法通過(guò)進(jìn)一步考慮新的正交化來(lái)拓展這份先進(jìn)的工作，例如，非局部平滑約束[28][18]和時(shí)間相干性[31]。另一組有關(guān)這個(gè)問(wèn)題的方法是基于濾波技術(shù)。他們大多使用聯(lián)合雙邊濾波器或它們的變化[1][29][7]來(lái)整合深度采樣的顏色信息。引導(dǎo)深度圖像修復(fù)這個(gè)問(wèn)題對(duì)于Kinect-like傳感器的發(fā)展很感興趣。在過(guò)去的兩年中，我們統(tǒng)的修補(bǔ)算法[2][5][23]拓展到引導(dǎo)案例中。具體地講，新的修補(bǔ)模式[14][21]和擴(kuò)展命令[14][15]被設(shè)計(jì)用以歸納引導(dǎo)信息。這些方法僅限于其中無(wú)效區(qū)域被有效區(qū)域包圍的情況下，不適用于引導(dǎo)采樣。與他們相反，另一組研究中采用濾波器為引導(dǎo)深度進(jìn)行修補(bǔ)。以至于他們[19][10]，這為采樣工作的同時(shí)，也各向異性擴(kuò)散各向異性擴(kuò)散此處主要指的是熱擴(kuò)散框架，該框架通過(guò)偏微分方程（PDEs）來(lái)表示?；谄⒎址匠痰母飨虍愋詳U(kuò)散被廣泛用于在圖像或表面平滑[20][4]，圖像修復(fù)[2][3]，分割[24][11]，以及其他圖像處理應(yīng)用[27]。最相關(guān)的工作是濾波和圖像修復(fù)技術(shù)。就我們所知，這些技術(shù)沒(méi)有集成高分辨率參考圖像來(lái)引導(dǎo)這個(gè)擴(kuò)散過(guò)程。在這項(xiàng)工作中，我們將引導(dǎo)深度增強(qiáng)，包括修補(bǔ)和采樣，表述為一個(gè)線性各向異性擴(kuò)散問(wèn)題。我們的擴(kuò)散是通過(guò)一個(gè)大的從穩(wěn)態(tài)中衍生出來(lái)的稀疏線性系統(tǒng)來(lái)進(jìn)行的，而不是像傳統(tǒng)技術(shù)一樣反復(fù)的解決問(wèn)題。4假設(shè)我們事先已經(jīng)給出了一個(gè)對(duì)準(zhǔn)的深度圖和彩色圖對(duì)。深度圖要么是包含無(wú)效的區(qū)域要么是分辨率比配對(duì)彩色圖像低。彩色圖像假定為無(wú)缺陷的。我們將一個(gè)像素p=(X，Y)中的深度果我們將種子像素作為熱源，些圖上是從熱源開(kāi)始的。擴(kuò)散過(guò)程由以下偏微分方程表示：那么深度增強(qiáng)就可以像熱源擴(kuò)散一樣，在這『其中W(P;t)是點(diǎn)P在時(shí)間t的擴(kuò)散系數(shù)并且DO(p)為初始狀態(tài)的深度值。擴(kuò)散系數(shù)的空間變化取決于所給的彩色引導(dǎo)圖，從而使式(1)變成各向異性擴(kuò)散。上述偏微分方程是一個(gè)初值問(wèn)題[13]。在該方程所代表的擴(kuò)散系統(tǒng)中，我們感興趣的只是深度值趨于穩(wěn)定的狀態(tài)[8][30][11]。因此，毫不猶豫，我們?cè)谑街猩釛塼符號(hào)，并獲得下面的等式：00二方程(2)的解對(duì)應(yīng)于我們期待實(shí)現(xiàn)的深度圖增強(qiáng)。當(dāng)初始深度圖給出，大幅度的增強(qiáng)質(zhì)量依賴于W(P)的選擇。因此，我們探討的擴(kuò)散系數(shù)的設(shè)計(jì)將表現(xiàn)在如下求解穩(wěn)態(tài)問(wèn)題的方法中。我們已經(jīng)將深度圖像的增強(qiáng)問(wèn)題制定成各向異性擴(kuò)散的過(guò)程。擴(kuò)散傳導(dǎo)系數(shù)是一個(gè)條件，它依賴于彩色引導(dǎo)圖像，但獨(dú)立于深度值。因此，我們引導(dǎo)的深度增強(qiáng)是一個(gè)線性各向異性擴(kuò)散問(wèn)題[11]。線性意味著現(xiàn)在，讓我們把線性各向異性擴(kuò)散的穩(wěn)定狀態(tài)看成式(2)所描述的那樣。我們首先將離散的深度圖以圖形G=(V,E)來(lái)表示，其中V是一組頂點(diǎn)，即象素，并且E包含四鄰域。兩個(gè)頂點(diǎn)之間的擴(kuò)散系數(shù)由高斯設(shè)計(jì)在顏色上相似。得到22這個(gè)傳導(dǎo)性意味著，當(dāng)兩點(diǎn)的顏色相似時(shí)，深度擴(kuò)散就快。當(dāng)我們構(gòu)建完圖形后，離散的擴(kuò)散過(guò)程就會(huì)退化為隨機(jī)游走模型[8][30][11]二如果我們把深度圖作為一列向量，方程(4)可以變?yōu)橐韵鹿?的始深度圖D0,D的非0解可以通過(guò)求解線性系l(P,q)ifS丄L-W)(p,q)otherwise這里，列向量D中的第p個(gè)和第q個(gè)元素對(duì)應(yīng)于像素p和q。請(qǐng)注意,陣。因此，引導(dǎo)深度增強(qiáng)可以轉(zhuǎn)變?yōu)槭且粋€(gè)能夠有效求解的稀疏線性系統(tǒng)。A是一個(gè)稀疏正定矩為了驗(yàn)證所提出的方法，我們進(jìn)行了一系列的實(shí)驗(yàn)。定量評(píng)價(jià)并且與使用雙邊過(guò)濾器以及MRF方法進(jìn)行比較首先在米德?tīng)柌飻?shù)據(jù)集[22]上進(jìn)行。然后，我們將算法運(yùn)用在一個(gè)傳感器的修補(bǔ)應(yīng)用上，以及用于Velodyne64E雷達(dá)的上采樣應(yīng)用上。實(shí)驗(yàn)的詳細(xì)情況如下。564.1實(shí)驗(yàn)在Middlebury數(shù)據(jù)集上據(jù)集中的深度圖被用作實(shí)際值。這些圖使用不同的采樣因子，5X,10X,15X,20X，分別的去創(chuàng)造低分辨率深度圖。該彩色圖像被作為深度上采樣的引導(dǎo)。在所有的實(shí)驗(yàn)中，我們將擴(kuò)散電導(dǎo)率b設(shè)定為10。在不犧牲速度性能的情況下我們靠自己執(zhí)行原始雙邊濾波器。在雙邊濾波器中，鄰域的大小是41X41,bD=2，且強(qiáng)度bs=10。MRF方法也被用于實(shí)現(xiàn)比較，其中，所述加權(quán)系數(shù)為1,規(guī)范數(shù)據(jù)和平滑之間的權(quán)重。每個(gè)算法在每個(gè)采樣系數(shù)下所獲得的結(jié)果進(jìn)行評(píng)價(jià)取決于根均方誤差（RMSE）,這個(gè)根均的時(shí)候，我們所提出的方法和雙邊濾波器是相當(dāng)?shù)?。?dāng)系數(shù)上升，我們的方法效果最好。并且在所有情況下，MRF由于其過(guò)平滑影響，具有最大的錯(cuò)誤。圖1也呈現(xiàn)了在間隔為10的采樣結(jié)果。從圖像中可以看出，雙邊濾波器得到的是尖銳邊界。我們提出的方法和模糊的邊界。但大多數(shù)情況下MRF會(huì)模糊。此外，我們提出的方法和域都比雙邊濾波器執(zhí)行地更好。MRF方法都會(huì)得到MRF方法在薄結(jié)構(gòu)的區(qū)MethodArtLaundryMoebiusReindeer551)12.7943.1672.4273.6674.78353723.638SU775.8576.8734.8056.3306.3748.9676.057S.0816.6362.8113.8752.9124,43743776.00745556.2605.4988.2445.7267.88220x6.2519.8986.6219.3715.7862.4593.4322.35H3.7235.3463.6815.4254.8357.3384.7566.7325.2048.8657.9A3表1在Middlebury數(shù)據(jù)集上的定量評(píng)價(jià)結(jié)果。將偏差值定義為RMSE4.2實(shí)驗(yàn)在Kinect數(shù)據(jù)集上7在這個(gè)實(shí)驗(yàn)中，我們應(yīng)用算法以修復(fù)速率產(chǎn)生對(duì)準(zhǔn)的深度和圖像對(duì)。Kinect的傳感器以高幀圖1為在Middlebury數(shù)據(jù)集上進(jìn)行引導(dǎo)深度上采樣，其中(為間隔進(jìn)行上采樣得出的結(jié)果MRF,和我們提出的方法以些區(qū)域中測(cè)量的距離會(huì)丟失。同時(shí)，從這些深度圖到發(fā)生移位的彩色圖的對(duì)準(zhǔn)導(dǎo)致了大量無(wú)效區(qū)域，這些無(wú)效區(qū)域沿在圖二中我們給出了一些修補(bǔ)結(jié)果。數(shù)據(jù)要么自己采取要么選擇從已建立好的Kinect數(shù)據(jù)集［10］中選擇。從結(jié)果中，我們看到我們?cè)O(shè)置的固定窗口大小導(dǎo)致了雙邊濾波器不能填滿所有的未知區(qū)域，。它表明一個(gè)自適應(yīng)方案應(yīng)設(shè)計(jì)成在所有情況下都能有效的使用。另一種看法與我們從以前的實(shí)驗(yàn)中看到的不太一樣，雙邊濾波器得到清晰的邊緣并且其他兩個(gè)方法得到模糊邊界。MRF和我們提出的方法在視覺(jué)上獲得的結(jié)果幾乎是相同的。MRF，和我們提出的方法得出的結(jié)果4.3實(shí)驗(yàn)在雷達(dá)數(shù)據(jù)上在最后的實(shí)驗(yàn)中，我們應(yīng)用算法來(lái)上采樣由達(dá)用于與相機(jī)結(jié)合。攝像機(jī)拍攝的圖像作為引導(dǎo)。們此處得到的是具有不均勻的分辨率的距離數(shù)據(jù)。Velodyne64E激光雷達(dá)得到的距離數(shù)據(jù),與在米德?tīng)柌飻?shù)據(jù)集上的采樣實(shí)驗(yàn)不同,這個(gè)雷89圖3為在Velodyne64E數(shù)據(jù)上進(jìn)行引導(dǎo)深度上采樣的結(jié)果。的圖中包含距離數(shù)據(jù)，最下三行分別為使用雙邊濾波器，MRF，和我們提出的方法得到的上采EquationChapter(Next)Section1在本文中，我們提出了一種新的方法引導(dǎo)深度增強(qiáng)。該方法是基于熱擴(kuò)散結(jié)構(gòu)，并通過(guò)使用隨機(jī)游走模型來(lái)有效地解決。因此，它可以被應(yīng)用于修補(bǔ)由Kinect傳感器產(chǎn)生的有缺陷的深度圖，也可以用于上采樣由激光雷達(dá)獲得的一系列距離數(shù)據(jù)。上述兩個(gè)應(yīng)用都是時(shí)下流行的。另一方面，為了研究從我們的算法到雙邊濾波器和