基于雙層稀疏性編碼的區(qū)域標(biāo)簽方法

LabeltoRegionbyBi-LayerSparsityPriors基于雙層稀疏性編碼的區(qū)域標(biāo)簽方法

1.文獻(xiàn)概述2.實(shí)現(xiàn)方法Backtoschool文獻(xiàn)概述

應(yīng)用背景：圖像檢索基于圖像周圍的文字進(jìn)行檢索從圖像中直接得到語義區(qū)域基本目的：從含有image-levellabel的圖像中識(shí)別出語義區(qū)域（semanticregion）。思路：ImagelabelSemanticregionregionlevelcorrespondenceRegionwithlabelsobtaineddifficulty思路：ImagelabelSemanticregion圖像塊(patch)原圖像訓(xùn)練圖庫Patchtoregionrelationsobtaineddifficulty思路：ImagelabelSemanticregionlabelpairs圖像塊(patch)原圖像訓(xùn)練圖庫原圖patch構(gòu)建

candidateregion訓(xùn)練圖庫patchwhithlabel重構(gòu)candidateregioncross-imagepatch-to-regioncorrespondence實(shí)現(xiàn)流程首先，提出了一種新的兩層稀疏編碼技術(shù)，用于圖像的重建任務(wù)其次，將兩層稀疏編碼轉(zhuǎn)換為L(zhǎng)1范式函數(shù)最優(yōu)問題，并使用傳統(tǒng)的數(shù)學(xué)優(yōu)化技術(shù)解決問題最后，提出了一種基于重建關(guān)系的關(guān)鍵系傳播算法，用于labeltoregion任務(wù)Contents實(shí)現(xiàn)方法

Over-segmentationI:SparseCodingforCandidateRegionII:SparsityforPatch-to-RegionContextualLabel-to-RegionAssignment&ImageannotationContentsBacktoschool基于閾值分割的分割方法基于區(qū)域分割基于邊緣分割基于聚類分割efficientgraph-basedimagesegmation圖像分割所謂基于圖的分割技術(shù)通常用G=(V,E)表示一個(gè)無向圖，頂點(diǎn)vi∈V，邊(vi,vj)∈E有一個(gè)對(duì)應(yīng)的權(quán)值((vi,vj))，是一個(gè)非負(fù)值，測(cè)量相鄰頂點(diǎn)的相異程度。在圖像分割的情況下，頂點(diǎn)V是像素，邊的權(quán)值是這條邊相連的兩個(gè)像素的相異度（亮度差，顏色差等）。在基于圖像的方法中，一個(gè)分割S是V的一種劃分的一個(gè)部分，每個(gè)分組C屬于S對(duì)應(yīng)中一個(gè)連通區(qū)域G’=(V,E),E∈E’.基于圖的圖像分割用不同的方法測(cè)量一個(gè)分組的特性，通常我們希望在一個(gè)分組中的元素是相似的，在不同分組中的元素特性是相異的，這說明在同一個(gè)分組中連接兩個(gè)頂點(diǎn)的邊的權(quán)值相對(duì)較小，連接在不同分組中的點(diǎn)邊的權(quán)值較大基于圖的圖像分割定義一個(gè)謂詞測(cè)量?jī)蓚€(gè)分組邊緣的元素的相異程度相對(duì)于測(cè)量分組內(nèi)相鄰元素的相異程度定義一個(gè)分組CV的內(nèi)部差異為這個(gè)分組內(nèi)最小生成樹的最大權(quán)值MST（C,E）Int(c)=max(c)定義兩個(gè)分組C1，C2，其間的差異為連接兩個(gè)部分的邊中權(quán)值的最小值Dif(C1，C2)=min（Vi，Vj）基于圖的圖像分割區(qū)域比較謂詞通過檢測(cè)分組之間的差異相對(duì)于內(nèi)部差異，是否比其中一個(gè)大來判斷是否有邊界其中Mint(C1，C2)=min(Int(C1)+τ(C1),Int(C2)+τ(C2))，閥值函數(shù)τ控制兩個(gè)分組之間差異比他們內(nèi)部差異大的程度，這樣是為了判斷兩個(gè)分組之間是否有邊界。極端情況下，當(dāng)C是一個(gè)點(diǎn)時(shí)，Int(C)=0基于圖的圖像分割算法中采用了一個(gè)與區(qū)域大小相關(guān)的閾值函數(shù)：τ(C)=k/︱C︱k是一個(gè)常數(shù)，事實(shí)上，k代表著一個(gè)感官上的度量，k較大則傾向于分出的區(qū)域更大。經(jīng)過試驗(yàn)對(duì)比，取k=300，C取320×240時(shí)效果最好?；趫D的圖像分割算法流程算法流程例子不僅能捕捉到一定的重要的非局部圖像特征，而且在時(shí)間上是比較有效率的，理論上n個(gè)像素的時(shí)間復(fù)雜度為O(nlogn),和經(jīng)典算法不同的是這個(gè)算法根據(jù)圖像中相鄰區(qū)域的可變度，自適應(yīng)地調(diào)整分割標(biāo)準(zhǔn)。優(yōu)點(diǎn)Generatevisualwordsstep（生成具有視覺單詞的步驟）1、Difference-of–Gaussianfilteronthegray-scaleimagetodetectsalientpoints2、computeSIFTfeatureoverlocalareasbydetectedsalientpoints3、K-meansclusteringapproachRepresentationHowtofindoutthesemantically-similarregion-pairfromtwoimagethatcontainscommonlabel提出雙層稀疏編碼技術(shù)用于圖像的魯棒重建任務(wù)將稀疏編碼轉(zhuǎn)換為L(zhǎng)1范式凸函數(shù)最優(yōu)問題I：Sparsecodingforcandidateregion稀疏編碼模型認(rèn)為，每幅圖像都可以看成多個(gè)基函數(shù)的線性組合，在有足夠多的訓(xùn)練好的圖像庫中，稀疏編碼模型表示為y=AαY表示待測(cè)圖像的representationα是一個(gè)相似系數(shù)A表示所有輸入圖像塊數(shù)據(jù)庫的representation

NP-hardquestionDense，havenoinformativeforreconstructingy考慮噪聲影響，將噪聲表示成得出最優(yōu)解也就是得到了一幅圖的多個(gè)具有標(biāo)簽的patchImagewithnoiseII:SparsityforPatch-to-RegionPurpose:Buildpairwisesemanticregioncorrespondence,whichisusedforlabelpropagationfromimage-leveltoregion-level.目的：建立語義區(qū)域相關(guān)性雙層編碼示意圖定義如下變量以完成對(duì)a的第2次編碼第i個(gè)圖像的第j個(gè)圖像塊的標(biāo)準(zhǔn)化權(quán)重，根據(jù)i圖像的大小和patch(j)的大小計(jì)算得來第1次編碼得到的相似性系數(shù)矩陣每個(gè)圖像的總權(quán)重對(duì)于第i個(gè)圖像，其總權(quán)重為整體表示所有的圖像權(quán)重第i個(gè)圖像，其總權(quán)重為整體權(quán)重表示為：第二層編碼的結(jié)果即為下式的最優(yōu)化結(jié)果簡(jiǎn)化為如下形式：其中：利用雙層稀疏性編碼重構(gòu)的圖像重構(gòu)出來的區(qū)域ContextualLabel-to-RegionAssignmentImageannotation目的：將識(shí)別出來的label組合成語義區(qū)域并進(jìn)行語義標(biāo)注Labelpropagation(i=1–N迭代過程)ReferenceimagexiSelectedpatche