小波變換及稀疏表述初步-梅樹(shù)立

小波變換及稀疏表示初步梅樹(shù)立2023/2/61三維空間屬于線(xiàn)性空間大多數(shù)的信號(hào)如圖像等，無(wú)法在線(xiàn)性空間描述線(xiàn)性向量空間和泛函空間典型的泛函空間：距離空間，Banah空間，內(nèi)積空間，Hilbert空間。構(gòu)成線(xiàn)性空間的元素是向量（N維），構(gòu)成泛函空間的基本元素是函數(shù)（基函數(shù)）。因此，泛函簡(jiǎn)稱(chēng)為“函數(shù)的函數(shù)”2023/2/62概述-從空間解析幾何談起2023/2/63基函數(shù)

和

三角板如何用數(shù)學(xué)公式表達(dá)這種基函數(shù)逼近？2023/2/64基函數(shù)如何用數(shù)學(xué)公式表達(dá)這種基函數(shù)逼近？如何提高逼近精度？2023/2/65基函數(shù)V0:在整數(shù)區(qū)間內(nèi)為常數(shù)的所有平方可積函數(shù)構(gòu)成的空間，可表示為以下形式：2023/2/66基函數(shù)空間V1:在半整數(shù)區(qū)間內(nèi)為常數(shù)的所有平方可積函數(shù)構(gòu)成的空間，可表示為以下形式：2023/2/67基函數(shù)空間V2:在1/4整數(shù)區(qū)間內(nèi)為常數(shù)的所有平方可積函數(shù)構(gòu)成的空間，可表示為以下形式：2023/2/68基函數(shù)空間V0V2V12023/2/69Vj:在1/2j整數(shù)區(qū)間內(nèi)為常數(shù)的所有平方可積函數(shù)構(gòu)成的空間，可表示為以下形式：2023/2/610基函數(shù)空間思考：將一個(gè)函數(shù)分別表達(dá)在V0空間和V1空間，這兩種逼近表達(dá)之間的誤差是多少？換句話(huà)說(shuō)，我們能否找到誤差補(bǔ)空間W0，滿(mǎn)足:2023/2/611RECALL2023/2/612函數(shù)f(x)=a-(x-b)2在V0空間的映射（在V0空間被逼近）若a=b=1,則h=2/32023/2/613函數(shù)f(x)=a-(x-b)2在V1空間的映射（在V1空間被逼近）若a=b=1,則h1=5/12,h2=11/122023/2/614V0的補(bǔ)空間？2023/2/6152023/2/6162023/2/6172023/2/618TranslatingStretching2023/2/619f(x)=a-(x-b)2在V0空間內(nèi)的逼近表達(dá)式（紅色直線(xiàn)）：在V1空間內(nèi)的逼近表達(dá)式（綠藍(lán)色直線(xiàn)）：在補(bǔ)空間W1空間內(nèi)的逼近表達(dá)式：2023/2/620….因此，有進(jìn)一步可表示為2023/2/621Haar小波通過(guò)平移和伸縮可以得到Haar小波族2023/2/622平移2023/2/623伸縮2023/2/624小波的一般表達(dá)式Haar小波的正交特性2023/2/625多尺度分析Only0functioninallspaces如果某函數(shù)在所有空間中，必然在任意區(qū)間上是常數(shù)，而且平方可積，因此只能是0。所謂平方可積，即：2023/2/626多尺度分析可以逼近所有的平方可積函數(shù)f(x)以上盡管涉及到了內(nèi)積運(yùn)算，但實(shí)質(zhì)屬于插值。即以上討論內(nèi)容均在巴拿赫空間進(jìn)行。完備的線(xiàn)性賦范空間稱(chēng)為Banach空間由于沒(méi)有定義內(nèi)積概念，只能用線(xiàn)性泛函代替內(nèi)積。如插值算子，Laplace算子（微分算子）等。（算子是泛函的一種）。坐標(biāo)就是線(xiàn)性泛函。完備的內(nèi)積空間稱(chēng)為Hilbert空間。數(shù)值逼近理論在Hilbert空間定義。Banach空間和Hilbert空間設(shè)X是n維實(shí)向量空間，對(duì)其中向量?jī)?nèi)積舉例定義內(nèi)積正交的定義:(x,y)=0利用內(nèi)積定義正交任何n維空間都存在正交基正交推論：Hilbert空間中的最佳逼近設(shè)線(xiàn)性?xún)?nèi)積空間的最佳逼近是線(xiàn)性?xún)?nèi)積空間X的n+1個(gè)線(xiàn)性無(wú)關(guān)元素，子集在中尋求對(duì)X的某一元素f的最佳逼近時(shí)指在中存在一元素S*，使對(duì)于任意都有定理：作為最佳逼近元素的充要條件是集對(duì)f的最佳逼近元素的充要條件是S1-f與所有的正交。假設(shè)f是集合中的元素，則，f可以被集合中的基函數(shù)精確線(xiàn)性表達(dá)。誤差S1-f=0。若表達(dá)式的誤差不為零，且誤差仍然能被基函數(shù)表達(dá)，說(shuō)明表達(dá)式還不完整。根據(jù)定理推導(dǎo)逼近向量表達(dá)式由下列方程組決定對(duì)應(yīng)的矩陣形式為舉例被逼近函數(shù)為F=MC=F39RelationtomeasurementsDenoisingByEnergyMinimizationThomas

Bayes1702-1761Priororregularizationy:Givenmeasurementsx:UnknowntoberecoveredManyoftheproposeddenoisingalgorithmsarerelatedtotheminimizationofanenergyfunctionoftheformThisisin-factaBayesianpointofview,adoptingtheMaximum-AposterioriProbability(MAP)estimation.Clearly,thewisdominsuchanapproachiswithinthechoiceoftheprior–modelingtheimagesofinterest.40TheEvolutionOfPr(x)DuringthepastseveraldecadeswehavemadeallsortofguessesaboutthepriorPr(x)forimages:Mumford&Shahformulation,Compressionalgorithmsaspriors,…EnergySmoothnessAdapt+SmoothRobustStatisticsTotal-VariationWaveletSparsitySparse&RedundantImageDenoisingViaLearnedDictionariesandSparserepresentationsBy:MichaelElad41TheSparselandModelforImagesMKNAfixedDictionaryEverycolumninD(dictionary)isaprototypesignal(Atom).Thevector

isgeneratedrandomlywithfew(sayL)non-zerosatrandomlocationsandwithrandomvalues.Asparse&randomvectorND-y

=-

OurMAPEnergyFunctionWeLonormiseffectivelycountingthenumberofnon-zerosin.Thevectoristherepresentation(sparse/redundant).Theaboveissolved(approximated!)usingagreedyalgorithm-theMatchingPursuit[Mallat&Zhang(`93)].Inthepast5-10yearstherehasbeenamajorprogressinthefieldofsparse&redundantrepresentations,anditsuses.WhatShouldDBe?OurAssumption:Good-behavedImageshaveasparserepresentationDshouldbechosensuchthatitsparsifiestherepresentationsTheapproachwewilltakeforbuildingDistrainingit,basedonLearningfromImageExamples

OneapproachtochooseDisfromaknownsetoftransforms(Steerablewavelet,Curvelet,Contourlets,Bandlets,…)欠定方程組的稀疏解測(cè)量矩陣有關(guān)欠定方程組的兩個(gè)等價(jià)特性則:Z,X均為2-稀疏向量，且AX=AZ，但X~=Z欠定方程組稀疏解的唯一性表達(dá)式則表示矩陣A的列子矩陣(從N列中抽出S列構(gòu)成的子矩陣)，類(lèi)似地，對(duì)向量,我們用表示X中的S個(gè)元素構(gòu)成的子向量，即四個(gè)等價(jià)的唯一性表達(dá)式如果x和z都是s-稀疏的,且Ax=Az,則x=z除0向量外，零空間核A中不包含任何2s-稀疏向量Proof.設(shè)v是零空間A中一2s-稀疏向量。若s-稀疏向量x和z中非0元素的位置不重疊，換句話(huà)說(shuō)，x-z屬于2s-稀疏向量。不失一般性，設(shè)v=x-z.根據(jù)(a),對(duì)于任一s-稀疏N維向量X和Z，若滿(mǎn)足AX=AZ，則X=Z.因此,v=0(b)(a)設(shè)x,z是s-稀疏向量，且滿(mǎn)足Ax=Az.X-z是2s-稀疏向量，且A(x-z)=0。如果A中不包含2s-稀疏非0向量，則x=z以上兩條等價(jià)性定理說(shuō)明：s-稀疏信號(hào)對(duì)應(yīng)的測(cè)量矩陣A中不包含2s-稀疏向量；A的行數(shù)m<=2s取矩陣A的S列（card(S)<=2s）構(gòu)成的子矩陣As是CS->Cm之間的單一映射矩陣(Y和X之間形成單一映射)Z,X均為2-稀疏向量，且AX=AZ，但X~=Z不符合前述哪些條件？矩陣的秩至少應(yīng)該為2s2s-稀疏N維向量V的支撐區(qū)間為S=supp(v).因此，AV=AsVs.注意到S=suppV涵蓋了[N]所有的可能子集。根據(jù)測(cè)量矩陣A得到的壓縮信號(hào)：Y=AX，X∈CN，Y∈Cm稀疏表示的目標(biāo)：根據(jù)壓縮信號(hào)Y∈Cm恢復(fù)稀疏信號(hào)X∈CN該目標(biāo)對(duì)A的要求是：由于稀疏表示對(duì)A的要求為：定理2(s-稀N維疏信號(hào)的壓縮測(cè)量矩陣的存在性)對(duì)于N維s-稀疏信號(hào)X，一定存在2s*N測(cè)量矩陣A,使得壓縮測(cè)量得到的向量Y可以唯一恢復(fù)。定理2因此，As可逆且是一單射矩陣，符合定理1中的等價(jià)性質(zhì)c,定理得證。符合以上要求的矩陣還有很多，如上述討論告訴我們：Y=AX，測(cè)量矩陣A對(duì)N維s-稀疏信號(hào)進(jìn)行壓縮測(cè)量得到的壓縮數(shù)據(jù)Y，當(dāng)A滿(mǎn)足一定條件時(shí)，可由Y唯一恢復(fù)原始信號(hào)X。A是m*N（N>>m）矩陣，即A不存在逆矩陣。如何由Y恢復(fù)X？設(shè)N維向量x是s-稀疏向量，假設(shè)該向量是通過(guò)2s個(gè)離散Fourier變換系數(shù)：觀測(cè)。其中考慮以下三角多項(xiàng)式當(dāng)時(shí)，上式精確消失，因此我們重點(diǎn)尋找集合S欠定方程組的稀疏解MohimaniGH,Babaie-ZadehM,JuttenC.Fastsparserepresentationbasedo