小波變換完美通俗解讀

小波變換完美通俗解讀轉(zhuǎn)自：這是《小波變換和motion信號(hào)處置》系列的第一篇，基礎(chǔ)普及。第二篇我預(yù)備寫深切小波的東西，第三篇講解應(yīng)用。記得我還在大四的時(shí)候，在申請(qǐng)出國(guó)和保研中猶豫了好一陣，骨子里的保守最后讓我選擇了先保研。固然后來也退學(xué)了，只是這是后話。那時(shí)保研就要找老板，實(shí)驗(yàn)室，自己運(yùn)氣還不錯(cuò)，進(jìn)了一個(gè)在本校很牛逼的實(shí)驗(yàn)室干生路。咱們實(shí)驗(yàn)室主若是弄圖像的，實(shí)力在全國(guó)也是很強(qiáng)的，進(jìn)去后和師兄師姐聊，大伙兒都在弄什么小波變換，H264之類的。那時(shí)的我心思都不在這方面，盡弄什么操作系統(tǒng)移植，ARM+FPGA這些東西了。對(duì)小波變換的熟悉也就停留在神秘的”圖像視頻緊縮算法之王”上面。后來我才發(fā)覺，在別的很普遍的領(lǐng)域中，小波也慢慢開始流行。比如話說很早以前，咱們接觸的信號(hào)頻域處置大體都是傅立葉和拉普拉斯的天下。但這些年，小波在信號(hào)分析中的慢慢興盛和普及。這讓人不能不感到好奇，是什么特性讓它在圖象緊縮，信號(hào)處置這些關(guān)鍵應(yīng)用中更取得信任呢?說實(shí)話，我還在國(guó)內(nèi)的時(shí)候，就開始好奇那個(gè)問題了，于是放狗搜，放毒搜，找遍了中文講小波變換的科普文章，發(fā)覺沒幾個(gè)講得清楚的，那時(shí)好奇心沒那么重，也不是弄那個(gè)研究的，懶得找英文大部頭論文了，于是作罷。后來來了這邊，有些項(xiàng)目要用信號(hào)處置，不得已接觸到一些小波變換的東西，才開始硬著頭皮看?？戳艘恍┎牧?，聽了一些課，才發(fā)覺，仍是那個(gè)老生常談的論調(diào)：國(guó)外的技術(shù)資料和國(guó)內(nèi)真TNND不是一個(gè)檔次的。一樣的情形，他人說得很清楚，連我這種并非伶俐的人也看得懂；國(guó)內(nèi)的材料則繞來繞去講得一塌糊涂，除少數(shù)天才沒幾個(gè)人能在短時(shí)刻把握的。怨言就不繼續(xù)發(fā)揮了。在那個(gè)系列文章里，我希望能簡(jiǎn)單介紹一下小波變換，它和傅立葉變換的比較，和它在移動(dòng)平臺(tái)做motiondetection的應(yīng)用。若是不做特殊說明，均以離散小波為例子?？紤]到我以前看中文資料的痛楚程度，我會(huì)盡可能用簡(jiǎn)單，可是直觀的方式去介紹。有些必要的公式是不能少的，但我盡可能少用公式，多用圖。另外，我不是一個(gè)好的翻譯者，因此關(guān)于某些實(shí)在翻譯不清楚的術(shù)語(yǔ)，我就會(huì)直接用英語(yǔ)。我并非claim我會(huì)把整個(gè)小波變換講清楚，這是不可能的事，我只能盡力去圍繞要點(diǎn)展開，比如小波變換相對(duì)傅立葉變換的益處，這些益處的緣故是什么，小波變換的幾個(gè)全然性質(zhì)是什么，背后的推導(dǎo)是什么。我希望達(dá)到的目的確實(shí)是一個(gè)小波變換的初學(xué)者在看完那個(gè)系列以后，就能夠用matlab或別的工具對(duì)信號(hào)做小波變換的大體分析而且明白那個(gè)分析可能是怎么回事。最后說明，我不是研究信號(hào)處置的專業(yè)人士，因此文中必有疏漏或錯(cuò)誤，如發(fā)覺還請(qǐng)不吝賜教。要講小波變換，咱們必需了解傅立葉變換。要了解傅立葉變換，咱們先要弄清楚什么是”變換"。很多處置，不管是緊縮也好，濾波也好，圖形處置也好，本質(zhì)都是變換。變換的是什么東西呢?是基，也確實(shí)是basis。若是你臨時(shí)有些遺忘了basis的概念，那么簡(jiǎn)單說，在線性代數(shù)里，basis是指空間里一系列線性獨(dú)立的向量，而那個(gè)空間里的任何其他向量，都能夠由這些個(gè)向量的線性組合來表示。那basis在變換里面啥用呢?比如說吧，傅立葉展開的本質(zhì)，確實(shí)是把一個(gè)空間中的信號(hào)用該空間的某個(gè)basis的線性組合表示出來，要如此表示的緣故，是因?yàn)楦盗⑷~變換的本質(zhì)，是。小波變換自然也不例外卜的和basis有關(guān)了。再比如你用Photoshop去向理圖像，里面的圖像拉伸，反轉(zhuǎn)，等等一系列操作，都是和basis的改變有關(guān)。既然這些變換都是在弄基，那咱們自然就容易想到，那個(gè)basis的選取超級(jí)重要，因?yàn)閎asis的特點(diǎn)決定了具體的計(jì)算進(jìn)程。一個(gè)空間中可能有很多種形式的basis，什么樣的basis比較好，專門大程度上取決于那個(gè)basis服務(wù)于什么應(yīng)用。比如若是咱們希望選取有利于緊縮的話，那么就希望那個(gè)basis能用其中很少的向量來最大程度地表示信號(hào)，如此即便把別的向量給砍了，信號(hào)也可不能損失很多。而若是是圖形處置中常見的線性變換，最省計(jì)算量的完美basis確實(shí)是eigenvectorbasis了，因?yàn)楝F(xiàn)在變換矩陣T對(duì)它們的作用等同于對(duì)角矩陣(Tv_n=av_n,a是eigenvalue)?？偟膩碇v，拋開具體的應(yīng)用不談，所有的basis,咱們都希望它們有一個(gè)一起的特點(diǎn)，那確實(shí)是，容易計(jì)算，用最簡(jiǎn)單的方式呈現(xiàn)最多的信號(hào)特性。好，此刻咱們對(duì)變換有了大體的熟悉，明白他們其實(shí)確實(shí)是在弄基。固然，弄基也是分形式的，不同的變換，弄基的妙處各有不同。接下來先看看，傅立葉變換是在干嗎。傅立葉級(jí)數(shù)最先是JosephFourier那個(gè)人提出的，他發(fā)覺，那個(gè)basis不單單存在與vectorspace，還存在于functionspace。那個(gè)functionspace本質(zhì)上仍是一個(gè)linearvectorspace，能夠是有限的，能夠是無窮的，只只是在那個(gè)空間里，vector確實(shí)是function了，而對(duì)應(yīng)的標(biāo)量確實(shí)是實(shí)數(shù)或復(fù)數(shù)。在vectorspace里，你有vectorv能夠?qū)懗蓈ectorbasis的線性組合，那在functionspace里，functionf(x)也能夠?qū)懗蓪?duì)應(yīng)functionbasis的線性組合，也有norm。你的vectorbasis能夠是正交的，我的functionbasis也能夠是正交的(比如sin(t)和sin(2t))。唯一不同的是，我的functionbasis是無窮盡的，因?yàn)槲业膄unctionspace的維度是無窮的。好，具體來講，那確實(shí)是此刻咱們有一個(gè)函數(shù)，f(x)。咱們希望將它寫成一些cos函數(shù)和一些sin函數(shù)的形式，像如此again，這是一個(gè)無窮循環(huán)的函數(shù)。其中的1，cosx,sinx,cos2x.…這些，確實(shí)是傅立葉級(jí)數(shù)。傅立葉級(jí)數(shù)應(yīng)用如此普遍的要緊緣故之一，確實(shí)是它們這幫子functionbasis是正交的，這確實(shí)是有趣的地址了。什么緣故functionbasis正交如此重要呢?咱們說兩個(gè)vector正交，那確實(shí)是他倆的內(nèi)積為0。那關(guān)于functionbasis呢?functionbasis怎么求內(nèi)積呢？此刻先溫習(xí)一下vector正交的概念。咱們說兩個(gè)vectorv,w若是正交的話，應(yīng)符合：那什么是function正交呢?假設(shè)咱們有兩個(gè)函數(shù)f(x)和g(x),那是什么?咱們遵循vector的思路去想，兩個(gè)vector求內(nèi)積，確實(shí)是把他們相同位置上對(duì)應(yīng)的點(diǎn)的乘積做一個(gè)累加。那移過來，確實(shí)是對(duì)每一個(gè)x點(diǎn)，對(duì)應(yīng)的f和g做乘積，再累加。只是問題是，f和g都是無窮函數(shù)阿，x又是一個(gè)持續(xù)的值。如何辦呢?向量是離散的，因此累加，函數(shù)是持續(xù)的，那確實(shí)是.…積分！咱們明白函數(shù)內(nèi)積是如此算的了，自然也就容易證明，依照那個(gè)形式去寫的傅立葉展開，這些級(jí)數(shù)確實(shí)都是兩兩正交的。證明進(jìn)程那個(gè)地址就不展開了。好，下一個(gè)問題確實(shí)是，什么緣故它們是正交basis如此重要呢?這就牽涉到系數(shù)的求解了。咱們研究了函數(shù)f，研究了級(jí)數(shù)，一堆三角函數(shù)和常數(shù)1，那系數(shù)呢?a0,a1,a2這些系數(shù)該怎么確信呢?好，比如我那個(gè)地址預(yù)備求a1To我此刻明白什么?信號(hào)f（x）是已知的，傅立葉級(jí)數(shù)是已知的，咱們?cè)趺辞骯1呢?很簡(jiǎn)單，把方程兩頭的所有部份都求和cosx的內(nèi)積，即：然后咱們發(fā)覺，因?yàn)檎坏男再|(zhì)，右邊所有非a1項(xiàng)全數(shù)消失了，因?yàn)樗麄兒蚦osx的內(nèi)積都是0！所有就簡(jiǎn)化為如此，a1就求解出來了。到那個(gè)地址，你就看出正交的奇異性了吧：）好，此刻咱們明白，傅立葉變換確實(shí)是用一系列三角波來表示信號(hào)方程的展開，那個(gè)信號(hào)能夠是持續(xù)的，能夠是離散的。傅立葉所用的functionbasis是專門挑選的，是正交的，是利于計(jì)算coefficients的。但萬(wàn)萬(wàn)別誤解為展開變換所用的basis都是正交的，這完全取決于具體的利用需求，比如泰勒展開的basis就只是簡(jiǎn)單的非正交多項(xiàng)式。有了傅立葉變換的基礎(chǔ)，接下來，咱們就看看什么是小波變換。第一來講說什么是小波。所謂波，確實(shí)是在時(shí)刻域或空間域的震蕩方程，比如正弦波，確實(shí)是一種波。什么是波分析？針對(duì)波的分析拉（冏）。并非是說小波分析才屬于波分析，傅立葉分析也是波分析，因?yàn)檎也ㄒ彩且环N波嘛。那什么是小波呢?那個(gè)”小"，是針對(duì)傅立葉波而言的。傅立葉所用的波是什么?正弦波，這玩意以有著無窮的能量，一樣的幅度在整個(gè)無窮大區(qū)間里面振蕩，像下面如此:那小波是什么呢?是一種能量在時(shí)域超級(jí)集中的波。它的能量是有限的，而且集中在某一點(diǎn)周圍。比如下面如此：這種小波有什么益處呢?它關(guān)于分析瞬不時(shí)變信號(hào)超級(jí)有效。它有效的從信號(hào)中提取信息，通過伸縮和平移等運(yùn)算功能對(duì)函數(shù)或信號(hào)進(jìn)行多尺度細(xì)化分析，解決了傅立葉變換不能解決的許多困難問題。恩，以上確實(shí)是通常情形下你能在國(guó)內(nèi)網(wǎng)站上搜到的小波變換文章告知你的。但什么緣故呢?這是我希望在那個(gè)系列文章中講清楚的。只是在這篇文章里，我先點(diǎn)到為止，把小波變換的重要特性和優(yōu)勢(shì)cover了，在下一篇文章中再具體推導(dǎo)這些特性。小波變換的本質(zhì)和傅立葉變換類似，也是用精心挑選的basis來表示信號(hào)方程。每一個(gè)小波變換都會(huì)有一個(gè)motherwavelet，咱們稱之為母小波，同時(shí)還有一個(gè)scalingfunction，中文是尺度函數(shù)，也被成為父小波。任何小波變換的basis函數(shù)，其實(shí)確實(shí)是對(duì)那個(gè)母小波和父小波縮放和平移后的集合。下面這附圖確實(shí)是某種小波的示用意：從那個(gè)地址看出，那個(gè)地址的縮放倍數(shù)都是2的級(jí)數(shù)，平移的大小和當(dāng)前其縮放的程度有關(guān)。如此的益處是，小波的basis函數(shù)既有高頻又有低頻，同時(shí)還覆蓋了時(shí)域。關(guān)于這點(diǎn)，咱們會(huì)在以后詳細(xì)論述。小波展開的形式通常都是如此(注意，那個(gè)只是近似表達(dá)，嚴(yán)謹(jǐn)?shù)恼归_形式請(qǐng)參考第二篇):其中的確實(shí)是小波級(jí)數(shù)，這些級(jí)數(shù)的組合就形成了小波變換中的基basis。和傅立葉級(jí)數(shù)有一點(diǎn)不同的是，小波級(jí)數(shù)一般是orthonormalbasis，也確實(shí)是說，它們不僅兩兩正交，還歸一化了。小波級(jí)數(shù)通常有很多種，可是都符合下面這些特性：小波變換對(duì)不管是一維仍是高維的大部份信號(hào)都能cover專門好。那個(gè)和傅立葉級(jí)數(shù)有專門大區(qū)別。后者最擅長(zhǎng)的是把一維的，類三角波持續(xù)變量函數(shù)信號(hào)映射到一維系數(shù)序列上，但關(guān)于突變信號(hào)或任何高維的非三角波信號(hào)則幾乎無能為力。圍繞小波級(jí)數(shù)的展開能夠在時(shí)域和頻域上同時(shí)定位信號(hào)，也確實(shí)是說，信號(hào)的大部份能量都能由超級(jí)少的展開系數(shù)，比如a_{j,k}，決定。那個(gè)特性是得益于小波變換是二維變換。咱們從二者展開的表達(dá)式就能夠夠看出來，傅立葉級(jí)數(shù)是，而小波級(jí)數(shù)是。從信號(hào)算出展開系數(shù)a需要很方便。普遍情形下，小波變換的復(fù)雜度是O(Nlog(N))，和FFT相當(dāng)。有很多專門快的變換乃至能夠達(dá)到O(N)，也確實(shí)是說，計(jì)算復(fù)雜度和信號(hào)長(zhǎng)度是線性的關(guān)系。小波變換的等式概念，能夠沒有積分，沒有微分，僅僅是乘法和加法即能夠做到，和現(xiàn)代運(yùn)算機(jī)的計(jì)算指令完全match?？赡芸吹侥莻€(gè)地址，你會(huì)有點(diǎn)暈了。這些特性是怎么來的?什么緣故需要有這些特性?具體到實(shí)踐中，它們究竟是怎么給小波變換帶來比他人更強(qiáng)的益處的?計(jì)算簡(jiǎn)單那個(gè)可能好明白得，因?yàn)榍懊嬖蹅円呀?jīng)講過正交特性了。那么二維變換呢?頻域和時(shí)域定位是如何進(jìn)行的呢？恩，我完全明白得你的感受，因?yàn)楫?dāng)初我看別的文章，也是有這些問題，確實(shí)是看不到答案。要說想完全明白得小波變換的這些本質(zhì)，需要詳細(xì)的講解，因此我就把它放到下一篇了。接下來，上幾張圖，咱們以一些大體的信號(hào)處置來呈現(xiàn)小波變換比傅立葉變換好的地址，我保證，你看了那個(gè)比較以后，可能能隱約感受到小波變換的壯大，并對(duì)背后的原理充滿期待：）假設(shè)咱們此刻有這么一個(gè)信號(hào)：看到了吧，那個(gè)信號(hào)確實(shí)是一個(gè)直流信號(hào)。咱們用傅立葉將其展開，會(huì)發(fā)覺形式超級(jí)簡(jiǎn)單：只有一個(gè)級(jí)數(shù)系數(shù)不是0，其他所有級(jí)數(shù)系數(shù)都是0。好，咱們?cè)倏唇酉聛砟莻€(gè)信號(hào)：簡(jiǎn)單說，確實(shí)是在前一個(gè)直流信號(hào)上，增加了一個(gè)突變。其實(shí)那個(gè)突變，在時(shí)域中看來很簡(jiǎn)單，前面仍是很滑膩的直流，后面也是很滑膩的直流，確實(shí)是中間有一個(gè)階躍嘛?？墒牵羰窃蹅?cè)俅巫屍涓盗⑷~展開呢?所有的傅立葉級(jí)數(shù)都為非0了！什么緣故?因?yàn)楦盗⑷~必需用三角波來展開信號(hào)，關(guān)于這種變換突但是猛烈的信號(hào)來講，即便只有一小段變換，傅立葉也不能不用大量的三角波去擬合，就像如此：看看上面那個(gè)圖。學(xué)過大體的信號(hào)知識(shí)的朋友估量都能想到，這不確實(shí)是Gibbs現(xiàn)象么?Exactly。用比較八股的說法來講明，Gibbs現(xiàn)象是由于展開式在中斷點(diǎn)鄰域不能均勻收斂所引發(fā)的，即便在N趨于無窮大時(shí)，這一現(xiàn)象也仍然存在。其實(shí)通俗一點(diǎn)說明，確實(shí)是當(dāng)轉(zhuǎn)變太sharp的時(shí)候，三角波fit只是來了，就湊合出Gibbs了：）接下來咱們來看看，若是用適才舉例中的那種小波，展開以后是如此的：看見了么?只要小波basis不和那個(gè)信號(hào)轉(zhuǎn)變重疊，它所對(duì)應(yīng)的級(jí)數(shù)系數(shù)都為0!也確實(shí)是說，假設(shè)咱們就用那個(gè)三級(jí)小波對(duì)此信號(hào)展開，那么只有3個(gè)級(jí)數(shù)系數(shù)不為0。你能夠利用更復(fù)雜的小波，不管什么小波，大部份級(jí)數(shù)系數(shù)都會(huì)是0。緣故?由于小波basis的特殊性，任何小波和常量函數(shù)的內(nèi)積都趨近于0。換句話說，選小波的時(shí)候，就需要保證母小波在一個(gè)周期的積分趨近于0。正是那個(gè)有趣的性質(zhì)，讓小波變換的計(jì)算和對(duì)信號(hào)的詮釋比傅立葉變換更勝一籌！緣故在于，小波