ica方法的原理和應(yīng)用綜述

ica方法的原理和應(yīng)用綜述

1獨(dú)立成分分析法請(qǐng)想象一下。在一個(gè)房間里的不同位置放置兩個(gè)麥克風(fēng)，兩個(gè)人說(shuō)兩個(gè)人在講故事。兩個(gè)麥克風(fēng)可以同時(shí)記錄兩個(gè)時(shí)間信號(hào)。僅使用這兩個(gè)記錄信號(hào)來(lái)估計(jì)原始兩個(gè)語(yǔ)音信號(hào)是非常重要的，即所謂的“雞尾酒會(huì)”。獨(dú)立成分分析法(ICA)最初是用來(lái)解決“雞尾酒會(huì)”問(wèn)題.由于主成分分析(PCA)和奇異值分解(SVD)是基于信號(hào)二階統(tǒng)計(jì)特性的分析方法,其目的用于去除圖像各分量之間的相關(guān)性,因而它們主要應(yīng)用于圖像數(shù)據(jù)的壓縮;而ICA則是基于信號(hào)高階統(tǒng)計(jì)特性的分析方法,經(jīng)ICA分解出的各信號(hào)分量之間是相互獨(dú)立的.正是因?yàn)檫@一特點(diǎn),使ICA在信號(hào)處理領(lǐng)域受到了廣泛的關(guān)注.隨著近年來(lái)在ICA方面研究興趣的增加,使它在許多領(lǐng)域也有了非常有趣的應(yīng)用.2獨(dú)立成分分析2.1統(tǒng)計(jì)獨(dú)立的概念及基本定義ICA是近幾年才發(fā)展起來(lái)的一種新的統(tǒng)計(jì)方法.該方法的目的是,將觀察到的數(shù)據(jù)進(jìn)行某種線(xiàn)性分解,使其分解成統(tǒng)計(jì)獨(dú)立的成分.最早提出ICA概念的是Jutten和Herault,當(dāng)時(shí)他們對(duì)ICA給出了一種相當(dāng)簡(jiǎn)單的描述,認(rèn)為ICA是從線(xiàn)性混合信號(hào)里恢復(fù)出一些基本的源信號(hào)的方法.為了給ICA下一個(gè)嚴(yán)格的定義,這里需要使用一個(gè)隱藏的統(tǒng)計(jì)變量模型x=As(1)式(1)中的統(tǒng)計(jì)模型稱(chēng)為獨(dú)立成分分析,或者ICA模型,它表示被觀察到的數(shù)據(jù)是如何由獨(dú)立成分混合而產(chǎn)生的.獨(dú)立成分是隱藏的變量,意味著它不能直接被觀察到,而且混合矩陣也被假設(shè)為未知的.所有能觀察到的僅僅只是隨機(jī)向量x,必須估計(jì)出A和s,而且必須在盡量少的假設(shè)條件下完成它.ICA的出發(fā)點(diǎn)非常簡(jiǎn)單,它假設(shè)成分是統(tǒng)計(jì)獨(dú)立的,而且還必須假設(shè)獨(dú)立成分是非高斯分布的.統(tǒng)計(jì)獨(dú)立的概念將在下面給出定義,為了簡(jiǎn)單起見(jiàn),還得假設(shè)未知的混合陣為方陣.如果能計(jì)算出A的逆W,這樣獨(dú)立成分可由下式得到s=Wx(2)式(1)中的ICA模型存在如下的兩個(gè)不確定性因素:(i)不能確定獨(dú)立成分的方差;(ii)不能確定獨(dú)立成分的順序.ICA方法與盲源信號(hào)分離(BSS)方法非常接近.這里“source”指的是原始信號(hào)即獨(dú)立成分,像“雞尾酒會(huì)”問(wèn)題上的說(shuō)話(huà)者;“blind”指我們對(duì)混合陣幾乎未知,對(duì)原始信號(hào)進(jìn)行很少的假設(shè).給定M個(gè)混合信號(hào),ICA能同時(shí)估計(jì)出M個(gè)成分或K≤M個(gè)成分,ICA有可能是BSS中用得最廣泛的一種方法.在許多實(shí)際應(yīng)用中,模型中都含有噪聲.但為了簡(jiǎn)單起見(jiàn),在模型中我們將忽略噪聲的影響,有噪聲的ICA見(jiàn)文獻(xiàn).由于統(tǒng)計(jì)獨(dú)立是ICA方法的前提,在開(kāi)始講述ICA模型估計(jì)的方法前,首先將給出獨(dú)立的確切定義.2.2概率函數(shù)h/h3學(xué)術(shù)上,獨(dú)立性的定義由概率密度來(lái)定義.如果定義兩個(gè)隨機(jī)變量y1和y2是獨(dú)立的,當(dāng)且僅當(dāng)聯(lián)合概率密度可按下式分解:p(y1,y2)=p1(y1)p2(y2)該定義可擴(kuò)展到n個(gè)隨機(jī)變量,這種情況下聯(lián)合密度是n個(gè)隨機(jī)變量的乘積.該定義對(duì)獨(dú)立的隨機(jī)變量可衍生一個(gè)重要的特性:給定兩個(gè)函數(shù)h1和h2,總是有E{h1(y1)h2(y2)}=E{h1(y1)}E{h2(y2)}由于隨機(jī)變量的概率密度一般都未知,從而從概率的角度來(lái)度量獨(dú)立存在著一定的難度,因此我們建議采用上面這種方法.而在文獻(xiàn)中,則是從另外一種角度來(lái)理解獨(dú)立的概念.對(duì)兩個(gè)隨機(jī)變量x和y,如果Cov(x,y)=E[xy]-E[x]E[y]=0,那么x和y不相關(guān);如果E[xpyq]-E[xp]E[yq]=0,p和q對(duì)任何整數(shù)都成立,那么x和y統(tǒng)計(jì)獨(dú)立.從上面的推導(dǎo)可知,如果x和y獨(dú)立,那么它們一定不相關(guān);相反,如果x和y不相關(guān),則并不意味著它們是獨(dú)立的.因?yàn)楠?dú)立即意味著不相關(guān),因此總是給定獨(dú)立成分的不相關(guān)估計(jì).這樣不僅減少了參數(shù)數(shù)目,而且簡(jiǎn)化了問(wèn)題.由此可得出,這兩種對(duì)獨(dú)立的定義方法是相通的.只不過(guò)文獻(xiàn)依賴(lài)于對(duì)相關(guān)性的定義,它是理解獨(dú)立這個(gè)概念更直觀、更簡(jiǎn)便的一種方法.2.3投影法獨(dú)立成分ICA和投影法是分離混合物為單個(gè)獨(dú)立成分的兩個(gè)相關(guān)的方法.投影法(ProjectionPursuit)也是統(tǒng)計(jì)學(xué)里發(fā)展起來(lái)的一種方法,它的目的是為多維數(shù)據(jù)找到有意義的投影.這種方法可用來(lái)對(duì)數(shù)據(jù)進(jìn)行最優(yōu)化,例如密度估計(jì).在最基本的1-D投影法里,盡量找到這樣的方向使數(shù)據(jù)在該方向上的投影具有有意義的分布.一般來(lái)說(shuō),所有非高斯測(cè)量及相應(yīng)的ICA算法都可稱(chēng)作投影法的算法,特別是,投影法允許獨(dú)立成分比原來(lái)的變量少.假設(shè)獨(dú)立成分所張成的空間沒(méi)有充滿(mǎn)高斯噪聲,計(jì)算非高斯投影的方向,實(shí)際上是估計(jì)的獨(dú)立成分;當(dāng)所有的非高斯方向都被找到時(shí),所有的獨(dú)立成分實(shí)際上也已經(jīng)被估計(jì)完了,這種程序可稱(chēng)為投影法和ICA的混合.然而我們應(yīng)看到,投影法并沒(méi)有關(guān)于獨(dú)立成分的數(shù)據(jù)模型和假設(shè).如果ICA模型成立,ICA非高斯測(cè)量的優(yōu)化將產(chǎn)生獨(dú)立成分;如果模型不成立,那么所得到的為投影法的方向.在文獻(xiàn)中投影法的假設(shè)條件是:任何有限個(gè)源信號(hào)的線(xiàn)性混合信號(hào)是高斯分布的,而源信號(hào)則是非高斯分布的.投影法抽取信號(hào)的方法是:從線(xiàn)性混合信號(hào)里找到一種變換,這樣抽取的是非高斯信號(hào).顯然,統(tǒng)計(jì)獨(dú)立假設(shè)是暗含在源信號(hào)是非高斯假設(shè)里的,因此投影法和ICA是基于相同的假設(shè),且這種假設(shè)是與物質(zhì)世界的時(shí)空觀一致的.不同的是,投影法一次只能抽取一個(gè)信號(hào),而ICA可同時(shí)抽取一系列信號(hào).2.4像序列分解成獨(dú)立圖像和無(wú)限制圖像的特點(diǎn)近年來(lái)fMRI成像技術(shù)日趨成熟,ICA是一個(gè)從其他生理和非自然成分中,決定與任務(wù)相關(guān)的激活區(qū)的方法.它的每個(gè)成分由一個(gè)固定的三維空間分布的腦體素和一個(gè)相關(guān)的激活時(shí)間序列組成,ICA的兩種互為補(bǔ)充方法(sICA和tICA)可以將一個(gè)圖像序列分解成一系列圖像和相應(yīng)的一系列時(shí)變的圖像幅度.tICA產(chǎn)生了一系列獨(dú)立的時(shí)間序列和相應(yīng)的一系列不受限制的圖像.獨(dú)立時(shí)間序列被抽取,是將圖像(相對(duì)每個(gè)時(shí)間點(diǎn))放在x的列中,N個(gè)像素中的每一個(gè)作為獨(dú)立的麥克風(fēng)或混合信號(hào),每個(gè)混合信號(hào)由T個(gè)時(shí)間點(diǎn)組成.sICA產(chǎn)生了一系列相互獨(dú)立的圖像和相應(yīng)的一系列不受限制的時(shí)間序列.代替將圖像放在x的列中,sICA將每幅圖像放在x的行中.在這種情況下,每幅圖像的像素值相對(duì)其它的圖像來(lái)說(shuō)是獨(dú)立的.嚴(yán)格的來(lái)講,無(wú)論是sICA還是tICA,都是在犧牲物理上不可能實(shí)現(xiàn)的形式來(lái)滿(mǎn)足對(duì)成分獨(dú)立的限制條件.stICA則將獨(dú)立成分和它們相應(yīng)的信號(hào)放在同等重要的位置上,它同時(shí)最大化空間和時(shí)間上的獨(dú)立度,即stICA在相互獨(dú)立的圖像和相互獨(dú)立的時(shí)間序列上采取了一種折衷的方法.3ica評(píng)估原理當(dāng)前估計(jì)ICA模型的主要方法有非高斯的最大化、互信息的最小化、最大似然函數(shù)估計(jì)(ML).3.1ica估計(jì)的基本原理在大多數(shù)經(jīng)典的統(tǒng)計(jì)理論里,隨機(jī)變量被假設(shè)為高斯分布.概率論里一個(gè)經(jīng)典的結(jié)論——中心極限定理表明,在某種條件下,獨(dú)立隨機(jī)變量的和趨于高斯分布,獨(dú)立隨機(jī)變量的和比原始隨機(jī)變量中的任何一個(gè)更接近于高斯分布.為簡(jiǎn)單起見(jiàn),假設(shè)所有獨(dú)立成分都有相同的分布.為了估計(jì)其中的一個(gè)獨(dú)立成分,考慮xi是y=wΤx=∑iwixi的線(xiàn)性組合,這里w是一個(gè)待定的向量.如果w是A的逆中的一行,這個(gè)線(xiàn)性組合實(shí)際上將等于一個(gè)獨(dú)立成分.問(wèn)題是怎樣利用中心極限定理來(lái)確定w?實(shí)際上,不能確切的確定w,因?yàn)椴⒉恢谰仃嘇.但是可以找到一個(gè)很接近的估計(jì),這也就是ICA估計(jì)的基本原理.將變量進(jìn)行一下變換,定義z=ATw,則有y=wTx=wTAs=zTs,y是si的一個(gè)線(xiàn)性組合,其權(quán)重由zi給出.因?yàn)閮蓚€(gè)獨(dú)立隨機(jī)變量的和比原始的變量更接近高斯分布,所以zTs是比任何一個(gè)si更接近高斯分布.因此可把w看作是最大化非高斯wTx的一個(gè)向量,這樣的一個(gè)向量對(duì)應(yīng)于z,則有wTx=zTs等于其中的一個(gè)獨(dú)立成分!最大化wTx的非高斯性,即可得到一個(gè)獨(dú)立成分.實(shí)際上,在n維空間最優(yōu)化非高斯向量w有兩個(gè)局部最大點(diǎn),相應(yīng)的每個(gè)獨(dú)立成分有兩個(gè)即si和-si.為找到幾個(gè)獨(dú)立成分,需要找到所有的局部最大點(diǎn).這一點(diǎn)并不困難,因?yàn)椴煌莫?dú)立成分是不相關(guān)的.直接地講,估計(jì)ICA模型的關(guān)鍵是非高斯度量.在ICA估計(jì)里為了使用非高斯性,因此對(duì)隨機(jī)變量的非高斯性必須有一個(gè)定量的測(cè)量標(biāo)準(zhǔn).現(xiàn)將非高斯性的測(cè)量方法綜述如下.1非高斯性的測(cè)量經(jīng)典的測(cè)量非高斯方法是kurtosis或稱(chēng)4階累計(jì)量,y的kurtosis被定義為kurt(y)=E{y4}-3(E{y2})2(3)實(shí)際上,因?yàn)槲覀兗僭O(shè)y是單位方差,等式右邊可簡(jiǎn)化為E{y4}-3.對(duì)一個(gè)高斯分布y,它的4階矩等于3(E{y2})2.對(duì)一個(gè)高斯隨機(jī)變量來(lái)說(shuō),它的kurtosis等于零;但對(duì)大多數(shù)非高斯隨機(jī)變量,它的kurtosis不等于零.Kurtosis有正也有負(fù),下高斯隨機(jī)變量具有負(fù)的kurtosis,而上高斯隨機(jī)變量則具有正的kurtosis.非高斯性的測(cè)量可以用kurtosis的絕對(duì)值或kurtosis的平方,值為零的是高斯變量,大于零的為非高斯變量.存在kurtosis為零的非高斯變量,但這種情況相當(dāng)?shù)纳?kurtosis或它的絕對(duì)值,由于能從理論上用來(lái)作為解決ICA問(wèn)題時(shí)的最優(yōu)化準(zhǔn)則及計(jì)算和理論上的簡(jiǎn)單性,因此已經(jīng)廣泛地用于ICA的非高斯的測(cè)量及其相關(guān)領(lǐng)域.計(jì)算上簡(jiǎn)單,是由于kurtosis能用采樣數(shù)據(jù)的4階矩簡(jiǎn)單地進(jìn)行估計(jì);理論分析上簡(jiǎn)單,是由于下面的線(xiàn)性特性,即如果x1和x2是兩個(gè)獨(dú)立的隨機(jī)變量,那么kurt(x1+x2)=kurt(x1)+kurt(x2)(4)和kurt(ax1)=a4kurt(x1)(5)成立.這里a是一個(gè)標(biāo)量,這些性質(zhì)由定義很輕易地得到證明.2y的估計(jì)和負(fù)熵的近似第二個(gè)非常重要的非高斯測(cè)量方法是負(fù)熵,它是基于信息理論上熵的概念.隨機(jī)變量的熵可解釋為給定觀察變量的信息度,越隨機(jī),熵越大.實(shí)際上,在一些簡(jiǎn)單的假設(shè)條件下,熵就是指隨機(jī)變量的代碼長(zhǎng)度,這在信息論里有介紹.離散的隨機(jī)變量Y的負(fù)熵H被定義為Η(Y)=-∑iΡ(Y=ai)logΡ(Y=ai)(6)這里ai指Y的可能值.這是個(gè)很好的定義,可擴(kuò)展到連續(xù)的隨機(jī)變量和向量,這種情況下稱(chēng)為微熵.隨機(jī)向量y的密度f(wàn)(y)的微熵H被定義為Η(y)=-∫f(y)logf(y)dy(7)信息理論一個(gè)基本的結(jié)論是,在所有具有等方差的隨機(jī)變量中,高斯變量的熵最大.這意味著熵能用來(lái)作為非高斯性的測(cè)量,分布明顯的集中于某個(gè)值的熵很小.非高斯性測(cè)量中,高斯變量應(yīng)該為零,而它總是非負(fù).有人對(duì)熵的定義作了修改,稱(chēng)為負(fù)熵,定義如下:J(y)=Η(ygauss)-Η(y)(8)這里ygauss是一個(gè)高斯隨機(jī)向量,與y有相同的協(xié)方差.由于上面提到的特性,負(fù)熵總是非負(fù)的.它為零的條件是當(dāng)且僅當(dāng)y是高斯分布.使用負(fù)熵的問(wèn)題是計(jì)算起來(lái)非常困難.因此,采用負(fù)熵的近似是非常有用的.3比較函數(shù)的使用如上所述,負(fù)熵的估計(jì)是很困難的,因此必須采取一些近似.這里介紹一些有較好特性的近似,它將在ICA方法中使用到.近似負(fù)熵古典的方法是使用高階矩,例如J(y)≈112E{y3}2+148kurt(y)2(9)隨機(jī)變量y被假設(shè)為零均值、單位方差.然而,這種近似的有效性非常有限.特別是,這種近似對(duì)非魯棒性非常敏感.為了避免這種問(wèn)題,采用另外一種近似,這種近似是基于最大熵原理,下面給出一些性能較好的比較函數(shù).一般來(lái)說(shuō),可得到如下的近似J(y)≈ki[E{Gi(y)}-E{Gi(v)}]2(10)這里ki是一些正的常數(shù),v是零均值、單位方差的高斯變量.y被假設(shè)為零均值、單位方差的變量,函數(shù)Gi是一些非二次函數(shù).注意,即使在這種情況下,這種近似也是不精確的.在我們僅用非二次函數(shù)G的情況下,這種近似變成了J(y)∝[E{G(y)}-E{G(v)}]2(11)在式(11)中明顯的是基于矩的近似,如果y是對(duì)稱(chēng)的,例如取G(y)=y4,就能準(zhǔn)確地得到式(11),即基于kurtosis的近似G1(u)=1a1logcosa1u,G2(u)=exp(-u2/2)(12)這里1≤a1≤2為一些適合的常數(shù).這樣近似得到了負(fù)熵,它給出了古典的kurtosis和負(fù)熵在非高斯性測(cè)量上的一種很好的折衷.它們概念上簡(jiǎn)單,計(jì)算起來(lái)快速,而且有很好的統(tǒng)計(jì)特性,尤其是魯棒性.因此,在ICA方法中我們建議使用這些比較函數(shù).3.2互信息的簡(jiǎn)化處理對(duì)ICA估計(jì)的另一種方法,是基于信息理論的最小化互信息.利用熵的概念,我們定義m個(gè)隨機(jī)變量yi(i=1,…,m)的互信息I如下:Ι(y1,y2,?,ym)=m∑i=1Η(yi)-Η(y)(13)在隨機(jī)變量間互信息是對(duì)相關(guān)性的一種自然測(cè)量.它總是非負(fù)的,當(dāng)且僅當(dāng)變量是統(tǒng)計(jì)獨(dú)立的時(shí)候它才為零.因此,互信息考慮了變量的整個(gè)相關(guān)性結(jié)構(gòu),而不像PCA和其他相關(guān)的方法一樣,僅僅考慮了協(xié)方差.互信息能解釋為熵的代碼長(zhǎng)度,當(dāng)yi的代碼單獨(dú)給出時(shí),H(yi)給出了代碼長(zhǎng)度;當(dāng)y作為一個(gè)隨機(jī)向量編碼時(shí)(例如,所有的成分以同樣的代碼編碼),H(y)給出了代碼長(zhǎng)度.互信息表明,代碼的減少,是通過(guò)對(duì)整個(gè)向量編碼而不是分離成分而得到的.總的來(lái)說(shuō),通過(guò)對(duì)整個(gè)向量編碼可得到較好的代碼.然而,如果yi是獨(dú)立的,它們相互間不提供任何信息,也能獨(dú)立地對(duì)變量進(jìn)行編碼而并不增加代碼長(zhǎng)度.互信息一個(gè)重要的特性是,可以對(duì)線(xiàn)性變換y=Wx進(jìn)行如下轉(zhuǎn)換Ι(y1,y2,?,yn)=∑iΗ(yi)-Η(x)-log|detW|(14)現(xiàn)在,如果我們限制yi非相關(guān)和單位方差,則E{yyT}=WE{xxT}WT表明:detI=1=(detWE{xxT}WT)=(detW)(detE{xxT})(detWT),這意味著detW是一個(gè)常數(shù),而且由于yi單位方差,熵和負(fù)熵區(qū)別僅在于一個(gè)符號(hào),因此得到Ι(y1,y2,?,yn)=C-∑iJ(yi)(15)這里C是一個(gè)并不依賴(lài)W的常數(shù),表明負(fù)熵和互信息之間基本的關(guān)系.在信息論中,既然互信息是隨機(jī)變量獨(dú)立性的測(cè)量量度,那么可用它來(lái)作為找到ICA變換的準(zhǔn)則.在ICA的定義中,隨機(jī)向量x在y=WTx中是一個(gè)可逆變換,一旦W被確定了,成分si的互信息也就被最小化了.很明顯找到一個(gè)可逆矩陣W最小化互信息,相當(dāng)于找到了負(fù)熵最大化的方向.更精確地,它等同于找到1維子空間,這些子空間的投影有最大的負(fù)熵.嚴(yán)格地說(shuō),當(dāng)估計(jì)互不相關(guān)時(shí),通過(guò)最小化互信息來(lái)估計(jì)ICA模型,相當(dāng)于最大化非高斯估計(jì)的和.不相關(guān)這個(gè)約束條件在這里實(shí)際沒(méi)必要,但為了大量簡(jiǎn)化計(jì)算,人為地采用了這種簡(jiǎn)單的形式.在隨機(jī)變量間,互信息是對(duì)相關(guān)性的一種自然測(cè)量.它總是非負(fù)的,當(dāng)且僅當(dāng)變量是統(tǒng)計(jì)獨(dú)立的時(shí)候它才為零.互信息考慮了變量的整個(gè)相關(guān)性結(jié)構(gòu),而不像PCA和其它相關(guān)的方法一樣,僅僅考慮了協(xié)方差.3.3log—最大似然函數(shù)估計(jì)(ML)估計(jì)ICA一個(gè)非常普遍的方法是最大似然估計(jì).它與信息原理緊密相關(guān),本質(zhì)上它與最小化互信息是相同的.在無(wú)噪聲的ICA模型中可以直接定義似然函數(shù),然后用最大似然函數(shù)的方法來(lái)估計(jì)ICA模型.如果W=(w1,…,wn)T,等于矩陣A-1,對(duì)數(shù)似然函數(shù)采取如下形式L=Τ∑t=1n∑i=1logfi(wΤix(t))+Τlog|detW|(16)這里fi指的是si密度函數(shù)(這里假設(shè)已知),x(t)(t=1,…,T)是x的實(shí)現(xiàn).log|detW|來(lái)源于古典規(guī)則,該規(guī)則為了線(xiàn)性轉(zhuǎn)換隨機(jī)變量和它們的密度.一般來(lái)說(shuō),對(duì)任何具有密度pi的隨機(jī)向量x和任何矩陣W,y=Wx的密度由信息原理給出.另外一個(gè)相當(dāng)于最大似然函數(shù)估計(jì)的方法是從神經(jīng)網(wǎng)絡(luò)的觀點(diǎn)得到的,在具有非線(xiàn)性輸出的神經(jīng)網(wǎng)絡(luò)中,它是基于最大化輸出熵(或信息流).假設(shè)x是該神經(jīng)網(wǎng)絡(luò)的輸入,其輸出為gi(wΤi),這里gi是一個(gè)非線(xiàn)性標(biāo)量函數(shù),wi是神經(jīng)元的權(quán)向量,最大化輸出的熵,我們得到L2=Η(g1(w1Τx),?,gn(wnΤx))(17)有些作者,像文獻(xiàn)已經(jīng)證明了這個(gè)神奇的結(jié)論,即最大化網(wǎng)絡(luò)熵原理.相當(dāng)?shù)臈l件是,要求用在神經(jīng)網(wǎng)絡(luò)中g(shù)i的非線(xiàn)性選擇為累積分布函數(shù)相對(duì)應(yīng)的密度f(wàn)i.如果gi選擇得合適,就能估計(jì)出ICA模型.最大似然函數(shù)估計(jì)要求fi的密度必須估計(jì)準(zhǔn)確,在任何情況下,如果關(guān)于獨(dú)立成分特性的信息不準(zhǔn)確,ML估計(jì)將給出完全錯(cuò)誤的結(jié)論.因此,在使用ML估計(jì)時(shí)必須小心.相反,使用合理的非高斯測(cè)量將不會(huì)產(chǎn)生該類(lèi)問(wèn)題.4關(guān)于fpsica算法當(dāng)前ICA算法簡(jiǎn)單地可分為兩類(lèi):第一類(lèi)[6,11,24,30,31,32,33,34],最大和最小化一些相關(guān)準(zhǔn)則函數(shù),這類(lèi)算法的優(yōu)點(diǎn)是對(duì)任何分布的獨(dú)立成分都適合,但它們要求非常復(fù)雜的矩陣運(yùn)算或張量運(yùn)算,計(jì)算量非常大;第二類(lèi),基于隨機(jī)梯度方法的自適應(yīng)算法,該類(lèi)算法優(yōu)點(diǎn)是能保證收斂到一個(gè)相應(yīng)的解,但其主要問(wèn)題是收斂速度慢,且其收斂與否很大程度上依靠學(xué)習(xí)速率參數(shù)的正確選擇.近兩年來(lái)又出現(xiàn)了一種快速I(mǎi)CA算法(FastICA),該算法是基于定點(diǎn)遞推算法得到的.它對(duì)任何類(lèi)型的數(shù)據(jù)都適用,同時(shí)它的存在對(duì)運(yùn)用ICA分析高維的數(shù)據(jù)成為可能,目前我們正用該算法對(duì)fMRI數(shù)據(jù)進(jìn)行分析.對(duì)已經(jīng)存在的ICA算法來(lái)說(shuō),FastICA有許多優(yōu)良的特性.·在ICA數(shù)據(jù)模型的假設(shè)下,FastICA收斂速度是3次的(或至少是2次的).而普通的ICA算法收斂速度僅僅是線(xiàn)性的.FastICA算法的收斂速度之快,已經(jīng)通過(guò)仿真試驗(yàn)得到了證實(shí)(見(jiàn)文獻(xiàn)).·與基于梯度的算法相比,它不需要選擇步長(zhǎng).這表明該算法易于適用.·FastICA算法直接找到了任何非高斯分布的獨(dú)立成分,通過(guò)使用一個(gè)非線(xiàn)性函數(shù)g.相對(duì)其它許多算法來(lái)說(shuō),它們首先必須進(jìn)行概率密分布函數(shù)的估計(jì),然后才相應(yīng)地進(jìn)行非線(xiàn)性的選擇.·FastICA算法的性能能通過(guò)一個(gè)合適的非線(xiàn)性函數(shù)g而使其達(dá)到最優(yōu).特別是,能得到具有魯棒的或最小方差的算法,詳細(xì)請(qǐng)見(jiàn)文獻(xiàn).·獨(dú)立成分能一個(gè)一個(gè)的估計(jì),這在探索性數(shù)據(jù)分析里非常有用,如果僅需估計(jì)一些獨(dú)立成分時(shí),它可極大地減少計(jì)算量.·FastICA算法具有很多神經(jīng)算法里的優(yōu)點(diǎn):并行的,分布的,計(jì)算簡(jiǎn)單,要求內(nèi)存小.而隨機(jī)梯度法卻只有在環(huán)境改變很快時(shí)才顯出其優(yōu)越性.Bell的ICA算法采用fMRI數(shù)據(jù)在一臺(tái)Alphaserver2100數(shù)字計(jì)算機(jī)上運(yùn)行,需要用時(shí)大約60分鐘;而同樣的數(shù)據(jù)用Comon的ICA算法在同樣的計(jì)算機(jī)上進(jìn)行計(jì)算,則耗時(shí)達(dá)390分鐘之久.可見(jiàn),適當(dāng)?shù)倪x擇算法會(huì)大大地提高實(shí)驗(yàn)效率.隨著新的解剖和功能圖像方法的來(lái)臨,從活人的大腦收集大量數(shù)據(jù)已成為了可能.與之相適應(yīng),未來(lái)的ICA算法預(yù)計(jì)將向省時(shí)、省內(nèi)存方面發(fā)展.5ica的主要應(yīng)用ICA的主要應(yīng)用是特征提取、盲源信號(hào)分離、生理學(xué)數(shù)據(jù)分析[21,22,36,37,38,39]、語(yǔ)音信號(hào)處理、圖像處理及人臉識(shí)別等.在這部分,我們綜述一下ICA的主要應(yīng)用范例.4.1改變了常規(guī)的非自然信號(hào)腦磁圖是一種非擴(kuò)散性的方法.通過(guò)它,活動(dòng)或者腦皮層的神經(jīng)元有很好的時(shí)間分辨率和中等的空間分辨率.作為研究和臨床的工具使用MEG信號(hào)時(shí),研究人員面臨著在有非自然信號(hào)的情況下提取神經(jīng)元基本特征的問(wèn)題.干擾信號(hào)的幅度可能比腦信號(hào)的幅度要高,非自然信號(hào)在形狀上像病態(tài)信號(hào).在文獻(xiàn)中,作者介紹了一種新的方法(ICA)來(lái)分離腦活動(dòng)和非自然信號(hào).這種方法是基于假設(shè):腦活動(dòng)和非自然信號(hào)(像眼的運(yùn)動(dòng)或眨眼或傳感器失靈)是解剖學(xué)和生理學(xué)上的不同過(guò)程,這種不同反映在那些過(guò)程產(chǎn)生的磁信號(hào)間的統(tǒng)計(jì)獨(dú)立性上.在這之前,人們用腦電圖(EEG)信號(hào)進(jìn)行過(guò)試驗(yàn),相關(guān)的方法見(jiàn)文獻(xiàn).試驗(yàn)結(jié)果表明,ICA能很好地從MEG信號(hào)里分離出眼運(yùn)動(dòng)及眨眼時(shí)的信號(hào),還能分離出心臟運(yùn)動(dòng)、肌肉運(yùn)動(dòng)及其它非自然信號(hào).FastICA算法是一個(gè)很合適的算法,因?yàn)榉亲匀恍盘?hào)的去除是一個(gè)交互式的方法,研究者可以很方便地選擇他所想要的獨(dú)立成分的數(shù)目.除了減少非自然信號(hào)外,ICA還能分解激活區(qū),使我們直接訪問(wèn)基本的腦功能成為可能.這一點(diǎn)在神經(jīng)科學(xué)的研究領(lǐng)域?qū)⒑芸赡芷鸱浅Ｖ匾淖饔?我們也正從事將ICA運(yùn)用到fMRI數(shù)據(jù)分析這方面的工作.4.2ica和現(xiàn)金流量時(shí)間序列將ICA用在金融數(shù)據(jù)中是一個(gè)探索性的工作.在這個(gè)應(yīng)用中存在許多情況(并行的時(shí)間序列),例如流通交易率或每日的股票成交量,這里存在一些基本的因素,ICA可以揭示一些仍隱藏著的驅(qū)動(dòng)機(jī)制.在近年來(lái)的證券研究中,人們發(fā)現(xiàn)ICA是對(duì)PCA的一種補(bǔ)充工具,它允許數(shù)據(jù)的基本結(jié)構(gòu)能更輕易地觀察得到.在文獻(xiàn)中,將ICA用在了不同的問(wèn)題上,屬于同一個(gè)銷(xiāo)售鏈的商店的現(xiàn)金流量,盡量找到對(duì)現(xiàn)金流量數(shù)據(jù)有影響的一些基本因素.對(duì)獨(dú)立成分的假設(shè)有可能不現(xiàn)實(shí),例如假期和年度的變化,顧客購(gòu)買(mǎi)力的變化,政府和經(jīng)營(yíng)策略(像廣告)等等因素,通通假設(shè)它們之間是相互獨(dú)立的.通過(guò)ICA,利用現(xiàn)金流量時(shí)間序列數(shù)據(jù),能分離出一些基本的影響因素和它們的權(quán)重,并且以此還能對(duì)商店進(jìn)行分組.對(duì)于試驗(yàn)和解釋,詳細(xì)情況請(qǐng)參見(jiàn)文獻(xiàn).4.3窗口噪聲去噪聲第三個(gè)例子是為自然圖像找到ICA過(guò)濾器.它是基于ICA分解,從被高斯噪音污染的自然圖像中去掉噪聲.文獻(xiàn)采用了一些數(shù)字的自然圖像,向量x代表了圖像窗口的像素(灰度)值.注意,相對(duì)前面的兩個(gè)應(yīng)用,這次考慮的不是多值的時(shí)間序列或圖像隨時(shí)間而改變,相反元素x已經(jīng)由圖像窗口的位置固定不變了.采樣窗口采樣的是隨機(jī)位置,窗口的2-D結(jié)構(gòu)在這里并不重要,一行一行的掃描整幅圖像使其變成像素值的向量.實(shí)驗(yàn)結(jié)果發(fā)現(xiàn),沒(méi)有經(jīng)過(guò)邊界的模糊及銳化操作,窗口的大部分噪聲被去掉了,詳細(xì)的情況參見(jiàn)文獻(xiàn).當(dāng)前去噪聲方式有許多,例如先作DFT變換,然后在作低通濾波,最后作IDFT恢復(fù)圖像,這種方式不是很有效.較好的方法是近年來(lái)發(fā)展起來(lái)的小波收縮方法(它用到了小波變換)和中值濾波.但這些對(duì)圖像統(tǒng)計(jì)量來(lái)說(shuō)并沒(méi)有很好的優(yōu)越性.近年來(lái)又發(fā)展了一種統(tǒng)計(jì)原理的方法,叫稀疏代碼收縮法,該方法與獨(dú)立成分分析法非常接近.4.4基礎(chǔ)特征矩陣i人臉識(shí)別從20世紀(jì)70年代開(kāi)始一直是一個(gè)很活躍而且很重要的研究領(lǐng)域,當(dāng)時(shí)比較常用的方法是主成分分析(PCA)和本征臉.后來(lái),Bartlett和Sejnowski提議用ICA來(lái)表示人臉.將ICA運(yùn)用到人臉識(shí)別,隨機(jī)變量為訓(xùn)練的圖像.xi表示一個(gè)人臉的圖像.用m個(gè)隨機(jī)變量來(lái)構(gòu)造一個(gè)訓(xùn)練圖像集{x1,x2,…,xm},這些隨機(jī)變量被假設(shè)為n個(gè)未知獨(dú)立成分s1,…,sn的線(xiàn)性組合.采用前面所講