盲源分離-獨(dú)立分量分析(ICA)

獨(dú)立分量分析法報(bào)告人：巫書航導(dǎo)師：山秀明蘇威積目錄目錄問題的提出數(shù)學(xué)準(zhǔn)備獨(dú)立分量法具體算法總結(jié)與展望目錄目錄問題的提出一、時(shí)域雷達(dá)信號(hào)分選二、信號(hào)與隨機(jī)變量間的關(guān)系三、獨(dú)立分量分析法(ICA)的基本問題四、獨(dú)立分量分析法(ICA)的歷史與應(yīng)用數(shù)學(xué)準(zhǔn)備獨(dú)立分量法具體算法總結(jié)與展望問題的提出：1、時(shí)域雷達(dá)信號(hào)分選一、時(shí)域雷達(dá)信號(hào)分選數(shù)學(xué)模型：時(shí)間、幅度圖像問題的提出：2、信號(hào)與隨機(jī)變量間的關(guān)系二、信號(hào)與隨機(jī)變量間的關(guān)系問題：隨機(jī)變量X在實(shí)際中的體現(xiàn)？答：獨(dú)立重復(fù)試驗(yàn)，得到試驗(yàn)樣本集{Xi}。由這組數(shù)據(jù)樣本點(diǎn)可以估計(jì)出隨機(jī)變量的各階矩，近而估計(jì)出pdf等全部統(tǒng)計(jì)信息。問題的提出：2、信號(hào)與隨機(jī)變量間的關(guān)系對(duì)一個(gè)信號(hào)X(t)：獨(dú)立重復(fù)試驗(yàn)————抽樣ti，i=1,2,…N樣本集————{X(ti)}因而信號(hào)X(t)可以看成是一個(gè)隨機(jī)變量,并可估算它的各階矩，以及談?wù)撍膒df，獨(dú)立、相關(guān)等統(tǒng)計(jì)特性。例如：?jiǎn)栴}的提出：3、獨(dú)立分量分析法的基本問題假設(shè)源信號(hào)若干個(gè)統(tǒng)計(jì)上相互獨(dú)立的信號(hào)組成的，它們?cè)诳臻g中形成交疊，獨(dú)立分量分析(IndependentComponentAnalysis，ICA)是借助于多個(gè)信道同步觀察交疊信號(hào)，將觀察信號(hào)經(jīng)過解混分解成若干獨(dú)立成分，作為對(duì)源信號(hào)的一組估計(jì)。簡(jiǎn)化假設(shè)：1、A是線性系統(tǒng)，可用矩陣表示.(實(shí)際仿真時(shí)是隨機(jī)陣)2、信道對(duì)信號(hào)無影響，觀察信道數(shù)與信號(hào)數(shù)相同，(A，B方陣)問題的提出：3、獨(dú)立分量分析法的基本問題問題的提出：3、獨(dú)立分量分析法的基本問題問題的提出：3、獨(dú)立分量分析法的基本問題幾點(diǎn)說明：1、解出來的Y只要求各分量獨(dú)立，因而解不是唯一的，可以有相移、次序顛倒、幅值變化等2、要解出Y，需要對(duì)Y各分量是否獨(dú)立進(jìn)行判斷。確切地說，需要找到某種判斷函數(shù)G，使Y個(gè)分量獨(dú)立時(shí)G(Y)達(dá)到最大或最小值。3、由于獨(dú)立判據(jù)函數(shù)G的不同，以及求解Y的步驟不同，有不同的獨(dú)立分量分析法。問題的提出：4、獨(dú)立分量分析法的歷史與應(yīng)用歷史：是盲信號(hào)處理的一種，是90年代后期發(fā)展起來的ICA是盲信號(hào)處理的一個(gè)組成部分，20世紀(jì)90年代后期(1986、1991)發(fā)展起來的一項(xiàng)新處理方法，最早是針對(duì)“雞尾酒會(huì)問題”這一聲學(xué)問題發(fā)展起來的雞尾酒會(huì)問題：從酒會(huì)的嘈雜的聲音中，如何分辨出所關(guān)心的聲音問題的提出：4、獨(dú)立分量分析法的歷史與應(yīng)用應(yīng)用：信號(hào)處理碼分多址通信，雷達(dá)信號(hào)分選等生物醫(yī)學(xué)心電圖(胎兒)，腦電圖等圖像處理圖像壓縮，數(shù)字識(shí)別，圖像融合等其他地震勘探、遙感遙測(cè)等，總之包含了信息、通訊、生命、材料、電力、機(jī)械、化學(xué)等各個(gè)學(xué)科目錄目錄問題的提出預(yù)備知識(shí)一、統(tǒng)計(jì)數(shù)學(xué)知識(shí)二、信息論基本知識(shí)三、概率密度函數(shù)的展開四、信號(hào)通過線性系統(tǒng)信息特征的變化獨(dú)立分量法介紹總結(jié)與展望預(yù)備知識(shí)：一、統(tǒng)計(jì)數(shù)學(xué)知識(shí)1、特征函數(shù)2、第二特征函數(shù)各分量獨(dú)立時(shí)：預(yù)備知識(shí)：一、統(tǒng)計(jì)數(shù)學(xué)知識(shí)3、矩n階矩：4、累計(jì)量n階累計(jì)量：預(yù)備知識(shí)：一、統(tǒng)計(jì)數(shù)學(xué)知識(shí)當(dāng)各分量獨(dú)立時(shí)：只有中一個(gè)非零，其他皆為零時(shí)，不為零。即互累計(jì)量為零。(可作為檢驗(yàn)獨(dú)立的一個(gè)判據(jù))預(yù)備知識(shí)：二、信息論基本知識(shí)1、熵

信號(hào)中平均所含有的信息量。隨機(jī)信號(hào)單變量：多變量：聯(lián)合熵：各分量獨(dú)立時(shí)：在協(xié)方差矩陣相同的概率密度函數(shù)中，高斯分布的熵最大。預(yù)備知識(shí)：二、信息論基本知識(shí)2、Kullback-Leibler散度

兩個(gè)概率密度函數(shù)間相似程度的度量。概率密度函數(shù)：p(x),q(x)單變量：

多變量：

特點(diǎn)：預(yù)備知識(shí)：二、信息論基本知識(shí)3、互信息

可見，當(dāng)僅但當(dāng)各分量獨(dú)立時(shí)，

互信息是各分量獨(dú)立程度的最直接的量度！

預(yù)備知識(shí)：二、信息論基本知識(shí)4、負(fù)熵任意概率密度函數(shù)p(x)pG(x):與p(x)其具有相同協(xié)方差陣的高斯分布因?yàn)樵趨f(xié)方差矩陣相同的概率密度函數(shù)中，高斯分布的熵最大，所以負(fù)熵非負(fù)。負(fù)熵用來度量p(x)的非高斯程度。非高斯性另一種衡量方法：四階累計(jì)量k4,峰度(kurtosis)，單變量。|k4|

高斯信號(hào)k4=0

k4>0,超高斯k4<0,亞高斯預(yù)備知識(shí)：三、概率密度函數(shù)的展開高階統(tǒng)計(jì)量形式：設(shè)x零均值，方差1（白化數(shù)據(jù)）Edgeworth展開Gram-Charlier展開缺點(diǎn)：大值野點(diǎn)會(huì)引起較大誤差預(yù)備知識(shí)：三、概率密度函數(shù)的展開非多項(xiàng)式函數(shù)的加權(quán)和形式：文獻(xiàn)提到，當(dāng)

與標(biāo)準(zhǔn)高斯分布

相差不太大時(shí)，

可用若干個(gè)非多項(xiàng)式函數(shù)的加權(quán)和來逼近：

需要滿足以下條件：(1)、正交歸一性(2)、矩消失性探查性投影追蹤為了使近似性能較好，F(xiàn)(y)除了上述性質(zhì)外，最好能有以下性質(zhì)：(1)、統(tǒng)計(jì)特性E[F(y)]不難求得(2)、當(dāng)y增大時(shí)，F(xiàn)(y)的增長(zhǎng)速度不能快于，以使E[F(y)]對(duì)野點(diǎn)不太敏感。通常N取1或2。有以下函數(shù)形式可用：預(yù)備知識(shí)：四、信號(hào)通過線性系統(tǒng)信息特征的變化信號(hào)通過線性系統(tǒng)熵關(guān)系：

|B|=1，即系統(tǒng)正交歸一時(shí)，熵不變KL散度關(guān)系：|B|=1，即系統(tǒng)正交歸一時(shí)，KL散度為0預(yù)備知識(shí)：四、信號(hào)通過線性系統(tǒng)信息特征的變化互信息關(guān)系：負(fù)熵關(guān)系：目錄目錄問題的提出數(shù)學(xué)準(zhǔn)備獨(dú)立分量法具體算法一、主要步驟二、各類ICA算法簡(jiǎn)介三、FastICA算法總結(jié)與展望目錄：獨(dú)立分量法具體算法獨(dú)立分量法具體算法一、主要步驟二、各類ICA算法簡(jiǎn)介三、FastICA算法獨(dú)立分量法具體算法：一、主要步驟獨(dú)立分量分析：對(duì)交疊信號(hào)X，求解混矩陣B，使Y=BX各分量盡量相互獨(dú)立。獨(dú)立判據(jù)函數(shù)G。主要步驟：預(yù)處理部分（簡(jiǎn)化計(jì)算）核心算法部分獨(dú)立分量法具體算法：一、主要步驟預(yù)處理部分：1、對(duì)X零均值處理√2、球化分解（白化）即：乘球化矩陣S，使Z=SX各行正交歸一，即ZZ’=I意義：消除原始各道數(shù)據(jù)間二階相關(guān)，以后只需要考慮高階矩量(因?yàn)楠?dú)立時(shí)各階互累積量為0)，使很多運(yùn)算過程簡(jiǎn)化。注意：各道數(shù)據(jù)間不相關(guān)，不一定獨(dú)立，除非是高斯信號(hào)獨(dú)立分量法具體算法:一、主要步驟——主成分分析與球化協(xié)方差矩陣：特征值分解：U:特征向量矩陣，正交歸一，每一列稱為一特征向量Λ:特征值對(duì)角矩陣，可排序：特征值代表分量功率大小。P中各行正交，稱為X的主分量，且可見各行能量從大到小排列可以選擇能量大的主分量代表X，此即為主成份分析的由來。獨(dú)立分量法具體算法:一、主要步驟——主成分分析與球化取球化陣：可見：滿足球化條件！獨(dú)立分量法具體算法：一、主要步驟主要步驟：預(yù)處理部分——得到0均值，方差1數(shù)據(jù)Z√核心算法部分

尋求解混矩陣U，使Y=UZ，Y各道數(shù)據(jù)盡可能獨(dú)立（獨(dú)立判據(jù)函數(shù)G）注意：(1)、由于Y獨(dú)立，各行必正交。且通常取U保持Y各行方差為1，故U是正交變換。

(2)、所有算法預(yù)處理部分相同，以后我們都設(shè)輸入的為球化數(shù)據(jù)z，尋找正交矩陣U，使Y=Uz獨(dú)立。由于獨(dú)立判據(jù)函數(shù)G的不同，以及步驟不同，有不同的獨(dú)立分量分析法。目錄：獨(dú)立分量法具體算法獨(dú)立分量法具體算法一、主要步驟二、各類ICA算法簡(jiǎn)介三、FastICA算法獨(dú)立分量法具體算法：二、各類ICA算法二、各類ICA算法1、批處理2、自適應(yīng)算法3、探查性投影追蹤獨(dú)立分量法具體算法：二、各類ICA算法1、批處理算法：指依據(jù)一批已經(jīng)取得的數(shù)據(jù)X來進(jìn)行處理，而不是隨著數(shù)據(jù)的不斷輸入做遞歸式處理。已有算法：成對(duì)數(shù)據(jù)旋轉(zhuǎn)法(Jacobi法)及極大峰度法(Maxkurt法)特征矩陣的聯(lián)合近似對(duì)角化法(JADE法)四階盲辨識(shí)(FOBI)JADE法和Maxkurt法的混合獨(dú)立分量法具體算法：二、各類ICA算法2、自適應(yīng)算法：根據(jù)數(shù)據(jù)陸續(xù)得到而逐步跟新處理器參數(shù)，使處理所得逐步趨近于期望結(jié)果，即各分量獨(dú)立。已有算法：常規(guī)的隨機(jī)梯度法自然梯度與相對(duì)梯度串行矩陣更新及其自適應(yīng)算法擴(kuò)展的Infomax法非線性PCA自適應(yīng)法獨(dú)立分量法具體算法：二、各類ICA算法3、探查性投影追蹤按照一定次序把各獨(dú)立分量一個(gè)一個(gè)的逐次提取出來，每提取一個(gè)，就將該分量從原始數(shù)據(jù)中去掉，對(duì)剩下的部分提取下一個(gè)分量。已有算法：梯度算法旋轉(zhuǎn)因子乘積法固定點(diǎn)算法(FastICA)——最常用算法目錄：獨(dú)立分量法具體算法獨(dú)立分量法具體算法一、主要步