第6章 特征的提取與選擇

第6章特征的選擇與提取

模式識(shí)別的三大核心問(wèn)題:

特征數(shù)據(jù)采集分類識(shí)別特征提取與選擇

分類識(shí)別的正確率取決于對(duì)象的表示、訓(xùn)練學(xué)習(xí)和分類識(shí)別算法?！網(wǎng)hy】主要內(nèi)容1.引言2類別可分離性判據(jù)3特征選擇4.特征提取5.K-L變換及PCA1.引言

特征提取與選擇的基本任務(wù)是研究如何從眾多特征中求出那些對(duì)分類識(shí)別最有效的特征，從而實(shí)現(xiàn)特征空間維數(shù)的壓縮,即獲取一組“少而精”且分類錯(cuò)誤概率小的分類待征.

目的：使在最小維數(shù)特征空間中異類模式點(diǎn)相距較遠(yuǎn)（類間距離較大），而同類模式點(diǎn)相距較近（類內(nèi)距離較?。Ｈ四樧R(shí)別的例子

ORL(http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html)人臉數(shù)據(jù)庫(kù)中，每幅圖像的分辨率為112×92，如果將每個(gè)像素作為1維特征，則高達(dá)10304維。若把所有的原始特征都作為分類特征送到分類器，不僅使得分類器復(fù)雜，分類判別計(jì)算量大，而且分類錯(cuò)誤概率也不一定??；原始特征的特征空間有很大的冗余，完全可以用很小的空間相當(dāng)好地近似表示圖像，這一點(diǎn)與壓縮的思想類似。因此有必要減少特征數(shù)目，以獲取“少而精”的分類特征，即獲取特征數(shù)目少且能使分類錯(cuò)誤概率小的特征向量。使作為識(shí)別分類用的特征應(yīng)具備以下幾個(gè)條件：(1)具有很大的識(shí)別信息量。即所提供的特征應(yīng)具有很好的可分性，使分類器容易判別。(2)具有可靠性。對(duì)那些模棱兩可，似是而非不易判別的特征應(yīng)該去掉。(3)具有盡可能強(qiáng)的獨(dú)立性。重復(fù)的、相關(guān)性強(qiáng)的特征只選一個(gè)，因?yàn)閺?qiáng)的相關(guān)性并沒(méi)有增加更多的分類信息，不能要。(4)數(shù)量盡可能少，同時(shí)損失的信息盡量小。x1x2x3..xd對(duì)象模式的特征的有效性直接影響分類器的設(shè)計(jì)和性能.由信息獲取部分獲得的原始數(shù)據(jù)量一般是相當(dāng)大的.為了有效地實(shí)現(xiàn)分類識(shí)別，要對(duì)原始數(shù)據(jù)進(jìn)行選擇或變換，得到最能反應(yīng)分類本質(zhì)的待征，構(gòu)成特征向量.這就是特征抽取與選擇的過(guò)程.傳感器y1y2y3..ym學(xué)習(xí).訓(xùn)練選擇.提取分類器特征選擇：從一組特征中挑選出一些最有效的特征以達(dá)到降低特征空間維數(shù)的目的，這個(gè)過(guò)程叫特征選擇。特征提?。簩⒁唤M高維特征，通過(guò)變換的方法得到一組新的低維特征，這個(gè)過(guò)程叫特征提取。特征形成：

根據(jù)被識(shí)別的對(duì)象產(chǎn)生出一組基本特征（也可稱為原始特征），它可以是計(jì)算出來(lái)的，也可以是用儀表或傳感器測(cè)量出來(lái)的。

有時(shí)特征提取和選擇并不是截然分開的。例如，可以先將原始特征空間映射到維數(shù)較低的空間，在這個(gè)空間中再進(jìn)行選擇以進(jìn)一步降低維數(shù)；也可以先經(jīng)過(guò)選擇去掉那些明顯沒(méi)有分類信息的特征，再進(jìn)行映射以降低維數(shù)。特征提取特征選擇概念描述

模式識(shí)別中減少特征數(shù)目(或壓縮特征空間)的方法有兩種：一種是特征提取，另一種是特征選擇。

原始特征：通過(guò)直接測(cè)量得到的特征稱為原始特征。比如人體的各種生理指標(biāo)（描述其健康狀況）；數(shù)字圖像中的各像素點(diǎn)的亮度值（描述圖像內(nèi)容），都是原始特征。

特征提?。和ㄟ^(guò)映射(變換)的方法把高維的特征向量變換為低維的特征向量。通過(guò)特征提取獲得的特征是原始特征集的某種組合，即A:X→Y，可見新的特征中包含有原有全體特征的信息。

特征選擇：從原始特征中挑選出一些最有代表性、分類性能好的特征以達(dá)到降低特征空間維數(shù)的目的。也就是說(shuō)，特征選擇就是從已有的D個(gè)原始特征中挑選出d個(gè)特征組成一個(gè)特征子集，同時(shí)將D-d個(gè)對(duì)類別可分離性無(wú)貢獻(xiàn)的或貢獻(xiàn)不大的特征簡(jiǎn)單地忽略掉。

特征提取與具體問(wèn)題有很大關(guān)系，目前沒(méi)有理論能給出對(duì)任何問(wèn)題都有效的特征提取方法。由于在許多實(shí)際問(wèn)題中，那些最重要的特征往往不易找到，使得特征選擇和特征提取成為構(gòu)造模式識(shí)別系統(tǒng)最困難的任務(wù)之一。如：?用傅立葉變換或小波變換的系數(shù)作為圖像的特征；?指紋的特征；?統(tǒng)計(jì)特征，如矩、灰度共生矩陣(Co-occurrence

Matrix)等；?用PCA方法作特征壓縮；?用LDA方法作特征壓縮。共性選擇方法(1)特征可以獲取

模式識(shí)別系統(tǒng)的主要處理設(shè)備是計(jì)算機(jī)，因此作為觀察對(duì)象的數(shù)字化表達(dá)，觀察對(duì)象應(yīng)該是可以通過(guò)數(shù)據(jù)采集設(shè)備輸入到計(jì)算機(jī)的。目前，市場(chǎng)上有各種傳感設(shè)備和數(shù)字化設(shè)備，如采集圖像信息的圖像卡和采集語(yǔ)音信息的聲卡等。作為特征，既可以是數(shù)字化表達(dá)的結(jié)果，也可以是在數(shù)字化表達(dá)基礎(chǔ)上形成的參數(shù)性質(zhì)的值，如圖像分割后的子目標(biāo)特征表達(dá)等。共性選擇方法(2)類內(nèi)穩(wěn)定

選擇的特征對(duì)同一類應(yīng)具有穩(wěn)定性。由于模式類是由具有相似特性的若干個(gè)模式構(gòu)成的,因此它們同屬一類模式,其首要前提是特性相似,反映在取值上,就應(yīng)該有較好的穩(wěn)定性。共性選擇方法(3)類間差異

選擇的特征對(duì)不同的類應(yīng)該有差異。若不同類的模式的特征值差異很小，則說(shuō)明所選擇的特征對(duì)于不同的類沒(méi)有什么差異，作為分類的依據(jù)時(shí)，容易使不同的類產(chǎn)生混淆，使誤識(shí)率增大。一般來(lái)講，特征的類間差異應(yīng)該大于類內(nèi)差異。特征的類別1物理的：物理特征是比較直接、人們?nèi)菀赘兄奶卣鳎话阍谠O(shè)計(jì)模式識(shí)別系統(tǒng)時(shí)容易被選用。如為了描述指定班級(jí)中的某個(gè)學(xué)生，可以用以下物理特征：性別、身高、胖瘦、膚色等外在特征。物理特征雖然容易感知,卻未必能非常有效地表征分類對(duì)象。2結(jié)構(gòu)的：結(jié)構(gòu)特征的表達(dá)能力一般要高于物理特征，如漢字識(shí)別的成功實(shí)現(xiàn)離不開結(jié)構(gòu)特征的選擇。結(jié)構(gòu)特征的表達(dá)是先將觀察對(duì)象分割成若干個(gè)基本構(gòu)成要素，再確定基本要素間的相互連接關(guān)系。如指紋的識(shí)別就是基于結(jié)構(gòu)信息完成的。結(jié)構(gòu)信息對(duì)對(duì)象的尺寸往往不太敏感，如漢字識(shí)別時(shí)，識(shí)別系統(tǒng)對(duì)漢字大小不敏感，只對(duì)筆劃結(jié)構(gòu)信息敏感。人臉的五官結(jié)構(gòu)信息等，是目前認(rèn)定人的身份的重要參數(shù)。

3數(shù)學(xué)的：易于用機(jī)器定量描述和判別，如基于統(tǒng)計(jì)的特征，數(shù)學(xué)特有時(shí)和觀察對(duì)象的固有特性沒(méi)有任何聯(lián)系，有時(shí)則是物理特征或結(jié)構(gòu)特征的計(jì)算結(jié)果。

對(duì)特征空間的改造、優(yōu)化、主要的目的是降維，即把維數(shù)高的特征空間改成維數(shù)低的特征空間。降維主要有兩種途徑。一種是刪選掉一些次要的特征，問(wèn)題在于如何確定特征的重要性，以及如何刪選。另一種方法是使用變換的手段，在這里主要限定在線性變換的方法上，通過(guò)變換來(lái)實(shí)現(xiàn)降維。

實(shí)現(xiàn)特征選擇的前提是確定特征是否有效的標(biāo)準(zhǔn)，在這種標(biāo)準(zhǔn)下，尋找最有效的特征子集。用于特征選擇的特征既可以是原始特征，也可以是經(jīng)數(shù)學(xué)變換后得到的二次特征。需要注意，特征提取一定要進(jìn)行數(shù)學(xué)變換，但數(shù)學(xué)變換未必就是特征提取。【問(wèn)題的提出】【問(wèn)題的提出】典型的運(yùn)用線性變換對(duì)原特征空間優(yōu)化的基本方法，進(jìn)一步深入理解模式識(shí)別處理問(wèn)題的基本方法-確定準(zhǔn)則函數(shù)，并通過(guò)計(jì)算進(jìn)行優(yōu)化。使用特征選擇方法的基本問(wèn)題。1．什么叫特征空間？如果我們用顏色、尺寸、重量來(lái)衡量水果的構(gòu)造的特特空間是幾維空間？2．如果用顏色、尺寸與重量組成的特征空間來(lái)區(qū)分蘋果與梨，你認(rèn)為這三種度量中的哪種最有效？為什么？能否想像這兩種水果在這個(gè)三維空間的分布？如果用這個(gè)特征空間來(lái)區(qū)分紅蘋果與櫻桃，你想像一下這兩類水果在特征空間如何分布？能否對(duì)這兩種情況設(shè)計(jì)更經(jīng)濟(jì)有效的特征空間？【問(wèn)題的提出】3．如果兩類物體在一個(gè)二維特征空間如圖分布,能否用刪除其中任一維來(lái)優(yōu)化特征空間？有沒(méi)有什么方法能得到一個(gè)對(duì)分類很有利的一維特征空間？【問(wèn)題的提出】

4．上題的答案可用右圖Y1與Y2組成的空間表示？你認(rèn)為哪個(gè)分量可以刪掉？

5．你有沒(méi)有辦法將原在X1、X2空間表示的數(shù)改成用Y1、Y2空間表示？【問(wèn)題的提出】1．需要找到描述事物方法的選擇與設(shè)計(jì)-確定準(zhǔn)則函數(shù)方案1.從框架的左邊框到數(shù)字之間的距離變化反映了不同數(shù)字的不同形狀，這可以用來(lái)作為數(shù)字分類的依據(jù)。方案2.強(qiáng)調(diào)分析不同截面的信號(hào)，如在框架的若干部位沿不同方向截取截面分析從背景到字，以及從字到背景轉(zhuǎn)換的情況,如AB截面切割字符三次，CD截面切割字符一次等?！締?wèn)題的提出—總結(jié)】2．需要確定特征空間的優(yōu)化---優(yōu)化算法

這個(gè)層次的工作發(fā)生在已有了特征的描述方法之后，也就是已有了一個(gè)初始的特征空間，如何對(duì)它進(jìn)行改造與優(yōu)化的問(wèn)題。一般說(shuō)來(lái)要對(duì)初始的特征空間進(jìn)行優(yōu)化是為了降維。即初始的特征空間維數(shù)較高。能否改成一個(gè)維數(shù)較低的空間，稱為優(yōu)化，優(yōu)化后的特征空間應(yīng)該更有利于后續(xù)的分類計(jì)算

例用RGB顏色空間和HSI顏色空間【問(wèn)題的提出】用RGB顏色空間和HSI顏色空間RGB和HSI是兩種常用的顏色空間，雖然它們描述顏色的范圍是一樣的，也有確定的轉(zhuǎn)換關(guān)系，但是用這兩種不同的特征描述圖像，對(duì)以后的識(shí)別工作會(huì)有很大影響2類別可分離性判據(jù)【概念】特征選擇與提取的任務(wù)是找出一組對(duì)分類最有效的特征，因此需一準(zhǔn)則。概念：數(shù)學(xué)上定義的用以衡量特征對(duì)分類的效果的準(zhǔn)則，實(shí)際問(wèn)題中需根據(jù)實(shí)際情況人為確定。誤識(shí)率判據(jù)：理論上的目標(biāo)，實(shí)際采用困難（密度未知，形式復(fù)雜，樣本不充分，…）可分性判據(jù)：實(shí)用的可計(jì)算的判據(jù)為什么需要類別可分離性判據(jù)一般說(shuō)來(lái)分類器最基本的性能評(píng)估是其分類的錯(cuò)誤率如果能用反映錯(cuò)誤率大小的準(zhǔn)則，在理論上是最合適的

對(duì)錯(cuò)誤率的計(jì)算是極其復(fù)雜的，以至于很難構(gòu)筑直接基于錯(cuò)誤率的判據(jù)為此人們?cè)O(shè)法從另一些更直觀的方法出發(fā)，設(shè)計(jì)出一些準(zhǔn)則，用來(lái)檢驗(yàn)不同的特征組合對(duì)分類性能好壞的影響，甚至用來(lái)導(dǎo)出特征選擇與特征提取的方法 這些準(zhǔn)則就是類別可分離性判據(jù)

【概念】【類別可分離性判據(jù)應(yīng)滿足的條件】類別可分離性判據(jù)：衡量不同特征及其組合對(duì)分類是否有效的定量準(zhǔn)則理想準(zhǔn)則：某組特征使分類器錯(cuò)誤概率最小常用類別可分離性判據(jù)：基于距離、概率分布、熵函數(shù)，也可以用：相關(guān)性、分類的錯(cuò)誤率等參數(shù)?！靖拍睢炕诰嚯x的可分性判據(jù)的實(shí)質(zhì)是Fisher準(zhǔn)則的延伸，即綜合考慮不同類樣本的類內(nèi)聚集程度與類間的離散程度這兩個(gè)因素。判據(jù)的優(yōu)化體現(xiàn)出降維特征空間較好地體現(xiàn)類內(nèi)密集。一些不能體現(xiàn)類間分隔開的特征很可能被排除掉了。離散度矩陣（散布矩陣）：一種描述數(shù)據(jù)離散程度的方法。6.2.1基于距離的可分性判據(jù)【類內(nèi)類間距離】基于距離度量是分類的常用的重要依據(jù)，因?yàn)橐话闱闆r下同類物體在特征空間呈聚類狀態(tài)，即從總體上說(shuō)同類物體內(nèi)各樣本由于具有共性，因此類內(nèi)樣本間距離應(yīng)比跨類樣本間距離小。Fisher準(zhǔn)則是以使類間距離盡可能大同時(shí)又保持類內(nèi)距離較小這一種原理為基礎(chǔ)的。同樣在特征選擇與特征提取中也使用類似的原理，這一類被稱為基于距離的可分性判據(jù)。為了度量類內(nèi)、類間的距離，可用其他方法描述方法，即描述樣本的離散程度的方法。6.2.1基于距離的可分性判據(jù)【類內(nèi)類間距離】各類樣本可以分開是因?yàn)樗鼈兾挥谔卣骺臻g的不同區(qū)域，顯然這些區(qū)域之間距離越大，類別可分性就越大。如何表示兩個(gè)類之間的距離?【類內(nèi)類間距離】【用于可分性判據(jù)的類內(nèi)類間距離】【用于可分性判據(jù)的類內(nèi)類間距離】定義【用于可分性判據(jù)的類內(nèi)類間距離】常用的基于類內(nèi)類間距離的可分性判據(jù)：1)基于類內(nèi)類間距離的可分離性判據(jù)是一種常用的判據(jù)，它實(shí)際上是各類向量之間的平均距離。2)具體而言，即J(x)表示各類特征向量之間的平均距離，我們通常認(rèn)為J(x)越大，可分離性越好。

3)這種判據(jù)優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單；缺點(diǎn)是當(dāng)類間距離較小，類內(nèi)距離較大時(shí)，判據(jù)仍有可能取得較大的值，而此時(shí)的可分離性并不大。特點(diǎn)：直觀，易于實(shí)現(xiàn)（用樣本計(jì)算），較常用。不能確切表明各類分布重疊情況，與錯(cuò)誤率無(wú)直接聯(lián)系。當(dāng)各類協(xié)差相差不大時(shí)，用此種判據(jù)較好。選擇原則：ii.計(jì)算簡(jiǎn)單，易于實(shí)現(xiàn)。iii.數(shù)學(xué)上容易處理。準(zhǔn)則函數(shù)的遞推計(jì)算問(wèn)題:每增/減一個(gè)特征，只影響向量中的一個(gè)元素，矩陣的一行和一列。【用于可分性判據(jù)的類內(nèi)類間距離】i.實(shí)際分類問(wèn)題需要，找與分類性能關(guān)系密切者。【基于概率分布的可分性判據(jù)】考查兩類分布密度之間的交疊程度【基于概率分布的可分性判據(jù)】定義：兩個(gè)密度函數(shù)之間的距離：它必須滿足三個(gè)條件：【基于概率分布的可分性判據(jù)】具體定義有多種：Bhattacharyya距離Chernoff

界散度【基于概率分布的可分性判據(jù)】正態(tài)分布情況下：【基于概率分布的可分性判據(jù)】幾種常見的概率距離準(zhǔn)則(J)和概率相關(guān)性準(zhǔn)則(I)

最佳分類器由后驗(yàn)概率確定，所以可由特征的后驗(yàn)概率分布來(lái)衡量它對(duì)分類的有效性。兩種特殊情形下最佳分類器的錯(cuò)誤率:1)各類后驗(yàn)概率是相等錯(cuò)誤率錯(cuò)誤率可見后驗(yàn)概率越集中,錯(cuò)誤概率就越小.后驗(yàn)概率分布越平緩(接近均勻分布)，則分類錯(cuò)誤概率就越大。【熵可分性判據(jù)】

設(shè)ω為可能取值為ωi,(i=1,2,…,c)的一個(gè)隨機(jī)變量,

它的取值依賴于分布密度為p(x)的隨機(jī)向量x(特征向量),即給定x后ω的概率為p(ω/x).

為了衡量后驗(yàn)概率分布的集中程度，需要規(guī)定一個(gè)定量準(zhǔn)則.我們可以借助于信息論中關(guān)于熵的概念.

我們想知道的是：給定某一x后，我們從觀察得到的結(jié)

果中得到了多少信息?或者說(shuō)ω的不確定性減少了多少?

從特征提取的角度看，顯然用具有最小不確定性的那些特征進(jìn)行分類是有利的。在信息論中用“熵”作為不確定性的度量.【熵可分性判據(jù)】【熵可分性判據(jù)】熵：事件不確定性的度量A事件的不確定性大（熵大），則對(duì)A事件的觀察所提供的信息量大。思路：【熵可分性判據(jù)】定義熵函數(shù)滿足如下條件①規(guī)一化②對(duì)稱性③確定性④擴(kuò)張性⑤連續(xù)性⑥分枝性即函數(shù)式內(nèi)項(xiàng)的次序可以變換不影響熵的值【熵可分性判據(jù)】常用的熵函數(shù)Shannon熵：平方熵：廣義熵：【熵可分性判據(jù)】結(jié)論【熵可分性判據(jù)】舉例：圖像分割3.特征選擇問(wèn)題：從D維特征中選取d維（d<D），使分類性能最佳（J最大）?！締?wèn)題的提出】搜索算法可分為三類算法分為完全搜索(Complete)，啟發(fā)式搜索(Heuristic)，隨機(jī)搜索(Random)3大類一、窮舉算法：計(jì)算每一可能的組合，逐一比較準(zhǔn)則函數(shù)。適用于：d或D?d很小（組合數(shù)較少）的情況。二、分支定界算法：從頂向下，有回溯應(yīng)用條件：準(zhǔn)則函數(shù)單調(diào)性基本思想：按照一定的順序?qū)⑺锌赡艿慕M合排成一棵樹，沿樹進(jìn)行搜索，避免一些不必要的計(jì)算，使找到最優(yōu)解的機(jī)會(huì)最早?！就耆阉鞣椒ā刻卣骺倲?shù)D以及選擇特征數(shù)d增加時(shí)，窮舉法計(jì)算量迅速上升?！就耆阉鞣椒ā扛F舉法存在的問(wèn)題：非最優(yōu)，但某些情況下最優(yōu)，實(shí)現(xiàn)簡(jiǎn)單（1）單獨(dú)最優(yōu)組合選前d個(gè)單獨(dú)最佳的特征（2）SFS法（SequentialForwardSelection：順序前進(jìn)）：從底向上每加入一個(gè)特征尋優(yōu)一次，使加入該特征后特征函數(shù)最大。特點(diǎn)：考慮了特征間的相關(guān)性，但某特下一經(jīng)入選，即無(wú)法淘汰（3）廣義SFS法（GSFS）從底向上，每次增加l個(gè)特征?？紤]了新增特征中的相關(guān)性計(jì)算量比SFS大，若l=d，（一步加滿），則就是窮舉法【啟發(fā)式搜索方法】（4）SBS法（順序后退，后向貫序）從頂向下，每次減一個(gè)特征與SFS相對(duì)，一旦失去，無(wú)法換回。（5）廣義SBS法（GSBS）從頂向下，每次減r個(gè)特征SFS與SBS都屬于貪心算法，容易陷入局部最優(yōu)值模擬退火算法（SA,SimulatedAnnealing）

遺傳算法(GA,GeneticAlgorithms)【隨機(jī)搜索方法】【爬山算法】爬山算法是一種簡(jiǎn)單的貪心搜索算法，該算法每次從當(dāng)前解的臨近解空間中選擇一個(gè)最優(yōu)解作為當(dāng)前解，直到達(dá)到一個(gè)局部最優(yōu)解。其主要缺點(diǎn)是會(huì)陷入局部最優(yōu)解，而不一定能搜索到全局最優(yōu)解。如下圖所示：假設(shè)C點(diǎn)為當(dāng)前解，爬山算法搜索到A點(diǎn)這個(gè)局部最優(yōu)解就會(huì)停止搜索，因?yàn)樵贏點(diǎn)無(wú)論向那個(gè)方向小幅度移動(dòng)都不能得到更優(yōu)的解?！灸M退火算法】思想1）爬山法是完完全全的貪心法，每次都鼠目寸光的選擇一個(gè)當(dāng)前最優(yōu)解，因此只能搜索到局部的最優(yōu)值。模擬退火其實(shí)也是一種貪心算法，但是它的搜索過(guò)程引入了隨機(jī)因素。模擬退火算法以一定的概率來(lái)接受一個(gè)比當(dāng)前解要差的解，因此有可能會(huì)跳出這個(gè)局部的最優(yōu)解，達(dá)到全局的最優(yōu)解。以上圖為例，模擬退火算法在搜索到局部最優(yōu)解A后，會(huì)以一定的概率接受到E的移動(dòng)。也許經(jīng)過(guò)幾次這樣的不是局部最優(yōu)的移動(dòng)后會(huì)到達(dá)D點(diǎn)，于是就跳出了局部最大值A(chǔ)。

若移動(dòng)后得到更優(yōu)解，則總是接受該移動(dòng)，若移動(dòng)后的解比當(dāng)前解要差，則以一定的概率接受移動(dòng)，而且這個(gè)概率隨著時(shí)間推移逐漸降低（逐漸降低才能趨向穩(wěn)定）。假設(shè)在狀態(tài)xold時(shí)，系統(tǒng)受到某種擾動(dòng)而使其狀態(tài)變?yōu)閤new。與此相對(duì)應(yīng)，系統(tǒng)的能量也從E(xold)變成E(xnew)，系統(tǒng)由狀態(tài)xold變?yōu)闋顟B(tài)xnew的接受概率p。1)隨機(jī)產(chǎn)生一個(gè)初始解x0，令xbest＝x0，并計(jì)算目標(biāo)函數(shù)值E(x0);2)設(shè)置初始溫度T(0)=To，迭代次數(shù)i=1;3)DowhileT(i)>Tmin1)forj=1~k2)對(duì)當(dāng)前最優(yōu)解xbest按照某一鄰域函數(shù)，產(chǎn)生一新的解xnew。計(jì)算新的目標(biāo)函數(shù)值E(xnew)，并計(jì)算目標(biāo)函數(shù)值的增量ΔE=E(xnew)-E(xbest)。3)如果ΔE＜0，則xbest=xnew；4)如果ΔE＞0，則p=exp(-ΔE/T(i));1)如果c=random[0,1]<p，xbest=xnew;否則xbest=xbest。5)Endfor4)i=i＋1；5)EndDo6)輸出當(dāng)前最優(yōu)點(diǎn)，計(jì)算結(jié)束【模擬退火算法】

基本遺傳算法（SimpleGeneticAlgorithms，簡(jiǎn)稱SGA），其遺傳進(jìn)化操作過(guò)程簡(jiǎn)單，容易理解，是其它一些遺傳算法的雛形和基礎(chǔ)。

【基本遺傳算法】基本遺傳算法的組成（1）編碼（產(chǎn)生初始種群）（2）適應(yīng)度函數(shù)（3）遺傳算子（選擇、交叉、變異）（4）運(yùn)行參數(shù)算法描述：首先隨機(jī)產(chǎn)生一批特征子集，并用評(píng)價(jià)函數(shù)給這些特征子集評(píng)分，然后通過(guò)交叉、突變等操作繁殖出下一代的特征子集，并且評(píng)分越高的特征子集被選中參加繁殖的概率越高。這樣經(jīng)過(guò)N代的繁殖和優(yōu)勝劣汰后，種群中就可能產(chǎn)生了評(píng)價(jià)函數(shù)值最高的特征子集。

編碼

GA是通過(guò)某種編碼機(jī)制把對(duì)象抽象為由特定符號(hào)按一定順序排成的串。正如研究生物遺傳是從染色體著手，而染色體則是由基因排成的串。SGA使用二進(jìn)制串進(jìn)行編碼?！净具z傳算法】幾個(gè)術(shù)語(yǔ)

基因型：1000101110110101000111

表現(xiàn)型：0.637197編碼解碼個(gè)體（染色體）基因【基本遺傳算法】初始種群：SGA采用隨機(jī)方法生成若干個(gè)個(gè)體的集合，該集合稱為初始種群。初始種群中個(gè)體的數(shù)量稱為種群規(guī)模。適應(yīng)度函數(shù)

：遺傳算法對(duì)一個(gè)個(gè)體（解）的好壞用適應(yīng)度函數(shù)值來(lái)評(píng)價(jià)，適應(yīng)度函數(shù)值越大，解的質(zhì)量越好。適應(yīng)度函數(shù)是遺傳算法進(jìn)化過(guò)程的驅(qū)動(dòng)力，也是進(jìn)行自然選擇的唯一標(biāo)準(zhǔn)，它的設(shè)計(jì)應(yīng)結(jié)合求解問(wèn)題本身的要求而定?！净具z傳算法】

遺傳算法使用選擇運(yùn)算來(lái)實(shí)現(xiàn)對(duì)群體中的個(gè)體進(jìn)行優(yōu)勝劣汰操作：適應(yīng)度高的個(gè)體被遺傳到下一代群體中的概率大；適應(yīng)度低的個(gè)體，被遺傳到下一代群體中的概率小。選擇操作的任務(wù)就是按某種方法從父代群體中選取一些個(gè)體，遺傳到下一代群體?！净具z傳算法】選擇算子：交叉算子：所謂交叉運(yùn)算，是指對(duì)兩個(gè)相互配對(duì)的染色體依據(jù)交叉概率Pc按某種方式相互交換其部分基因，從而形成兩個(gè)新的個(gè)體。交叉運(yùn)算是遺傳算法區(qū)別于其他進(jìn)化算法的重要特征，它在遺傳算法中起關(guān)鍵作用，是產(chǎn)生新個(gè)體的主要方法。SGA中交叉算子采用單點(diǎn)交叉算子。交叉前：00000|0111000000001000011100|00000111111000101交叉后：00000|0000011111100010111100|01110000000010000交叉點(diǎn)【基本遺傳算法】交叉算子示意圖

所謂變異運(yùn)算，是指依據(jù)變異概率Pm將個(gè)體編碼串中的某些基因值用其它基因值來(lái)替換，從而形成一個(gè)新的個(gè)體。遺傳算法中的變異運(yùn)算是產(chǎn)生新個(gè)體的輔助方法，它決定了遺傳算法的局部搜索能力，同時(shí)保持種群的多樣性。交叉運(yùn)算和變異運(yùn)算的相互配合，共同完成對(duì)搜索空間的全局搜索和局部搜索。SGA中變異算子采用基本位變異算子?！净具z傳算法】變異算子基本位變異算子的執(zhí)行過(guò)程變異前：000001110000000010000變異后：000001110001000010000變異點(diǎn)【基本遺傳算法】SGA的框圖產(chǎn)生初始群體是否滿足停止準(zhǔn)則是輸出結(jié)果并結(jié)束計(jì)算個(gè)體適應(yīng)度值比例選擇運(yùn)算單點(diǎn)交叉運(yùn)算基本位變異運(yùn)算否產(chǎn)生新一代群體執(zhí)行M/2次【基本遺傳算法】4特征提取特征選擇：從D個(gè)特征中選出d個(gè)特征提?。喊袲個(gè)特征變?yōu)閐個(gè)新特征目的：更好分類和/或減少計(jì)算量【基本概念】按歐氏距離度量的特征提取方法基于距離可分性判據(jù)的特征優(yōu)化過(guò)程是通過(guò)一個(gè)線性變換實(shí)現(xiàn)特征提取在這里意味著找到一個(gè)線性變換W,對(duì)原始特征向量Y=[y1,…，yD]T實(shí)行映射變換W：Y→X，得到維數(shù)減少的向量X=[x1,…，xd]T，即

W為D×d矩陣【歐氏距離準(zhǔn)則下的特征提取】歐氏距離的判據(jù)【歐氏距離準(zhǔn)則下的特征提取】【歐氏距離準(zhǔn)則下的特征提取】利用W（D×d矩陣）線形變換后，希望變換后的特征向量能滿足使某個(gè)準(zhǔn)則函數(shù)達(dá)到極值的要求使用J2判據(jù)進(jìn)行特征提取注意：如果對(duì)特征空間實(shí)行一個(gè)D×D矩陣的非奇異線性變換，J2保持不變【歐氏距離準(zhǔn)則下的特征提取】例如對(duì)原特征空間實(shí)行一D×D線性變換A令Sw,Sb為原空間離散度矩陣S*w,S*b為映射后的離散度矩陣，則：

S*b=A

Sb

AT S*w=A

Sw

AT經(jīng)變換后的J2變?yōu)?

J2*(A)=tr[(A

Sw

AT)-1

A

Sb

AT] =tr[(AT)-1

Sw-1Sb

AT]=tr[Sw-1Sb]=J2(A)【歐氏距離準(zhǔn)則下的特征提取】使用J2判據(jù)進(jìn)行特征提取因而以下討論的特征提取變換，只考慮是降維的即用D×d矩陣(d＜D)進(jìn)行變換其目的是在維數(shù)d的條件下，使相應(yīng)的判據(jù)為最大【歐氏距離準(zhǔn)則下的特征提取】使用J2判據(jù)進(jìn)行特征提取將J2判據(jù)表示成變換W的函數(shù)令Sw,Sb為原空間離散度矩陣，S*w,S*b為映射后的離散度矩陣:

S*b=WT

Sb

W S*w=WT

Sw

W則經(jīng)變換后的J2變?yōu)?

J2(W)=tr[(WT

Sw

W)-1

WT

Sb

W]【歐氏距離準(zhǔn)則下的特征提取】使用J2判據(jù)進(jìn)行特征提取求使J2(W)最大的W解可利用特征值方法對(duì)W的各分量求偏導(dǎo)數(shù)，并另其為零，可以確定W值。結(jié)論:對(duì)J2

，J2

，J5來(lái)說(shuō),使判據(jù)達(dá)到最大的變換W如下:設(shè)矩陣Sw-1Sb的本征值為λ1，λ2…λD，按大小順序排列為:

λ1≥

λ2

≥…≥λD，【歐氏距離準(zhǔn)則下的特征提取】使用J2判據(jù)進(jìn)行特征提取則選前d個(gè)本征值對(duì)應(yīng)的本征向量作為W即:W=[μ1，μ

2

…μ

d]此時(shí):

J2(W)=λ1+λ2+…+λd【歐氏距離準(zhǔn)則下的特征提取】1.Chernoff

概率距離【概率距離判據(jù)下的特征提取方法】【概率距離判據(jù)下的特征提取方法】【概率距離判據(jù)下的特征提取方法】【概率距離判據(jù)下的特征提取方法】多類情況【概率距離判據(jù)下的特征提取方法】【基于判別熵最小化的特征提取】【基于判別熵最小化的特征提取】5K-L變換及PCAK-L變換及PCA1.引言2基于K-L展開式的特征提取3主成分分析(PCA)4.應(yīng)用舉例2基于K-L展開式的的特征提取非監(jiān)督情況下，沒(méi)有已知類別的訓(xùn)練樣本，可分離性指標(biāo)無(wú)從定義。只能根據(jù)知識(shí)和/或假定來(lái)進(jìn)行特征選擇。通常用方差作為衡量指標(biāo)，認(rèn)為選擇或提取總體未知樣本方差越大，越有利于將它分開。（實(shí)際上，我們無(wú)法確認(rèn)方差大的特征一定有利于分類，但至少方差過(guò)小的特征是不利于分類的。）【非監(jiān)督的特征提取】特征提?。河糜成洌ɑ蜃儞Q）的方法把原始特征變換為較少的新特征PCA(PrincipleComponentAnalysis)方法：

進(jìn)行特征降維變換，不能完全地表示原有的對(duì)象，能量總會(huì)有損失。希望找到一種能量最為集中的的變換方法使損失最小。K-L(Karhunen-Loeve)變換：最優(yōu)正交線性變換，相應(yīng)的特征提取方法被稱為PCA方法特征提取與K-L變換基本原則：進(jìn)行特征降維變換，不能完全地表示原有的對(duì)象，能量總會(huì)有損失。希望找到一種能量最為集中的變換方法使損失最小。K-L變換：以最小均方誤差為準(zhǔn)則，將原特征向量作變換后再壓縮原特征維數(shù)的方法。特征提取與K-L變換K-L變換最佳的含義K-L變換討論的是特征空間的降維，因此，這個(gè)最佳是與降維聯(lián)系起來(lái)的。對(duì)于降維，原特征空間是D維的，現(xiàn)希望降至d維(d<D)。不失一般性，認(rèn)為D為無(wú)限大的情況，并設(shè)原信號(hào)x可用一組正交變換基uj表示：現(xiàn)要求降維至d維，也就是說(shuō)將d+1維以上的成分略去，其表示成:現(xiàn)在的問(wèn)題是如何在給定一個(gè)樣本集條件下要找一個(gè)好的正交變換，能使這種誤差從總體上來(lái)說(shuō)是最小。顯然原信號(hào)會(huì)因此受到一些損失，而每個(gè)信號(hào)的損失則表示成x與之差。注意這里講的是總體，這是因?yàn)榻稻S以后，樣本集中的每個(gè)樣本數(shù)據(jù)都受到損失，要衡量的是總體效果。在這種情況下最常用的指標(biāo)是均方誤差最小，或稱均方誤差的期望值最小，即：或者說(shuō)要找一個(gè)正交變換，使樣本集截取所造成的損失的均方誤差的期望值為最小。uj是確定性向量，則公式寫為：令：欲使該均方誤差為最小，即在確保正交變換的條件下，使

達(dá)最小的問(wèn)題，這可用拉格朗日乘子法求解。有：并對(duì)uj求導(dǎo)數(shù)，得：

可見向量uj，j=d+1,…,是矩陣特征值的特征向量截?cái)嗾`差為:

取前d項(xiàng)特征值對(duì)應(yīng)的特征向量組成的坐標(biāo)系，可使向量的均方誤差為最小。滿足上述條件的變換就是K-L變換。將i按其大小順序排列：結(jié)論：以矩陣的特征向量作為坐標(biāo)軸來(lái)展開x時(shí)，其截?cái)嗑秸`差具有極值性質(zhì)，且當(dāng)取d個(gè)uj,j=1,2,…,d來(lái)逼近x時(shí)，均方誤差為：強(qiáng)調(diào)K-L變換的特殊性。K-L變換是一種獨(dú)特的正交變換，它與一些常用的正交變換不同。最常見的正交變換，如傅立葉變換，哈達(dá)瑪變換，離散余弦變換等都是一種通用的正交變換，它們各自有固定的形式，如傅立葉變換的基是以頻率為參數(shù)的e的指數(shù)函數(shù)族組成。它主要用來(lái)對(duì)數(shù)據(jù)作頻譜分析、濾波等。K-L變換的基并沒(méi)有固定的形式，它是從對(duì)給定數(shù)據(jù)集{x}進(jìn)行計(jì)算產(chǎn)生的。給定的數(shù)據(jù)集不同，得到的K-L變換基函數(shù)也因此而不同。由于它對(duì)給定數(shù)據(jù)集{x}存在依賴關(guān)系，它能在降低維數(shù)時(shí)仍能較好地描述數(shù)據(jù)，因此是模式識(shí)別中降低特征空間維數(shù)的有效方法。由于它的正交基函數(shù)族是從訓(xùn)練樣本集中計(jì)算出來(lái)的，因此并不存在一種對(duì)任何數(shù)據(jù)都適用的K-L變換基。一般的作法是先用一組訓(xùn)練數(shù)據(jù)計(jì)算出K-L變換基，然后用這組基來(lái)重構(gòu)或分析其它數(shù)據(jù)。K-L變換方法1.通過(guò)變換來(lái)尋求有效的特征向量，原樣本(特征向量)x經(jīng)過(guò)T變換變?yōu)樾碌奶卣飨蛄縴,將y中的N個(gè)元素中的N-M個(gè)用預(yù)先選定的常數(shù)代替或者舍去后所表征的x*向量與原來(lái)x的均方誤差最小。2.將原特征向量組用維數(shù)較少的特征向量代替?；静襟E：對(duì)N個(gè)樣本(特征向量)，求產(chǎn)生矩陣。對(duì)矩陣，求N個(gè)特征值與特征向量。將N

個(gè)特征值按值的大小的順序排列。取M個(gè)特征值(特征向量)，組成新的變換矩陣yM=TxN

代替原來(lái)的特征向量。如何求解產(chǎn)生矩陣?舉例:四個(gè)樣本用K-L變換降維(維數(shù)為1,四個(gè)樣本)解:1.求協(xié)方差矩陣2.協(xié)方差矩陣的本征值及本征向量u1u2x1x23.求新的變換矩陣，新的特征空間保留1舍棄2u1u2y1y2y3y44.計(jì)算特征變換所引起的均方誤差上述變換并不引起誤差x1x23.主成分分析例子：小學(xué)各科成績(jī)的評(píng)估可以用下面的綜合成績(jī)來(lái)體現(xiàn)：a1×語(yǔ)文＋a2×數(shù)學(xué)＋a3×自然＋a4×社會(huì)科學(xué)

確定權(quán)重系數(shù)的過(guò)程就可以看作是主成分分析的過(guò)程，得到的加權(quán)成績(jī)總和就相對(duì)于新的綜合變量——主成分【問(wèn)題的提出】推而廣之，當(dāng)某一問(wèn)題需要同時(shí)考慮好幾個(gè)因素時(shí)，我們并不對(duì)這些因素個(gè)別處理而是將它們綜合起來(lái)處理。這樣綜合處理的原則是使新的綜合變量能夠解釋大部分原始數(shù)據(jù)方差?！締?wèn)題的提出】由于各種量測(cè)到數(shù)據(jù)通常是以矩陣的形式記錄、表達(dá)和存儲(chǔ)的，實(shí)際中的很多數(shù)據(jù)信息往往是重疊與冗余的。從線性代數(shù)的觀點(diǎn)來(lái)看，就是這些數(shù)據(jù)矩陣中存在相關(guān)的行或列。因此需要對(duì)其進(jìn)行處理和提煉，抽取出有意義、獨(dú)立的變量。

主成分分析(PrincipalComponentAnalysis,簡(jiǎn)稱PCA)是一種常用的基于變量協(xié)方差矩陣對(duì)信息進(jìn)行處理、壓縮和抽提的有效方法?！締?wèn)題的提出】情形II下總分的方差為0，顯然不能反映三個(gè)學(xué)生各科成績(jī)各有所長(zhǎng)的實(shí)際情形，而紅色標(biāo)記的變量對(duì)應(yīng)的方差最大，可反映原始數(shù)據(jù)的大部分信息?！締?wèn)題的提出】為什么要根據(jù)方差確定主成分？上例可見，用總分有時(shí)可以反映原分?jǐn)?shù)表的情況，保留原有信息，有時(shí)則把信息丟盡，不能反映原有的情況和差異。根據(jù)總分所對(duì)應(yīng)的方差可以確定其代表了多大比例的原始數(shù)據(jù)（分?jǐn)?shù)）信息。一般來(lái)說(shuō)，我們希望能用一個(gè)或少數(shù)幾個(gè)綜合指標(biāo)（分?jǐn)?shù)）來(lái)代替原來(lái)分?jǐn)?shù)表做統(tǒng)計(jì)分析，而且希望新的綜合指標(biāo)能夠盡可能地保留原有信息，并具有最大的方差?！締?wèn)題的提出】對(duì)主成分的要求壓縮變量個(gè)數(shù)，用較少的變量去解釋原始數(shù)據(jù)中的大部分變量，剔除冗余信息。即將許多相關(guān)性很高的變量轉(zhuǎn)化成個(gè)數(shù)較少、能解釋大部分原始數(shù)據(jù)方差且彼此互相獨(dú)立的幾個(gè)新變量，也就是所謂的主成分。這樣就可以消除原始變量間存在的共線性，克服由此造成的運(yùn)算不穩(wěn)定、矩陣病態(tài)等問(wèn)題?！締?wèn)題的提出】主成分分析的目的PCA分析在很多領(lǐng)域有廣泛應(yīng)用（模式識(shí)別、化學(xué)組分的定量分析、多元物系的組分?jǐn)?shù)目確定、動(dòng)力學(xué)反應(yīng)機(jī)理的確定等）主成分變換將三維空間的樣本顯示在二維空間【問(wèn)題的提出】舉例根據(jù)方差最大化原理，用一組新的、線性無(wú)關(guān)且相互正交的向量來(lái)表征原來(lái)數(shù)據(jù)矩陣的行（或列）。這組新向量（主成分）是原始數(shù)據(jù)向量的線性組合。通過(guò)對(duì)原始數(shù)據(jù)的平移、尺度伸縮(減均值除方差)和坐標(biāo)旋轉(zhuǎn)(特征分解)，得到新的坐標(biāo)系(特征向量)后，用原始數(shù)據(jù)在新坐標(biāo)系下的投影(點(diǎn)積)來(lái)替代原始變量。一.主成分分析的基本原理假定有n個(gè)樣本，每個(gè)樣本共有p個(gè)變量，構(gòu)成一個(gè)n×p階的數(shù)據(jù)矩陣

當(dāng)p較大時(shí)，在p維空間中考察問(wèn)題比較麻煩。為了克服這一困難，就需要進(jìn)行降維處理，即用較少的幾個(gè)綜合指標(biāo)代替原來(lái)較多的變量指標(biāo)，而且使這些較少的綜合指標(biāo)既能盡量多地反映原來(lái)較多變量指標(biāo)所反映的信息，同時(shí)它們之間又是彼此獨(dú)立的。

定義：記x1，x2，…，xP為原變量指標(biāo)，z1，z2，…，zm（m≤p）為新變量指標(biāo)系數(shù)lij的確定原則：①

zi與zj（i≠j；i，j=1，2，…，m）相互無(wú)關(guān)；②

z1是x1，x2，…，xP的一切線性組合中方差最大者，z2是與z1不相關(guān)的x1，x2，…，xP的所有線性組合中方差最大者,或者說(shuō)是對(duì)原始數(shù)據(jù)中尚未被z1解釋的差異部分擁有最大的解釋能力；

……zm是與z1，z2，……，zm－1都不相關(guān)的x1，x2，…xP，的所有線性組合中方差最大者。則新變量指標(biāo)z1，z2，…，zm分別稱為原變量指標(biāo)x1，x2，…，xP的第一，第二，…，第m主成分。

從以上的分析可以看出，主成分分析的實(shí)質(zhì)就是確定原來(lái)變量xj（j=1，2，…，p）在諸主成分zi（i=1，2，…，m）上的載荷lij（i=1，2，…，m；j=1，2，…，p）。因此主成分分析的關(guān)鍵就是確定這些系數(shù)。

從數(shù)學(xué)上可以證明，它們分別是的協(xié)方差（相關(guān)）矩陣的m個(gè)較大的特征值所對(duì)應(yīng)的特征向量。（一）計(jì)算相關(guān)系數(shù)矩陣

rij（i，j=1，2，…，p）為原變量xi與xj的相關(guān)系數(shù)，rij=rji，其計(jì)算公式為二、主成分分析的計(jì)算步驟

（二）計(jì)算特征值與特征向量

①

解特征方程，求出特征值，并使其按大小順序排列

②

分別求出對(duì)應(yīng)于特征值的特征向量，要求=1，即，其中表示向量的第j個(gè)分量。③

計(jì)算主成分貢獻(xiàn)率及累計(jì)貢獻(xiàn)率貢獻(xiàn)率累計(jì)貢獻(xiàn)率

一般取累計(jì)貢獻(xiàn)率達(dá)85%~95%的特征值所對(duì)應(yīng)的第1、第2、…、第m（m≤p）個(gè)主成分。

④

計(jì)算主成分載荷

⑤

各主成分的得分

關(guān)于特征值原始數(shù)據(jù)前的加權(quán)系數(shù)決定了新的綜合變量主成分（得分）的大小和性質(zhì)，通常稱為主成分軸或者載荷向量（載荷軸、載荷系數(shù)）。主成分分析的關(guān)鍵就是確定這些系數(shù)，這些系數(shù)構(gòu)成了新的坐標(biāo)系，將原始變量在新的坐標(biāo)系下投影就可求得新坐標(biāo)系下的變量值（主成分得分）。主成分軸、載荷向量PC1=a1xi1+a2xi2+a3xi3PC2=b1xi1+b2xi2+b3xi3三維主成分分析示意圖三.主成分的特點(diǎn)☆主成分是原變量的線性組合；☆各個(gè)主成分之間互不相關(guān)；☆主成分按照方差從大到小依次排列，第一主成分對(duì)應(yīng)最大的方差（特征值）；☆每個(gè)主成分的均值為0、其方差為協(xié)方差陣對(duì)應(yīng)的特征值；☆不同的主成分軸（載荷軸）之間相互正交。主成分的特點(diǎn)☆

如果原來(lái)有p個(gè)變量，則最多可以選取p個(gè)主成分，這p個(gè)主成分的變化可以完全反映原來(lái)全部p個(gè)變量的變化；☆

如果選取的主成分少于p個(gè)，則這些主成分的變化應(yīng)盡可能多地反映原來(lái)全部p個(gè)變量的變化。主成分分析的優(yōu)點(diǎn)

★它能找到表現(xiàn)原始數(shù)據(jù)陣最重要的變量的組合★

通過(guò)表示最大的方差，能有效地直觀反映樣本之間的關(guān)系★

能從最大的幾個(gè)主成分的得分來(lái)近似反映原始的數(shù)據(jù)陣的信息例：有3個(gè)變量X1,X2與X3(p=3)，其16次（n=16）觀測(cè)值見下表：

四、主成分分析方法應(yīng)用舉例相關(guān)矩陣為：相關(guān)陣R的特征值分別為2.077,0.919,0.004，

前兩個(gè)主成分的累計(jì)貢獻(xiàn)率為99.866%。這說(shuō)明第三個(gè)主成分所起作用非常小，可以只要兩個(gè)主成分。

HelpprincompinMATLAB

例：使用princomp作主分量分析

從代數(shù)觀點(diǎn)看主成分就是p個(gè)變量X1,X2,…,Xp的一些特殊的線性組合.在幾何上這些線性組合正是把X1,X2,…,Xp構(gòu)成的坐標(biāo)系旋轉(zhuǎn)產(chǎn)生新坐標(biāo)系,新坐標(biāo)系軸使之通過(guò)樣本變差最大的方向(或說(shuō)具有最大的樣本方差).以最簡(jiǎn)單的二元正態(tài)變量來(lái)說(shuō)明主成分的幾何意義.設(shè)有n個(gè)樣本,每個(gè)樣本有p個(gè)變量記為X1,X2,…,Xp,它們的綜合變量記為Y1,Y2,…,Yp.當(dāng)p=2時(shí),原變量是X1,X2,設(shè)X=(X1,X2)’～N2(μ,

∑

),它們有下圖的相關(guān)關(guān)系:對(duì)于二元正態(tài)分布變量,n個(gè)點(diǎn)的散布大致為一個(gè)橢圓,若在橢圓長(zhǎng)軸方向取坐標(biāo)軸Y1,在短軸方向取Y2,這相當(dāng)于在平面上作一個(gè)坐標(biāo)變換,即:Y2X2Y1X1可以看到Y(jié)1、Y2是原變量X1和X2的線性組合,用矩陣表示為顯然UT=U-1且是正交矩陣.如果上圖的橢圓是相當(dāng)扁平的,可以只考慮長(zhǎng)軸Y1方向上的波動(dòng),忽略Y2方向的波動(dòng).這樣,二維可以降為一維.一般情況,p個(gè)變量組成p維空間,n個(gè)樣本就是p維空間的n個(gè)點(diǎn),對(duì)p元正態(tài)分布變量來(lái)說(shuō),找主成分的問(wèn)題就是找p維空間中橢圓體的主軸問(wèn)題.需要注意的地方在實(shí)際問(wèn)題中,一般∑(或ρ)是未知的,需要通過(guò)樣本來(lái)估計(jì).設(shè)其中分別以S和R作為∑和ρ的估計(jì),按前面所述的方法求得的主成分稱為樣本主成分.具體有如下結(jié)論:其中x=(x1,x2,…,xp)T為X的任一觀測(cè)值.當(dāng)依次代入X的n個(gè)觀測(cè)值xk=(x1k,x2k,…,xpk)T

時(shí),便得到第i個(gè)樣本主成分yi

的n個(gè)觀測(cè)值yik

(k=1,2,…,n).設(shè)S=(sij)p×p

是樣本協(xié)方差矩陣,其特征值為

,相應(yīng)的正交單位化特征向量為

,則第i個(gè)樣本主成分為:

這時(shí)

第i個(gè)樣本主成分的貢獻(xiàn)率為:

前m個(gè)樣本主成分的累計(jì)貢獻(xiàn)率為:為了消除量綱的影響,我們可以對(duì)樣本進(jìn)行標(biāo)準(zhǔn)化,即令則標(biāo)準(zhǔn)化數(shù)據(jù)的樣本協(xié)方差矩陣即為原數(shù)據(jù)的樣本相關(guān)矩陣R.由R出發(fā)所求得的樣本主成分稱為標(biāo)準(zhǔn)化樣本主成分.只要求出R的特征值及相應(yīng)的正交單位化特征向量,類似上述結(jié)果可求得標(biāo)準(zhǔn)化樣本主成分.這時(shí)標(biāo)準(zhǔn)化樣本的樣本總方差為p.例一設(shè)模式X=(X1,X2,X3)T的協(xié)方差矩陣為求X的各主成分.解:

易求得∑的特征值及其相應(yīng)的正交化特征向量分別為因此X的主成分為取第一主成分,則貢獻(xiàn)率為若取前兩個(gè)主成分,則累計(jì)貢獻(xiàn)率為因此,可用前兩個(gè)主成分代替原來(lái)三個(gè)變量.

%Example1%C