機器學(xué)習(xí)算法與實踐 課件 第10章 數(shù)據(jù)降維

第十章數(shù)據(jù)降維

數(shù)據(jù)降維是緩解維數(shù)災(zāi)難常用方法之一，是將原始數(shù)據(jù)映射到低維子空間，以達到降低維度的目的，這個過程中數(shù)據(jù)的特征發(fā)生了本質(zhì)的變化，新的子空間的特征不再是原來的特征，因此不存在完全無損的降維方法，區(qū)別只是損失多少的問題.

針對研究對象，我們通常會收集一系列特征屬性，對研究對象進行分析，屬性越多，越有利于細致研究分析。但是隨著屬性增多，也會增加后續(xù)數(shù)據(jù)處理的運算量，帶來較大的處理負擔(dān)。110.1

數(shù)據(jù)降維概述

數(shù)據(jù)降維方法從不同角度可以分為不同的類別，根據(jù)數(shù)據(jù)的特性劃分，有線性降維和非線性降維；根據(jù)是否利用數(shù)據(jù)的監(jiān)督信息劃分，有無監(jiān)督降維、有監(jiān)督降維和半監(jiān)督降維；根據(jù)是否保持數(shù)據(jù)的結(jié)構(gòu)劃分，有全局保持降維、局部保持降維和全局與局部保持一致降維等。需要根據(jù)特定的問題選擇合適的數(shù)據(jù)降維方法.

本章主要介紹常見的兩種數(shù)據(jù)降維技術(shù)：主成分分析（PrincipalComponentAnalysis，簡稱PCA）、線性判別分析（LinearDiscriminantAnalysis，簡稱LDA）。210.2

主成分分析3

主成分分析（PrincipalComponentAnalysis，PCA）主要用于發(fā)現(xiàn)數(shù)據(jù)中變量之間的關(guān)系，是數(shù)據(jù)分析的有力工具，是一種常用的無監(jiān)督學(xué)習(xí)方法，其原理是通過通過正交變換將一組可能存在相關(guān)性的變量轉(zhuǎn)換為一組線性不相關(guān)的變量，轉(zhuǎn)換后的這組變量叫主成分，它是原特征的線性組合，其個數(shù)通常小于原始變量的個數(shù)。10.2

主成分分析PCA算法原理：（1）由于樣本的屬性特征維數(shù)較高，相互之間存在關(guān)聯(lián)關(guān)系.為了消除相關(guān)性，對原始屬性進行線性線性組合，找到一組彼此不相關(guān)的屬性特征；（2）在新的屬性特征中，刪除一些不重要的特征，保留較少特征數(shù)，同時保證損失較小.利用線性代數(shù)的知識對此進行解釋：

410.2.1

PCA算法原理

5

10.2.1

PCA算法原理6

對于二維降一維問題，只需要找到一個基向量就夠了，即方差最大化就夠了。但對于更高維的問題，還有其他基向量需要求解.10.2.1

PCA算法原理7

例如，三維降二維，第一個基向量通過方差找到，第二個如果也利用方差，那么它與第一個基向量幾乎重合.我們希望第二個基向量與第一個線性無關(guān)，而協(xié)方差可以表示樣本某兩個屬性的相關(guān)性.當(dāng)協(xié)方差為0時，表示樣本的某兩個屬性獨立。

由上述討論知，我們希望單個屬性上方差最大，兩兩屬性間協(xié)方差為0。為將二者統(tǒng)一，我們考慮協(xié)方差矩陣。10.2.1

PCA算法原理

那么同樣地，可以推廣至更高維。8

10.2.1

PCA算法原理若要找到一組新的正交基，使得在這組基下的樣本集的協(xié)方差矩陣為對角陣，并且為了找到最大方差，對角線上元素應(yīng)從大到小排列。

910.2.1

PCA算法原理

利用特征值分解利用奇異值（SVD）分解

1010.2.1

PCA算法原理那么此時

SVD降維與特征值降維雖然原理一致，但不需要計算協(xié)方差矩陣，節(jié)省了計算量。1110.2.1

PCA算法原理貢獻率

對于利用SVD實現(xiàn)的降維，我們可以利用奇異值衡量，將上面兩個公式中的特征值替換為對應(yīng)的奇異值即可。

1210.2.2

特征值分解降維利用特征值和特征向量實現(xiàn)PCA算法基本步驟：

1310.2.3

奇異值分解降維利用SVD實現(xiàn)PCA算法基本步驟：

1410.3線性判別分析(LinearDiscriminantAnalysis，簡稱LDA)LDA是一種經(jīng)典的線性學(xué)習(xí)方法、分類算法，也是一種有監(jiān)督降維方法。基本思想將數(shù)據(jù)投影到低維空間上，并且希望投影后的數(shù)據(jù)點滿足：同一類別盡可能“接近”，不同類別盡可能“遠離”。1510.3線性判別分析(LinearDiscriminantAnalysis，簡稱LDA)算法原理(以二分類問題為例)：

1610.3線性判別分析

1710.3線性判別分析二分類問題（1）廣義Rayleigh商

1810.3線性判別分析（2）類內(nèi)散度

1910.3線性判別分析

那么投影后的兩類樣本的方差和為

定義類內(nèi)散度矩陣為2010.3線性判別分析（3）類間散度

（4）LDA模型（二分類）

2110.3線性判別分析

2210.3線性判別分析多分類問題

類內(nèi)散度重新定義為每個類別的協(xié)方差矩陣之和：

類間散度為：23

全局散度矩陣定義為全局協(xié)方差矩陣

10.3線性判別分析LDA模型（多分類）

目標(biāo)函數(shù)