機器學(xué)習(xí)數(shù)學(xué)基礎(chǔ)-矩陣論

1、精選優(yōu)質(zhì)文檔-傾情為你奉上1.矩陣和線性變換：線性變換的定義：線性映射（ linear mapping）是從一個向量空間V到另一個向量空間W的映射且保持加法運算和數(shù)量乘法運算，而線性變換（linear transformation）是線性空間V到其自身的線性映射。一個矩陣對應(yīng)了一個線性變換這個說法，就可以知道這個說法并不嚴謹。（基）矩陣是對線性變換的表示；確定了定義域空間與目標空間的兩組基，就可以很自然地得到該線性變換的矩陣表示。 兩個矩陣相乘，表示了三個線性空間的變換。要想從第一個空間轉(zhuǎn)換到第三個空間，則第一個變換的定義域空間U到目標空間V1，第二個變換的定義域空間V2到目標空間W，必須滿足

2、V1和V2是一個空間。矩陣把v'i換成vi的換基矩陣與把vi換成v'i的換基矩陣這兩個矩陣是互逆的.2恒等變換與伸縮變換3矩陣對角化條件：n個線性無關(guān)的特征向量；每個特征值的線性無關(guān)的特征向量的個數(shù)恰好等于該特征值的代數(shù)重數(shù)；充分條件n個特征值互不相等（充分條件）；代數(shù)重數(shù)：特征多項式的次數(shù)；幾何重數(shù)：與某一個特征值相關(guān)聯(lián)的線性無關(guān)的特征向量的最大個數(shù)。所以對角化其實就是要用特征向量組成的基來代替標準基，描述線性變換，使得多個耦合的變量盡可能的解耦。 如果A為實對稱陣，則其必可以正交相似對角化。其中U內(nèi)的每個向量互相正交。即：u1.T=u1.I.線性變換：可以發(fā)現(xiàn)里面并不涉及矩

3、陣維度的變化。其中中間的對角矩陣相當于對矩陣的每一列（t特征向量）進行拉伸。兩邊的同維方陣使用的是同一組基，即上述的線性變換始終在一組基里面，所以相當于在同一空間內(nèi)做旋轉(zhuǎn)。在一個n維空間里，標準正交基是唯一存在的，該n維空間里面所有的向量都可由該組正交基線性變換得到。所以矩陣的對角化涉及到的運動包括：旋轉(zhuǎn)和縮放。A矩陣將一個向量從x這組基的空間旋轉(zhuǎn)到x這組基的空間，并在每個方向進行了縮放。4.SVD證明：AA.T的特征向量組就是P矩陣：得證對A進行矩陣分解得到的P矩陣就是AA.T的特征向量組成的P矩陣。SVD的一些應(yīng)用1.降維左奇 用于行數(shù)的壓縮。右奇異矩陣可以用于列數(shù)即特征維度的壓縮，也就是

4、我們的PCA降維。2.PCA使用SVD求解PCA求解過程中的協(xié)方差矩陣為特征之間（列之間）的關(guān)系矩陣（m*m）。而SVD的右奇異矩陣也是關(guān)于特征之間（矩陣列之間）的關(guān)系，所以PCA里面的協(xié)方差矩陣可以通過SVD得到。SVD有個好處，有一些SVD的實現(xiàn)算法可以不求先求出協(xié)方差矩陣，也能求出我們的右奇異矩陣。3.奇異（亂入的）若n階方陣A的行列式不為零，即 |A|0，則稱A為非奇異矩陣或滿秩矩陣4.幾何意義：奇異值分解把線性變換清晰地分解為旋轉(zhuǎn)、縮放、投影這三種基本線性變換。其中，P為m*m矩陣，Q為n*n矩陣。其中涉及的變換： 。A矩陣的作用是將一個向量從Q 這組正交基向量的空間旋轉(zhuǎn)到P這組正交

5、基向量空間，并對每個方向進行了一定的縮放，縮放因子就是各個奇異值。如果Q維度比P大，則表示還進行了投影。8.一些概念矩陣行秩等于列秩估計量的數(shù)學(xué)期望等于被估計參數(shù)的真實值，則稱此此估計量為被估計參數(shù)的無偏估計。矩陣與標量相乘與相加，每個元素與該標量相乘或相加互逆矩陣特征值互為倒數(shù)，特征向量一樣9.條件數(shù)矩陣A的等于A的與A的逆的范數(shù)的，即cond(A)=A·A(-1)，對應(yīng)矩陣的3種范數(shù)，相應(yīng)地可以定義3種條件數(shù)。 函數(shù) cond(A,1)、cond(A)或cond(A inf)。原因：條件數(shù)事實上表示了矩陣計算對于誤差的敏感性，條件數(shù)越大，矩陣越大越病態(tài)，矩陣是指解集X對系數(shù)矩陣A

6、和偏差bias高度敏感。主要是某些向量之間可以互相近似線性表達（如401 -201與-800 401）,從而另一項近似殘差項，這樣微小的擾動帶來大的擾動。矩陣的條件數(shù)總是大于1.的條件數(shù)等于1，的條件數(shù)為無窮大，而的條件數(shù)則為比較大的數(shù)據(jù)。10. 鞍點，極值點，駐點檢驗二元函數(shù)F（x，y）的駐點是不是鞍點的一個簡單的方法，是計算函數(shù)在這個點的Hessian矩陣：如果黑塞矩陣的行列式小于0，則該點就是鞍點。在一維空間里，鞍點是駐點也是反曲點點。/目標函數(shù)在此點上的梯度（一階導(dǎo)數(shù)）值為 0， 但從該點出發(fā)的一個方向是函數(shù)的極大值點，而在另一個方向是函數(shù)的極小值點。11 矩陣對角化計算過程對稱矩陣肯

7、定可以對角化。矩陣可以對角化的充分必要條件是：矩陣有n各不同的特征值。n個相互無關(guān)的特征向量正交化過程：其中/。上下是點乘的過程。12 矩陣正定半正定判斷條件：(1) A為半正定陣：a. 定義判定。XTAX表示的意義是：矩陣A對應(yīng)的二次型X'AX，對于任意不為0的實列向量X，都大于等于0。b. 所有的主子式非負。主子式是指將行號與列號相等的項拿出來組成一個矩陣的行列式。（2）A為正定陣：a.定義判斷b.各階順序主子式都為正c.特征值都為正d.合同為單位陣e.g 上述四個條件都為充分必要條件。主子式是 ，可以跳，順序主子式是惟一的。意義：正定、半正定矩陣的直覺代表一個向量經(jīng)過它的變化后的

8、向量與其本身的夾角小于等于90度。13 核方法核函數(shù)的?。∕ercer定理）任何半正定的函數(shù)都可以作為核函數(shù)。所謂半正定的函數(shù)f(xi,xj)，是指擁有訓(xùn)練數(shù)據(jù)集合（x1,x2,.xn)，我們定義一個矩陣的元素aij = f(xi,xj)，這個矩陣是n*n的，如果這個矩陣是半正定的，那么f(xi,xj)就稱為半正定的函數(shù)。這個mercer定理不是核函數(shù)必要條件，只是一個充分條件，即還有不滿足mercer定理的函數(shù)也可以是核函數(shù)。常見的核函數(shù)有高斯核，多項式核等等，在這些常見核的基礎(chǔ)上，通過核函數(shù)的性質(zhì)（如對稱性等）可以進一步構(gòu)造出新的核函數(shù)。SVM是目前核方法應(yīng)用的經(jīng)典模型。一般實施步驟核函數(shù)

9、方法是一種模塊化(Modularity)方法，它可分為核函數(shù)設(shè)計和算法設(shè)計兩個部分，具體為： 1）收集和整理樣本,并進行標準化； 2）選擇或構(gòu)造核函數(shù)； 3）用核函數(shù)將樣本變換成為核函數(shù)矩陣,這一步相當于將輸入數(shù)據(jù)通過非線性函數(shù)映射到高維特征空間； 4）在特征空間對核函數(shù)矩陣實施各種線性算法；5）得到輸入空間中的非線性模型。14 共軛共軛復(fù)數(shù)，兩個實部相等，虛部互為相反數(shù)的復(fù)數(shù)互為共軛復(fù)數(shù)(conjugate complex number)。當虛部不為零時，共軛復(fù)數(shù)就是實部相等，虛部相反,如果虛部為零，其共軛復(fù)數(shù)就是自身。（當虛部不等于0時也叫共軛虛數(shù)）復(fù)數(shù)z的共軛復(fù)數(shù)記作z。同時, 復(fù)數(shù)z稱

10、為復(fù)數(shù)z的復(fù)共軛(complex conjugate).共軛矩陣是指，共軛矩陣又稱Hermite陣。Hermite陣中每一個第i 行第j 列的元素都與第j 行第i 列的元素的共軛相等。共軛相等概念出現(xiàn)于共軛矩陣中，體現(xiàn)在：主對角線上的元素為實數(shù)（即其共軛復(fù)數(shù)為其本身），而第i行第j列的元素與第j行第i列的元素為共軛復(fù)數(shù)（這個不用解釋了吧）。埃爾米特矩陣（又稱“自共軛矩陣”）是共軛對稱的方陣。埃爾米特矩陣中每一個第i 行第j 列的元素都與第j 行第i 列的元素的共軛相等。15 概率和似然概率用于在已知事物一些參數(shù)的情況下，預(yù)測接下來的觀測所得到的結(jié)果，而似然性則是用于在已知某些觀測結(jié)果時，對有關(guān)

11、事物的性質(zhì)的參數(shù)進行估計。舉例：我們從一個袋子（只有紅球和藍球）里面又放回的抓球，抓了10次，其中紅球為3次，藍球為7次，則我們估計取得藍球的概率為0.7，紅球的概率為0.3.此過程采用的是極大似然的思想，然后我們估計下一次取得藍球的概率為0.7，此過程稱之為概率思想。16 奇異矩陣奇異矩陣是線性代數(shù)的概念，就是該矩陣的秩不是滿秩。首先，看這個矩陣是不是方陣（即行數(shù)和列數(shù)相等的矩陣。若行數(shù)和列數(shù)不相等，那就談不上奇異矩陣和）。然后，再看此矩陣的行列式|A|是否等于0，若等于0，稱矩陣A為奇異矩陣；若不等于0，稱矩陣A為非奇異矩陣。 同時，由|A|0可知矩陣A可逆，這樣可以得出另外一個重要結(jié)論:

12、就是非奇異矩陣，非奇異矩陣也是可逆矩陣。 如果A為奇異矩陣，則AX=0有無窮解，AX=b有無窮解或者無解。如果A為非奇異矩陣，則AX=0有且只有唯一，AX=b有唯一解。17 海森矩陣的意義在求解凸優(yōu)化問題的時候，前提條件是嗨森矩陣是正定的。如果不是正定，不能保證所產(chǎn)生的方向是目標函數(shù)在xk處的下降方向。Hessian矩陣的特征值就是形容其在該點附近特征向量方向的凹凸性（可以看成是拋物線口的大小，而梯度只是拋物線某點的斜率。），特征值越大，凸性越強。而凸性和優(yōu)化方法的收斂速度有關(guān)，比如梯度下降。如果正定Hessian矩陣的特征值都差不多，那么梯度下降的收斂速度越快，反之如果其特征值相差很大，那么收斂速度越慢。18.均值和期望期望是針對于隨機變量而言的一個量。E(XY)= i*j*(Pij)，其中i為X的取值，j為Y的取值，Pij為對應(yīng)于X=i,Y=j的聯(lián)合分布列中的相應(yīng)概率，求和是對所有的i,j求和19.矩陣分解推薦存在稀疏的用戶物品矩陣R，希望得到矩陣Q（用戶特征矩陣）和P（特征物品矩陣）逐步優(yōu)化使得R2=QPT與R之間的距離