奇異值分解及應(yīng)用

1、定理定理：設(shè)：設(shè),0rcanmr則存在則存在,nnnnmmctcs使得使得000risat右式稱為矩陣右式稱為矩陣a a的的等價(jià)標(biāo)準(zhǔn)型等價(jià)標(biāo)準(zhǔn)型酉等價(jià)酉等價(jià)：設(shè)：設(shè),nmcba若存在若存在m m階酉矩陣階酉矩陣u u和和n n階酉矩陣階酉矩陣v v，使得，使得,bavuh則稱則稱a a與與b b酉等價(jià)酉等價(jià)。矩陣的奇異值分解矩陣的奇異值分解就是矩陣在就是矩陣在酉等價(jià)酉等價(jià)下的一種下的一種標(biāo)準(zhǔn)型標(biāo)準(zhǔn)型。引理引理1 證明證明 設(shè)設(shè) 是是aha的特征值，的特征值，x是相應(yīng)的特征向量，是相應(yīng)的特征向量，則則 ahax= x由于由于aha為為hermite 矩陣，故矩陣，故 是實(shí)數(shù)。又是實(shí)數(shù)。又。的特征

2、值均為非負(fù)實(shí)數(shù)與設(shè)hhnmaaaaca,0, 0)()(),(0 xxxxaxaxaxaxhhh同理可證同理可證aah的特征值也是非負(fù)實(shí)數(shù)。的特征值也是非負(fù)實(shí)數(shù)。證明證明 設(shè)設(shè)x x是方程組是方程組a ah hax=0ax=0的非的非0 0解解，引理引理2 2 )()()(,arankaarankaarankcahhnmr則設(shè)mcax0)(),(axaxaxaxhh故故則由則由同解。與線性方程組因此00,axaaxh得得; 0ax的解；的解也是反之，00axaaxh)()()(hhaarankaarankarank)()(aarankarankh得替換用,aah對于hermite 矩陣aha，

3、 aah，設(shè) aha， aah有r個(gè)非0特征值，分別記為00121121nrrmrrriii, 2 , 1,則,nmrca設(shè)即： aha與aah非0特征值相同，并且非零特征值的個(gè)數(shù)為)(arank奇異值的定義奇異值的定義簡稱奇異值的正奇異值，為矩陣稱ariii, 1,0,121mrrhnmraaca的特征值為且設(shè)說明：說明：a的正奇異值個(gè)數(shù)等于的正奇異值個(gè)數(shù)等于 ，并且，并且a與與ah有相同的奇有相同的奇異值。異值。)(arank則則酉酉等等價(jià)價(jià)與與設(shè)設(shè)證證明明,bacbanmr,)(bvbvubvubvaahhhh）（有相同的奇異值。與故征值，是酉相似的，有相同特與所以babbaahh定理定

4、理 酉等價(jià)酉等價(jià)的矩陣有的矩陣有相同的奇異值相同的奇異值由由ubvacvcunnmm使使存在酉矩陣存在酉矩陣,奇異值分解定理奇異值分解定理 設(shè)設(shè)a是秩為是秩為(0)r r 的的mn則存在則存在 階酉矩陣階酉矩陣矩陣矩陣, ,mu與與 階酉矩陣階酉矩陣,v使得使得hou avsoo 其中其中12diag(,)r (1,2, )ir10r為矩陣為矩陣a的全部奇異值的全部奇異值. .n證明證明 設(shè)矩陣 的特征值為ha a1210rrn 則存在n階酉矩陣 ，使得 v12hh()n ova avoo將 分塊為v12()vvv其中 ， 分別是 的前 r 列與后 列.1v2vvnr并改寫式為2h oa av

5、voo則有h2t112， a avva avo由的第一式可得hh21 h11111() ()ri， 或者 v a avavav由的第二式可得h222()() 或 者a va voa vo令 ，則 ，即 的r個(gè)列是兩兩正交的單位向量.記111 uav11hriu u1u112(,)ruuuu因此可將 擴(kuò)充成標(biāo)準(zhǔn)正交基，記增添的向量為 ，并構(gòu)造矩陣則是m階正交矩陣,且有于是可得12,ruuu1,rmuu21(,)rmuuu12121( ,) ( , , ,)rrmuu uu uu uuh1121 hri，u uu uohhh1121h2()()， ouu avuavavuooouhhhh1 1 1

6、22 2rrr oauvuvu vu voo稱上式為矩陣a的奇異值分解.推論推論 在矩陣在矩陣a a的的奇異值分解奇異值分解a a= =udvudvh h中，中，u u的列向量為的列向量為aaaah h的特征向量，的特征向量， v v的列向量為的列向量為a ah ha a的特征向量的特征向量. .hhhhudvudvaa)(證明)0 , 0 ,()(212rhudiaguduaahhhuudvduudv2），（記nuuuu21niuuaaiiih, 2 , 1,)(則11求矩陣求矩陣a ah ha a的酉相似對角矩陣及酉相似矩陣的酉相似對角矩陣及酉相似矩陣v v; ;000)(2vaavhh,

7、),()(2121rnnrncvcvvvvrmcavu1115 5 構(gòu)造奇異值分解構(gòu)造奇異值分解 44擴(kuò)充擴(kuò)充u u1 1為酉矩陣為酉矩陣u=(u=(u u1 1 , ,u u2 2) )33令令22記記奇異值分解方法奇異值分解方法11利用矩陣?yán)镁仃嘺 ah ha a求解求解hvua000例例1、求矩陣、求矩陣000110101a的奇異值分解的奇異值分解可求得可求得 的特征值為的特征值為211110101aahaah, 0, 1, 3321對應(yīng)的特征向量依次為對應(yīng)的特征向量依次為,2 , 1 , 11tx ,0 , 1, 12tx,1, 1 , 13tx于是可得：于是可得：, 2ranka,

8、1003令令,21vvv 其中其中3221131,21,61xvxxv計(jì)算：計(jì)算：111avu0021212121構(gòu)造：構(gòu)造：tu1 , 0 , 02則則1000212102121,21uuua的奇異值分解為的奇異值分解為tvua000010003奇異值分解方法奇異值分解方法2-2-利用矩陣?yán)镁仃嘺aaah h求解求解11先求矩陣先求矩陣aaaah h的酉相似對角矩陣及酉相似矩陣的酉相似對角矩陣及酉相似矩陣u u; ;000)(2uaauhh,),()(2121rmmrmcvcuuuurnhcuav11144擴(kuò)充擴(kuò)充v v1 1為酉矩陣為酉矩陣v=(v=(v v1 1 , ,v v2 2)

9、)5 5 構(gòu)造奇異值分解構(gòu)造奇異值分解 22記記33令令hvua000例例 求矩陣求矩陣a的奇異值分解的奇異值分解000021a利用矩陣?yán)镁仃嘺ah求解求解0, 5,5,5,0000000053211的特征值hhaaaa;100,010,001321xxx對應(yīng)的特征向量分別為）（）（取32211321,xxuxuxxxu,510010020015251111uavh令515252512151522),(,vvvv則取51525251000005100010001huava因此第二節(jié)第二節(jié) 奇異值分解的性質(zhì)奇異值分解的性質(zhì)與應(yīng)用與應(yīng)用1.1.奇異值分解可以降維奇異值分解可以降維 a表示 個(gè) 維

10、向量，可以通過奇異值分解表示成 個(gè) 維向量.若a的秩 遠(yuǎn)遠(yuǎn)小于 和 , 則通過奇異值分解可以降低a的維數(shù).可以計(jì)算出，當(dāng) 時(shí)，可以達(dá)到降維的目的，同時(shí)可以降低計(jì)算機(jī)對存貯器的要求.1mnrmnnmmnrmnr2. 奇異值對矩陣的擾動(dòng)不敏感奇異值對矩陣的擾動(dòng)不敏感 特征值對矩陣的擾動(dòng)敏感. 在數(shù)學(xué)上可以證明，奇異值的變化不會超過相應(yīng)矩陣的變化，即對任何的相同階數(shù)的實(shí)矩陣a、b的按從大到小排列的奇異值 和有i i 2iiab 3. 3. 奇異值的比例不變性奇異值的比例不變性, ,即即 的奇異值是的奇異值是a的的奇異值的奇異值的 倍倍. .a 4.4.奇異值的旋轉(zhuǎn)不變性奇異值的旋轉(zhuǎn)不變性. .即若即若p是正交陣，是正交陣，pa的的奇異值與奇異值與a的奇異值相同的奇異值相同. . 奇異值的比例和旋轉(zhuǎn)不變性特征在數(shù)字圖象的旋轉(zhuǎn)、鏡像、平移、放大、縮小等幾何變化方面有很好的應(yīng)用.5. 容易得到矩陣a的秩為 的一個(gè)最佳逼近矩陣. krka是矩陣的加權(quán)和，其中權(quán)系數(shù)按遞減排列：ttt1 1 122 2rrrauvu vuv120r假設(shè)推薦系統(tǒng)中有用戶集合有6個(gè)用戶，即u=u1,u2,u3,u4,u5,u6，項(xiàng)目（物品）集合有7個(gè)項(xiàng)目，即v=v1,v2,v3,v4,v5,v6,v7，用戶對項(xiàng)目的評分結(jié)合為r，用戶對項(xiàng)目的評分范圍是0, 5，如圖所示。推薦系統(tǒng)推薦系統(tǒng)推薦系統(tǒng)的目