奇異值分解與主成分分析

1、數(shù)值實驗03：奇異值分解與主成分分析主成分分析，也簡稱為PCA。它是一種對數(shù)據進行分析的技術，屬于多元統(tǒng)計分析的范疇，最重要的應用是對原有數(shù)據進行簡化。這種方法可以有效的找出數(shù)據中最“主要”的元素和結構，去除噪音和冗余，將原有的復雜數(shù)據降維，揭示隱藏在復雜數(shù)據背后的簡單結構。它的優(yōu)點是簡單，而且無參數(shù)限制，可以方便地應用于許多實際課題?；締栴}1、從代數(shù)的角度來看，PCA的目標就是使用另一組基去重新描述得到的數(shù)據空間，或者說它是線性變換Z=PX，而新的基要怎樣揭示原有的數(shù)據間的關系？PCA適用的前提條件是什么？答： 主成分分析在統(tǒng)計學中指的是一種簡化數(shù)據集的技術，是一個線性變換。它把數(shù)據變換到

2、一個新的坐標系中，使得任何數(shù)據投影的第一大方差在第一個坐標(稱為第一主成分)上，第二大方差在第二個坐標(第二主成分)上，依次類推。主成分分析經常用減少數(shù)據集的維數(shù)，同時保持數(shù)據集的對方差貢獻最大的特征。這是通過保留低階主成分，忽略高階主成分做到的。這樣低階成分往往能保留住數(shù)據的最重要方面。PCA適用的前提條件為盡量不改變數(shù)據特性：（1） 滿足線性要求。由于PCA的目標是使用另一組新的基去重新描述得到的數(shù)據空間，它是線性變換Z=PX，這使得它能進行的主元分析之間的關系也是線性的。（2） 符合正態(tài)分布或指數(shù)分布。如果數(shù)據不滿足正態(tài)分布或指數(shù)分布，方差和協(xié)方差就不能很好地反映噪聲和冗余，PCA將失效

3、。（3） 本身具有較高的信噪比。在進行數(shù)據處理時把具有較高方差的一維向量當作主元，方差較小的當作噪聲，這樣可以很方便的取出數(shù)據中的主要成分，去除次要部分的噪聲。主要成分能夠很好的還原數(shù)據的信息。（4） 主元正交。主元正交能夠使用一系列的線性變換對數(shù)據進行處理，提高PCA的性能及效率。2、對于一組具有m個觀測變量，n個采樣點的數(shù)據X，將每個觀測變量的采樣值寫為行向量，可以得到一個的矩陣，這m個觀測變量的協(xié)方差矩陣如下：證明協(xié)方差矩陣是m階的對稱半正定矩陣。為什么該矩陣對角線上的元素對應的是觀測變量的方差？答： 因為 ，而，所以，CX為對稱矩陣。對CX求特征值，由于X矩陣和它的轉置矩陣的特征值相等

4、，設為。所以CX矩陣的特征值為20。所以該矩陣為半正定矩陣。綜上所述，矩陣CX為對稱半正定矩陣,主對角元素是觀測變量的方差。3、對于新定義的Z=PX，推導該變量的協(xié)方差矩陣CZ與CX的關系。答：尋找一組正交基組成矩陣P，Z=PX，使得CZ為對角矩陣。則有所以，。實驗問題4、對矩陣X進行奇異值分解結果如何？它與CX的特征值分解有何關系？討論數(shù)據的中心化與歸一化對計算結果的影響。答：對矩陣X進行奇異值分解，將X分解成三個矩陣：其中U是m*m 的矩陣，V是n*n矩陣，是m*n 矩陣。U是矩陣XXT的特征值矩陣，V是矩陣XTX的特征值矩陣。是偽對角矩陣，對角線上的值就是奇異值。CX矩陣的特征值乘上（n

5、-1）等于X矩陣特征值的平方。CX矩陣的特征向量和X矩陣分解出來的U矩陣的列向量線性相關。中心化與歸一化：中心化：每個維度數(shù)據都減去該維度數(shù)據的平均值；歸一化：每個維度數(shù)據都除以該維度數(shù)據的標準差。中心化和歸一化也稱為數(shù)據的標準化。數(shù)據標準化處理主要包括數(shù)據同趨化處理和無量綱化處理兩個方面。原始數(shù)據通過標準化處理后，它們之間的可比性增強、影響因素減少，從而更利于分析。5、隨機生成若干個的矩陣X，分別計算矩陣X的奇異值分解與矩陣CX的特征值分解，它們有何關系？分析和關注數(shù)據的中心化與歸一化對計算結果產生的差異。答：設矩陣X為原矩陣，矩陣B為PCA分解后得到的酉矩陣，矩陣C為PCA分解后得到的對角

6、矩陣，矩陣U為SVD分解后的左矩陣，矩陣V為SVD分解后的右矩陣，矩陣S為SVD分解后中間的對角矩陣。第一組數(shù)據：X =6227586703353571CX=23.333333333333322.3333333333333 21 26.6666666666667 22.333333333333334 32 30 21 32 32.6666666666667 26 26.666666666666730 26 41.3333333333333B = 0.411786479069834-0.292084005692979-0.853173755189085-0.1311997436360580.52

7、71317727355930.3773760987778180.236520081252328-0.7237248271327010.4963008950263320.578830945694059-0.05772348176911890.6444440686013290.553398058746110-0.6612329014776110.4613250418884680.209047469025914C = 113.069669593525 0 0 0 0 13.2313125606574 0 0 0 0 4.143702012710790 0 0 0 0.888649166440631U

8、 = -0.4556162592771810.709285491919851-0.4345634677634950.316989759644773-0.712772491544327 -0.0639562125133900 0.144429504118997 -0.683377711458733-0.316940292388088 0.0694478842926790 0.806351256010587 0.494493169172612-0.428856678438048-0.698570458293384-0.3742891432508510.433576869082519V = -0.4

9、117864790698340.292084005692980-0.853173755189086-0.131199743636058-0.527131772735593-0.3773760987778180.236520081252327-0.723724827132702-0.496300895026332-0.578830945694059-0.05772348176911960.644444068601329-0.5533980587461100.6612329014776110.4613250418884690.209047469025914S = 18.4176276642942

10、0 0 00 6.3003125066914 0 00 0 3.52577736650123 00 0 0 1.63277294787790第二組數(shù)據：X = 8329983614154911CX=5445.3333333333333 1 6 4545.333333333333356.666666666666714.333333333333334.666666666666716 14.33333333333335 1445 34.66666666666671447.6666666666667B = 0.601930126094515-0.1634456070702990.76255193366

11、07350.1716980061023940.5699380912980970.762538231413244-0.3000721636620180.06052036281979500.184814534018447-0.03380327062905750.0674986964438112-0.9798698142552970.527915034264861-0.625042652990468-0.5691354593098690.0819281849909620C = 141.303160749497000017.898521256107000003.9910940332698600000.

12、140557294459576U = 0.5656459505689210.643165530580008-0.06154979090278290.5124396375365040.665344032683325-0.106121556794377-0.361267518502523-0.6446249401250750.2771409470418340.03716149165080570.929390004265275-0.2409276633822560.400692990019077-0.7574267878782490.04395023647995120.513632325177618

13、V = 0.6019301260945140.163445607070298-0.7625519336607350.1716980061023960.569938091298097-0.7625382314132440.3000721636620190.06052036281979450.1848145340184470.0338032706290577-0.0674986964438131-0.9798698142552970.5279150342648610.6250426529904680.5691354593098690.0819281849909608S = 20.589062199

14、344800007.3277256886650100003.4602430694692000000.649362674765566第三組數(shù)據：X = 5785321474942683CX=292740.666666666666723.6666666666667273547.333333333333325.666666666666740.666666666666747.33333333333337034.666666666666723.666666666666725.666666666666734.666666666666722B = 0.418586401553023-0.7011494052

15、12854-0.3481656092226190.4603864078784210.4747910935448680.3582157725783950.5823070756479280.5542322143442140.6816839458012540.422652352034504-0.487595313404137-0.3448518489190050.366968445458451-0.4488161774774030.549499762103063-0.601621318040724C = 146.60079404118800005.8413048802460600003.442499

16、6856153700000.115401392950555U = 0.6058128466080450.03318110003523370.3678249005496530.7046947225719420.207658307698303-0.6592272331643090.569609399743436-0.4447950247274920.592819716874282-0.350339490735921-0.715166553126011-0.1198491794125050.4882966367011240.6645153955220880.169666660099798-0.539

17、628490862994V = 0.418586401553023-0.701149405212855-0.3481656092226150.4603864078784210.4747910935448680.3582157725783960.5823070756479290.5542322143442120.6816839458012550.422652352034503-0.487595313404139-0.3448518489190010.366968445458451-0.4488161774774000.549499762103062-0.601621318040727S = 20

18、.971465903068500004.1861575030973400003.2136426461021000000.588391178427778備用一、652362292824324228.333333333333321.333333333333313.333333333333328.666666666666721.333333333333332.333333333333312.66666666666672313.333333333333312.66666666666679.3333333333333313.333333333333328.66666666666672313.333333

19、333333336.66666666666670.537587183261060-0.2780984014127280.5523911741630780.5731712573322750.5186406286795220.823965609752008-0.2013797055422340.1074187433581040.2770152628577040.06483262874453510.565951746447693-0.7737944785837880.604379403041026-0.489426892730425-0.577934966579514-0.2473419257965

20、5788.0137240422176000012.467976164967700004.2244286951390600001.960537764342380.5037677278860780.1819236327721010.479092200368461-0.6954081763436550.631179306148087-0.702407403864479-0.3252634587350880.04939843012150780.5043802176082380.687961359340669-0.4736271211713190.2190596134173830.30566543134

21、01900.01538827116677540.6635900059892130.6826273867530880.537587183261060-0.2780984014127280.552391174163079-0.5731712573322730.5186406286795220.823965609752009-0.201379705542234-0.1074187433581040.2770152628577040.06483262874453560.5659517464476920.7737944785837890.604379403041026-0.489426892730425

22、-0.5779349665795150.24734192579655516.249343744491700006.1158751209375600003.5599559106001800002.42520376319746二、3192337548510506519.666666666666714.666666666666732.666666666666728.666666666666714.666666666666724.666666666666723.333333333333332.333333333333332.666666666666723.333333333333363.6666666

23、66666744.333333333333328.666666666666732.333333333333344.333333333333351.33333333333330.365051935559367-0.1427229193917600.5739909623060150.7189587107864180.3497286704955920.589132569223871-0.5976176679720040.4164922518376180.633293734641686-0.657340657371482-0.380649531338749-0.1481493844793320.585

24、9743911139220.4477234015845060.410479515213987-0.536362131606955136.403156902038000019.651109343565800003.2334269980623900000.04564008966686500.4111180510244020.6329236182705130.4753631409444510.4521277759535300.4699839053323610.1333061177881650.219304302115233-0.8445414322355890.656695729056676-0.6

25、945331138617710.09100257011711730.2794512576823950.4229040036334020.315057020466268-0.8471446390890140.06509407060939690.3650519355593670.142722919391759-0.5739909623060170.7189587107864170.349728670495592-0.5891325692238720.5976176679720030.4164922518376200.6332937346416860.6573406573714830.3806495

26、31338749-0.1481493844793310.585974391113923-0.447723401584506-0.410479515213986-0.53636213160695620.228926583141200007.6781070603826100003.1145274110508600000.370027389527544三、115937833177779222.666666666666724.666666666666737.666666666666717.666666666666724.666666666666733.333333333333343.666666666

27、66671737.666666666666743.66666666666677345.333333333333317.66666666666671745.333333333333347.66666666666670.3586901617333580.2871319563149020.763925655113692-0.4531161010134060.4145085653783190.512762152761915-0.630381610928482-0.4097275296171660.7024560207320140.07163071254942990.06166455393493940.

28、7054233216622560.453959861707013-0.805915166365173-0.123426499789682-0.359426053217087147.297012629784000026.526873251110500002.4981468665587600000.344633919213220-0.398222546817333-0.683256081382107-0.244364505993554-0.561129146160856-0.5213382612314090.292129854443466-0.7297848966895480.3320851849

29、79511-0.455991484012894-0.4221408849349770.4489563166832900.642111412049503-0.6014124932941170.5192478682320440.454024469037215-0.403170492176334-0.3586901617333580.2871319563149020.763925655113692-0.453116101013407-0.4145085653783190.512762152761915-0.630381610928483-0.409727529617165-0.70245602073

30、20140.07163071254942970.06166455393494000.705423321662256-0.453959861707013-0.805915166365173-0.123426499789683-0.35942605321708721.021204482363800008.9207970357660100002.7375975963746600001.01680959753517從上面的數(shù)據可以看出，PCA對角矩陣中的特征值乘上4-1=3之后得到的值等于SVD對角矩陣中的特征值的平方。并且矩陣B和矩陣V為相似矩陣。矩陣歸一化和中心化的影響:原矩陣：X = 91015

31、077155082518歸一化矩陣：Z = 0.5625000000000000.3703703703703700.1111111111111110.22727272727272700.2592592592592590.7777777777777780.04545454545454550.3125000000000000.18518518518518500.3636363636363640.1250000000000000.1851851851851850.1111111111111110.363636363636364歸一化后的CX=0.1432291666666670.0964506172

32、8395060.02546296296296300.09564393939393940.09645061728395060.09099222679469590.08779149519890260.07687991021324350.02546296296296300.08779149519890260.2098765432098770.03367003367003370.09564393939393940.07687991021324350.03367003367003370.106060606060606B = 0.5147692932946590.4941383448508530.5533

33、170668569170.4297442196863560.5088001353738780.04076155723355100.148132736643049-0.8470641121131630.530521136734373-0.7998564051219010.002769142402916370.2806588436409780.4412281953847820.338224071859802-0.8196885065132070.137959809735346C = 0.34678351874221800000.17543441067107000000.02749040273696

34、0200000.000450210581596442U = 0.6247483261189180.3873996125236430.627205641789769-0.2573405372948960.553537196455310-0.8217719281922530.01149110457685520.1347420672662680.4073962178310060.392791135913755-0.3402940806081350.7509616394647830.3705596076868030.142574758633152-0.700486242638464-0.5930236

35、41371865V = 0.5147692932946580.4941383448508540.5533170668569160.4297442196863590.5088001353738770.04076155723355160.148132736643051-0.8470641121131650.530521136734373-0.7998564051219010.002769142402915660.2806588436409780.4412281953847810.338224071859802-0.8196885065132070.137959809735344S = 1.0199

36、757625682400000.72546759542601900000.28717800788166300000.0367509420939013中心化矩陣：W = 1.276884796138121.37542395092427-0.390434404721515-0.150755672288882-1.021507836910500.1058018423787901.48365073794176-1.356801050599940.255376959227625-0.740612896651528-0.7027819284987270.753778361444409-0.51075391

37、8455249-0.740612896651528-0.3904344047215150.753778361444409中心化后的CX=10.612438663180517-0.6647196737041880.3336625515205750.6124386631805171.000000000000000.143203421738355-0.489140321567980-0.6647196737041880.1432034217383551-0.9260671650510890.333662551520575-0.489140321567980-0.9260671650510891B =

38、 0.441169483587765-0.5702961146018320.622058593382312-0.305245695825801-0.0907633347870455-0.766752184789324-0.6354626361418670.00635155467284332-0.656320328393392-0.005564073739869360.0929725881858221-0.7487114033237620.6052892947565070.294656528646947-0.447868778006324-0.588401187512417C = 2.32068

39、16230137800001.6445323318542700000.034786045131949800006.22137586349007e-16U = -0.228716341585181-0.821666212745942-0.150178127314304-0.5000000000000000.8547316921660800.04204663265663600.132912810101771-0.500000000000000-0.4159031560399460.2918471168352480.701320059025097-0.500000000000000-0.210112

40、1945409520.487772463254058-0.684054741812564-0.500000000000000V =-0.441169483587764-0.5702961146018330.622058593382313-0.3052456958257990.0907633347870462-0.766752184789324-0.6354626361418670.006351554672840590.656320328393392-0.005564073739868710.0929725881858253-0.748711403323762-0.605289294756507

41、0.294656528646947-0.447868778006321-0.588401187512419S =2.638568715997620 0 002.22117018608723 0 000 0.323045098083611 000 01.82687214552364e-16備用：矩陣歸一化和中心化的影響:原矩陣：X = 041031029425151379歸一化矩陣：Z = 00.2857142857142860.3703703703703700.1428571428571430.7692307692307690.1428571428571430.3333333333333330

42、.1904761904761900.1538461538461540.3571428571428570.03703703703703700.2380952380952380.07692307692307690.2142857142857140.2592592592592590.428571428571429歸一化后的CX=0.2071005917159760.06043956043956040.09401709401709400.07203907203907210.06043956043956040.09183673469387750.07407407407407410.08163265306

43、122450.09401709401709400.07407407407407410.1056241426611800.07877718988830100.07203907203907210.08163265306122450.07877718988830100.0990173847316704B = 0.641533338425768-0.7420657032556540.1873808057874080.05159361745839260.4038305523513690.4772683056566630.3103085079473120.7161316075266610.48133609

44、64074980.198341515187375-0.853126039258663-0.03394358241544900.4400811549828840.4268654352609110.375197314298491-0.695227626430109C = 0.36510360428197900000.10165929590489500000.023385644381069400000.0134303092347603U = 0.3406568019707490.4903647541716850.655840248291623-0.4619187372882680.760051278

45、024566-0.6432201201984830.09227236347732490.008703027253759530.3492654886265230.299267018036235-0.745220554634226-0.4828034748433700.4292885003104100.506210960720618-0.07749648127333270.743946330146066V = 0.641533338425768-0.742065703255654-0.187380805787408-0.05159361745839290.4038305523513690.4772

46、68305656663-0.310308507947311-0.7161316075266620.4813360964074970.1983415151873740.8531260392586630.03394358241545030.4400811549828840.426865435260912-0.3751973142984910.695227626430108S = 1.0465709784080300000.55224803097402300000.26487154083292600000.200726001565021中心化矩陣：W = -0.7106195041520290.38

47、72983346207420.806225774829855-0.8555277382080451.47590204708498-1.161895003862230.558156305651438-0.475293187893358-0.2733151939046261.16189500386223-1.42639944777590-0.0950586375786717-0.491967349028327-0.3872983346207420.06201736729460421.42587956368008中心化后的CX=1-0.7056967961720460.203403465210950

48、-0.256345570292959-0.7056967961720461-0.672538245981366-0.1472642081021450.203403465210950-0.6725382459813661.00000000000000-0.243671839571301-0.256345570292959-0.147264208102145-0.2436718395713011.00000000000000B = -0.5403172028315730.07554581992129450.689188027129422-0.4768333175000880.6410745975853130.349477215060613-0.00843003586488852-0.683240785506562-0.5226045922951990.0748446964757021-0.724512734678981-0.4431297877703700.154806720677959-0.930890313976548-0.00548589507340027-0.330829272484802C =2.1074751804916000001.0956813763681000000.7968434