矩陣分解及其應(yīng)用

1、96矩陣論課程論文 題目： 矩陣分解及其應(yīng)用 學(xué)院專業(yè)學(xué)號姓名任課老師電話 電子科學(xué)與工程學(xué)院 電子與通信工程 1216022708 李影 趙禮峰摘要：本文主要?dú)w納和總結(jié)了代數(shù)學(xué)中的矩陣分解理論及理論應(yīng)用。根據(jù)本學(xué)期所學(xué)知識，本文把矩陣分解分為三角分解、正交三角分解、奇異值分解和滿秩分解。在論文中對相關(guān)理論進(jìn)行了簡要的說明與描述，并在應(yīng)用方面，展示了矩陣分解在一些常見領(lǐng)域的重要以及廣泛的應(yīng)用。關(guān)鍵詞：矩陣分解，應(yīng)用，三角分解，滿秩分解，奇異值分解。一、 引言在有限維線性空間中，線性變換問題可以轉(zhuǎn)化為矩陣問題進(jìn)行討論。因此，將一個矩陣分解為若干個特殊矩陣的乘積意味著將一

2、個線性變換分解為若干個特殊線性變換的乘積。矩陣的三角分解、正交三角分解、滿秩分解及奇異值分解是將矩陣分解為形式比較簡單或性質(zhì)比較熟悉的一些矩陣的乘積，這些分解式能夠明顯的反映出原矩陣的許多數(shù)值特征，如矩陣的秩、行列式、特征值及奇異值等。另一方面，構(gòu)造分解式的方法和過程也能夠?yàn)槟承?shù)值計算方法的建立提供理論依據(jù)。矩陣的分解給予了我們將線性變換轉(zhuǎn)化成矩陣問題討論的方法，將以往復(fù)雜而且性質(zhì)不“好”的矩陣分解成為大家所熟知并且性質(zhì)“好”的常用矩陣的乘積。通過對常用矩陣的分析獲取復(fù)雜矩陣的相關(guān)性質(zhì)，這在實(shí)際的應(yīng)用中也具有很大的意義。二、矩陣分解簡介1. 矩陣的三角分解如果方陣A可表示為一個下三角矩陣L和

3、一個上三角矩陣U之積，即A=LU，則稱A可作三角分解。矩陣三角分解是以Gauss消去法為根據(jù)導(dǎo)出的，因此矩陣可以進(jìn)行三角分解的條件也與之相同，即矩陣A的前n-1個順序主子式都不為0，即.所以在對矩陣A進(jìn)行三角分解的著手的第一步應(yīng)該是判斷是否滿足這個前提條件，否則怎么分解都沒有意義。矩陣的三角分解不是唯一的，但是在一定的前提下，A=LDU的分解可以是唯一的，其中D是對角矩陣。矩陣還有其他不同的三角分解，比如Doolittle分解和Crout分解，它們用待定系數(shù)法來解求A的三角分解，當(dāng)矩陣階數(shù)較大的時候有其各自的優(yōu)點(diǎn)，使算法更加簡單方便。1) 矩陣的三角分解可以用來解線性方程組Ax=b。由于A=L

4、U，所以Ax=b可以變換成LU x=b，即有如下方程組：先由依次遞推求得,，再由方程依次遞推求得 ，. 必須指出的是，當(dāng)可逆矩陣A不滿足時，應(yīng)該用置換矩陣P左乘A以便使PA的n個順序主子式全不為零，此時有：這樣，應(yīng)用矩陣的三角分解，線性方程組的解求就可以簡單很多了。2. 矩陣的QR分解矩陣的QR分解是指，如果實(shí)非奇異矩陣A可以表示為A=QR，其中Q為正交矩陣，R為實(shí)非奇異上三角矩陣。QR分解的實(shí)際算法各種各樣，有Schmidt正交方法、Givens方法和Householder方法，而且各有優(yōu)點(diǎn)和不足。下面介紹一下比較經(jīng)典的Givens方法與Householder方法。1) Givens方法的Q

5、R分解Givens方法求QR分解是利用旋轉(zhuǎn)初等矩陣，即Givens矩陣來得到的，是正交矩陣，并且。的第i行第i列和第j行第j列為，第i行第j列和第j行第i列分別為和，其他的都為0.任何n階實(shí)非奇異矩陣A可通過左連乘矩陣（乘積為T）化為上三角矩陣R，另Q=T-，就有A=QR。2) Householder方法的QR分解Householder方法分解矩陣是利用反射矩陣，即Householder矩陣，其中u是單位列向量，H是正交矩陣，。可以證明，兩個H矩陣的乘積就是Givens矩陣，并且任何實(shí)非奇異矩陣A可通過連乘Householder矩陣（乘積為S）化為上三角矩陣R，則A= QR。這種方法首要的就是

6、尋找合適的單位列向量去構(gòu)成矩陣H，過程和Givens方法基本相似，但是計算量要小一些。3. 滿秩分解滿秩分解也稱最大秩分解，前面的QR分解是面對n階矩陣的，而滿秩分解可以處理長方陣。滿秩分解是指，把秩為r的矩陣A分解成A=FG，其中F是秩為r的階矩陣，G是秩為r的階矩陣。滿秩矩陣的解求可以通過初等變換法，但是必須經(jīng)過多次求逆，所以就利用Hermite行標(biāo)準(zhǔn)形來完成。把矩陣A經(jīng)過變換成為Hermite行標(biāo)準(zhǔn)形B，B的列為單位矩陣的前r列，另A的第列為矩陣F，B的前r行為矩陣G，則有A=FG。4. 奇異值分解矩陣的奇異值分解是線性代數(shù)中一種重要的矩陣分解，在最優(yōu)化問題、特征值問題、最小二乘問題和廣

7、義逆問題及統(tǒng)計學(xué)問題中都有重要的應(yīng)用。對秩為r的階矩陣A進(jìn)行奇異值分解的步驟是：1). 求得的特征值，及對應(yīng)的特征向量并正交單位化，得矩陣V，使得；2). 將V的前r列作為，令，再擴(kuò)張成m階的矩陣U；3). 那么。從計算過程中可以看出，矩陣的奇異值分解解求是由矩陣的特征值開始的，因此這種分解自然和特征值的問題有莫大聯(lián)系的。三、 矩陣分解主要應(yīng)用矩陣的分解還有很多的應(yīng)用，比如可以用來求矩陣的秩，對于階數(shù)偏大的矩陣，即使用初等變換的方法，也是計算量很大的，而把矩陣分解后可以使計算簡單。再如，在線性代數(shù)中求矩陣的n次冪是很常見的，若是一板一眼的進(jìn)行矩陣相乘，當(dāng)n較大時計算量可想而知，況且，當(dāng)n逐漸增

8、大或是非純數(shù)據(jù)間的運(yùn)算的情況下，根本就沒有計算的可能，此時，矩陣分解方法的應(yīng)用可以令問題變得簡單而易懂。判斷矩陣的正定性需要不斷的計算行列式，計算量大而復(fù)雜，矩陣分解可以使之更簡單直接。在廣義逆問題中，矩陣的奇異值分解的作用一樣不可代替。在證明的存在性時，首先就需要用奇異分解來得到一個結(jié)論：，由此得到的可以由表示，再去證明應(yīng)該滿足的條件就方便得多了。同時，在廣義逆中，滿秩分解有很多的應(yīng)用。在證明A1的存在性時就需要用到Hermite行標(biāo)準(zhǔn)形來得到“對于任一的矩陣，總是存在非奇異矩陣Q和置換矩陣P，使”，之后才能構(gòu)造來證明是存在的。用矩陣的滿秩分解還能構(gòu)造A+，若矩陣A有滿秩分解，即，則可以證明

9、有。矩陣的QR分解可以用來解決線性最小二乘法的問題，也可以用來降低矩陣求逆的代價。矩陣的求逆是件不小的工程，尤其是當(dāng)矩陣階數(shù)慢慢變大的情況時，而用先把矩陣QR分解成正交矩陣和上三角矩陣，就容易多了，況且正交矩陣的轉(zhuǎn)置就是逆，這一點(diǎn)是其他的矩陣分解無法比擬的。在解求線性方程組中，如果系數(shù)矩陣的階數(shù)比較大，可以利用QR分解來使計算簡單化。另外，QR分解考慮的是n階矩陣，其他的矩陣是不能用這種方法進(jìn)行分解，由于QR分解的這一前提條件，使得下面提到的滿秩矩陣分解和奇異值分解就有了其特殊的意義。下面就矩陣的奇異值分解詳細(xì)談?wù)?。定義 設(shè)是秩為的復(fù)矩陣，的特征值為.則稱為A的奇異值.易見，零矩陣的奇異值都是

10、零，矩陣的奇異值的個數(shù)等于的列數(shù)，的非零奇異值的個數(shù)等于其秩.矩陣的奇異值具有如下性質(zhì)：（1）為正規(guī)矩陣時，的奇異值是的特征值的模；（2）為半正定的Hermite矩陣時，的奇異值是的特征值；（3）若存在酉矩陣，矩陣，使，則稱A和B酉等價.酉等價的矩陣A和B有相同的奇異值.奇異值分解定理 設(shè)是秩為的復(fù)矩陣，則存在m階酉矩陣與n階酉矩陣，使得. 其中，為矩陣的全部非零奇異值.證明 設(shè)Hermite矩陣的n個特征值按大小排列為.則存在n階酉矩陣，使得. 將分塊為 ，其中，分別是的前r列與后列. 并改寫式為.則有. 由的第一式可得.由的第二式可得.令，則，即的r個列是兩兩正交的單位向量.記作，因此可將

11、擴(kuò)充成的標(biāo)準(zhǔn)正交基，記增添的向量為，并構(gòu)造矩陣，則是m階酉矩陣,且有 .于是可得.由式可得. 稱式為矩陣的奇異值分解.值得注意的是：在奇異值分解中是的特征向量，而的列向量是的特征向量，并且與的非零特征值完全相同.但矩陣的奇異值分解不惟一.證明2 設(shè)Hermite矩陣的n個特征值按大小排列為.則存在n階酉矩陣，使得. 將分塊為，它的n個列是對應(yīng)于特征值的標(biāo)準(zhǔn)正交的特征向量.為了得到酉矩陣U，首先考察中的向量組，由于當(dāng)i不等于j時有所以向量組是中的正交向量組.又 ，所以 .令，則得到中的標(biāo)準(zhǔn)正交向量組，把它擴(kuò)充成為中的標(biāo)準(zhǔn)正交基，令則U是m階酉矩陣.由已知及前面的推導(dǎo)可得，；，；從而 故有，即.求

12、矩陣的奇異值分解.解 的特征值為，對應(yīng)的單位特征向量依次為.所以 .于是可得，.計算，則的奇異值分解為.在A的奇異值分解中，酉矩陣V的列向量稱為A的右奇異向量，V的前r列是的r個非零特征值所對應(yīng)的特征向量，將他們?nèi)榫仃嘨1，則.酉矩陣U的列向量被稱為A的左奇異向量，將U從前r列處分塊為，由分塊運(yùn)算，有從而 .因此，有下列結(jié)果 （1）的列向量組是矩陣A的零空間的一組標(biāo)準(zhǔn)正交基； （2）的列向量組是矩陣A的列空間的一組標(biāo)準(zhǔn)正交基； （1）的列向量組是矩陣A的零空間正交補(bǔ)的一組標(biāo)準(zhǔn)正交基； （1）的列向量組是矩陣A的列空間正交補(bǔ)的一組標(biāo)準(zhǔn)正交基.在A的奇異值分解中，酉矩陣U和V不是惟一的.A的奇異

13、值分解給出了矩陣A的許多重要信息. 更進(jìn)一步，由于，可借助于奇異值分解，將A表示為歸納這一結(jié)果，有如下定理. 定理 設(shè)，A的非零奇異值為，是應(yīng)于奇異值的左奇異向量，是應(yīng)于奇異值的右奇異向量，則. 上式給出的形式被稱為矩陣A的奇異值展開式，對一個，略去A的一些小的奇異值對應(yīng)的項(xiàng)，去矩陣為.則是一個秩為k的m×n矩陣.可以證明，是在所有秩為k的m×n矩陣中，從Frobenius范數(shù)的意義下，與矩陣A距離最近的一個矩陣.這在實(shí)際中應(yīng)用廣泛.例如，在圖像數(shù)字化技術(shù)中，一副圖片可以轉(zhuǎn)換成一個m×n階像素矩陣來儲存，存儲量m×n是個數(shù).如果利用矩陣的奇異值展開式，則

14、只要存儲A的奇異值，奇異向量的分量，總計r（m+n+1）個數(shù).取m=n=1000，r=100作一個比較，m×n=1000000，r（m+n+1）=100（1000+1000+1）=200100.取A的奇異值展開式，存儲量較A的元素情形減少了80%.另外，可取，用逼近A，能夠達(dá)到既壓縮圖像的存儲量，又保持圖像不失真的目的.由矩陣的奇異值分解可得可見，是矩陣的加權(quán)和，其中權(quán)系數(shù)按遞減排列.顯然，權(quán)系數(shù)大的那些項(xiàng)對矩陣的貢獻(xiàn)大，因此當(dāng)舍去權(quán)系數(shù)小的一些項(xiàng)后，仍然能較好的“逼近”矩陣，這一點(diǎn)在數(shù)字圖像處理方面非常有用.矩陣的秩k逼近定義為秩r逼近就精確等于，而秩1逼近的誤差最大.矩陣的奇異值

15、分解不但在線性方程組，矩陣范數(shù)，廣義逆，最優(yōu)化等方面有著廣泛的應(yīng)用.而且在數(shù)字計算，數(shù)字圖像處理，信息檢索，心里學(xué)等領(lǐng)域也有著極重要的應(yīng)用.有興趣的讀者可參閱有關(guān)教科書，如Steven J.Leon 的線性代數(shù).四、 總結(jié)矩陣的分解作用很廣泛，在不同的領(lǐng)域都發(fā)揮著其獨(dú)特的作用，只要應(yīng)用得好，肯定可以使原有的問題簡單而易于理解。我們知道，矩陣?yán)碚摼推淅碚搧碚f，對于除了數(shù)學(xué)專業(yè)的人而言，意義是不大的。純理論的學(xué)習(xí)是枯燥而乏味的，只有和是具體問題的結(jié)合才會顯出它的強(qiáng)大生命力。單看一個定理還是推論，我們會覺得它是簡單而幾乎沒有意義的，甚至不知道怎么去理解它以及其存在的意義，當(dāng)運(yùn)用到實(shí)際的領(lǐng)域，一方面我們可以更好的了解相關(guān)的知識，重要的是解決了具體的問題。這應(yīng)該就是學(xué)習(xí)的樂趣所在。在測