第四章 矩陣的分解

第四章矩陣的分解第一頁，共六十一頁，2022年，8月28日主要內(nèi)容三角分解QR分解滿秩分解奇異值分解第二頁，共六十一頁，2022年，8月28日Gauss消去法Gauss消去法的矩陣形式：求解矩陣方程Ax=b可采用Gauss主元素消去法。其基本思想是化系數(shù)矩陣A為上三角矩陣，或化增廣矩陣[A|b]為上階梯形矩陣。這種消去法有三種形式：按自然順序選主元素法，按列選主元素法總體選主元素法。第三頁，共六十一頁，2022年，8月28日步驟1：設(shè)A(0)=A，其元素aij(0)=aij，若A的1階順序主子式1=a11(0)0，令ci1=ai1(0)/a11(0),構(gòu)造矩陣

，則計算A(1)=L1-1A(0),其第一列主元素下的元素全為零，而

A(0)=L1A(1)；設(shè)第四頁，共六十一頁，2022年，8月28日步2.若A的2階順序主子式2=a11(0)a22(1)0，令ci2=ai2(1)/a22(1),構(gòu)造矩陣L2=，，則計算A(2)=L2-1A(1),其前兩列主元以下的元素全為零；重復(fù)上述過程，在步n-1后得到的A(n-1)為上三角陣。第五頁，共六十一頁，2022年，8月28日…第六頁，共六十一頁，2022年，8月28日矩陣三角分解定義：若方陣A=LU，其中L為下三角矩陣，U為上三角矩陣，則稱A可以作三角分解或LU(LR)分解。若A=LDU，其中L為單位下三角矩陣，U為單位上三角矩陣，D為對角矩陣，則稱A可以作LDU分解。定理：滿秩n階矩陣A可作三角分解的充要條件證明：必要性，設(shè)A=LU第七頁，共六十一頁，2022年，8月28日充分性：對A的階數(shù)用數(shù)學(xué)歸納法：n=1:歸納假設(shè)：n=k時結(jié)論成立Lk,Uk可逆當n=k+1時第八頁，共六十一頁，2022年，8月28日定理：A可作三角分解用構(gòu)造法證明：第九頁，共六十一頁，2022年，8月28日三角分解的唯一性第十頁，共六十一頁，2022年，8月28日定理：可作三角分解的充要條件，也是有唯一的Doolittle分解、唯一的Crout分解及唯一的LDU分解的充要條件：Doolittle分解Crout分解第十一頁，共六十一頁，2022年，8月28日

證明：可逆可逆可逆可逆第十二頁，共六十一頁，2022年，8月28日

再證唯一性。設(shè)A有兩個LDU分解 以同時左乘上式兩邊，以同時右乘上式兩邊：第十三頁，共六十一頁，2022年，8月28日主元素LU分解避免由于主對角線元素為0使分解過程無法繼續(xù)保證計算精度第十四頁，共六十一頁，2022年，8月28日消元過程回代過程矩陣三角分解的應(yīng)用

若矩陣A存在三角分解A=LU，則求解線性方程組即可轉(zhuǎn)化為消元過程和回代過程第十五頁，共六十一頁，2022年，8月28日Cholesky分解對于正定實對稱矩陣，其各階主子式都大于零，因此有唯一LDU分解

A=LDU=AT=UTDLT

于是L=UT，由正定性知，D的每個元素大于零，因此存在對角陣H，使得D=H2，令G=LH，則A=GGT稱此分解為正定實對稱矩陣的Cholesky分解第十六頁，共六十一頁，2022年，8月28日Cholesky分解算法(一)令A(yù)=(aij)，G-(gij)為下三角矩陣，則由A=GGT可得：因此遞推公式第十七頁，共六十一頁，2022年，8月28日Cholesky分解算法(二)令A(yù)=(aij)，D=diag(d1,d2,…,dn)，L-(lij)為下三角矩陣，則由A=LDLT

可得：遞推公式：第十八頁，共六十一頁，2022年，8月28日Cholesky分解的應(yīng)用例1自適應(yīng)有限脈沖響應(yīng)數(shù)字濾波器可表示為則有第十九頁，共六十一頁，2022年，8月28日Cholesky分解的應(yīng)用例2AR隨機過程參數(shù)估計則有第二十頁，共六十一頁，2022年，8月28日分塊矩陣的塊三角分解矩陣A

的塊LU分解、塊LDU分解和塊UL分解分別為其中=A22-A21A11-1A12和=A11-A12A22-1A21第二十一頁，共六十一頁，2022年，8月28日分塊矩陣的塊三角分解于是有：例：設(shè)，，則有det(Im+AB)=det(In+BA)證明：注：若，則有第二十二頁，共六十一頁，2022年，8月28日矩陣的QR分解

定義：如果實(復(fù))非奇異矩陣A能夠化成正交(酉)矩陣Q與實(復(fù))非奇異上三角矩陣R的乘積，即A=QR，則稱為A的QR分解矩陣的QR分解的三個常用方法：（1）基于G-S正交化；（2）基于Givens旋轉(zhuǎn)；（3）基于Householder變換。第二十三頁，共六十一頁，2022年，8月28日矩陣的QR分解定理：設(shè)A是n階實(復(fù))非奇異矩陣，則存在正交(酉)矩陣Q和實(復(fù))非奇異上三角矩陣R使A=QR；且除去相差一個對角元素的絕對值(模)全等于1的對角矩陣因子外，QR分解是惟一的．

證明：設(shè)A=(α1,α2,?,αn)，其正交化向量序列為第二十四頁，共六十一頁，2022年，8月28日即第二十五頁，共六十一頁，2022年，8月28日令則A=QR，Q為正交矩陣，R為上三角矩陣。再證唯一性，設(shè)有兩個Q-R分解：A=QR=Q1R1則由：R1R-1=Q1-1Q，知R1R-1既是上三角矩陣又是正交矩陣，因此必然是對角矩陣，且對角線元素的絕對值為1。第二十六頁，共六十一頁，2022年，8月28日QR分解推廣定理

設(shè)A是m×n列滿秩實(復(fù))矩陣，則A有QR分解A＝QR，其中Q是m×n實(復(fù))矩陣，且滿足QTQ=I(QHQ=I)，R是n階實(復(fù))非奇異上三角矩陣．該分解除去相差一個對角元素的絕對值(模)全等于1的對角矩陣因子外是唯一的。第二十七頁，共六十一頁，2022年，8月28日定義:

設(shè)實數(shù)c與s滿足c2+s2=1，稱為Givens矩陣(初等旋轉(zhuǎn)矩陣)，Givens矩陣確定的線性變換稱為Givens變換．當c2+s2=1時，存在角度，使得c＝cos，s＝sin

。

Givens變換ij第二十八頁，共六十一頁，2022年，8月28日Givens矩陣的性質(zhì)性質(zhì)1Givens矩陣是正交矩陣，且detTij=1和[Tij(c,s)]-1=[Tij(c,s)]T=Tij(c,-s)。性質(zhì)2設(shè)x=[1,2,…,n]T，y=Tijx=[1,2,…,n]T，則有i=ci+sj，j=-si+cj，k=k(ki,j).當i2+j20時，選取c=i/[i2+j2]0.5，s=j/[i2+j2]0.5，就可使i=[i2+j2]0.5>0，j=0。定理：設(shè)x=[1,2,…,n]T，則存在有限個Givens矩陣的乘積，記作T，使得Tx=||x||e1．第二十九頁，共六十一頁，2022年，8月28日推論：設(shè)非零列向量xRn及單位列向量zRn，則存在有限個Givens矩陣的乘積，記作T，使得Tx=||x||z。

證：根據(jù)定理，存在T(1)=T1n(1)…T12(1)，使得T(1)x=||x||e1；存在T(2)=T1n(2)…T12(2)，使得T(2)z=||z||e1=e1；于是有T(1)x=||x||e1=||x||T(2)z或者[T(2)]-1T(1)x=||x||z于是T=[T(2)]-1T(1)=[T1n(2)…T12(2)]-1T1n(1)…T12(1)

=(T12(2))T…(T1n(2))TT1n(1)…T12(1)是有限個Givens矩陣的乘積．

第三十頁，共六十一頁，2022年，8月28日Householder變換定義：設(shè)單位列向量uRn，稱H=I-2uuT為Householder矩陣(初等反射矩陣)，由Householder矩陣確定的線性變換稱為Householder變換(初等反射變換)．對單位向量u，及任意與u垂直的列向量w，有Hu=(I-2uuT)u=u-2uuTu=-uHw=(I-2uuT)w=w-2uuTw=w因此，變換H是關(guān)于與u垂直平面的鏡像?；拘再|(zhì)：(1)HT=H(對稱矩陣)，(2)HTH=I（正交矩陣），(3)H2=H(對合矩陣)，(4)H-1=H(自逆矩陣)，(5)detH=-1。uwxHx第三十一頁，共六十一頁，2022年，8月28日Householder變換的性質(zhì)

定理：任意給定非零列向量xRn(n>1)及單位列向量zRn，則存在Houscholder矩陣H，使得Hx=||x||z。證明：令定義矩陣H=I-2uuT，則有ux|x|z第三十二頁，共六十一頁，2022年，8月28日Givens變換與Householder變換的聯(lián)系

定理：初等旋轉(zhuǎn)矩陣(Givens變換)是兩個初等反射矩陣(Householder變換)的乘積．證：對Tij()，取Hu=I-2uuT和Hv=I-2vvT，其中單位向量u=(0,…,0,sin(0.25),0,…,0,cos(0.25),0,…,0)和單位向量v=(0,…,0,sin(0.75),0,…,0,cos(0.75),0,…,0)，則有Tij()=HvHu初等反射矩陣不能由若干個初等旋轉(zhuǎn)矩陣的乘積表示．第三十三頁，共六十一頁，2022年，8月28日基于Givens旋轉(zhuǎn)的QR分解定理：任何n階實非奇異矩陣A＝(aij)可通過左連乘初等旋轉(zhuǎn)矩陣化為上三角矩陣。證步l.detA0使A的第1列b(1)=(a11,a21,…,an1)T0；存在有限個Givens矩陣的乘積T1，使得T1b(1)=||b(1)||e1和

T1A=步2.detA(1)0使A(1)的第1列b(2)=(a22(1),a32(1),…,an2(1))T0；存在有限個Givens矩陣的乘積T2，使得T2b(2)=||b(2)||e1和

T2A(1)=第三十四頁，共六十一頁，2022年，8月28日步n-1.detA(n-2)0使A(n-2)的第1列b(n-1)=(an-1,n-1(n-2),an,n-1(n-2))T0；存在有限個Givens矩陣的乘積Tn-1使Tn-1b(n-1)=||b(n-1)||e1和

Tn-1A(n-2)=步n.令則有A=QR，其中上三角陣R=TA，Q=T-1。因為T是有限個Givens矩陣的乘積，而Givens矩陣都是正交矩陣，所以T是正交矩陣，Q=T-1=TT也是正交矩陣。第三十五頁，共六十一頁，2022年，8月28日基于Householder變換的QR分解定理：任何n階實非奇異矩陣A＝(aij)

可通過左連乘Househoulder矩陣化為上三角矩陣。算法：類同基于Givens旋轉(zhuǎn)的QR分解，僅需用Hi取代相應(yīng)的Ti(i=1,2,…,n-2)，并把T換成

Hi=In+1-I-uuT是n+1-i階Househoulder矩陣，使得

都是n階Househoulder矩陣。因此，S是有限個Househoulder矩陣的乘積，必是正交矩陣。第三十六頁，共六十一頁，2022年，8月28日定理：設(shè)為任意矩陣，則存在使得其中B為列滿秩矩陣，C為行滿秩矩陣(我們稱此分解為矩陣的滿秩分解)。證明：假設(shè)矩陣A的前r個列向量是線性無關(guān)的，對矩陣A只實施初等變行換可以將其化成矩陣的滿秩分解第三十七頁，共六十一頁，2022年，8月28日即存在使得于是有其中

如果A的前r列線性相關(guān)，那么只需對A

作初等列變換(只需做交換兩列的變換)使得前r

個列是線性無關(guān)的。然后重復(fù)上面的過程即可。這樣存在A=[Ar,An-r]=[B,BD]第三十八頁，共六十一頁，2022年，8月28日

從而且滿足其中第三十九頁，共六十一頁，2022年，8月28日例分別求下面三個矩陣的滿秩分解解

（1）對此矩陣只實施初等行變換可以得到第四十頁，共六十一頁，2022年，8月28日由此可知rank(A)=2，且該矩陣第一列，第三列是線性無關(guān)的。選取第四十一頁，共六十一頁，2022年，8月28日（2）對此矩陣只實施初等行變換可以得到所以rank(A)=1，且此矩陣的第三，第四，第五列任意一列都是線性無關(guān)的，所以選取哪一列構(gòu)成列滿秩矩陣均可以。選取也可以選取第四十二頁，共六十一頁，2022年，8月28日（3）對此矩陣只實施初等行變換可以得到所以rank(A)=2，且容易看出此矩陣的第二列和第四列是線性無關(guān)的，選取第四十三頁，共六十一頁，2022年，8月28日

由上述例子可以看出矩陣的滿秩分解形式并不唯一。一般地我們選取階梯型矩陣主元所在的列對應(yīng)的列向量構(gòu)成列滿秩矩陣，將階梯型矩陣全為零的行去掉后即可構(gòu)成行滿秩矩陣。但是不同的分解形式之間有如下聯(lián)系：定理：如果A=BC=B1C1

均為矩陣A的滿秩分解，那么（1）存在矩陣滿足（2）第四十四頁，共六十一頁，2022年，8月28日引理1

：對于任何一個矩陣A都有引理2

：對于任何一個矩陣A都有AAH

與AHA都是半正定的Hermite-矩陣。設(shè)，λi是AAH

的特征值，μi是AHA的特征值，它們都是實數(shù)。如果記矩陣的奇異值分解第四十五頁，共六十一頁，2022年，8月28日特征值λi與μi之間有如下關(guān)系。定理：設(shè)，那么同時，我們稱為矩陣A的正奇異值，簡稱奇異值。例

求下列矩陣的奇異值第四十六頁，共六十一頁，2022年，8月28日解（1）由于顯然AAH

的特征值為5，0，0，所以A的奇異值為（2）由于顯然AAH

的特征值為2，4，所以A的奇異值為。第四十七頁，共六十一頁，2022年，8月28日定理

設(shè)，是A的r個奇異值，那么存在m階酉矩陣V和n階酉矩陣U使得其中第四十八頁，共六十一頁，2022年，8月28日證明：由于rank(A)=r，所以AHA的特征值為因為AHA是一個共軛對稱陣，所以存在n階酉矩陣U滿足將酉矩陣U按列進行分塊，記U=[U1,U2]，其中于是有第四十九頁，共六十一頁，2022年，8月28日從而有記，則有選取

使得是酉矩陣，則由上述式子可得第五十頁，共六十一頁，2022年，8月28日這里，要注意。（證完）我們稱此定理為奇異值分解定理。稱表達式為矩陣A的奇異值分解式。注意下面的關(guān)系式即由此可知U的列向量就是AHA的標準正交特征向量；而V的列向量就是AAH

的標準正交特征向量。第五十一頁，共六十一頁，2022年，8月28日例：求下列矩陣的奇異值分解表達式解：（1）容易計算特征值為5,0，對應(yīng)的兩個標準正交特征向量為第五十二頁，共六十一頁，2022年，8月