矩陣上的正規(guī)矩陣和奇異值

矩陣上的正規(guī)矩陣和奇異值

1非負(fù)實值函數(shù)矩陣acnn.a的配置。A*A=I,則稱A是酉矩陣;如果A*=A,則稱A是Hermite矩陣;如果A*A=AA*,則稱A是正規(guī)矩陣.顯然,酉矩陣和Hermite矩陣都是正規(guī)矩陣.定理1(Schur)設(shè)矩陣A∈Cn×n.則存在酉矩陣U,使得U*AU=T,其中,T是上三角矩陣;而且適當(dāng)選取U,可使T的對角元素按任意指定的順序排列.推論1設(shè)矩陣A∈Cn×n.則(ⅰ)A是正規(guī)矩陣的充分必要條件是存在酉矩陣U,使得U*AU=diag(λ1,λ2,…,λn);(ⅱ)A是Hermite矩陣的充分必要條件是存在酉矩陣U和實對角矩陣Λ,使得U*AU=Λ.定義1設(shè)A∈Cn×n.A*A的特征值的非負(fù)平方根稱為A的奇異值,A的奇異值全體記作σ(A).定理2(奇異值分解)設(shè)矩陣A∈Cn×n,rank(A)=k.則存在酉矩陣U和V,使得A=U(Σk000)V*,A=U(Σk000)V?,其中Σk=diag(σ1,…,σk)(σ1≥…≥σk>0)為A的非零奇異值.因此,Σk由A唯一確定.定義2如果定義在Cn×n上的一個非負(fù)實值函數(shù)‖·‖,對任意的A,B∈Cn×n和α∈C都有(ⅰ)正定性:若A≠0,則‖A‖>0;(ⅱ)齊次性:‖αA‖=|α|‖A‖;(ⅲ)三角不等式:‖A+B‖≤‖A‖+‖B‖;(ⅳ)相容性:‖AB‖≤‖A‖‖B‖.則稱‖·‖為Cn×n上的矩陣范數(shù).一個非常重要的矩陣范數(shù)就是譜范數(shù)∥A∥2≡max∥x∥2=1∥Ax∥2=σ1,∥A∥2≡max∥x∥2=1∥Ax∥2=σ1,其中,σ1表示A的最大奇異值.定義3設(shè)矩陣A∈Cn×n,A的特征值的全體記作λ(A).則稱ρ(A)≡max{|λ|:λ∈λ(A)}為矩陣A的譜半徑.定理3設(shè)矩陣A∈Cn×n.則有(ⅰ)對Cn×n上的任一矩陣范數(shù)‖·‖,有ρ(A)≤‖A‖;(ⅱ)對于任意給定的ε>0,存在Cn×n上的矩陣范數(shù)‖·‖,使得ρ(A)≤‖A‖≤ρ(A)+ε.定理4(Weyl)設(shè)矩陣A,B∈Cn×n,都是Hermite矩陣,它們的特征值分別是λ1≥λ2≥…≥λn,μ1≥μ2≥…≥μn,那么,|μi-λi|≤‖B-A‖2,i=1,2,…,n.推論2設(shè)陣A,B∈Cn×n的奇異值分別是σ1≥σ2≥…≥σn,τ1≥τ2≥…≥τn≥0,那么,|τi-σi|≤‖B-A‖2,i=1,2,…,n.2特定矩陣性質(zhì)1若A∈Cn×n是正規(guī)矩陣,則A的奇異值滿足σi(A)=|λi(A)|,i=1,2,…,n.證明由推論1知,存在酉矩陣U,使得U*AU=Λ=diag(λ1,λ2,…,λn)(1)其中,λ1,λ2,…,λn是A的n個特征值.上式取共軛轉(zhuǎn)置得U*A*U=Λ*=diag(ˉλ1,ˉλ2,?,ˉλn),U?A?U=Λ?=diag(λˉ1,λˉ2,?,λˉn),從而,所以,λi(A*A)=|λi|2,i=1,2,…,n.σi(A)=|λi|,i=1,2,…,n.由性質(zhì)1易知,對于正規(guī)矩陣,其譜范數(shù)等于譜半徑.需要指出,對于一般矩陣,奇異值與特征值之間的關(guān)系就不是這么簡單了.下面考察幾個簡單例子.例1設(shè),則λ1(A)=1,λ2(A)=0,A*A=(0011)(0101)=(0002),所以,σ1(A)=√2?σ2(A)=0.說明一般矩陣的奇異值與其特征值的模不相同(對其任何排列),譜范數(shù)不等于譜半徑.例2設(shè),則λ1(A)=1,λ2(A)=0,A*A=(00k1)(0k01)=(000k2+1),σ1(A)=√k2+1?σ2(A)=0.所以,ρ(A)=1,∥A∥2=√k2+1.讓k趨于無窮大,可知定理3的(ⅰ)中的不等號可以嚴(yán)格成立,并且對任意充分大的正常數(shù)c,存在矩陣A,使得‖A‖2≥cρ(A).這說明我們不能通過特征值的有界性來判定矩陣序列的有界性.下面給出一個類似于例2的非奇異矩陣的例子.例3設(shè),則λ1(A)=λ2(A)=1,A*A=(10k1)(1k01)=(1kkk2+1),由特征方程解得δ1=12k2+2+√k2(k2+4),δ2=1δ1.所以,當(dāng)k→∞時,σ1(A)=√δ1→+∞,σ2(A)=√δ2→0,性質(zhì)2設(shè)矩陣A∈Cn×n非奇異,A的奇異值為σ1≥σ2≥…≥σn>0.則A-1的奇異值滿足1σn≥1σn-1≥?≥1σ1>0.特別的有∥A-1∥2=1σn.證明由奇異值分解定理可知,存在酉矩陣U和V,使得A=Udiag(σ1,σ2,…,σn)V*,則A-1=(V*)-1diag(σ1,σ2,?,σn)-1U-1=(V-1)*diag(1σ1,1σ2,?,1σn)U-1,且V-1和U-1仍然是酉矩陣.所以,A-1的奇異值為1σ1,1σ2,?,1σn,顯然,1σn≥1σn-1≥?≥1σ1>0.所以,∥A-1∥2=1σn.3kk時ak非變異的性質(zhì)在最優(yōu)化理論中經(jīng)常要討論矩陣序列(例如Jacobian矩陣和Hessian矩陣)的極限性質(zhì).性質(zhì)3設(shè)A,A(k)∈Rn×n,k=1,2,…,且滿足limk→∞∥A(k)-A∥2=0,則下面結(jié)論成立:(ⅰ)若A非奇異,那么對充分大的k,有{A(k)}非奇異,且{(A(k))-1}有界;(ⅱ)若{A(k)}均非奇異,且‖(A(k))-1‖2≤c,c>0為常數(shù),那么A必非奇異,且‖A-1‖2≤c.證明(ⅰ)設(shè)A的奇異值為σ1≥σ2≥…≥σn,由A非奇異可知σn>0.設(shè)A(k)的奇異值為σ(k)1≥σ(k)2≥…≥σ(k)n,k=1,2,…,由推論2可知|σ(k)i-σi|≤‖A(k)-A‖2,i=1,2,…,n.在上式兩邊令k→∞取極限得limk→∞σ(k)i=σi,i=1,2,?,n.(2)故存在正整數(shù)K,使得當(dāng)k≥K時,有|σ(k)i-σi|≤σn2,i=1,2,?,n.所以,σ(k)i≥σi-σn2≥σn2>0,i=1,2,?,n.因此,當(dāng)k≥K時,A(k)非奇異,且由性質(zhì)2得∥(A(k))-1∥2=1σ(k)n≤2σn.(ⅱ)設(shè)A(k)的奇異值σ(k)1≥σ(k)2≥…≥σ(k)n,由A(k)非奇異知σ(k)n>0(k=1,