線性代數(shù)的幾個(gè)基本概念VIP

1、線性代數(shù)的幾個(gè)基本概念線性代數(shù)的幾個(gè)基本概念(一) 引引 言言 數(shù)學(xué)的表述方式和抽象性產(chǎn)生了全面的升華數(shù)學(xué)的表述方式和抽象性產(chǎn)生了全面的升華 !f幾何的抽象化幾何的抽象化實(shí)用實(shí)用直觀直觀抽象抽象(a, b，c) 按照現(xiàn)行的國(guó)際標(biāo)準(zhǔn)，線性代數(shù)是通按照現(xiàn)行的國(guó)際標(biāo)準(zhǔn)，線性代數(shù)是通過公理化、系統(tǒng)性表述的，具有很強(qiáng)的邏過公理化、系統(tǒng)性表述的，具有很強(qiáng)的邏輯性、抽象性，是第二代數(shù)學(xué)模型輯性、抽象性，是第二代數(shù)學(xué)模型. .通常的教學(xué)模式通常的教學(xué)模式概念概念相應(yīng)定理公式相應(yīng)定理公式例題求解例題求解直覺性喪失直覺性喪失！ 向量表面上只是一列數(shù)，但是其實(shí)由于它的有序性， 所以除了這些數(shù)本身攜帶的信息之外，還可

2、以在每個(gè)數(shù)的對(duì)應(yīng)位置上攜帶信息. 線性空間中的任何一個(gè)對(duì)象，通過選取基和坐標(biāo)的辦法，都可以表達(dá)為向量的形式. 向量是什么？向量是什么？ 向量是具有向量是具有n n個(gè)相互獨(dú)立的性質(zhì)（維度）個(gè)相互獨(dú)立的性質(zhì)（維度）的對(duì)象的表示的對(duì)象的表示問問 題題矩陣是什么？矩陣的乘法規(guī)則怎樣定義？矩陣的相似是什么意思？特征值的本質(zhì)是什么？axx1p apb a 純粹的數(shù)學(xué)理論描述、證純粹的數(shù)學(xué)理論描述、證明不能令人滿意和信服明不能令人滿意和信服 ！一、線性空間和矩一、線性空間和矩陣的幾個(gè)核心概念陣的幾個(gè)核心概念 基本定義基本定義: 存在一個(gè)集合，在這個(gè)集合上定義某某概存在一個(gè)集合，在這個(gè)集合上定義某某概念，然后

3、滿足某些性質(zhì)念，然后滿足某些性質(zhì)”，就可以被稱為空間，就可以被稱為空間.空空 間間 為什么要用“空間”來稱呼一些這樣的集合呢？奇怪! 三維的空間三維的空間1.由很多（實(shí)際上是無窮多個(gè)）位置點(diǎn)組成；由很多（實(shí)際上是無窮多個(gè)）位置點(diǎn)組成；2.這些點(diǎn)之間存在相對(duì)的關(guān)系；這些點(diǎn)之間存在相對(duì)的關(guān)系；3.可以在空間中定義長(zhǎng)度、角度；可以在空間中定義長(zhǎng)度、角度；4.這個(gè)空間可以這個(gè)空間可以容納運(yùn)動(dòng)容納運(yùn)動(dòng).這里我們所說的運(yùn)動(dòng)是從一個(gè)點(diǎn)到另一個(gè)點(diǎn)的這里我們所說的運(yùn)動(dòng)是從一個(gè)點(diǎn)到另一個(gè)點(diǎn)的跳躍（變換）跳躍（變換）,而不是微積分意義上的而不是微積分意義上的“連續(xù)連續(xù)”性的運(yùn)動(dòng)性的運(yùn)動(dòng). 容納運(yùn)動(dòng)是空間的本質(zhì)特征容

4、納運(yùn)動(dòng)是空間的本質(zhì)特征 “ “空間空間”是容納運(yùn)動(dòng)的一個(gè)對(duì)象是容納運(yùn)動(dòng)的一個(gè)對(duì)象 集合，而空間的運(yùn)動(dòng)由變換所規(guī)定集合，而空間的運(yùn)動(dòng)由變換所規(guī)定. . 矩陣矩陣 矩陣是什么？矩陣是什么？ 1. 矩陣只是一堆數(shù)，如果不對(duì)這堆數(shù)建立一些運(yùn)算規(guī)則. 2. 矩陣是一列列向量，如果每一列向量列舉了對(duì)同一個(gè)客觀事物的多個(gè)方面的觀察值. 3. 矩陣是一個(gè)圖像，它的每一個(gè)元素代表相對(duì)位置的像素值. 4. 矩陣是一個(gè)線性變換，它可以將一些向量變換為另一些向量. 要回答要回答“矩陣是什么矩陣是什么”，取決于你從什，取決于你從什么角度去看它么角度去看它. . 矩陣與矩陣與線性變換線性變換 在線性空間中，當(dāng)選定一組基之

5、后，不在線性空間中，當(dāng)選定一組基之后，不僅可以用一個(gè)向量來描述空間中的任何一個(gè)僅可以用一個(gè)向量來描述空間中的任何一個(gè)對(duì)象，而且可以用矩陣來描述該空間中的任對(duì)象，而且可以用矩陣來描述該空間中的任何一個(gè)運(yùn)動(dòng)（變換）何一個(gè)運(yùn)動(dòng)（變換）.也即對(duì)于任何一個(gè)線性也即對(duì)于任何一個(gè)線性變換，都能夠用一個(gè)確定的矩陣來加以描述變換，都能夠用一個(gè)確定的矩陣來加以描述. . 在線性空間中選定基之后，向量刻畫對(duì)在線性空間中選定基之后，向量刻畫對(duì)象，矩陣刻畫對(duì)象的運(yùn)動(dòng)象，矩陣刻畫對(duì)象的運(yùn)動(dòng). 而使某個(gè)對(duì)象發(fā)生對(duì)應(yīng)運(yùn)動(dòng)的方法，就是而使某個(gè)對(duì)象發(fā)生對(duì)應(yīng)運(yùn)動(dòng)的方法，就是用代表那個(gè)運(yùn)動(dòng)的矩陣，乘以代表那個(gè)對(duì)象的用代表那個(gè)運(yùn)動(dòng)的矩

6、陣，乘以代表那個(gè)對(duì)象的向量向量.用矩陣與向量的乘法施加運(yùn)動(dòng)用矩陣與向量的乘法施加運(yùn)動(dòng). 矩陣是線性空間中的線性變換的一個(gè)描述矩陣是線性空間中的線性變換的一個(gè)描述線性變換不同于線性變換的一個(gè)描述線性變換不同于線性變換的一個(gè)描述 對(duì)于同一個(gè)線性變換，選定一組基，就可以找到一個(gè)矩陣來描述這個(gè)線性變換；換一組基，就得到一個(gè)不同的矩陣. 所有這些矩陣都是這同一個(gè)線性變換的描述，但又不是線性變換本身.同一個(gè)線性變換的矩陣具有性質(zhì)：同一個(gè)線性變換的矩陣具有性質(zhì)： 若a和b是同一個(gè)線性變換的兩個(gè)不同矩陣，則一定存在非奇異矩陣p，使得 即同一個(gè)線性變換在不同的坐標(biāo)系下表現(xiàn)為不同的矩陣，但其本質(zhì)相同，所以特征值相

7、同.1apbp 相似矩陣，就是同一個(gè)線性變換的不同的相似矩陣，就是同一個(gè)線性變換的不同的描述矩陣描述矩陣. 或者說相似矩陣都是同一個(gè)線性變或者說相似矩陣都是同一個(gè)線性變換的描述換的描述 . 線性變換可以用矩陣的形式呈現(xiàn)，也就是說，矩陣是形式，而變換 也就是各種映射才是本質(zhì)， 而代數(shù)的重要任務(wù)之一就是研究各種數(shù)學(xué)結(jié)構(gòu)之間的關(guān)系也就是映射. 維線性空間里的方陣 的 個(gè) 維向量如果線性無關(guān)，那么它們就可以成為度量 維線性空間的一組基，事實(shí)上就是一個(gè)坐標(biāo)系體系.矩陣與坐標(biāo)系nnnna1001a矩陣描述了一個(gè)坐標(biāo)系矩陣描述了一個(gè)坐標(biāo)系1001bbibb?m bmibm b?bb()mbm ibmbaaa

8、iab變換變換坐標(biāo)坐標(biāo)mb()mbmi bmb()()rmrm iti 從變換的觀點(diǎn)來看，對(duì)坐標(biāo)系m施加r變換，就是對(duì)組成坐標(biāo)系m的每一個(gè)向量施加r變換. 從坐標(biāo)系的觀點(diǎn)來看，對(duì)坐標(biāo)系m的每一個(gè)基向量，把它在i坐標(biāo)系中的坐標(biāo)找出來,然后通過r組成一個(gè)新的（坐標(biāo)系）矩陣. mit 矩陣既是坐標(biāo)系，又是變換. 數(shù)學(xué)定義：數(shù)學(xué)定義：矩陣就是由矩陣就是由 行行 列數(shù)列數(shù)放在一起組成的數(shù)學(xué)對(duì)象放在一起組成的數(shù)學(xué)對(duì)象mn 數(shù)學(xué)書上的語言是經(jīng)過千錘百煉的。這種抽象的語言，精準(zhǔn)的描述了人類對(duì)數(shù)學(xué)某些局部理解的精微. 這些描述的語言可能可以有更完善的改進(jìn)，就像編寫的程序有些地方的語句可以改得更巧妙更堅(jiān)固一樣.

9、數(shù)學(xué)容許我們每個(gè)人按自己的理解方式來理解, 這就看你怎樣對(duì)它加工，使它明確、使它華麗、使它完美. 使它更易于理解和使用. 這個(gè)過程也就是一個(gè)人學(xué)懂?dāng)?shù)學(xué)的過程. 數(shù)無形時(shí)少直觀數(shù)無形時(shí)少直觀, , 形無數(shù)時(shí)難入微形無數(shù)時(shí)難入微, , 數(shù)形結(jié)合百般好數(shù)形結(jié)合百般好, , 隔離分家萬事休隔離分家萬事休. . -華羅庚將抽象思維形象化將抽象思維形象化將理論知識(shí)實(shí)用化將理論知識(shí)實(shí)用化二、矩陣的四個(gè)基本子空間二、矩陣的四個(gè)基本子空間記：1212m nnma基本定義基本定義column space():nc aax xrmr12 ,(,)nspan135070001213519m nan=5 row spa

10、ce():ttmc aa xxrnr12(,)tttmspan135070001213519m nam=3dim( )dim()trankac ac a135070001213519m nar=2設(shè)a的行階梯形為135070001200000m nrnotice ()()c ac r()rrrefabar1abr則存在可逆矩陣b使得m=3n=5r=2135070001200000m nrpivot rows 1 and 2pivot columns 1 and 4dim( )dim()2trankrc rc r例例1null space():0,nnaxaxxr123451350700012,

11、00000m nr 有三個(gè)自由變量： 方程235,.xxx0rx 有解：223355xkkk( ) :0,nn rx rxxr355700,1002012- 31其 中=000dim ( )5 23n rn r dim( )n rnr 方程組方程組 中，若中，若 不等于不等于 0 0 且有解，則其解不會(huì)構(gòu)成子空間，因?yàn)闆]且有解，則其解不會(huì)構(gòu)成子空間，因?yàn)闆] 有有0 0元素元素. .rxbbleft nullspace() :0,ttmn ry r yyrleft nullspace?00tttryyrdim()tn rmr1231,3,5,0,70,0,0,1,20,0,0,0,0yyy0,0

12、,0,0,03(0,0,)()tyyn r3 3103012115a12 = 1 0 3 =0 1 2（ ，）（ ，）3 3103012000r13 3231030120115xaxxx 設(shè)設(shè)由由例例2 2行基13 3231030120000 xrxx 12 x=1 0 3 x=0 x=0 1 2 （ ，）（ ，） x = 012 x ,x12 (,)lx tc(a )( )n a(3,2,-1)(0,1,2)(1,0,3)t12 c(a )(,)l n(a)例3123123246a1()()casp a n0tay 21y()()tnasp a ny()()tcana則由解得則顯然row s

13、paceall atycolumn spaceall axnullspaceax=0left nullspaceaty=0c(at)dim rrnn(a)dim n-rrmc(a)dim rn(at)dim m-r互為正交補(bǔ)互為正交補(bǔ)ax=b有解 b n(at)rnrow spacerxrxbarnxxxb0nx anullspace left nullspaceaction of on arnxxxcolumn spacexanx例4若1236a分解43x 得2241rnxx 122110()3643traxc a 1220( )3610naxn a 三、矩陣的奇異值分解三、矩陣的奇異值分解

14、 應(yīng)用領(lǐng)域應(yīng)用領(lǐng)域 1.1.最優(yōu)化問題；最優(yōu)化問題； 特征值問題；特征值問題； 最小二乘問題；最小二乘問題； 廣義逆矩陣問題等廣義逆矩陣問題等. . 2. 2.統(tǒng)計(jì)分析；統(tǒng)計(jì)分析； 信號(hào)與圖像處理；信號(hào)與圖像處理； 系統(tǒng)理論和控制等系統(tǒng)理論和控制等. .矩陣的正交對(duì)角分解 若若a是是n階實(shí)對(duì)稱矩陣，則存在正交矩陣階實(shí)對(duì)稱矩陣，則存在正交矩陣q，使得，使得 (1)其中其中 為矩陣為矩陣a的特征值，而的特征值，而q的的n個(gè)列向個(gè)列向量組成量組成a的一個(gè)完備的標(biāo)準(zhǔn)正交特征向量系的一個(gè)完備的標(biāo)準(zhǔn)正交特征向量系. 對(duì)于實(shí)的非對(duì)稱矩陣a，不再有像式（1）的分解，但卻存在兩個(gè)正交矩陣p和q，使 為對(duì)角矩陣，

15、即有下面的正交對(duì)角分解定理.12(,.)tnq aqdiag (1,2,. )iintp aq 定理定理 設(shè)設(shè) 非奇異，則存在正交矩陣非奇異，則存在正交矩陣p和和q， 使得使得 (2)(2) 其中其中證 因?yàn)閍非奇異，所以 為實(shí)對(duì)稱正定矩陣，于是存 在正交矩陣q使得，其中 為 特征值令 ,12()(,.)ttnqa a qdiag 0(1,2,. )iin12(,.)tnp aqdiag n narta a0(1,2,. )iinta a(1,2,. )iiin12(,.)ndiag 1()taqaq 2()ttqa a q 1paq則有 或者再令 ,于是有即p為正交矩陣，且使改寫式(2)為

16、(3)稱式（3）為正交矩陣正交矩陣a的正交對(duì)角分解的正交對(duì)角分解11() ()ttp paqaqi12(,.)tnp aqdiag 12( ,.)tnap diagq 引理： 1.設(shè) 則 是對(duì)稱矩陣， 且其特征值是非負(fù)實(shí)數(shù). 2. 3. 設(shè) 則 的充要條件是 (0),m nrrac()trank a arankata a(0),m nrrac0a0taaarta a定義 設(shè) 是秩為 的 實(shí)矩陣，mn的特征值為的特征值為1210rrn 則稱則稱 為為a的奇異值的奇異值. .(1,2, )iiir(0)r r 奇異值分解定理奇異值分解定理 設(shè)設(shè)a是秩為是秩為(0)r r 的的mn則存在則存在 階正

17、交矩陣階正交矩陣實(shí)矩陣實(shí)矩陣, ,mu與與 階正交矩陣階正交矩陣,v使得使得tsou avoo 其中其中12diag(,)r (1,2, )ir10r為矩陣為矩陣a的全部奇異值的全部奇異值. .n證明證明 設(shè)實(shí)對(duì)稱矩陣 的特征值為a1210rrn 則存在n階正交矩陣 ，使得 v12tt()nova avoo 將 分塊為v12()vvv其中 ， 分別是 的前 r 列與后 列.1v2vvnr并改寫式為2toa avvoo 則有t2t112a avva avo， 由的第一式可得tt2t1111() ()rv a avavave， 或者 由的第二式可得t222()() a va voa vo或 者令

18、，則 ，即 的r個(gè)列是兩兩正交的單位向量.記111uav t11ru ue1u112(,)ruuuu因此可將 擴(kuò)充成 的標(biāo)準(zhǔn)正交基，記增添的向量為 ，并構(gòu)造矩陣則是m階正交矩陣,且有于是可得12,ruuumc1,rmuu21(,)rmuuu12121( ,) ( , , ,)rrmuu uu uu uutt1121 ru ueu uo，ttt1121t2()()ouu avuavavuooou， tttt11 1222rrroauvuvu vu voo 稱上式為矩陣a的奇異值分解. 在矩陣?yán)碚撝校娈愔捣纸鈱?shí)際上是“對(duì)稱矩陣正交相似于對(duì)角矩陣”的推廣.奇異值分解中 是 的特征向量，而 的列向量

19、是 的特征向量，并且 與 的非零特征值完全相同. 但矩陣 的奇異值分解不惟一.121,rrmu uu uutaavta ataata a注意a數(shù)值秩數(shù)值秩 在沒有誤差時(shí)，奇異值分解可以確定矩陣的秩. 但是誤差的存在使得確定變得非常困難. 例如，考慮矩陣1/ 31/ 32 / 32 / 32 / 34 / 31/ 32 / 312 / 51/ 53 / 53 / 71/ 74 / 7a 因?yàn)榈谌惺乔皟闪械暮?，所?a 的秩是2. 如果不考慮到這個(gè)關(guān)系，運(yùn)用ieee標(biāo)準(zhǔn)的雙精度浮點(diǎn)計(jì)算模式，用matlab命令svd計(jì)算a 的奇異值：1/31/32/32/32/34/31/32/312/51/53

20、/53/ 71/ 74/ 7aformat long ea=1/3,1/3,2/3;2/3,2/3,4/3;1/3,2/3,1;2/5,1/5,3/5;3/7,1/7,4/7；d= svd(a) 計(jì)算結(jié)果為：d = 2.421457493421318e+000 3.406534035359026e-001 1.875146052457622e-016 因?yàn)橛幸驗(yàn)橛小叭眰€(gè)非零奇異值，所以個(gè)非零奇異值，所以a的秩的秩為為“3 3”. 然而，注意到在然而，注意到在ieee雙精度的標(biāo)準(zhǔn)下雙精度的標(biāo)準(zhǔn)下, ,其中一個(gè)奇異值是微小的其中一個(gè)奇異值是微小的. . 也許應(yīng)該將它看作也許應(yīng)該將它看作零零.

21、.因?yàn)檫@個(gè)原因，引人數(shù)值秩的概念因?yàn)檫@個(gè)原因，引人數(shù)值秩的概念. . 如果矩陣如果矩陣 有有 個(gè)個(gè)“大大”的奇異值，而其的奇異值，而其它都很它都很“微小微小”，則稱，則稱 的數(shù)值秩為的數(shù)值秩為 . 為了確定哪個(gè)奇異值是為了確定哪個(gè)奇異值是“微小微小”的，需要引的，需要引人閾值或容忍度人閾值或容忍度 .就就matlab而言，可以把而言，可以把 設(shè)為閾值，大于這個(gè)閾值的奇異值的數(shù)目就是設(shè)為閾值，大于這個(gè)閾值的奇異值的數(shù)目就是 a的數(shù)值秩，把小于這個(gè)閾值的奇異值看作零的數(shù)值秩，把小于這個(gè)閾值的奇異值看作零. 利用利用matlab的命令的命令rank計(jì)算計(jì)算 的秩，它的結(jié)的秩，它的結(jié)果是果是2 2，就

22、是這個(gè)道理，就是這個(gè)道理.-161toleps ( eps=2.24 10)naaakk求矩陣求矩陣01.60.601.20.8000000a的奇異值分解的奇異值分解解解: :matlab程序?yàn)椋撼绦驗(yàn)椋篴=0,-1.6,0.6;0 ,1.2,0.8;0,0,0;0,0,0u,s,v=svd(a)計(jì)算結(jié)果計(jì)算結(jié)果a = 0 -1.6000 0.6000 0 1.2000 0.8000 0 0 0 0 0 0u = 0.8000 0.6000 0 0 -0.6000 0.8000 0 0 0 0 1.0000 0 0 0 0 1.0000s = 2.0000 0 0 0 1.0000 0 0 0

23、 0 0 0 0v = 0 0 1.0000 -1.0000 0.0000 0 0.0000 1.0000 0奇異值分解的幾何意義奇異值分解的幾何意義 研究將一個(gè)空間映射到不同空間，特別是研究將一個(gè)空間映射到不同空間，特別是不同維數(shù)的空間時(shí)，例如超定或欠定方程組所不同維數(shù)的空間時(shí)，例如超定或欠定方程組所表示的情況，就需要用矩陣的奇異值來描述算表示的情況，就需要用矩陣的奇異值來描述算子對(duì)空間的作用了子對(duì)空間的作用了. . 考察二維平面上的單位圓考察二維平面上的單位圓2:1xrx在映射在映射a下的變換過程下的變換過程, ,其中其中33133211a matlab程序?yàn)椋撼绦驗(yàn)椋篴=sqrt(3)s

24、qrt(2),sqrt(3)sqrt(2);-3sqrt(2),3sqrt(2); 1sqrt(2),1sqrt(2)u,s,v=svd(a)v是正交矩陣，表示二維空間的一個(gè)旋轉(zhuǎn)是正交矩陣，表示二維空間的一個(gè)旋轉(zhuǎn)tv1110111012tv1 1(,)2 21 1(,)2 2(1,0)(0,1)s11220010100001010000s s 將平面上的圓變換到三將平面上的圓變換到三維空間坐標(biāo)平面上的橢維空間坐標(biāo)平面上的橢 圓圓12v是正交矩陣，表示二維空間的一個(gè)旋轉(zhuǎn)是正交矩陣，表示二維空間的一個(gè)旋轉(zhuǎn) s 維維將將 空空平平 間間面面 坐坐上上 標(biāo)標(biāo)的的 平平圓圓 面面變變 上上換換 的的到到

25、 橢橢三三 圓圓u是正交矩陣，表示三維空間的一個(gè)旋轉(zhuǎn)是正交矩陣，表示三維空間的一個(gè)旋轉(zhuǎn)tausvtvsu1v2v11u22u 當(dāng)a是方陣時(shí)，其奇異值的幾何意義是: 若x是 維單位球面上的一點(diǎn)，則 是一個(gè) 維橢球面上的點(diǎn)，其中橢球的 個(gè)半軸長(zhǎng)正好是a的 個(gè)奇異值. 簡(jiǎn)單地說，在2維情況下，a將單位圓變成了橢圓，a的兩個(gè)奇異值是橢圓的長(zhǎng)半軸和短半軸.naxnnn 設(shè) a 是秩為 的 實(shí)矩陣， a的奇異值分解為： 即 ,且 (0)r r m ntausvavus奇異值分解的性質(zhì)奇異值分解的性質(zhì)11(,)rrmuuu uu1rm nosoo11(,)rrnvvvvv則（1） a的非零奇異值的個(gè)數(shù)等于它

26、的秩r，即 （2） 是 的標(biāo)準(zhǔn)正交基.（3） 是 的標(biāo)準(zhǔn)正交基.（4） 是 的標(biāo)準(zhǔn)正交基.（5） 是 的標(biāo)準(zhǔn)正交基.rank( )ra1,rnvv1,ruu( )c a1,rmuut()n a1,rvvt()c a()na從上面的結(jié)論可以得到t()( )cnaat()()cnaadim()dim()cnnaat()()c與caa同構(gòu)奇異值分解的特征奇異值分解的特征1.1.奇異值分解可以降維奇異值分解可以降維 a表示 個(gè) 維向量，可以通過奇異值分解表示成 個(gè) 維向量.若a的秩 遠(yuǎn)遠(yuǎn)小于 和 , 則通過奇異值分解可以降低a的維數(shù).可以計(jì)算出，當(dāng) 時(shí)，可以達(dá)到降維的目的，同時(shí)可以降低計(jì)算機(jī)對(duì)存貯器的要求.1mnrmnnmmnrmnr2. 奇異值對(duì)矩陣的擾動(dòng)不敏感奇異值對(duì)矩陣的擾動(dòng)不敏感 特征值對(duì)矩陣的擾動(dòng)敏感. 在數(shù)學(xué)上可以證明，奇異值的變化不會(huì)超過相應(yīng)矩陣的變化，即對(duì)任何的相同階數(shù)的實(shí)矩陣a、b的按從大到小排列的奇異值 和有i i 2iiab 3. 3. 奇異值的比例不變性奇異值的比例不變性, ,即即 的奇異值是的奇異值是a的的奇異值的奇異值的 倍