MIT公開課-線性代數(shù)筆記

目錄方程組的幾何解釋 2矩陣消元 3乘法和逆矩陣 4A的LU分解 6轉(zhuǎn)置-置換-向量空間R 8求解AX=0：主變量，特解 9求解AX=b：可解性和解的解構(gòu) 10線性相關(guān)性、基、維數(shù) 11四個(gè)根本子空間 12矩陣空間、秩1矩陣和小世界圖 13圖和網(wǎng)絡(luò) 14正交向量與子空間 15子空間投影 18投影矩陣與最小二乘 20正交矩陣和Gram-Schmidt正交化 21特征值與特征向量 24對角化和A的冪 24微分方程和exp(At)〔待處理〕 25對稱矩陣與正定性 25正定矩陣與最小值 27相似矩陣和假設(shè)爾當(dāng)型〔未完成〕 28奇異值分解(SVD) 29線性變換及對應(yīng)矩陣 30基變換和圖像壓縮 32NOTATIONp：projectionvectorP：projectionmatrixe：errorvectorP：permutationmatrixT：transportsignC(A)：columnspaceN(A)：nullspaceU：uppertriangularL：lowertriangularE：eliminationmatrixQ：orthogonalmatrix,whichmeansthecolumnvectorsareorthogonalE：elementary/eliminationmatrix,whichalwaysappearsintheeliminationofmatrixN：nullspacematrix,the“solutionmatrix〞ofAX=0R：reducedmatrix,whichalwaysappearsinthetriangularmatrix,“IF00〞I：identitymatrixS：eigenvectormatrixΛ：eigenvaluematrixC：cofactormatrix關(guān)于LINERALGEBA名垂青史的分析方法：由具象到抽象，由二維到高維。方程組的幾何解釋行圖像，列圖像矩陣乘法：方法一.列向量的線性組合方法二.左行乘以右列矩陣右乘向量〔豎直〕：矩陣列的線性組合矩陣左乘向量〔橫平〕：矩陣行的線性組合矩陣消元課程目標(biāo)：討論消元法有效，以及無效的情況用矩陣語言描述消元法消元有效和失效消元目標(biāo)：把A矩陣化為U矩陣〔主元不能出現(xiàn)0〕消元失效：主元是0：行交換可以解決主元為0的暫時(shí)性失效，但當(dāng)?shù)紫碌男兄性僖矝]有非0元素時(shí)，消元就徹底失效了。用矩陣來表示矩陣變換〔消元〕例：針對上一例，假設(shè)總變換E=E32E21，，這個(gè)矩陣對于消元法中出現(xiàn)的乘數(shù)來說太不直觀了，然而E-1=E21-1E32-1,這個(gè)逆比擬直觀，因?yàn)樗鼈兪浅醯攘凶儞Q的逆變換，只用改變乘數(shù)的系數(shù)就可以得到它們的逆，這就引出了下一章的內(nèi)容：A的LU分解。=a+b+c+d=a+b+c+d置換矩陣乘法和逆矩陣矩陣乘法的四個(gè)方法AB=C左行乘右列線性組合列=a+b+c+d線性組合行=a+b+c+d左列乘右行矩陣的逆只有方陣才可能可逆〔非方陣也可以求逆矩陣，不過是偽逆〕左逆等于右逆沒有逆的情況行列式為0，列向量共線存在非零向量X，使AX=0〔零空間有非零元素〕存在逆的情況求逆和解方程組是一回事Gauss-Jordan消元法例：步驟：就是所求的A-1。求逆總結(jié)正交矩陣Q-1=QT上三角或者下三角矩陣求逆：例：例：克拉默法那么求逆〔代數(shù)余子式〕A的LU分解假設(shè)A和B都可逆，(AB)-1=B-1A-1,因?yàn)槔ㄌ柨梢砸苿?dòng),就像先脫鞋子，再脫襪子，逆動(dòng)作是先穿襪子，再穿鞋子(A-1)T=(AT)-1(轉(zhuǎn)置和逆可以顛倒)A的LU分解例：A=，對其進(jìn)行消元，目標(biāo)是得到U。=ALUA=LUA=L’DU’3*3矩陣的情形E32E31E21A=UA=E21-1E31-1E32-1UA=LU例：E31E21=E和(E21)-1(E31)-1=L的例子：求E不容易，但是想要得到L，只要把所有消元乘數(shù)寫進(jìn)來，就可以得到！總結(jié)：E不好求，E不重要，好求的是L，重要的是L。一個(gè)n*n矩陣A，消元需要多少次？〔“一次〞：一般乘法+減法一次〕n2+(n-1)2+…+22+12=考慮行互換的情形：轉(zhuǎn)置與置換(3*3)互換0行：IP12=P13=總共有6種。如果取逆，只要把行換回去即可。逆矩陣仍然在這六個(gè)里。P-1=PT總結(jié)：A的LU分解，U是直觀上看的消元得到上三角矩陣的結(jié)果，L比擬特殊，它記錄了每一次的行變換。要注意的是，因?yàn)長是初等變換矩陣的逆矩陣，所以L中對角線元素的符號不發(fā)生改變，但是要取倒數(shù)；而其他元素的符號均發(fā)生改變。轉(zhuǎn)置-置換-向量空間R置換矩陣：P,用來完成行互換的矩陣。置換矩陣是行重新排列了的單位矩陣。置換矩陣的逆矩陣和它的轉(zhuǎn)置矩陣相等。PTP=I.轉(zhuǎn)置矩陣〔略〕對稱矩陣：symmetricmatrix，轉(zhuǎn)置后和原矩陣相等〔注意：對角線兩邊符號不同也有可能是對稱矩陣，滿足AT=A即可〕。ATA一定是一個(gè)對稱陣。向量空間：向量張成的空間。因?yàn)橄蛄砍艘?必須在向量空間里，所以向量空間的子空間必定過原點(diǎn)。一個(gè)向量空間本身就是它自己的一個(gè)子空間。它是最大的子空間。零向量是所有實(shí)空間的子空間。它總是構(gòu)成最小的子空間。矩陣如何構(gòu)造子空間？通過列向量構(gòu)造。每列的元素個(gè)數(shù)m代表這個(gè)列向量屬于幾維的空間，如果列向量個(gè)數(shù)n＜m，代表這個(gè)矩陣展現(xiàn)的是“降維打擊“，此時(shí)列向量的所有線性組合〔列空間〕構(gòu)成一個(gè)子空間。個(gè)人將其命名為“棒型矩陣〞。求解AX=0：主變量，特解注：主元，每行的第一個(gè)非零元素課程目標(biāo)：AX=0的算法是怎樣的？消元時(shí)要保證：零空間不會(huì)改變。假設(shè)主元為0，那么看下面是否有可以互換的行，或右邊是否有可以互換的列。A的目標(biāo)是化為階梯矩陣。非0主元的個(gè)數(shù)：秩，這就是秩在算法下的定義。化為階梯矩陣后，尋找主變量。先找到主元所在的列〔主列〕，剩余的列稱為自由列，表示可以任意分配數(shù)值給這些列所對應(yīng)的解向量的元素。例如：=0中，c1和c3是主列，c2和c4是自由列，所以x2和x4可以自由賦值，而x1和x3需要解出。r〔rank〕表示的是起到作用的主元個(gè)數(shù)，也就是起作用的方程個(gè)數(shù)，n-r=自由變量的個(gè)數(shù)=不起作用的方程個(gè)數(shù)=零空間的維數(shù)簡化行階梯矩陣：讓主元上下都是0，包含了所有信息，包括主行和主列，單位矩陣〔主行和主列交匯處〕，0行表示這一行是非0行的線性組合簡化的步驟相當(dāng)于回代R=，F(xiàn)是自由矩陣，I是r*r單位方陣。如何用這個(gè)矩陣解出所有特解？構(gòu)造一個(gè)零空間矩陣N，它的各列由特解組成。N=,RN=0.矩陣主列的個(gè)數(shù)與其轉(zhuǎn)置相同。X=cN.求解AX=b：可解性和解的解構(gòu)首先要交代的是：AX=b不一定有解，是否有解要通過消元來判斷。b要滿足什么條件，AX=b才有解？b屬于A的列空間如果A各行的線性組合得到零行，b中同樣線性組合也得到0.如果有解，如何求解？找一個(gè)特解：將所有自由變量設(shè)為0，解出AX=b中的主變量特解加上零空間中的任意X，最終結(jié)果是所有解。為什么？？？因?yàn)锳xp=b，Axn=0所以A(xp+xn)=Axp+Axn=b+0=b.對于方程組某解，它與零空間里任意向量之和仍然是方程組的解。注：零空間的一組基向量，往往也被稱為“根底解系〞。列滿秩：r=n<m，棒型矩陣，意味著沒有自由變量，N(A)=0,解如果存在，只有一個(gè)當(dāng)b為列向量的線性組合時(shí)，解一定存在！有1個(gè)解。R=行滿秩：r=m<n,餅型矩陣，自由變量為n-r個(gè)，對任意b，X一定有解！有無窮多解。R=當(dāng)r=n=m：矩陣可逆，R=I，其零空間只有0，只有唯一解。r<m,r<n：R=,0或無窮多解。線性相關(guān)性、基、維數(shù)問題引入：AX=b，當(dāng)A是餅型矩陣時(shí)一定存在非零解？是因?yàn)橛凶杂勺兞繂幔烤€性相關(guān)和無關(guān)：x1,x2,…xn是一組向量，如果它們存在不全為零的線性組合的結(jié)果是0，那么線性相關(guān)，反之線性無關(guān)。二位平面內(nèi)任意三個(gè)向量一定線性相關(guān)餅型滿秩矩陣各列線性相關(guān)！因?yàn)榱憧臻g不為零！棒型滿秩矩陣各列線性無關(guān)！因?yàn)榱憧臻g為零！向量組張成的空間：這個(gè)空間包括向量組向量的所有線性組合。向量空間的一組基：一系列向量，它們數(shù)量不多不少，既能夠張成這個(gè)空間，也線性無關(guān)?；泻芏嘟M，但它們里面的向量個(gè)數(shù)都是一樣的。列向量線性相關(guān)，矩陣零空間不為零列向量線性無關(guān)，矩陣零空間只有零零空間的維數(shù)是自由變量的數(shù)目。行相關(guān)即列相關(guān)！四個(gè)根本子空間四個(gè)根本子空間：列空間C(A)行空間：A的行的所有線性組合，也是AT的列空間，C(AT)零空間N(A)AT的零空間N(AT)，A的左零空間A的零空間在Rn里A的列空間在Rm里A的行空間在Rn里AT的零空間在Rm里這些子空間的基是什么？維數(shù)是多少？列空間的維數(shù)是r，它的一組基就是主列行空間的維數(shù)是r，它的一組最正確基就是R的前r行〔不是A〕零空間的維數(shù)是n-r，即自由變量的個(gè)數(shù)，即特殊解的個(gè)數(shù)；它的基是自由列，尋找產(chǎn)生零列向量的線性組合AT零空間的維數(shù)是m-r，尋找產(chǎn)生零行向量的線性組合，零行所對應(yīng)的E的行就是基的元素。E=,EA=R通過E可以知道左零空間的維數(shù)和基行變換對行空間不產(chǎn)生影響，但是對列空間產(chǎn)生影響。？？？？總結(jié)：行空間和零空間在Rn里，它們的維數(shù)相加=n列空間和左零空間在Rm里，它們的維數(shù)相加=m總結(jié)：子空間必須對線性運(yùn)算封閉〔包括數(shù)乘0〕，過原點(diǎn)。一種新的向量空間：所有3*3矩陣！把矩陣看成向量，因?yàn)樗南蛄靠臻g的運(yùn)算律矩陣空間、秩1矩陣和小世界圖矩陣空間：把矩陣看做向量，這些矩陣組成的集合。矩陣空間的秩：如果是3*3矩陣，秩為9矩陣空間子空間：3*3對稱矩陣空間的秩：6矩陣空間子空間：3*3上三角矩陣空間的秩：6矩陣空間子空間的基不一定都是原矩陣空間的基。S∪U不是M的子空間，因其方向不同。定義S+U=S中任意元素+U中任意元素dim〔M〕=9，dim(S)=6，dim(U)=6,dim(S∩U)=3,dim(S+U)=9dim(S)+dim(U)=dim(S+U)+dim(S∩U)所有秩1矩陣都可以表示為：列向量*行向量。秩1矩陣就像搭建其他矩陣的積木。例如：一個(gè)秩為4的5*17矩陣，只需要4個(gè)秩1矩陣就可以搭建。矩陣空間的子空間本身也必須是封閉的。一個(gè)矩陣空間的子空間做線性運(yùn)算的秩是不會(huì)改變的。小世界圖圖：結(jié)點(diǎn)和邊的集合，邊連各個(gè)結(jié)點(diǎn)問題是從任意一個(gè)結(jié)點(diǎn)到任意其他結(jié)點(diǎn)，共需要走多少步？圖和網(wǎng)絡(luò)一個(gè)圖包含：結(jié)點(diǎn)、邊構(gòu)造一個(gè)m*n矩陣表示圖n=結(jié)點(diǎn)數(shù)m=邊數(shù)例：A=注意看：前三行構(gòu)成一個(gè)回路，它們的矩陣表達(dá)形式行線性相關(guān)這個(gè)矩陣的零空間是什么？零空間告訴我們，如何對列向量進(jìn)行線性組合，結(jié)果可以得到零向量。如果線性無關(guān)，零空間就是零。AX==令x代表各點(diǎn)電勢，這個(gè)矩陣代表各邊上電勢差。令y代表各邊電流，C表示電勢差和電流的關(guān)系。令A(yù)Ty=0〔基爾霍夫電流定律，守恒定律，電流為0的條件〕，解空間表示了電流為0的各點(diǎn)上情況。dim(AT)=m-r=thenumberofloops線性無關(guān)就是沒有回路，線性相關(guān)來源于回路。沒有回路的圖叫做“樹〞#nodes-#edges+#loops(linerindependent)=1(Euler’sFormula)正交向量與子空間兩個(gè)子空間正交：兩個(gè)子空間里的任意一對向量正交?！菜伎迹汉诎搴偷匕宀徽唬?yàn)樗鼈冇泄餐姆橇阆蛄?，而一個(gè)向量不和自己正交〕dimRA=rdimNA=n-rdimCA=rdimRAT=m-r正交向量判斷：如果XTY=0,X與Y正交證明：利用畢達(dá)哥拉斯定理推廣：在三維情況下，假設(shè)X，Y都是三維向量，,這滿足畢達(dá)哥拉斯定理。只有當(dāng)在直角時(shí)，XTX+YTY=(X+Y)T(X+Y)才成立。結(jié)論：證明畢達(dá)哥拉斯定理可以得到X和Y正交的條件，即向量點(diǎn)乘結(jié)果為0.PLUS：零向量與任意向量正交，因?yàn)榱阆蛄亢腿我庀蛄奎c(diǎn)乘結(jié)果為0.正交子空間假設(shè)：子空間S與子空間T正交，它們正交說明它們中任意一個(gè)S中的向量都與T中的任意一個(gè)向量正交。黑板與地面不正交，因?yàn)槭紫瓤梢耘e出黑板上的向量與地面上的向量不正交的例子，其次黑板與地面存在共同的向量，它們不垂直于自己(除非是零向量)子空間正交的實(shí)例行空間正交于零空間〔把Rn劃分為兩個(gè)子空間〕為什么？證明：AX=0，假設(shè)存在N(A),那么N(A)是X的解集。,因?yàn)橐恢比绱?，所以X與所有行正交；既然X與所有行正交，由于行空間里的所有向量都是由行線性組合而成的，所以X與行空間里所有向量正交，所以X與行空間正交。列空間正交于轉(zhuǎn)置的零空間〔把Rm劃分為兩個(gè)子空間〕三維空間里是否可能出現(xiàn)：行空間是一條直線，零空間是另一條直線的情況？不可能。行空間的維數(shù)和零空間的維數(shù)加起來應(yīng)該是3〔m〕例：行空間和零空間稱為n維空間里的正交補(bǔ)〔orthogonalcomplements〕這說明了什么？零空間里包含所有垂直于行空間的向量，而不只是局部。如何求一個(gè)無解的方程組AX=b(b不在A的列向量里)的解？引入矩陣：ATA，它是一個(gè)更好的矩陣，它是對稱矩陣。ATAX’=ATb，這是一個(gè)好方程〔但是這里的X’并不是原方程的解，而是最優(yōu)解〕注意：ATA不一定總是可逆的，ATA的秩等于A的秩。子空間投影從二維談起aT(b-Xa)=0XaTa=aTbX=,p=aX〔p=projectionvector〕總結(jié)：投影是一個(gè)矩陣P=，作用于某個(gè)向量上得到它在a向量上的投影，即Pb=p；乘數(shù)投影矩陣P的列空間，是通過a的一條線，秩為1P是對稱矩陣,即PT=P如果作兩次投影，結(jié)果等同于作一次投影，即P2=P推廣到高維的情況三維情況假設(shè)平面的一組基向量是a1,a2，那么這個(gè)平面是矩陣的列空間p=AX，我們要求的是X推導(dǎo)：WEKNOWTHAT,andvectoreisperpendiculartoplane.所以a1T(b-AX)=0,a2T(b-AX)=0,即AT(b-AX)=0，即ATAX=ATb,推出X=(ATA)-1ATb,p=A(ATA)-1ATbAT(b-AX)=0這一步中，e是垂直于平面的，e在AT的零空間?。〗Y(jié)論：P=A(ATA)-1AT其中A的列向量是投影空間的基底。解釋：為何要作投影？方程組不一定有解，但是如果必須要找出解，那么就可以找通過投影求出與需要的解最大可能近似的解。投影矩陣與最小二乘一個(gè)例子b=p+e=Pb+e,所以e=(I-P)b投影矩陣應(yīng)用舉例：尋找最優(yōu)點(diǎn)設(shè)方程是y=C+DtC+D=1C+2D=2C+3D=2,由于這個(gè)式子無解,尋求，使AX的結(jié)果最大程度地接近正交矩陣和Gram-Schmidt正交化〔標(biāo)準(zhǔn)〕正交基q1,…qnqiqj=0,ij;qiqj=1,i=jQ=,QTQ===I〔標(biāo)準(zhǔn)〕正交矩陣QQTQ===I當(dāng)Q為方陣時(shí)，QTQ=I=Q-1Q,Q-1=QT〔標(biāo)準(zhǔn)〕正交矩陣Q使得什么運(yùn)算得到簡化？如果要投影到Q的列空間中，P=A(ATA)-1AT=Q(QTQ)-1QT=QQT當(dāng)Q為方陣時(shí)，列空間就是整個(gè)n維空間，任意一個(gè)向量的投影仍然是它本身，所以P=I.當(dāng)Q不為方陣時(shí)，因?yàn)镼-1QT，P=QQT求投影矩陣所引出的所有涉及求逆的復(fù)雜方程，在使用標(biāo)準(zhǔn)正交基后，都變得簡單了。Gram-Schmidt正交化AQ條件：現(xiàn)在有一個(gè)線性無關(guān)向量組columnsofA，這組向量張成一個(gè)空間C(A)。要在這個(gè)空間里重新尋找一個(gè)線性無關(guān)向量組columnsofQ，使得這個(gè)向量組正交。例：從二維空間談起目標(biāo)：線性無關(guān)但不正交的a,b正交的α,β標(biāo)準(zhǔn)正交的q1,q2α=a,β=b-a(aTa)-1aTb,推廣到三維空間假設(shè)a,b,c是線性無關(guān)的向量對于c,要使c垂直于a和b正交化后的β,c要減去c在a上的投影和在β上的投影。即標(biāo)準(zhǔn)化推廣到更高維空間：C的繼續(xù)延伸Gram-Schmidt正交化的矩陣表述A=QR，R是上三角形矩陣行列式及其性質(zhì)行列式是方陣的，每個(gè)方陣都有何其有關(guān)的行列式。記為detA,它和特征值有關(guān)。矩陣可逆等價(jià)于行列式為0，但是行列式的功能不止如此。行列式的三個(gè)性質(zhì)單位矩陣的行列式為1交換行列式的行，行列式值的符號會(huì)相反〔奇變偶不變〕一個(gè)置換矩陣的行列式是1或-1，符號視交換次數(shù)而定關(guān)鍵是：行列式可以給出關(guān)于矩陣是否可逆以及其他的重要信息。行列式是一個(gè)線性函數(shù)〔每一行的線性性〕行列式的引申性質(zhì)兩行相等使得行列式等于0從行k減去行1的i倍，行列式不會(huì)因此改變假設(shè)有一行全是零那么行列式也等于0行列式的重要性質(zhì)：det(U)=主元的乘積等于行列式的乘積〔注意如果交換行，那么可能換了符號〕detA=0,當(dāng)且僅當(dāng)A是奇異矩陣；detA不等于0，當(dāng)A可逆即：奇異陣會(huì)出現(xiàn)非0行，可逆陣會(huì)得到U和DdetAB=(detA)(detB)det(A-1)=(detA)-1det(A2)=(detA)2det2A=2ndetAdetAT=detA所有行的性質(zhì)對于列同樣成立〔重證〕行列式公式與代數(shù)余子式目的：給出求出行列式的另一個(gè)公式例：用2by2矩陣推導(dǎo)出行列式的計(jì)算公式=推導(dǎo)到高階的情況：仍然是從第一行開始，逐行分解，分解為nn個(gè)項(xiàng)〔其中有些項(xiàng)存在行或者列是0，消去，剩下的是“幸存者〞〕+…=a11a22a33+(-1)(因?yàn)槭菃挝痪仃嚦艘愿飨禂?shù)并做了一次行變換)a11a23a32+(-1)a12a22a33+a12a23a31(做了兩次行變換)n階的情況：detA=，正負(fù)號由第二個(gè)把下標(biāo)變成標(biāo)準(zhǔn)排列的次數(shù)的奇偶來決定，奇變偶不變代數(shù)余子式仍以3by3矩陣為例：det=a11(a22a33-a23a32)+a12()+a13(),括號內(nèi)的就是對應(yīng)元素的代數(shù)余子式，一旦選定元素，余子式就是不包括A所在行和列的剩余元素原樣排列的行列式，但是一定要注意符號。對于amn元素的代數(shù)余子式，它的系數(shù)是(-1)m+n，仍然滿足奇變偶不變。代數(shù)余子式的定義：帶有正負(fù)號的抹去對應(yīng)元素行和列的行列式。余子式的定義：不帶有正負(fù)號的抹去對應(yīng)元素行和列的行列式。克拉默法那么，逆矩陣，體積A-1的公式2*2矩陣的逆矩陣：逆矩陣的通式：,C是代數(shù)余子式矩陣，CT是伴隨矩陣。Cramers法那么對于X=A-1bX=bx1=,x2=,…其中B1是b替換A的第一列的矩陣，B2是b替換A的第二列的矩陣…detA的絕對值=體積3*3的情況detQ=1或者-1特征值與特征向量把矩陣A看作一個(gè)函數(shù),輸入向量X,輸出向量AX.如果AX和X的方向是一致的話,那么X就是A的特征向量.(AX=λX,Xequaleigenvector)零特征值：AX=0，假設(shè)X有非零解，A應(yīng)該是奇異陣。特征值：λn*n的矩陣有n個(gè)特征值。特征值的和等于對角線元素和〔跡〕。如何解AX=λX?〔A-λI〕X=0(X不為零向量)A-λI這個(gè)矩陣必須是奇異陣，即det(A-λI)=0,所以先解出了λ，(n個(gè)λ，可以存在相同的值)代入原式解出X.一般矩陣不同特征值對應(yīng)的特征向量線性無關(guān)。實(shí)對稱矩陣不同特征值對應(yīng)的特征向量互相正交。逆矩陣的特征值等于原特征值的倒數(shù)。AB和BA的特征值相等對角化和A的冪AS=SΛ,S是以A的特征向量作為列的“特征向量矩陣〞，Λ是“特征值矩陣〞，它是一個(gè)對角矩陣，對角線上的元就是A的特征值。A=SΛS-1S-1AS=ΛA2的特征向量和A一樣，特征值是λ2.特征值是計(jì)算矩陣冪的一種重要算法。微分方程和exp(At)〔待處理〕課程目標(biāo)：講解怎么解一階微分方程〔組〕例：=-u1+2u2,=u1-2u2，u(0)=(u是u(t)的簡寫)寫成=Ax推出A=,x=找到A的特征值和特征向量：特征值λ1=0，λ2=-3，特征向量x1=x2=通解是：u(t)=c1eλ1tx1+c2eλ2tx2由u(0)得到，解是u(t)=+e-3t對稱矩陣與正定性對稱矩陣:AT=A討論重點(diǎn):因?yàn)閟ymmetricmatrix是一種特殊的矩陣,所以我們研究的重點(diǎn)在它的eigenvalues和eigenvectors上.特征矩陣的性質(zhì)實(shí)矩陣的eigenvalue是實(shí)數(shù).對稱矩陣的特征向量都是正交的〔能夠挑出一組垂直的〕對稱矩陣的分解對于一般矩陣A,A=SΛS-1對于對稱矩陣B,B=QΛQ-1=QΛQT什么是性質(zhì)好的矩陣？特征值是實(shí)數(shù)基互相垂直A=AT對稱矩陣的進(jìn)一步分解B=QΛQ-1=QΛQT==λ1q1q1T+λ2q2q2T+…每一個(gè)對稱矩陣都是一些互相垂直的投影矩陣的組合。對稱矩陣中主元的符號與特征值的符號一致。對稱矩陣主元的乘積=特征值的乘積=行列式正定矩陣是對稱矩陣的一種，所有特征值都是正數(shù)。正定矩陣的主元全為正數(shù)。正定矩陣的行列式是正數(shù)正定矩陣所有的子行列式都是正數(shù)。正定矩陣與最小值課程目標(biāo)：如何判斷一個(gè)矩陣是否是正定矩陣XTAX>0說明什么為什么我們對正定性如此感興趣正定性的幾何解釋以及把主元、行列式、特征值、不穩(wěn)定性整合到一起正定矩陣的判斷方法，以2*2〔對稱〕矩陣為例λ1>0,λ2>0>0,>0pivotsa>0,>0*〔任意待定〕實(shí)際舉例我們構(gòu)造一個(gè)矩陣，很明顯它是正定的。利用判斷方法2-d，設(shè)=，即f(x,y)=2x2+12xy+20y2>0如何看出f(x,y)為正？麻煩出在xy項(xiàng)上。如果能夠把f(x,y)配方成平方和的形式，就可以確定f(x,y)肯定為正。即f(x,y)=2(x+3y)2+2y2這一步的配方，方法絕非偶然，它和矩陣相關(guān)，涉及到高斯消元法。AU,L=，主元是2,2做平方項(xiàng)的系數(shù)，倍數(shù)3做括號內(nèi)y的系數(shù)。分析：對函數(shù)f(x,y)是否為正的分析可能非常麻煩，涉及到求導(dǎo)，求偏導(dǎo)等問題，但是如果把f(x,y)表示為矩陣A的形式，通過判斷矩陣A的正定性就可以判斷f(x,y)的正負(fù)?。。】偨Y(jié)：正主元，平方和，一切為正，圖像向上，原點(diǎn)是極小值，一切都聯(lián)系在一起，描述了一個(gè)正定矩陣。因?yàn)楹瘮?shù)最值和導(dǎo)數(shù)、微分方程有關(guān)，而函數(shù)又可以用矩陣來表示，那么矩陣和微分方程之間必然存在著某種聯(lián)系。相似矩陣和假設(shè)爾當(dāng)型〔未完成〕關(guān)于正定矩陣的結(jié)論如果A,B都是正定矩陣，那么A+B也是正定矩陣。重新定義A是一個(gè)一般矩陣?，F(xiàn)在研究ATAATA一定是對稱矩陣ATA一定是正定矩陣或半正定矩陣相似矩陣：n*n矩陣A和矩陣B=M-1AM〔沒有說A和B是對稱矩陣〕為何稱此矩陣為相似？相似矩陣具有相同的特征值。為什么A和B特征值相等？Ax=λx(B=M-1AM)AMM-1x=λxM-1AMM-1x=M-1λxBM-1x=M-1λx(A和B的特征值向量不相等)奇異值分解(SVD)A=UΣVT，Σ是縮放因子組成的對角矩陣，V是行空間的正交矩陣，U是列空間的正交矩陣，A可以是任意矩陣ATA=ATUΣVT=VΣTUTUΣVT=VVT，AAT=V是ATA的特征向量矩陣，U是AAT的特征向量矩陣。例：A=ATA=，特征向量是，特征值是32,18AAT=，特征向量是，特征值是32,18A=UΣVT=例：A=總結(jié)：在線性代數(shù)的四個(gè)子空間里選出適宜的基，v1-vr是行空間的標(biāo)準(zhǔn)正交基，u1-ur是列空間的標(biāo)準(zhǔn)正交基，然后用v〔u〕r+1到v(u)n補(bǔ)充完整，v〔u〕r+1到v(u)n是A〔AT〕零空間的標(biāo)準(zhǔn)正交基，解出特征值。線性變換及對應(yīng)矩陣前言：線性變換的概念本身不涉及坐標(biāo)系和坐標(biāo)值，對于我們大多數(shù)人來說，我們需要定量描述線性變換是如何進(jìn)行的，這才引入了坐標(biāo)系和坐標(biāo)值，以及矩陣。線性變換的判斷條件T(v+w)=T(v)+T(w)T(cv)=cT(v)例投影是線性變換原點(diǎn)不動(dòng)的平面平移不是線性變換求向量的長度不是線性變換旋轉(zhuǎn)是線性變換T(X)=AX用矩陣表示線性變換例：，那么假設(shè)T:R3→R2例：T(v)=Av,v是輸入向量，T(v)是輸出向量，那么A是一個(gè)2X3矩陣同時(shí)線性變換多個(gè)向量的情況從二維開始假設(shè)v1v2線性無關(guān)，v在v1v2張成的空間里T(v1),T(v2)T(v)可以得到推廣到多維有類似結(jié)論。只要知道一個(gè)空間的基和它們線性變換后的結(jié)果，那么這個(gè)空間里的任意向量線性變換后的結(jié)果都可以求得。線性變換和矩陣的聯(lián)系坐標(biāo)源自一組基，這組基通常是標(biāo)準(zhǔn)基v=c1v1+c2v2+…cnvn,(c1c2…cn)是它在v