線性代數(shù)與向量微積分講義

線性代數(shù)與向量微積分.向量與空間什么是向量向量：具有大小和方向的量向量a隆|向量的模向量運(yùn)算(Norm2(Norm2)(1<p<n)+：a+b=c―?——：c一a=bx：|aIIcI?cos。=:方向相同，模相等向量沒有除法。為什么沒有除法？內(nèi)積施數(shù)/夾角范數(shù)：向量的二范數(shù)：||x||=Jx；+X；+???+X2|x+||y歸|區(qū)+y。三角不等式ixi=1單位向量向量的一范數(shù)：|岡1=國+網(wǎng)|+匕向量的無窮范數(shù)：IXII二max.向量的P范數(shù)：(x|=(|X|p+|x|p+|x|p)夾角:

0=arccos[X,y]IHUyll正交向量：［亍,刃=0，則X,y正交，0與任何向量都正交正交向量組：兩兩正交的向量組。內(nèi)積：—一ynX,y=工Xyi=1運(yùn)算：[X,y]=[y,X] X?y=1xI-IyI-coso[九X,y]=X[X,y][x+y,z]=[x,z]+[y,z]定理：[X,X]加；當(dāng)且僅當(dāng)X中0,[X,X]>0；[X,y]2s[X?X][y?y]2.從向量空間到矩陣向量組，向量空間向量:aa2a12a向量:aa2a12a22??????anananA=1a11a21aa???an1n2nnC,da,b,一行向量組I列向量組①線性組合:a,a,a,…,a對于任意的實(shí)數(shù)k,k,…,k，向量ka+ka+…+ka①線性組合:稱為向量組的一個(gè)線性組合。②線性表示：b，存在k,k2,…,km，使b=￡k",b能被A線性表示。=1③線性相關(guān)：存在不全為零的數(shù)k/k2,…,km,使得Zk'=,稱A線性相關(guān)，否i=1則線性無關(guān)。即當(dāng)且僅當(dāng)k.全為0時(shí)，Zk,j=0成立。i=12.2向量空間與基定義1：V為n維向量的集合，如果集合V非空，且集合V對加法及數(shù)乘兩種運(yùn)算封閉，那么稱集合V為向量空間。①aeV，心V，(a+p)GV②aeV，MeV定義2：子空間：V1，V2為向量空間，若V￡匕，則V1是V2的子空間。定義3：V是向量空間，如果r個(gè)向量外%?,areV且a1,%，…ar線性無關(guān)v中任一向量可由a,a，…a線性表示1 2r那么稱%,a2,…ar為V的一組基，r稱為向量空間V的維數(shù)，即r維向量空間。2.3歐氏空間V是實(shí)數(shù)域上的線性空間，對于V中任意兩個(gè)向量a，P，定義一個(gè)二元實(shí)函數(shù)，記為(a，P)，滿足若(a，P)，Da，P，yeV，VkeR，①(a,P)=(P,a)對稱性②(ka,P)=k(a,P)數(shù)乘③(a+P,y)=(a,y)+(P,y)可加性④(a,a)N0。當(dāng)且僅當(dāng)a=0，(a,a)=0正交性稱(a，P)為內(nèi)積運(yùn)算，并稱定義了這種內(nèi)積的實(shí)數(shù)域R上的線性空間V為歐氏空間。3.矩陣3.1矩陣的運(yùn)算(+，—，x，數(shù)乘)det.T.-1.矩陣的相似，特征值，特征向量1、A+B AxB(不滿足交換律)A—b At (AB)t=BtAt(轉(zhuǎn)置)A-1B=A\B(左除)3/8AB-1=A/B（右除）2、逆矩陣（方陣才有逆矩陣）。AA-1=1（則A為滿秩），則稱A-1為A的逆矩陣。'OACB'oeDB+'cdB^eDED'AEDC=ab-ab矩陣的軼最大線性無關(guān)組（向量組）A：a,i=1,2,…m，如果，方，滿足i①a,i=1,2,…r，線性無關(guān)i②任意r+1個(gè)向量都線性相關(guān)則稱向量組a…日是向量組A的一個(gè)最大線性無關(guān)組，包含的向量個(gè)數(shù)稱1r為向量組A的軼，記為Ra矩陣的軼等于行向量組的軼，也等于列向量組的軼。（三秩和一）特征值（向量）定義：設(shè)A是n階矩陣，若存在數(shù)入和非零向量無，使Ax=X亍，成立，則稱數(shù)九為A的特征值。并稱X為矩陣A的屬于特征值九的特征向量。特征向量的物理意義：如果將矩陣A視為一個(gè)線性變換，線性變換作用在向量X上相當(dāng)于對向量X進(jìn)行了線性拉伸。特征向量的應(yīng)用：PCA中主成分方向就是協(xié)方差矩陣的特征向量的方向。參^^EigenproblemsinPatternRecognition》。相似矩陣定義：設(shè)A、B是n階方陣，若存在n階可逆矩陣P,使得P-1AP=B，則稱A與B相似，B稱為A相似矩陣。例：A有n個(gè)特征向量P?P2，…，Pn。則AP=PA

「九001九取A」000…九L n」???P-1AP=A,A與A相似矩陣逆的物理意義基變換與坐標(biāo)變換，R3為例a1,a2,a3為一組基，%b2,b3為一組新基（b1,b2,b3）=（a1,a2,a3）p,P=A-1B（舊基到新基）2）坐標(biāo)變換舊基為（X，y2,y3舊基為（X，y2,y3）新基為（z〃"2八」zzz23」zzz23」二B-1Az2，z3），則y1]y2P-1nAx=b/OAx=O齊次Ax=bnAx=b/OAx=O齊次Ax=b非齊次方程組線性方程組的物理意義ax+ax—\-ax=b,0111 122 InnAx=O的解空間Rs=n—rR(A)=r<n 方程組有一個(gè)含n—r個(gè)向量的基礎(chǔ)解系S1，S2，S”一x=2夕為方程組的解。ki引申：子空間方法的物理意義4.向量微積分Jacobian矩陣y=(P(x)y是mxl維矩陣x是nxl維矩陣4-1[4-

駕axM雪ax=空axMSy m-dx4-1[4-

駕axM雪ax=空axMSy m-dxy=￡wxxi ik1k=l即「入mxlmxnnxlnxm6/8向量微積分常見形式空dxAx AtxtA Axtx 2xXtAx Ax+Atxy=xtAx如果A是對稱矩陣則空=2Axdx形如xtAx，可用復(fù)合函數(shù)求導(dǎo)證明求得y'=Ax+Atx應(yīng)用：ridgeregression嶺回歸loss=￡(yiii=1j=1P=argmin||y-xf||2+九|帆22 2L=(y-xp)T(y-xp)+九|腳j(PeRp,xeRn義p,yeRn)al一一 一一—=0t-2xT(y-xP)+2'P=0ap半正定矩陣xtAxN0，則A為半正定(xtx+九)P=XTyP=(xtx+九)-iXTy?一? al求導(dǎo)過程：ap=yTy-PTXTy+PtxtxP-xPyT+九PTP1—XTy+2xTxP-XTy+2九P-2xr(y-xP)+