矩陣理論第4章-zyl

第四章矢量空間（vectorspace）2第四章矢量空間空間和子空間4.1四個基本子空間4.2線性獨立4.34.4基和維4.5更多關于秩的內容3經典最小二乘問題4.6線性變換4.7改變基和相似性4.8不變子空間4.944.1空間和子空間空間和子空間19世紀末期，矩陣理論被建立起來以后，人們認識到許多和矩陣非常不同的數學實體實際上是非常相似的，比如二維空間中的點，中的點，多項式，連續(xù)函數，可微函數等都滿足矩陣滿足的加法特性和標量乘法特性。相比于對每個課題進行單獨研究，一次性研究多個topics間的共同特性是更加合理和多產的，這最終導致了矢量空間的公理性的定義。5一個矢量空間包括4種事物（things）---兩個集合V和F，兩種代數運算稱為矢量加法和標量乘法。·V:非空矢量集合---可以是一個n元數組或矩陣的集合;

·F:標量集合---可以是實數集R或者是復數集C;·矢量加法（表示為x+y）是V中元素間的一種運算;

·標量乘法（表示為）是F中元素和V中元素的一種運算。

矢量空間的正式定義規(guī)定了這4種事物間的相互作用關系。本質上，矢量加法和標量乘法必須遵守矩陣運算所具有的同樣特性。4.1空間和子空間6矢量空間定義當矢量加法和標量乘法運算滿足下列特性時，集合V稱為F上的一個矢量空間。

(A1)X+YV，forallX,YV，稱為矢量加法的封閉特性。

(A2)(X+Y)+Z=X+(Y+Z)foreveryX,Y,ZV.

(結合性)(A3)X+Y=Y+XforeveryX,YV.

(交換性)(A4)存在一個0元素使得X+0=X，對每一個XV.

(存在0元素)(A5)對每一個XV，存在一個-XV，使X+(-X)=0.(存在加法逆)(M1)對于所有的，XV，有.(標量乘法的封閉特性)(M2)，對所有，和每個XV.(乘法結合性）(M3)，對每一個所有X,YV.(標量乘法在矢量加上分配)(M4)，對所有和每個XV.(M5)1X=X對每個XV.(乘法單位法)

4.1空間和子空間7例4.1.1由于（A1-A5）是矩陣加法的5個加法特性的推廣，（M1-M5)是標量乘矩陣的乘法特性的推廣因此我們得到以下結論：

·

的實矩陣集合是實數集R上的一個矢量空間。

·

的復矩陣集合是復數C上的一個矢量空間。例4.1.2

實坐標空間

通常用表示一個坐標空間，如果要區(qū)分行或列的話寫成

或,對復數空間類似。4.1空間和子空間8子空間

V是F上的一個矢量空間，S是V的一個非空子集，如果應用同樣的矢量加法和標量乘法運算的定義，S也是F上的一個矢量空間的話，S稱為V的子空間。4.1空間和子空間為了確定一個子集是否也是一個子空間沒有必要檢查所有10個定義，而只需要考慮(A1)和(M1)所表示加法及標量乘法的封閉性。即矢量空間V的一個非空子集S是V的一個子空間的充要條件是:

(A1)和(M1)9

證明：如果S是V的子集，S自動繼承了矢量空間V除(A1)，(A4)，(A5)和(M1)外的所有特性。然而(A1)和(M1)一起可以推出(A4)和(A5)。為了證明這一點，觀察到因此(A5)滿足，由于x和(-x)都在S內，(A1)保證因此(A4)滿足。例4.1.5給定一個矢量空間V，集合是V的一個子空間，稱為平凡子空間(trivialsubspace)。空間上的子空間包括平凡子空間和過原點的直線。空間上的子空間包括平凡子空間，過原點的直線和過原點的平面。因此在可視空間上，子空間的概念具有明顯的解釋是—子空間是通過原點的平滑表面（flatsurfaces）。（為何子空間要過原點？）4.1空間和子空間10Flatness（平滑性）盡管我們不能用眼睛看到高維空間的平滑性，但是我們可以通過子空間的概念設想它。從今以后，一旦你遇到術語“子空間”就把它想成通過原點的光滑面（flatsurfaces）S是矢量空間V中一些矢量構成的集合，集合中矢量的線性組合表示為注意到span(s)是V的一個子空間。（因為滿足封閉特性(A1)和(M1)）.

證明：如果則對任意標量β，4.1空間和子空間11例如：中的矢量u≠0，span(u)是過原點和的直線。如果S={u，v}，u，v是中的非零矢量但不在一條直線上，span(S)是過原點和u，v的平面。我們將看到，中的所有子空間都是張成子空間，因此介紹下面術語。Spanningsets(張成集合)·對于一個矢量集合，子空間是由S中的矢量線性組合形成，稱為S的張成空間。(spacespannedbyS)·如果V是一個矢量空間而且V=span(S)，我們稱S是V的張成集合。換句話說，

S張成V是指V中每個矢量都是S中矢量的一個線性組合。4.1空間和子空間12例4.1.6(i)張成直線y=xin。

(ii)單位矢量集張成。中的單位矢量是的張成集合。(iv)有限集張成degp(x)≤n的多項式空間。無限集張成所有的多項式空間。4.1空間和子空間13例4.1.7問題，對于子空間中的矢量集，令A表示以矢量作為列向量的矩陣，解釋為什么S張成V的充要條件是對任意一個一個相應的列向量x，使得Ax=b（即充要條件是Ax=b對任一b∈V都是相容系統(tǒng)）。

解：根據定義，S張成V的充要條件是對任意b∈V，標量使得4.1空間和子空間14例：

檢驗S={(111),(1-1-1),(311)}是否張成。即foreach

滿足令上式寫成也就是檢驗是否對任一，上述方程Ax=b都有解。(都是相容的)Ax=b相容的充要條件是rank(A)=rank(A|b)。由于rank(A)=2，對某些b，rank(A|b)=3（例如b=(010)），因此S不能張成。4.1空間和子空間15子空間的和如果X和Y是矢量空間V的兩個子空間，X與Y的和定義為來自X的矢量和來自Y的矢量的所有可能的和組成的集合。即X+Y={x+y|x∈X，y∈Y}.

·

X+Y也是V上的一個子空間。

·如果張成X,Y，則張成X+Y。

只證最后一項，假定

因此并且例：，是由通過原點的兩條不同直線構成的子空間，

則。4.1空間和子空間164.2四個基本子空間

4.2四個基本子空間（fourFundmentalSubspaces）子空間和線性函數，令R(f)表示f的值域，即是x在中自由變化時所有像的集合?！っ總€線性函數f：的值域是的一個子空間，并且的每一個子空間都是某一線性函數的值域。由于這一原因的子空間通常稱為線性空間。17RangeSpaces(值域空間)矩陣的值域定義為由f(x)=Ax產生的上的子空間即類似的，

的值域是上的子空間，定義為

由于

A的值域空間中的向量是A的列向量的線性組合。因此R(A)通常稱為A的列空間（columnspaceofA），同理是由的列向量張成，即A的行向量張成，因此稱為A的行空間（rowspaceofA）。4.2四個基本子空間

18列和行空間對于矩陣,下列陳述正確的?！?/p>

的列向量張成的空間（列空間）?！?/p>

的行向量張成的空間（行空間）?！?/p>

對某些x

成立?！?/p>

對某些成立。EqualRanges(值域等價）對于同樣形狀的兩個矩陣A和B

充要條件是

充要條件是4.2四個基本子空間

19例：檢驗張成集合?？臻g中的兩個集合和張成同樣子空間的充要條件是的非零行和的非零行一致，A,B是分別以和作為行向量的矩陣。這是由于在形成行空間時零行不起作用并且充要條件是。問題：確定下面的集合是否張成同樣的子空間。4.2四個基本子空間

20解:將上述矢量分別作為矩陣A,B的行向量

的非零行和的非零行一致，∴span{A1}=span{B1}，實際上張成行空間或列空間不一定需要所有的行或列矢量，可以用更少的行或列矢量。4.2四個基本子空間

21張成行空間和值域令A表示一個m×n矩陣，U表示A化簡得到的行階梯形，行空間和列空間的張成集合如下：

·U中的非零行張成。

·A中的基本列張成。例：確定和的張成集合,4.2四個基本子空間

22解：將A化為行階梯形U，考慮一個一般的線性函數f：，注意到N(f)={x|f(x)=0}（映射到原點的矢量集），N(f)稱為f的零空間也稱為核，N(f)

是中的一個子空間，所以得到和矩陣相聯(lián)系的另外兩個空間。4.2四個基本子空間

23零空間（NullSpace）對一個m×n矩陣A，集合稱為A的零空間，換句話說N(A)就是齊次系統(tǒng)Ax=0的所有解的集合。集合稱為A的左零空間，因為是左手齊次系統(tǒng)的所有解的集合。例4.2.4

確定N(A)的張成集合，解：N(A)就是齊次方程Ax=0的一般解。求出4.2四個基本子空間

24因此是基本變量，是自由變量因此Ax=0的一般解為換句話說，N(A)是矢量所有可能的線性組合，這個例子中N(A)是過原點和兩個點的中的一個平面。4.2四個基本子空間

25張成零空間為了確定N(A)的張成集合，，將A行化簡為行階梯形U。解Ux=0，用自由變量描述基本變量得到Ax=0的一般解。根據定義，集合張成N(A)，而且H是唯一的并不依賴行階梯形U。零零空間（zeronull-space）如果A是一個m×n矩陣，則·充要條件是rank(A)=n；·充要條件是rank(A)=m；4.2四個基本子空間

26Left-Handnullspace（左零空間）如果并且若PA=U，P是一個非奇異陣，U是一個行階梯形。那么P中最后m-r行張成A的左零空間。

即如果式中是(m-r)×m陣，則有例4.2.5確定的張成集合，4.2四個基本子空間

27解：找到一個非奇異矩陣P，使得PA=U，U為行階梯形。如果我們化簡增廣矩陣(A|I)→(U|P)，必有PA=U。我們用高斯約旦法將A化為,如下:4.2四個基本子空間

28相等零空間對兩個同樣形狀的矩陣A和B·的充要條件是?！さ某湟獥l件是。4.2四個基本子空間

29總結（Summary）和相聯(lián)系的4個基本子空間如下：值空間或列空間：行空間或左值空間：零空間：

左零空間：令P表示一個非奇異矩陣使得PA=U,U是行階梯形，并假定rank(A)=r。

的張成集(spanningset)=A中的基本列。

的張成集(spanningset)=U中的非零行（轉置）。的張成集(spanningset)=（Ax=0的）一般解中構成的集合。

的張成集(spanningset)

=P的最后m-r行（轉置）。如果A和B具有相同的形狀，則

4.2四個基本子空間

30練習：確定A的4個基本子空間的張成集合解:注：由于高斯消去結果不唯一，所以本題解不唯一。4.2四個基本子空間

31得到解即，isfree4.2四個基本子空間

324.3線性獨立一個矢量集合被稱為線性獨立集，當齊次方程例：確定下面集合是否線性獨立。唯一解是平凡解時。如果上式至少存在一個非平凡解的話S稱為線性依賴集。換句話說線性獨立集是那些不包含依賴關系的集合；而線性依賴集是那些它的集合中至少有一個矢量是其它矢量的線性組合。我們將認為空集總是線性獨立的。33解：4.3線性獨立是否有非平凡解？34所以存在非平凡解，S是線性依賴集，并且這個例子表明的一個子集是否是線性獨立的和相應子集中矢量構成的矩陣的零空間是否是平凡的是同一個問題，正式陳述如下。線性獨立和矩陣令A表示一個m×n矩陣

·下面陳述等價地說明了A的列向量形成了一個線性獨立集

N(A)={0}

rank(A)=n

·下面的陳述等價地說明了A的行向量形成了一個線性獨立集

N(AT)={0}

rank(A)=m4.3線性獨立354.3線性獨立·當A是一個方陣時，下列陳述等價地說明了A是非奇異的

A的列向量形成一個線性獨立集

A的行向量形成一個線性獨立集例：由不同單位矢量構成的集合是線性獨立集。因為例：對角占優(yōu)，一個矩陣Anxn被稱為對角占優(yōu)的(diagonallydominant)，當foreachi=1,2，…n即：矩陣每一行上對角線元素的幅度大于該行所有非對角元素幅度之和。36solution：假若我們可以證明如果A是對角占優(yōu)矩陣，，就可以說明A是非奇異的。我們采用反證法，假設存在一非零矢量，使成立，并且假設是矢量中幅度最大的分量，考慮的第個元素，，將方程展開，

problem：在1900年，Minkowski發(fā)現所有的對角占優(yōu)矩陣是非奇異的。

即上式兩邊同時取絕對值，并應用三角不等式和對任意j成立：4.3線性獨立37這意味著：

這和A是對角占優(yōu)矩陣相矛盾，因此假定存在一個非零矢量是錯誤的，即得到，因此A是非奇異的。例：VandermodeMatrices式中，（當時），上述矩陣稱為VandermodeMatrix。問題：解釋為什么當時，V中的列向量構成一個線性獨立集。

4.3線性獨立38213解：V中列向量形成一個線性獨立集的充要條件是

如果那么對每個這意味著多項式：有m個不同的根——即?？墒怯捎?，如果是非零多項式的話，那么最多有n-1個不同的特征根。因此(V-1)式成立的充要條件是：foralli，即，所以V的列向量是線性獨立集。4.3線性獨立39213例：給定一個m點的集合，集合中不同，解釋為何存在一個唯一的多項式（度為m-1）

該多項式通過S中的每一個點。解：系數必須滿足下列方程：4.3線性獨立40213將系統(tǒng)寫為該系統(tǒng)系數矩陣是一個方Vandermode矩陣，因此該矩陣是非奇異的，系統(tǒng)具有唯一解，即多項式具有唯一可能的系數集。事實上，必須由下式給出多項式稱為度為m-1的lagrange插值多項式。4.3線性獨立41213如果，則有下列陳述：?A的列向量的任意最大獨立子集正好包含r列。?A的行向量的任意最大獨立子集正好包含r行。?特別地，A中的r個基本列構成A的列向量的最大獨立子集。最大獨立子集獨立性的基本事實對于空間V中的非空矢量集，下列陳述是正確的：?如果S包含一個線性依賴子集，則S本身一定是線性依賴的。?如果S是線性獨立的，那么S的每個子集也是線性獨立的。?如果S是線性獨立的，并且如果，那么擴展集 是線性獨立的充要條件是。?如果，并且如果，則S一定是線性依賴的。4.3線性獨立42213例：令V表示以實數為變量的實值函數構成的矢量空間，令是n-1階可微函數構成的集合，TheWronski矩陣定義為：

問題：如果至少存在一個點，使得是非奇異的，證明S一定是線性獨立集。4.3線性獨立43213解：假定對所有x都成立……（f-1）式當時得到：

這意味著，但是由于是非奇異的，所以，即V=0。因此（f-1）式的唯一解是平凡解，，這保證了S是線性獨立的。4.3線性獨立44213例如，可利用上式證明是線性獨立的。觀察相應Wronski矩陣：該矩陣是一具有非零對角線元素的上三角陣，因此對于每個x值，都是非奇異的，因此P一定是線性獨立集。4.3線性獨立454.4基和維213矢量空間V的一個線性獨立張成集稱為V的基。（一個空間可以有不同的基）

例：

?單位矢量in，是空間的基，并且稱為的標準基。

?如果A是一個非奇異矩陣，A的行矢量構成的集合（A的列矢量集）是的一個基。?對于平凡矢量空間，不存在非空線性獨立張成集。因此我們認為空集是Z的一個基。?集合是度數小于等于n的多項式構成的空間的一個基。?無窮集是所有多項式構成的矢量空間的一個基。

?無線維空間（infinite-dimensionalspaces）是指它的基中包含無窮多個矢量。

?有限維空間（finite-dimensionalspaces）是指具有有限基的空間。4.4基和維（BasisandDimension）基（Basis）本課程主要分析有限維空間（定義在實數或復數上），即分析，和它們的子空間。

4613令V是的一個子空間，并且令。下列陳述是等價的：?

B是V的一個基。?

B是V的一個最小張成集。?

B是V的一個最大線性獨立子集?；奶匦员M管一個矢量空間V具有許多不同的基，但所有的基包含相同數量的矢量。如果分別表示V的基，那么他們都是V的最小張成集，因此它們一定包含相同數量的矢量，基中矢量的數目是非常重要的。4.4基和維47213dimV=numberofvectorsinanybasisforV（V中任意一個基中包含的矢量個數）

=numberofvectorsinanyminimalspanningsetforV（V中任意一個最小張成集中矢量個數）

=numberofvectorsinanymaximalindependentsubsetofV（V中任意最大獨立子集中矢量個數）維數（Dimension）一個矢量空間V的維數定義為：4.4基和維48213例：

?如果是平凡子空間，則

，因為該空間的基是空集。

?如果L是中通過原點的直線，

，因為L的基可以由L上的任意一個非零矢量構成。

?如果P是中過原點的平面，

，因為P的最小張成集必定包含P中的兩個矢量。?

，因為三個單位矢量構成了的一個基。?

，由于中單位矢量集構成了的一個基。4.4基和維49213關于空間維數的解釋：1、空間的維數是該空間stuff（原材料）種類的一種測量。---中的一個平面P比直線L具有更多的“stuff”，但P比整個空間具有更少的“stuff”。中的子空間是過原點的flatsurfaces的推廣，維數的概念使得我們可以按照它們包含原料的多少，對這些光滑表面（子空間）進行區(qū)分。--就如同我們區(qū)分中的直線和平面一樣。2、也可以把維數考慮成自由度（degreesoffreedom）。在平凡空間Z中沒有自由度--你哪都不能去--然而在一條線上有一個自由度--長度；在一個平面上有兩個自由度--長度和寬度；in中，有三個自由度--長度，寬度和高度等等。

另外一個問題是不要混淆空間V的維數和空間V中單個矢量所包含的元素的個數（矢量維數）。比如，P是中過原點的一個平面，矢量，矢量V包含三個元素（3維）。4.4基和維50213對于矢量空間M和N，滿足，下列陳述是正確的：??如果，那么M=N。子空間的維數基本子空間——維數和基對于實矩陣，：?，?，?，?。4.4基和維51213?

A中的基本列形成的基，?

U中的非零行形成的基，?集合H是的基。?

P中最后行形成的基。對于包含復數的矩陣，將上述陳述中以替換，上面陳述依然正確。令P為一非奇異矩陣，且PA=U，U為行階梯形，令H表示出現在的一般解中的hi’s構成的集合。4.4基和維52213?dimR(A)+dimN(A)=nforallmatrices.

粗略的講，它是一種保守定律——即R(A)中原料增加時，N(A)中原料必定減少。RankPlusNullityTheroem(秩加空定理)例：如何將空間中的線性獨立集合擴充成空間的基問題：如果是n維空間V的一個線性獨立子集，，解釋：為何在V中找到一個擴展矢量集使得是V的一個基一定是可能的。解1：意味著，因此一個矢量，但，

擴展集是V中包含個矢量的獨立子集，重復這一過程可以產生獨立子集，最后得到一個最大獨立子集，包含n個矢量。4.4基和維53213解2：解1表明理論上找到擴展矢量是可行的，那么如何計算得到這些擴展矢量呢？令是空間V的任意一個基，將給定的連同作為列向量，一同放在一個矩陣中。顯然，因此A的基本列是V的一個基。觀察到是A中的基本列，因為每一個矢量都不能用前面的矢量線性描述。因此，剩下的個基本列必定是的一個子集。例如。

A中基本列的完全集，即V的一個基，是4.4基和維54213例如，擴展獨立集形成的一個基，添加標準基到S的矢量中。A中的基本列是，因此是包含S的的一個基4.4基和維55213如果X和Y是矢量空間V的子空間，則，DimensionofaSum(和空間的維數)證明：策略是構造X+Y的一個基并計算它包含的矢量的個數。令是的一個基，則，因此一定存在一個擴展矢量集和使得的一個基的一個基從前面的學習知道張成X+Y，我們希望證明B是線性獨立的。4.4基和維56213即希望證明①時，都為0由上式推出由于，因此，因此一定存在標量使得或者，等價的說由于是獨立集，因此所有（和）都為零，①式推出由于也是一個獨立集，因此和也都為零。4.4基和維57213因此①式表示的齊次方程的唯一可能解是平凡解，即B是線性獨立的，由于B是一個獨立張成集，所以它是X+Y的一個基。因此例：證明解：如果，則所以根據定理若M，N是矢量空間且，則，結合上面空間和維數定理得到：

4.4基和維582134.5MoreaboutRank（更多關于秩的內容）由于等價矩陣具有相同的秩，因此如果P和Q是非奇異矩陣使得PAQ有定義的話，則換句話說，乘非奇異矩陣的話秩是不變的；但乘矩形或奇異矩陣是改變秩的，下面的公式給出了改變的多少。RankofaProduct（乘積的秩）如果A是矩陣，B是矩陣，則：4.5更多關于秩的內容59213如果A是矩陣，B是矩陣，可以用下列步驟構造的一個基。?找到的一個基，?令矩陣?找到的一個基?是的一個基。

BasisforanIntersection（交集的基）矩陣乘積秩的邊界如果A是矩陣，B是矩陣，則：??4.5更多關于秩的內容60213證明：乘積的秩不可能超過每個因子的秩。解：由于利用轉置不改變秩所以

下面證明的下限，注意到，利用若空間M，N滿足，則，因此4.5更多關于秩的內容61213對矩陣，下列陳述是正確的：?①?，并且，②?，并且，③對于，轉置運算必須以共軛轉置代替。乘積ATA和AAT證明：首先證明，由于因此①式的另外一半證明可以采用相似的方法得到。4.5更多關于秩的內容62213為了證明②和③，利用，，得到，將和的作用倒過來可以得到②，③式的另外一半證明?？紤]一個系統(tǒng)，，它可能是相容的，也可能是不相容的，將該系統(tǒng)左乘得到系統(tǒng);（normaleqations）我們稱它為系統(tǒng)相關的標準方程，它具有許多有意義的性質。首先，注意到標準方程總是相容的（無論原始系統(tǒng)是否相容）。因為（即右手邊在系統(tǒng)系數矩陣的值域內），因此標準方程總是相容的。4.5更多關于秩的內容空間包含,維數相等,所以空間相等63213

另外，如果恰巧也是相容的，則與具有相同的解集。因為如果P是原始系統(tǒng)的一個特解，，意味著所以P也是標準方程的一個特解，因此的一般解是，標準方程的一般解是。

而且，如果是相容的并且有唯一解，也具有一樣的解。兩個系統(tǒng)相同的唯一解為：這是因為唯一解存在的充要條件是，這是保證了一定是非奇異的。

當不相容時，標準方程表示什么意義?4.5更多關于秩的內容64213?對一個系統(tǒng)，相關的標準方程定義為一個系統(tǒng).?總是相容的，即使不相容。

?當相容時，它的解集和一致；當不相容時，標準方程提供了最小均方解。?具有唯一解的充要條件是rank(A)=n，此時唯一解是?當是相容的，并具有唯一解時，也同樣具有唯一解，兩個系統(tǒng)的唯一解為。標準方程4.5更多關于秩的內容65213矩陣的秩正好是它最大方形非奇異子矩陣的階數。換句話說，如果rank(A)=r，意味著A中至少存在一個非奇異子矩陣，并且沒有更高的非奇異子矩陣。秩和最大非奇異子矩陣SmallPerturbationsCan’tReduceRank（小的干擾不可能減小秩）如果A和E是矩陣，并且E具有充分小幅度的元素，則4.5更多關于秩的內容66213對于 ，下面的陳述是正確的：?rank(A)=和A行等價的任意行階梯形中非零行的數目。?

rank(A)=應用行運算將A化簡成行階梯形時得到的“軸”的數量。?

rank(A)=A中基本列的數量（和A行等價的任意矩陣中基本列數）。?

rank(A)=A中獨立列向量的數量—即A中列向量的最大獨立集尺寸。?

rank(A)=A中獨立行向量的數量—即A中行向量的最大獨立集尺寸。?????中最大非奇異子矩陣的尺寸。對于，將用代替即可。秩的總結（SummaryofRank）4.5更多關于秩的內容674.6經典最小二乘問題在不同領域，都會遇到下述問題：在不同離散時間點上，記錄某一觀測量的值，得到一組數據在此基礎上，我們想估計任意一點時變量的取值。

這是一曲線擬合問題，即找到某一曲線能很好的擬合這些數據點D。因此，我們可以估計時的值為。Classicalleastsquares(經典最小二乘問題)

我們首先考慮直線擬合，這是一種最簡單的情形，一旦理解了直線擬合，曲線擬合就比較容易理解了。┉┉┉┉┉┉┉┉┉┉┉┉┉┉┉┉tb我們要找到的值，使得直線更好的擬合，即使得在每一數據點上的誤差平方和最小。4.6經典最小二乘問題6869213因此，我們的目標是找到的值，使得

根據微分學原理，極值處的導數一般為零。最小。對上面兩式按為未知數重新排列，得到：(1)4.6經典最小二乘問題70213通過設置4.6經典最小二乘問題Vandermodematrices(n<m)71213(1)式可以描述為，即(1)式為與方程Ax=b相聯(lián)系的正規(guī)方程。因為為不同的數，所以rank(A)=2，所以(1)式具有唯一解。最后，注意到誤差總的平方和由下式給出4.6經典最小二乘問題721例一個開業(yè)四年的小公司，每年的銷售額如下（以萬美元計），如果這種趨勢持續(xù)的話，預測將來的銷售額。年1234銷量23273034我們看到銷售額是以線性趨勢增長的。4.6經典最小二乘問題73213解：確定，使它在最小平方意義上最好擬合數據點。如果前面的討論表明x是正規(guī)方程的解，即解上述方程得到，因此f(t)=19.5+3.6t令，估計誤差的平方和4.6經典最小二乘問題74213對于矩陣令。一般的最小平方問題就是尋找矢量x使得下面等式的取值最小。一般的最小平方問題任意可以使得上式取得最小值的矢量x稱為最小平方解（最小二乘解）。?所有最小二乘解構成的解集正好是正規(guī)方程的解集。?具有唯一最小二乘解的充要條件是rank(A)=n，此時解為?如果系統(tǒng)AX=b是相容的，AX=b的解集和最小二乘解相同。4.6經典最小二乘問題75213解：最小二乘曲線擬合問題，找到一個多項式（度數一定）使得它在最小平方意義上盡可能近的通過點集式中是不同的數字，且n≤m213┉┉┉┉┉┉┉┉┉┉┉┉┉┉┉┉4.6經典最小二乘問題76213解：對于上圖中的誤差，目標是使得誤差的平方和最小式中換句話說，最小平方多項式是通過和Ax=b相聯(lián)系的最小二乘解得到。而且由于A是n≤m的Vandermonde矩陣，具有唯一最小平方解，。4.6經典最小二乘問題77213注意：度為m-1的lagrange插值多項式也可以正好擬合這些數據并且它通過每一個點，那么我們?yōu)楹我米钚《朔〝M合呢？

原因之一是在實際工作中，觀察值由于小的誤差或假定通常是不精確的，因此我們擬合的是觀測量的變化趨勢而不是觀測量本身。另外，為了通過數據點，插值多項式通常被迫在數據點之間振蕩。m變得較大時，振蕩也變得很顯著。因此對于估計觀測量的變化趨勢通常是無用的。4.6經典最小二乘問題78213例：從敵軍發(fā)射的一枚火箭，雷達跟蹤設備顯示它的位置如下：假設我們知道火箭按拋物線路徑飛行，問題：預測火箭著地點有多遠。水平距離（miles）02505007501000高度（miles）181519204.6經典最小二乘問題025050075010007923解：設最小二乘意義上擬合的拋物線多項式為估計著陸點，即求的根。

由于橫、縱數據相差較大，首先對數據進行尺度變化，令1個單位是1000miles。如果令，目的是尋找最小二乘解X，使得最小。4.6經典最小二乘問題80213我們知道最小二乘解是正規(guī)方程的解，即得到，最小二乘多項式為：求出的根為：因此，我們估計火箭將飛行2044miles。和最小平方解相關的估計誤差為：4.6經典最小二乘問題81213最小二乘和Lagrange插值的比較，如果用4階Lagrange插值公式來擬合上面的數據，得到：

只有1個非負根，它不能預測火箭著陸點。（可以計算恰好通過每個觀測值）。2134.6經典最小二乘問題824.7線性變換213令U,V表示域F（R，或C）上的矢量空間，?

U到V的一個線性變換定義為一個線性函數T，T將U映射到V上，即

或等價地，對所有成立。?

U上的線性算子定義為U到它本身的線性變換—-即將U映射到U上的一個線性函數。4.7線性變換線性函數和矩陣的聯(lián)系是我們這個題目的中心,將進一步深入分析矩陣,線性函數和矢量空間的關系.線性變換（Lineartransformations）83213例：函數O(x)=0將U空間中的所有矢量都映射到V空間中的零矢量，稱為零變換；I(x)=x將U中的每個矢量映射回本身，稱為U上的單位算子。有限維空間上的線性變換總可以用矩陣描述。矢量坐標令是矢量空間U的一個基，令則

表達式中稱為矢量v關于基B的坐標，從現在開始，表示列矢量

小心：順序是很重要的，如果是B的一個置換，是相應置換。4.7

線性變換84213從現在開始，表示中由單位矢量構成的標準基，如果沒有具體指定其他的基，坐標就是關于標準基的。比如，沒提及其他的基我們理解，因此，8,7,4是矢量V的標準坐標。線性變換和矢量一樣擁有坐標，因為線性變換（從U到V的）也形成一個矢量空間。4.7線性變換85213?對于F上的每一對矢量空間U和V，集合L(U,V)表示所有從U到V的線性變換，L(U,V)是F上的一個矢量空間。?令和分別表示U和V上的基。令表示U到V上的線性變換，，即摘下u的第j個坐標，把它放在上線性變換空間（SpaceofLineartransformation）是L(U，V)的一個基。4.7線性變換86213證明：證明是L(U，V)的一個線性獨立張成集。為了證明線性獨立性，假設，為標量。觀察到對每一個證：對每個k都成立，由于的線性獨立性說明對每個i成立。因此是線性獨立的。4.7線性變換87213

下面看是否張成

，令，確定T在任意矢量上的作用，這對所有的都成立，因此，即張成?，F在說關于的坐標是有意義的了，如證明中描述坐標正好是標量中的標量，或者等價的說

//空間U中的基在空間V中的坐標矩陣//4.7線性變換88213令和分別表示U和V的基。關于的坐標矩陣定義為一個矩陣坐標矩陣描述（CoordinateMatrixrepresentations）

換言之，如果，則

當T是U上的線性算子時，此時只包含一個基，代替表示T關于B的坐標矩陣（一定是方陣）。4.7線性變換89213例：如果P是投影映射，它將點映射到點（P(v)在xy平面上），求關于下列基的坐標矩陣。

解：的第j列是，因此4.7線性變換90213例，和上面同樣的問題，但應用不同的基求4.7線性變換91213解：首先確定關于的坐標，如下：因此，4.7線性變換92213線性代數的中心是認識到有限維線性變換理論本質上是和矩陣理論相同的。基本是基于這樣的事實，一個線性變換T在矢量u上的作用正好是T的坐標和u的坐標之間的乘法。矩陣乘法的作用（ActionasMatrixmultiplication）令，令分別表示U和V的基，對每個，T在u上的作用由它們坐標之間的矩陣乘法給出。4.7線性變換93213證明：令如果則因此，4.7線性變換941換句話說，T(u)關于的坐標是。因此4.7線性變換95213例：用矩陣乘法說明算子在度數小于等于3的多項式空間上的作用。解：微分算子D關于基的坐標，矩陣為如果，則，4.7線性變換算子坐標陣空間中任一矢量96213因此D的作用可以通過矩陣乘法實現。（該例說明了矩陣乘法的作用）4.7線性變換矢量坐標經微分算子作用后的矢量坐標97213?如果，而且分別是U和V的基，則復合函數和矩陣代數之間的關系（ConnectionswithMatrixAlgebra）對任意標量成立。?如果，而且分別是U、V和W的基。

則，而且?如果在某種意義下是可逆的，即對某些成立，那么對U的每個基B4.7線性變換9823證明：令對任意，上式成立，因此（其它幾個可以相似證得）。為了證明，如果，則。例：定義如下：

寫出兩個線性變換TL的組合C=LT，分別應用標準基驗證4.7線性變換主要利用:線性變換對矢量的作用等于變換坐標陣和矢量坐標的乘積即99213解：組合函數C：是一線性變換C,L,T的坐標矩陣是尋找標量使得，并且或等價地，對所有成立。計算表明：4.7線性變換1002我們的討論限定在一個單一的有限維空間V和V上的線性算子上。首先看看當V的基改變時，矢量的坐標是如何變化的?？紤]兩個不同的基，為了方便，我們認為B是V的舊基，是V的新基，本節(jié)T表示線性算子，使得3坐標矩陣描述是依賴基的，然而我們想研究不依賴具體基的線性變換特性，本節(jié)的目的是學習如何挑出坐標矩陣不依賴基的特性。4.8改變基和相似性（ChangeofBasisandsimilarity）T將新基中的矢量映射到舊基B中，所以它稱為變基算子（Changeofbasisoperator）4.8改變基和相似性【1.1高斯消元法】101觀察到：這意味著因此另外，由于我們可以得到因此，矩陣被稱為變基矩陣注意不一定是單位陣，并且現在我們來看一下，當空間的基改變時，空間矢量坐標是如何變化的?4.8改變基和相似性【1.1高斯消元法】102

改變矢量坐標（changevectorcoordinates）令和分別是空間V的基，令T和P分別為相應的變基算子和變基矩陣，即對每個都成立，而且?forall成立;(矢量的新舊坐標之間的關系)?P是非奇異的;?沒有其他的矩陣可以代替P.4.8改變基和相似性103如果我們把看作舊基，作為新基，則變基算子的作用為T(newbasis)=oldbasis；T(新基)=舊基變基矩陣P的作用為newcoordinates=P(oldcoordinates)；新坐標=P（舊坐標）因此T是指從到的變基算子；P是指從到的變基矩陣4.8改變基和相似性104例：對于度數小于等于2的多項式空間P2,確定從到的變基矩陣，然后找到多項式相應于的坐標解：到的變基矩陣本例中4.8改變基和相似性105因此關于的坐標是當所研究的空間的基改變時，現在描述相應空間線性算子的坐標矩陣的變化就相對容易了。4.8改變基和相似性106

改變矩陣坐標（changematrixcoordinates）令A是上的一個線性算子，和是上的兩個基。坐標矩陣和敘述如下：，式中是從到的變基矩陣等價地，,式中是從到的變基矩陣證明：令4.8改變基和相似性算子在新舊基下坐標陣的關系107應用和坐標變換規(guī)則得到因此對每個成立，因此由于變基矩陣P是非奇異的，所以上式可以推出令是從到的變基矩陣，因為如果T是從到的變基算子（即）4.8改變基和相似性108則是從到的變基算子（即），從到的變基矩陣是我們可以得到例：考慮線性算子，在空間上，兩個相應的基為和首先計算坐標矩陣和從到的變基矩陣,然后使用這兩個矩陣確定4.8改變基和相似性109解：因此到的變基矩陣所以注意到是對角陣，而不是，這表明標準基對于提供一個最簡單的矩陣描述來說并不總是最好的選擇。

4.8改變基和相似性110尋找一個基使得相應的坐標矩陣盡可能簡單是矩陣理論的基本問題之一，該問題后面還要講到。例：通過定義(矩陣—矢量乘法），矩陣是的一個線性算子。如果是的標準基，是的另外一個基，描述和

4.8改變基和相似性111解：的第列所以對的坐標矩陣是它本身結論：矩陣和是相同線性算子（即）對不同基的坐標矩陣。因此，在考慮（作為線性算子）特性時用代替是合理的。4.8改變基和相似性112當的結構使得它的算子特性很難分析時，尋找一個基或等價的一個非奇異矩陣Q，使得具有簡單的結構，這是矩陣理論和線性代數研究的一個重要主題。

4.8改變基和相似性113對于一個線性算子A，由和的關系引出下列定義：相似性(Similarity)?當存在一個非奇異矩陣使得時，矩陣和被稱為相似矩陣，我們用來表示和相似;?線性算子定義為稱為相似變換;前面的研究表明一個給定的算子的任意兩個坐標矩陣一定是相似的。但是兩個相似矩陣一定表示同一個線性算子嗎？答案是肯定的，下面我們解釋原因4.8改變基和相似性114假定,令是由矩陣—矢量乘法來表示的線性算子。如果是標準基,容易看出,如果是由Q的列向量構成的基，則

因此,,因此和都是的坐標矩陣描述。換言之，相似矩陣代表相同的線性算子4.8改變基和相似性115

如同本節(jié)開頭所言，我們的目標是研究線性算子不依賴坐標的特性。它們是那些挑選出的不依賴基的坐標矩陣的特性，但是通過本節(jié)的研究發(fā)現:一個給定算子的所有坐標矩陣一定是相似的，因此不依賴坐標的特性恰好是相似不變性（similarityinvariant）（相似變換下的不變性），自然地，確定和研究相似不變性是矩陣理論和線性代數的重要部分。例：方陣的跡定義為對角線元素之和4.8改變基和相似性116說明跡是相似不變的，并解釋為何說一個線性算子的跡不和任何基相聯(lián)系是有意義的。然后確定定義在上的線性算子的跡。解：根據當乘積有定義時成立.因此跡是相似不變的。這使得我們在談論線性算子的跡時不針對具體的基.4.8改變基和相似性117針對該例顯然,所以我們說4.8改變基和相似性1184.9不變子空間（invariantsubspaces）對于矢量空間上的一個線性算子,和是在線性變換T的作用下，X中矢量所有可能的像集，注意，當X是V的一個子空間時，也是的一個子空間，但通常和無關。然而，在某些特殊的情況下，這是本節(jié)要關注的焦點。4.9不變子空間119不變子空間

對于一個上的線性算子T，一個子空間，在T的作用下滿足時，被稱為一個不變子空間。?在這種情況下，T可以被認為是上的線性算子也不必考慮，并且約束T只作用在的矢量上，因此，這種約束算子表示為（restrictedoperator）。

?4.9不變子空間120例：對于,和

說明由張成的子空間X在A的作用下是不變子空間并描述約束算子，確定相對于B的坐標矩陣解：觀察到,,對任意由于

4.9不變子空間121

,因此在的作用下是不變子空間。

，對

每一個成立。由于，因此得到4.9不變子空間122由于可以簡化線性算子T的坐標矩陣描述，所以T的不變子空間是很重要的。為了理解原因，假定X是T作用下的一個不變子空間，令是X的一個基，并且它是整個空間的基B的一部分回顧坐標矩陣的定義，計算4.9不變子空間123由于，只需用B中的前r個矢量就可以描述每個4.9不變子空間124空間在T的作用下可能不是不變子空，因此描述需要中所有的矢量，4.9不變子空間125在（4.9.1）中應用（4.9.2）和（4.