數(shù)值分析第三章解線性方程組的迭代法

1、1第三章第三章 解線性方程組的迭代法解線性方程組的迭代法 Jacobi迭代法迭代法 Gauss-Seidel迭代法迭代法 迭代法的收斂條件迭代法的收斂條件(充要條件充要條件, 充分條件充分條件)bAx 求求 迭代法概述迭代法概述23.1 迭代法概述迭代法概述 gMxxbAx 等價(jià)線性方程組等價(jià)線性方程組取初始向量取初始向量 x(0) Rn, 構(gòu)造如下構(gòu)造如下單步定常線性單步定常線性迭代迭代公式公式), 2, 1, 0()()1( kgMxxkk以此來(lái)產(chǎn)生近似向量序列以此來(lái)產(chǎn)生近似向量序列 x(1), x(2), .當(dāng)當(dāng)k充分大時(shí)充分大時(shí), .*)(xxk 基本思想基本思想等價(jià)變形等價(jià)變形如何做

2、如何做收斂性條件收斂性條件M: 迭代矩陣迭代矩陣30|lim)( xxkk0|lim)( AAkkxxkk )(limAAkk )(lim定義定義 對(duì)于對(duì)于Rn中的向量序列中的向量序列 x(k), 如果如果則稱(chēng)則稱(chēng)向量序列向量序列x(k)收斂于收斂于 Rn中的向量中的向量 x.定義定義對(duì)于對(duì)于n階方陣序列階方陣序列 A(k), 如果如果則稱(chēng)則稱(chēng)方陣序列方陣序列A(k)收斂于收斂于n階方陣階方陣A. 上面兩式通常表示成上面兩式通常表示成 向量序列與矩陣序列的收斂概念向量序列與矩陣序列的收斂概念4）（njxxjkjk,.,2 , 1,lim)( ),.,2 , 1,lim)(njiaaijkijk

3、 （定理定理 Rn中的向量序列中的向量序列x(k)收斂于收斂于Rn中的向中的向量量x的充分必要條件是的充分必要條件是其中其中xj(k)和和 xj分別表示分別表示 x(k)和和 x中的第中的第 j個(gè)分量個(gè)分量.定理定理 n階方陣序列階方陣序列A(k)收斂于收斂于n階方陣階方陣A的充的充分必要條件是分必要條件是 向量序列與矩陣序列收斂的充分必要條件向量序列與矩陣序列收斂的充分必要條件 向量序列和矩陣序列的收斂可歸結(jié)為對(duì)應(yīng)分向量序列和矩陣序列的收斂可歸結(jié)為對(duì)應(yīng)分量或?qū)?yīng)元素序列的收斂性量或?qū)?yīng)元素序列的收斂性.5 若由迭代公式若由迭代公式gMxxkk )()1(產(chǎn)生的向量序列產(chǎn)生的向量序列 x(k)

4、 收斂于向量收斂于向量 x, 則則gMxxgMxxkkkk )()1(limlim即向量即向量 x 是是 方程方程 Ax=b 的解的解. 單步定常線性迭代法產(chǎn)生的向量序列若收斂則單步定常線性迭代法產(chǎn)生的向量序列若收斂則必收斂到原線性方程組的解必收斂到原線性方程組的解.6 4444343242141343433323213124243232221211414313212111bxaxaxaxabxaxaxaxabxaxaxaxabxaxaxaxa n=4的的Jacobi迭代法迭代法把方程組改寫(xiě)成如下等價(jià)形式把方程組改寫(xiě)成如下等價(jià)形式 4434324214144334342321313322424

5、323121221141431321211/ )(/ )(/ )(/ )(axaxaxabxaxaxaxabxaxaxaxabxaxaxaxabxbAx gMxx 3.2 幾種基本的迭代法幾種基本的迭代法7 44)(343)(242)(1414)1(433)(434)(232)(1313)1(322)(424)(323)(1212)1(211)(414)(313)(2121)1(1/ )(/ )(/ )(/ )(axaxaxabxaxaxaxabxaxaxaxabxaxaxaxabxkkkkkkkkkkkkkkkk n=4的的Jacobi迭代法計(jì)算公式迭代法計(jì)算公式, 2 , 1 , 0 k已

6、知已知 用上述迭代公式可算得用上述迭代公式可算得 )0(4)0(3)0(2)0(1)0(xxxxx )(4)(3)(2)(1)(kkkkkxxxxx, 2 , 1 k8 n=4的的Jacobi迭代法迭代法矩陣表示矩陣表示 0 00 0444344424441333433323331222422232221111411131112 aaaaaaaaaaaaaaaaaaaaaaaaM )()1(gMxxkk 444333222111ababababg9 Jacobi迭代法迭代法,1)1(1)1(11ininiiiiiiiiiibxaxaxaxaxa ,1)1(1)1(11ininiiiiiiiii

7、ibxaxaxaxaxa ,1)1(1)1(11iiiniiiniiiiiiiiiiiiiiabxaaxaaxaaxaax (k)(k)(k)(k)(k+1), 2 , 1(ni Tknkkkxxxx)()(2)(1)(, 10 設(shè)設(shè)D為由為由A的對(duì)角線元素構(gòu)成的對(duì)角矩陣的對(duì)角線元素構(gòu)成的對(duì)角矩陣Jacobi迭代公式迭代公式bDxADIxbxADDxbAx11)()( bDxADIxkk1)(1)1()( Jacobi迭代法的矩陣表示迭代法的矩陣表示 迭代矩陣迭代矩陣ADIM1 11例例 用用Jacobi迭代法求解線性方程組迭代法求解線性方程組 4258321072210321321321xx

8、xxxxxxx解解 將方程組改寫(xiě)成如下等價(jià)形式將方程組改寫(xiě)成如下等價(jià)形式 4 . 82 . 02 . 03 . 82 . 01 . 02 . 72 . 01 . 0213312321xxxxxxxxx12Jacobi迭代法計(jì)算公式為迭代法計(jì)算公式為 4 . 82 . 02 . 03 . 82 . 01 . 02 . 72 . 01 . 0)(2)(1)1(3)(3)(1)1(2)(3)(2)1(1kkkkkkkkkxxxxxxxxx假設(shè)初始向量取假設(shè)初始向量取 x(0)=(0, 0, 0)T.第一次迭代第一次迭代Tx)4 . 8, 3 . 8, 2 . 7()1( 第二次迭代第二次迭代71.

9、92 . 74 . 82 . 03 . 81 . 0)2(1 x7 .103 . 84 . 82 . 02 . 71 . 0)2(2 x50.114 . 83 . 82 . 02 . 72 . 0)2(3 x13 實(shí)際計(jì)算時(shí)，迭代法中止條件實(shí)際計(jì)算時(shí)，迭代法中止條件 |max|max)()1(11kikiniinixxx其中其中 為給定的要求精度為給定的要求精度.14 n=4的的Gauss-Seidel迭代法迭代法把方程組改寫(xiě)成如下等價(jià)形式把方程組改寫(xiě)成如下等價(jià)形式 4434324214144334342321313322424323121221141431321211/ )(/ )(/ )(

10、/ )(axaxaxabxaxaxaxabxaxaxaxabxaxaxaxabxbAx )(k)(k)(k)(k)(k)(k)1( k)1( k)1( k)1( k)1( k)1( k)1( k)1( k)1( k)1( k1511)(414)(313)(2121)1(1/ )(axaxaxabxkkkk 22)(424)(323)1(1212)1(2/ )(axaxaxabxkkkk 33)(434)1(232)1(1313)1(3/ )(axaxaxabxkkkk 44)1(343)1(242)1(1414)1(4/ )(axaxaxabxkkkk n=4的的Gauss-Seidel迭代法

11、迭代法16 Gauss-Seidel迭代法迭代法,1)1(1)1(11ininiiiiiiiiiibxaxaxaxaxa ,1)1(1)1(11ininiiiiiiiiiibxaxaxaxaxa ,1)1(1)1(11iiiniiiniiiiiiiiiiiiiiabxaaxaaxaaxaax (k)(k)(k+1)(k+1)(k+1), 2 , 1(ni 17在迭代的每一步設(shè)定計(jì)算順序在迭代的每一步設(shè)定計(jì)算順序并且，在計(jì)算迭代值并且，在計(jì)算迭代值 充分利用它前面的新信息充分利用它前面的新信息這樣設(shè)計(jì)出來(lái)的迭代公式這樣設(shè)計(jì)出來(lái)的迭代公式稱(chēng)為稱(chēng)為高斯高斯塞德?tīng)柕饺聽(tīng)柕?)1()1(2

12、)1(1 knkkxxx)1( kix)1(1)1(2)1(1, kikkxxxni, 2 , 1 ,11)(11)1()1( nijkjijijkjijiiikixaxabax Gauss-Seidel迭代法迭代法18 Gauss-Seidel迭代法的矩陣表示迭代法的矩陣表示 設(shè)將系數(shù)矩陣設(shè)將系數(shù)矩陣A 分裂為分裂為,UDLA 其中其中D為對(duì)角陣為對(duì)角陣, L 和和U分別為嚴(yán)格下三角和嚴(yán)格上三分別為嚴(yán)格下三角和嚴(yán)格上三角陣角陣.bLDUxLDxkk1)(1)1()()( gMxbLDUxLDxbUxxLD b U)xDL(Ax 11)()()(U LDM1)( 迭代矩陣迭代矩陣GaussSe

13、idel迭代公式迭代公式19例例 用用Gauss-Seidel迭代法求解線性方程組迭代法求解線性方程組 4258321072210321321321xxxxxxxxx解解 將方程組改寫(xiě)成如下等價(jià)形式將方程組改寫(xiě)成如下等價(jià)形式 4 . 82 . 02 . 03 . 82 . 01 . 02 . 72 . 01 . 0213312321xxxxxxxxx20Gauss-Seidel迭代法計(jì)算公式為迭代法計(jì)算公式為 4 . 82 . 02 . 03 . 82 . 01 . 02 . 72 . 01 . 0)1(2)1(1)1(3)(3)1(1)1(2)(3)(2)1(1kkkkkkkkkxxxxxx

14、xxx假設(shè)初始向量取假設(shè)初始向量取 x(0)=(0, 0, 0)T.第一次迭代第一次迭代2 . 7)1(1 x02. 93 . 82 . 71 . 0)1(2 x644.114 . 802. 92 . 02 . 72 . 0)2(3 x21第二次迭代第二次迭代4308.102 . 7644.112 . 002. 91 . 0)2(1 x6719.113 . 8644.112 . 04308.101 . 0)2(2 x8205.124 . 86719.112 . 04308.102 . 0)2(3 xGauss-Seidel迭代法計(jì)算公式為迭代法計(jì)算公式為 4 . 82 . 02 . 03 .

15、82 . 01 . 02 . 72 . 01 . 0)1(2)1(1)1(3)(3)1(1)1(2)(3)(2)1(1kkkkkkkkkxxxxxxxxx假設(shè)初始向量取假設(shè)初始向量取 x(0)=(0, 0, 0)T.22 Jacobi迭代法：迭代法： )1()1(2)1(1)(knkkkxxxx已知已知x(k+1)分量的計(jì)算可以分量的計(jì)算可以同同時(shí)時(shí)進(jìn)行進(jìn)行, 無(wú)先后次序無(wú)先后次序 Gauss-Seidel迭代法：迭代法：)1()1()1(2)1(1)( kxknkkkxxxx已知已知x(k+1)分量的計(jì)算有分量的計(jì)算有先后次序先后次序, 必須先計(jì)算必須先計(jì)算x(k+1)前前面的分量然后再計(jì)算

16、下一分量面的分量然后再計(jì)算下一分量.23 Jacobi迭代法與迭代法與Gauss-Seidel迭代法的計(jì)算效果迭代法的計(jì)算效果哪一種更好哪一種更好? 前例計(jì)算結(jié)果表明前例計(jì)算結(jié)果表明, 用用Gauss-Seidel迭代法比用迭代法比用Jacobi迭代法效果好迭代法效果好. 但對(duì)一般情形但對(duì)一般情形, 有些問(wèn)題有些問(wèn)題Gauss-Seidel迭代法確迭代法確實(shí)比實(shí)比Jacobi迭代法收斂得快迭代法收斂得快, 但也有但也有Gauss-Seidel迭迭代法比代法比Jacobi迭代法收斂得慢迭代法收斂得慢, 甚至還有甚至還有Jacobi迭迭代法收斂代法收斂, 但但Gauss-Seidel迭代法發(fā)散的情

17、形迭代法發(fā)散的情形.243.3 迭代法的收斂條件迭代法的收斂條件|max)(1iniA 定義定義(譜半徑譜半徑) 設(shè)設(shè)n階方陣階方陣A的特征值為的特征值為 i (i=1,2,n), 則稱(chēng)則稱(chēng)為矩陣為矩陣A的的譜半徑譜半徑. Ak 的特征值為的特征值為knkk ,21故故 kkinikinikAA)(|max|max)(11 25|)(AA iiiuAu 矩陣范數(shù)和譜半徑有如下關(guān)系矩陣范數(shù)和譜半徑有如下關(guān)系設(shè)設(shè)A的任一特征值為的任一特征值為 i , 對(duì)應(yīng)的特征向量為對(duì)應(yīng)的特征向量為ui , 則則|iiiiiiuAAuuu |Ai 由由 的任意性可知結(jié)論成立的任意性可知結(jié)論成立. 矩陣矩陣A的譜半

18、徑不超過(guò)它的任何一種由向量范數(shù)的譜半徑不超過(guò)它的任何一種由向量范數(shù)誘導(dǎo)出的范數(shù)，即誘導(dǎo)出的范數(shù)，即|A|是是A的特征值的上界的特征值的上界.證證故故從而從而26)()(|)1max2AAAAATT )(|)22AAA 為為對(duì)對(duì)稱(chēng)稱(chēng)矩矩陣陣，則則若若 設(shè)設(shè)A為為n階方陣階方陣, 則則 由于由于2-范數(shù)具有上面的關(guān)系式范數(shù)具有上面的關(guān)系式, 所以稱(chēng)所以稱(chēng) |A|2 為為譜范數(shù)譜范數(shù).27,.,.,2kAAAI0lim kkA1)( A 定理定理 設(shè)設(shè)A是任意是任意n階方陣階方陣, 由由A的各次冪所組成的的各次冪所組成的矩陣序列矩陣序列收斂于零矩陣收斂于零矩陣, 即即的充分必要條件是的充分必要條件是

19、28定理定理 對(duì)任何初始向量對(duì)任何初始向量 x(0)和右端項(xiàng)和右端項(xiàng)g, 由迭代公式由迭代公式 x(k+1) =Mx(k)+g (k=0, 1, 2, )產(chǎn)生的向量序列產(chǎn)生的向量序列x(k)收斂的充分必要條件是收斂的充分必要條件是 (M)1其中其中 (M)是是迭代迭代矩陣矩陣M的譜半徑的譜半徑. 迭代法收斂的充分必要條件迭代法收斂的充分必要條件 迭代法的收斂性只與迭代法的收斂性只與迭代矩陣的譜半徑迭代矩陣的譜半徑有關(guān)有關(guān), 而而迭代矩陣是由迭代矩陣是由A演變來(lái)的演變來(lái)的, 因此迭代法是否收斂只與因此迭代法是否收斂只與系數(shù)矩陣系數(shù)矩陣A以及演變的方式有關(guān)以及演變的方式有關(guān), 與常數(shù)項(xiàng)和初始向與常

20、數(shù)項(xiàng)和初始向量的選擇無(wú)關(guān)量的選擇無(wú)關(guān).29證明證明 必要性必要性. 設(shè)序列設(shè)序列x(k)收斂于收斂于 x*, 則有則有 迭代法收斂的充分必要條件迭代法收斂的充分必要條件 )0()()1(,xgMxxkk任意任意收斂收斂. 1)( M *)0()2(2)1()1()(xxMxxMxxMgMxgMxxxkkkkk 故故gMxx *0lim, 0*)(lim)( kkkkMxx必必須須由于由于x(0)為任意為任意n維向量維向量,即即. 1)( M 30 迭代法收斂的充分必要條件迭代法收斂的充分必要條件 )0()()1(,xgMxxkk任意任意收斂收斂. 1)( M 充分性充分性. 若若 (M)1,

21、則則 =1不是不是M的特征值的特征值, 故故0)det( MI方程方程 (IM)x=g有唯一解有唯一解, 記為記為x*, 即即gMxx *又又 *)0()(xxMxxkk 且且0lim kkM. 0*)(lim*)(lim)0()( xxMxxkkkk故對(duì)任意初始向量故對(duì)任意初始向量x(0), 均有均有證明證明31推論推論1 若迭代矩陣若迭代矩陣M滿(mǎn)足滿(mǎn)足|M|1, 則下列迭代公則下列迭代公式對(duì)任意初始向量式對(duì)任意初始向量x(0)收斂收斂 gMxxkk )()1(32例例 解方程組解方程組 3222122321321321xxxxxxxxx討論討論Jacobi迭代法與迭代法與Gauss-Sei

22、del迭代法的收斂性迭代法的收斂性.解解迭代法是否收斂等價(jià)于迭代矩陣的譜半徑是否小迭代法是否收斂等價(jià)于迭代矩陣的譜半徑是否小于于1，故先求迭代矩陣，故先求迭代矩陣33 Jacobi迭代法的迭代矩陣為迭代法的迭代矩陣為 0221012201ADIB其特征方程為其特征方程為 221122| BI03 特征值特征值, 0321 譜半徑譜半徑10)( M 故故Jacobi迭代法迭代法收斂收斂.34 Gauss-Seidel迭代法的迭代矩陣為迭代法的迭代矩陣為ULDM1)( ,122011001)( LD,120011001)(1 LD 000100220120011001)(1ULDM,2003202

23、20 35其特征方程為其特征方程為20032022| MI0)2(2 特征值特征值, 2, 0321 譜半徑譜半徑12)( M 故故Gauss-Seidel迭代法迭代法發(fā)散發(fā)散.36 一般來(lái)說(shuō)一般來(lái)說(shuō), 計(jì)算矩陣的譜半徑比較困難計(jì)算矩陣的譜半徑比較困難, 故用迭故用迭代法收斂的充分必要條件來(lái)判斷迭代法是否收斂往代法收斂的充分必要條件來(lái)判斷迭代法是否收斂往往不太容易往不太容易, 以下介紹用其他方法判別迭代法收斂以下介紹用其他方法判別迭代法收斂的的充分條件充分條件.37定義定義(嚴(yán)格對(duì)角占優(yōu)陣嚴(yán)格對(duì)角占優(yōu)陣) 稱(chēng)稱(chēng)n 階方陣階方陣 是是嚴(yán)格對(duì)角占優(yōu)嚴(yán)格對(duì)角占優(yōu)的，如果其主對(duì)角線元素的絕對(duì)值大的，如

24、果其主對(duì)角線元素的絕對(duì)值大于同行其它元素絕對(duì)值之和：于同行其它元素絕對(duì)值之和：nijaA)( ni, 2 , 1 |, 1iinijjijaa 若線性方程組的系數(shù)矩陣為嚴(yán)格對(duì)角占優(yōu)陣，則稱(chēng)若線性方程組的系數(shù)矩陣為嚴(yán)格對(duì)角占優(yōu)陣，則稱(chēng)這個(gè)線性方程組為這個(gè)線性方程組為嚴(yán)格對(duì)角占優(yōu)方程組嚴(yán)格對(duì)角占優(yōu)方程組. 932331261521013218A 93233126152613218B 38 迭代法收斂的充分條件迭代法收斂的充分條件定理定理 若若A為為嚴(yán)格對(duì)角占優(yōu)陣嚴(yán)格對(duì)角占優(yōu)陣, 則求解則求解Ax=b 的的Jacobi迭代法和迭代法和Gauss-Seidel迭代法均收斂迭代法均收斂.定理定理 若若A

25、為為對(duì)稱(chēng)正定陣對(duì)稱(chēng)正定陣, 則則求解求解Ax=b的的Gauss-Seidel迭代法收斂迭代法收斂.39例例 方程組方程組Ax=b的系數(shù)矩陣為的系數(shù)矩陣為 51121012110A嚴(yán)格對(duì)角占優(yōu)陣嚴(yán)格對(duì)角占優(yōu)陣.故故Jacobi迭代法與迭代法與Gauss-Sidel迭代法均收斂迭代法均收斂.40例例 方程組方程組Ax=b的系數(shù)矩陣為的系數(shù)矩陣為 49103A非對(duì)角占優(yōu)陣非對(duì)角占優(yōu)陣交換交換兩個(gè)方程的次序，得原方程組的同解方程組兩個(gè)方程的次序，得原方程組的同解方程組 122110349bbxx 它是一個(gè)嚴(yán)格對(duì)角占優(yōu)方程組，對(duì)此方程組它是一個(gè)嚴(yán)格對(duì)角占優(yōu)方程組，對(duì)此方程組Jacobi迭代法和迭代法和G

26、auss-Seidel迭代法均收斂迭代法均收斂. 當(dāng)所給的方程組不滿(mǎn)足迭代法的收斂條件時(shí)當(dāng)所給的方程組不滿(mǎn)足迭代法的收斂條件時(shí), 適適當(dāng)調(diào)整方程組中方程的次序當(dāng)調(diào)整方程組中方程的次序, 有時(shí)可得到滿(mǎn)足迭代法有時(shí)可得到滿(mǎn)足迭代法收斂條件的同解方程組收斂條件的同解方程組.41例例 方程組方程組Ax=b的系數(shù)矩陣為的系數(shù)矩陣為 210121012A但但A為對(duì)稱(chēng)正定矩陣為對(duì)稱(chēng)正定矩陣, Gauss-Seidel迭代迭代法收斂法收斂.要判別要判別Jacobi迭代法是否收斂迭代法是否收斂, 需要計(jì)算其迭代需要計(jì)算其迭代矩陣的譜半徑矩陣的譜半徑. 非嚴(yán)格對(duì)角占優(yōu)非嚴(yán)格對(duì)角占優(yōu)42例例 設(shè)有方程組設(shè)有方程組Ax=b, 其中其中 121212112121211A討論用兩種迭代法求解的收斂性討論用兩種迭代法