數(shù)學(xué)建模多元回歸分析課件

數(shù)學(xué)建模多元回歸分析數(shù)學(xué)建模多元回歸分析多元線性回歸模型

（概念要點(diǎn)）一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量之間的回歸描述因變量y如何依賴于自變量x1

，x2

，…，

xp

和誤差項(xiàng)

的方程稱為多元線性回歸模型涉及p個(gè)自變量的多元線性回歸模型可表示為

b0

，b1，b2

，，bp是參數(shù)

是被稱為誤差項(xiàng)的隨機(jī)變量

y是x1,，x2

，，xp

的線性函數(shù)加上誤差項(xiàng)

說明了包含在y里面但不能被p個(gè)自變量的線性關(guān)系所解釋的變異性多元線性回歸模型

（概念要點(diǎn)）一個(gè)因變量與兩個(gè)及兩個(gè)以上自多元線性回歸模型

（概念要點(diǎn)）對(duì)于n組實(shí)際觀察數(shù)據(jù)(yi;xi1,，xi2

，，xip)，(i=1,2,…,n)，多元線性回歸模型可表示為y1

=b0+b1x11+b2x12

++

bpx1p

+e1y2=b0+b1x21

+b2x22

++

bpx2p

+e2

yn=b0+b1xn1

+b2xn2

++

bpxnp

+en{……多元線性回歸模型

（概念要點(diǎn)）對(duì)于n組實(shí)際觀察數(shù)據(jù)多元線性回歸模型

（基本假定）自變量x1，x2，…，xp是確定性變量，不是隨機(jī)變量隨機(jī)誤差項(xiàng)ε的期望值為0，且方差σ2都相同誤差項(xiàng)ε是一個(gè)服從正態(tài)分布的隨機(jī)變量，即ε~N(0,σ2)，且相互獨(dú)立多元線性回歸模型

（基本假定）自變量x1，x2，…，xp是多元線性回歸方程

（概念要點(diǎn)）描述y的平均值或期望值如何依賴于x1，x1

，…，xp的方程稱為多元線性回歸方程多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

pxpb1，b2，，bp稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當(dāng)xi

每變動(dòng)一個(gè)單位時(shí)，y的平均平均變動(dòng)值多元線性回歸方程

（概念要點(diǎn)）描述y的平均值或期望值如多元線性回歸模型、回歸方程與估計(jì)的回歸方程回歸方程的顯著性檢驗(yàn)

（線性關(guān)系的檢驗(yàn)）非線性模型及其線性化方法令：y'=lny，則有y'=ln+xy1=b0+b1x11+b2x12++bpx1p+e1回歸方程與回歸系數(shù)的顯著性檢驗(yàn)3548>t=0.回歸系數(shù)的顯著性檢驗(yàn)

（要點(diǎn)）回歸系數(shù)的顯著性檢驗(yàn)用樣本統(tǒng)計(jì)量代替回歸方程中的未知參數(shù)即得到估計(jì)的回歸方程H1：bi0(自變量xi與因變量y有線性關(guān)系)bi表示假定其他變量不變，當(dāng)xi每變動(dòng)一個(gè)單位時(shí)，y的平均平均變動(dòng)值多元線性回歸方方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1,x2)}多元線性回歸模型、回歸方程與估計(jì)的回歸方程多元線性回歸方方程多元線性回歸的估計(jì)(經(jīng)驗(yàn))方程總體回歸參數(shù)是未知的，利用樣本數(shù)據(jù)去估計(jì)用樣本統(tǒng)計(jì)量代替回歸方程中的未知參數(shù)

即得到估計(jì)的回歸方程

是估計(jì)值是y

的估計(jì)值多元線性回歸的估計(jì)(經(jīng)驗(yàn))方程總體回歸參數(shù)參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘法

（要點(diǎn)）根據(jù)最小二乘法的要求，可得求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來求得

。即參數(shù)的最小二乘法

（要點(diǎn)）根據(jù)最小二乘法的要求，可得求解各回歸方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn)多重樣本決定系數(shù)

（多重判定系數(shù)R2

）回歸平方和占總離差平方和的比例反映回歸直線的擬合程度取值范圍在[0,1]之間

R21，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差等于多重相關(guān)系數(shù)的平方，即R2=(R)2多重樣本決定系數(shù)

（多重判定系數(shù)R2）回歸平方和占總離修正的多重樣本決定系數(shù)

（修正的多重判定系數(shù)R2

）由于增加自變量將影響到因變量中被估計(jì)的回歸方程所解釋的變異性的數(shù)量，為避免高估這一影響，需要用自變量的數(shù)目去修正R2的值用n表示觀察值的數(shù)目，p表示自變量的數(shù)目，修正的多元判定系數(shù)的計(jì)算公式可表示為修正的多重樣本決定系數(shù)

（修正的多重判定系數(shù)R2）由于回歸方程的顯著性檢驗(yàn)

（線性關(guān)系的檢驗(yàn)

）檢驗(yàn)因變量與所有的自變量和之間的是否存在一個(gè)顯著的線性關(guān)系，也被稱為總體的顯著性檢驗(yàn)檢驗(yàn)方法是將回歸離差平方和(SSR)同剩余離差平方和(SSE)加以比較，應(yīng)用F檢驗(yàn)來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系回歸方程的顯著性檢驗(yàn)

（線性關(guān)系的檢驗(yàn)）檢驗(yàn)因變量與所有回歸方程的顯著性檢驗(yàn)

（步驟）提出假設(shè)H0：12p=0線性關(guān)系不顯著H1：1，2，，p至少有一個(gè)不等于02.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F3.確定顯著性水平和分子自由度p、分母自由度n-p-1找出臨界值F4.作出決策：若FF，拒絕H0；若F<F，接受H0回歸方程的顯著性檢驗(yàn)

（步驟）提出假設(shè)2.計(jì)算檢驗(yàn)統(tǒng)回歸系數(shù)的顯著性檢驗(yàn)

（要點(diǎn)）如果F檢驗(yàn)已經(jīng)表明了回歸模型總體上是顯著的，那么回歸系數(shù)的檢驗(yàn)就是用來確定每一個(gè)單個(gè)的自變量xi

對(duì)因變量y的影響是否顯著對(duì)每一個(gè)自變量都要單獨(dú)進(jìn)行檢驗(yàn)應(yīng)用t

檢驗(yàn)在多元線性回歸中，回歸方程的顯著性檢驗(yàn)不再等價(jià)于回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn)

（要點(diǎn)）如果F檢驗(yàn)已經(jīng)表明了回歸模型總回歸系數(shù)的顯著性檢驗(yàn)

（步驟）提出假設(shè)H0：bi=0(自變量xi與

因變量y沒有線性關(guān)系)H1：bi

0(自變量xi與

因變量y有線性關(guān)系)計(jì)算檢驗(yàn)的統(tǒng)計(jì)量t

確定顯著性水平，并進(jìn)行決策tt，拒絕H0；t<t，接受H0回歸系數(shù)的顯著性檢驗(yàn)

（步驟）提出假設(shè)確定顯著性水平，一個(gè)二元線性回歸的例子銷售額、人口數(shù)和年人均收入數(shù)據(jù)地區(qū)編號(hào)銷售額（萬元）y人口數(shù)(萬人)x1年人均收入(元)x21234567891033.335.527.630.431.953.135.629.035.134.532.429.126.331.229.240.729.823.028.226.91250165014501310131015801490152016201570【例】一家百貨公司在10個(gè)地區(qū)設(shè)有經(jīng)銷分公司。公司認(rèn)為商品銷售額與該地區(qū)的人口數(shù)和年人均收入有關(guān)，并希望建立它們之間的數(shù)量關(guān)系式，以預(yù)測(cè)銷售額。有關(guān)數(shù)據(jù)如下表。試確定銷售額對(duì)人口數(shù)和年人均收入的線性回歸方程，并分析回歸方程的擬合程度，對(duì)線性關(guān)系和回歸系數(shù)進(jìn)行顯著性檢驗(yàn)(=0.05)。一個(gè)二元線性回歸的例子銷售額、人口數(shù)和年人均收入數(shù)據(jù)地區(qū)銷售一個(gè)二元線性回歸的例子

(Excel輸出的結(jié)果)一個(gè)二元線性回歸的例子

(Excel輸出的結(jié)果)一個(gè)二元線性回歸的例子

(計(jì)算機(jī)輸出結(jié)果解釋)銷售額與人口數(shù)和年人均收入的二元回歸方程為

多重判定系數(shù)R2=0.9373；調(diào)整后的R2=0.9194

回歸方程的顯著性檢驗(yàn)F=52.3498F>F0.05(2,7)=4.74，回歸方程顯著回歸系數(shù)的顯著性檢驗(yàn)t=9.3548>t=0.3646，；t2=4.7962>t=2.3646；兩個(gè)回歸系數(shù)均顯著一個(gè)含有四個(gè)變量的回歸一個(gè)二元線性回歸的例子

(計(jì)算機(jī)輸出結(jié)果解釋)銷售額與人口數(shù)第三節(jié)可化為線性回歸的

曲線回歸基本概念非線性模型及其線性化方法第三節(jié)可化為線性回歸的

非線性回歸1. 因變量y與x之間不是線性關(guān)系2. 可通過變量代換轉(zhuǎn)換成線性關(guān)系用最小二乘法求出參數(shù)的估計(jì)值并非所有的非線性模型都可以化為線性模型非線性回歸1. 因變量y與x之間不是線性關(guān)系幾種常見的非線性模型指數(shù)函數(shù)線性化方法兩端取對(duì)數(shù)得：lny

=ln+x令：y'=lny，則有y'

=ln+x基本形式：圖像幾種常見的非線性模型指數(shù)函數(shù)線性化方法基本形式：圖像幾種常見的非線性模型冪函數(shù)線性化方法兩端取對(duì)數(shù)得：lgy=lg+lgx令：y'=lgy，x'=lgx，則y'

=lg+x'基本形式：圖像0<<11=1-1<<0<-1=-1幾種常見的非線性模型冪函數(shù)線性化方法基本形式：圖像0<幾種常見的非線性模型雙曲線函數(shù)線性化方法令：y'=1/y，x'=1/x,則有y'

=+x'基本形式：圖像<0>0幾種常見的非線性模型雙曲線函數(shù)線性化方法基本形式：圖像幾種常見的非線性模型對(duì)數(shù)函數(shù)線性化方法x'=lgx,則有y'

=+x'基本形式：圖像0<0幾種常見的非線性模型對(duì)數(shù)函數(shù)線性化方法基本形式：圖像幾種常見的非線性模型S型曲線線性化方法令：y'=1/y，x'=e-x,則有y'

=+x'基本形式：圖像幾種常見的非線性模型S型曲線線性化方法基本形式：圖像非線性回歸

（實(shí)例）

【例】為研究生產(chǎn)率與廢品率之間的關(guān)系，記錄數(shù)據(jù)如下表。試擬合適當(dāng)?shù)哪Ｐ?。廢品率與生產(chǎn)率的關(guān)系生產(chǎn)率（周/單位)x1000200030003500400045005000廢品率（%）y5.26.56.88.110.210.313.0非線性回歸

（實(shí)例）【例】為研究生產(chǎn)率與廢品率之間的非線性回歸

（實(shí)例）生產(chǎn)率與廢品率的散點(diǎn)圖非線性回歸

（實(shí)例）生產(chǎn)率與廢品率的散點(diǎn)圖非線性回歸

（實(shí)例）用線性模型：y

=01x+，有

y=2.671+0.0018x用指數(shù)模型：y=x

，有

y

=4.05(1.0002)x比較直線的殘差平方和＝5.3371<指數(shù)模型的殘差平方和＝6.11。直線模型略好于指數(shù)模型非線性回歸

（實(shí)例）用線性模型：y=01x+，本章小結(jié)相關(guān)系數(shù)與相關(guān)分析一元線性回歸模型、回歸方程與估計(jì)的回歸方程多元線性回歸模型、回歸方程與估計(jì)的回歸方程回歸方程與回歸系數(shù)的顯著性檢驗(yàn)非線性回歸的線性化5. 用Excel進(jìn)行回歸分析本章小結(jié)相關(guān)系數(shù)與相關(guān)分析結(jié)束結(jié)束身體健康，學(xué)習(xí)進(jìn)步！身體健康，學(xué)習(xí)進(jìn)步！數(shù)學(xué)建模多元回歸分析數(shù)學(xué)建模多元回歸分析多元線性回歸模型

（概念要點(diǎn)）一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量之間的回歸描述因變量y如何依賴于自變量x1

，x2

，…，

xp

和誤差項(xiàng)

的方程稱為多元線性回歸模型涉及p個(gè)自變量的多元線性回歸模型可表示為

b0

，b1，b2

，，bp是參數(shù)

是被稱為誤差項(xiàng)的隨機(jī)變量

y是x1,，x2

，，xp

的線性函數(shù)加上誤差項(xiàng)

說明了包含在y里面但不能被p個(gè)自變量的線性關(guān)系所解釋的變異性多元線性回歸模型

（概念要點(diǎn)）一個(gè)因變量與兩個(gè)及兩個(gè)以上自多元線性回歸模型

（概念要點(diǎn)）對(duì)于n組實(shí)際觀察數(shù)據(jù)(yi;xi1,，xi2

，，xip)，(i=1,2,…,n)，多元線性回歸模型可表示為y1

=b0+b1x11+b2x12

++

bpx1p

+e1y2=b0+b1x21

+b2x22

++

bpx2p

+e2

yn=b0+b1xn1

+b2xn2

++

bpxnp

+en{……多元線性回歸模型

（概念要點(diǎn)）對(duì)于n組實(shí)際觀察數(shù)據(jù)多元線性回歸模型

（基本假定）自變量x1，x2，…，xp是確定性變量，不是隨機(jī)變量隨機(jī)誤差項(xiàng)ε的期望值為0，且方差σ2都相同誤差項(xiàng)ε是一個(gè)服從正態(tài)分布的隨機(jī)變量，即ε~N(0,σ2)，且相互獨(dú)立多元線性回歸模型

（基本假定）自變量x1，x2，…，xp是多元線性回歸方程

（概念要點(diǎn)）描述y的平均值或期望值如何依賴于x1，x1

，…，xp的方程稱為多元線性回歸方程多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

pxpb1，b2，，bp稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當(dāng)xi

每變動(dòng)一個(gè)單位時(shí)，y的平均平均變動(dòng)值多元線性回歸方程

（概念要點(diǎn)）描述y的平均值或期望值如多元線性回歸模型、回歸方程與估計(jì)的回歸方程回歸方程的顯著性檢驗(yàn)

（線性關(guān)系的檢驗(yàn)）非線性模型及其線性化方法令：y'=lny，則有y'=ln+xy1=b0+b1x11+b2x12++bpx1p+e1回歸方程與回歸系數(shù)的顯著性檢驗(yàn)3548>t=0.回歸系數(shù)的顯著性檢驗(yàn)

（要點(diǎn)）回歸系數(shù)的顯著性檢驗(yàn)用樣本統(tǒng)計(jì)量代替回歸方程中的未知參數(shù)即得到估計(jì)的回歸方程H1：bi0(自變量xi與因變量y有線性關(guān)系)bi表示假定其他變量不變，當(dāng)xi每變動(dòng)一個(gè)單位時(shí)，y的平均平均變動(dòng)值多元線性回歸方方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1,x2)}多元線性回歸模型、回歸方程與估計(jì)的回歸方程多元線性回歸方方程多元線性回歸的估計(jì)(經(jīng)驗(yàn))方程總體回歸參數(shù)是未知的，利用樣本數(shù)據(jù)去估計(jì)用樣本統(tǒng)計(jì)量代替回歸方程中的未知參數(shù)

即得到估計(jì)的回歸方程

是估計(jì)值是y

的估計(jì)值多元線性回歸的估計(jì)(經(jīng)驗(yàn))方程總體回歸參數(shù)參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘法

（要點(diǎn)）根據(jù)最小二乘法的要求，可得求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來求得

。即參數(shù)的最小二乘法

（要點(diǎn)）根據(jù)最小二乘法的要求，可得求解各回歸方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn)多重樣本決定系數(shù)

（多重判定系數(shù)R2

）回歸平方和占總離差平方和的比例反映回歸直線的擬合程度取值范圍在[0,1]之間

R21，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差等于多重相關(guān)系數(shù)的平方，即R2=(R)2多重樣本決定系數(shù)

（多重判定系數(shù)R2）回歸平方和占總離修正的多重樣本決定系數(shù)

（修正的多重判定系數(shù)R2

）由于增加自變量將影響到因變量中被估計(jì)的回歸方程所解釋的變異性的數(shù)量，為避免高估這一影響，需要用自變量的數(shù)目去修正R2的值用n表示觀察值的數(shù)目，p表示自變量的數(shù)目，修正的多元判定系數(shù)的計(jì)算公式可表示為修正的多重樣本決定系數(shù)

（修正的多重判定系數(shù)R2）由于回歸方程的顯著性檢驗(yàn)

（線性關(guān)系的檢驗(yàn)

）檢驗(yàn)因變量與所有的自變量和之間的是否存在一個(gè)顯著的線性關(guān)系，也被稱為總體的顯著性檢驗(yàn)檢驗(yàn)方法是將回歸離差平方和(SSR)同剩余離差平方和(SSE)加以比較，應(yīng)用F檢驗(yàn)來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系回歸方程的顯著性檢驗(yàn)

（線性關(guān)系的檢驗(yàn)）檢驗(yàn)因變量與所有回歸方程的顯著性檢驗(yàn)

（步驟）提出假設(shè)H0：12p=0線性關(guān)系不顯著H1：1，2，，p至少有一個(gè)不等于02.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F3.確定顯著性水平和分子自由度p、分母自由度n-p-1找出臨界值F4.作出決策：若FF，拒絕H0；若F<F，接受H0回歸方程的顯著性檢驗(yàn)

（步驟）提出假設(shè)2.計(jì)算檢驗(yàn)統(tǒng)回歸系數(shù)的顯著性檢驗(yàn)

（要點(diǎn)）如果F檢驗(yàn)已經(jīng)表明了回歸模型總體上是顯著的，那么回歸系數(shù)的檢驗(yàn)就是用來確定每一個(gè)單個(gè)的自變量xi

對(duì)因變量y的影響是否顯著對(duì)每一個(gè)自變量都要單獨(dú)進(jìn)行檢驗(yàn)應(yīng)用t

檢驗(yàn)在多元線性回歸中，回歸方程的顯著性檢驗(yàn)不再等價(jià)于回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn)

（要點(diǎn)）如果F檢驗(yàn)已經(jīng)表明了回歸模型總回歸系數(shù)的顯著性檢驗(yàn)

（步驟）提出假設(shè)H0：bi=0(自變量xi與

因變量y沒有線性關(guān)系)H1：bi

0(自變量xi與

因變量y有線性關(guān)系)計(jì)算檢驗(yàn)的統(tǒng)計(jì)量t

確定顯著性水平，并進(jìn)行決策tt，拒絕H0；t<t，接受H0回歸系數(shù)的顯著性檢驗(yàn)

（步驟）提出假設(shè)確定顯著性水平，一個(gè)二元線性回歸的例子銷售額、人口數(shù)和年人均收入數(shù)據(jù)地區(qū)編號(hào)銷售額（萬元）y人口數(shù)(萬人)x1年人均收入(元)x21234567891033.335.527.630.431.953.135.629.035.134.532.429.126.331.229.240.729.823.028.226.91250165014501310131015801490152016201570【例】一家百貨公司在10個(gè)地區(qū)設(shè)有經(jīng)銷分公司。公司認(rèn)為商品銷售額與該地區(qū)的人口數(shù)和年人均收入有關(guān)，并希望建立它們之間的數(shù)量關(guān)系式，以預(yù)測(cè)銷售額。有關(guān)數(shù)據(jù)如下表。試確定銷售額對(duì)人口數(shù)和年人均收入的線性回歸方程，并分析回歸方程的擬合程度，對(duì)線性關(guān)系和回歸系數(shù)進(jìn)行顯著性檢驗(yàn)(=0.05)。一個(gè)二元線性回歸的例子銷售額、人口數(shù)和年人均收入數(shù)據(jù)地區(qū)銷售一個(gè)二元線性回歸的例子

(Excel輸出的結(jié)果)一個(gè)二元線性回歸的例子

(Excel輸出的結(jié)果)一個(gè)二元線性回歸的例子

(計(jì)算機(jī)輸出結(jié)果解釋)銷售額與人口數(shù)和年人均收入的二元回歸方程為

多重判定系數(shù)R2=0.9373；調(diào)整后的R2=0.9194

回歸方程的顯著性檢驗(yàn)F=52.3498F>F0.05(2,7)=4.74，回歸方程顯著回歸系數(shù)的顯著性檢驗(yàn)t=9.3548>t=0.3646，；t2=4.7962>t=2.3646；兩個(gè)回歸系數(shù)均顯著一個(gè)含有四個(gè)變量的回歸一個(gè)二元線性回歸的例子

(計(jì)算機(jī)輸出結(jié)果解釋)銷售額與人口數(shù)第三節(jié)可化為線性回歸的

曲線回歸基本概念非線性模型及其線性化方法第三節(jié)可化為線性回歸的

非線性回歸1. 因變量y與x之間不是線性關(guān)系2. 可通過變量代換轉(zhuǎn)換成線性關(guān)系用最小二乘法求出參數(shù)的估計(jì)值并非所有的非線性模型都可以化為線性模型非線性回歸1. 因變量y與x之間不是線性關(guān)系幾種常見的非線性模型指數(shù)函數(shù)線性化方法兩端取對(duì)數(shù)得：lny

=ln+x令：y'=lny，則有y'

=ln+x基本形式：圖像幾種常見的非線性模型指數(shù)函數(shù)線性化方法基本形式：圖像幾種常見的非線性模型冪函數(shù)線性化方法兩端取對(duì)數(shù)得：lgy=lg+lgx令：y'=lgy，x'=lgx，則