工業(yè)系統(tǒng)工程回歸分析課件

相關(guān)和回歸分析研究系統(tǒng)的相互聯(lián)系、測(cè)定其聯(lián)系的緊密程度、揭示其變化的具體形式和規(guī)律性的統(tǒng)計(jì)方法，是構(gòu)造各種系統(tǒng)模型、進(jìn)行系統(tǒng)結(jié)構(gòu)分析、預(yù)測(cè)和控制的重要工具。7/25/20231【主要內(nèi)容】一、相關(guān)和回歸分析的基本概念二、一元線性回歸分析三、多元線性回歸分析四、非線性回歸分析7/25/20232一、相關(guān)和回歸分析的基本概念⒈出租汽車費(fèi)用與行駛里程：總費(fèi)用=行駛里程每公里單價(jià)2.家庭收入與恩格爾系數(shù)：家庭收入高，則恩格爾系數(shù)低。函數(shù)關(guān)系確定性關(guān)系相關(guān)關(guān)系非確定性關(guān)系比較下面兩種現(xiàn)象間的依存關(guān)系7/25/20233函數(shù)關(guān)系和相關(guān)關(guān)系現(xiàn)象間的依存關(guān)系大致可以分成兩種類型：函數(shù)關(guān)系指現(xiàn)象間所具有的嚴(yán)格的確定性的依存關(guān)系相關(guān)關(guān)系指客觀現(xiàn)象間確實(shí)存在，但數(shù)量上不是嚴(yán)格對(duì)應(yīng)的依存關(guān)系函數(shù)關(guān)系與相關(guān)關(guān)系之間并無嚴(yán)格的界限：有函數(shù)關(guān)系的變量間，由于有測(cè)量誤差及各種隨機(jī)因素的干擾，可表現(xiàn)為相關(guān)關(guān)系；對(duì)具有相關(guān)關(guān)系的變量有深刻了解之后，相關(guān)關(guān)系有可能轉(zhuǎn)化為或借助函數(shù)關(guān)系來描述。7/25/20234函數(shù)關(guān)系

指變量之間存在著確定性依存關(guān)系。當(dāng)一個(gè)或一組變量每取一個(gè)值時(shí)，相應(yīng)的另一個(gè)變量必然有一個(gè)確定值與之對(duì)應(yīng)。函數(shù)關(guān)系可以用一個(gè)確定的公式，即函數(shù)式

來表示。

7/25/20235相關(guān)關(guān)系指變量之間存在著非確定性依存關(guān)系。即當(dāng)一個(gè)或一組變量每取一個(gè)值時(shí)，相應(yīng)的另一個(gè)變量可能有多個(gè)不同值與之對(duì)應(yīng)。

例、根據(jù)消費(fèi)理論，商品需求量Q與商品價(jià)格P、居民收入I之間具有相關(guān)關(guān)系：

相關(guān)關(guān)系，可用模型來表示。7/25/20236相關(guān)分析和回歸分析研究現(xiàn)象之間相關(guān)關(guān)系的兩種基本方法：就是用一個(gè)指標(biāo)來表明現(xiàn)象間相互依存關(guān)系的密切程度就是根據(jù)相關(guān)關(guān)系的具體形態(tài)，選擇一個(gè)合適的數(shù)學(xué)模型，來近似地表達(dá)變量間的平均變化關(guān)系。相關(guān)分析回歸分析7/25/20237相關(guān)系數(shù)與判定系數(shù)在直線相關(guān)的條件下，用以反映兩變量間線性相關(guān)密切程度的指標(biāo)，用r表示相關(guān)系數(shù)7/25/20238相關(guān)系數(shù)與判定系數(shù)相關(guān)系數(shù)r的取值范圍：-1≤r≤1

r>0為正相關(guān)，r<0為負(fù)相關(guān)；

|r|=0表示不存在線性關(guān)系；

|r|＝1表示完全線性相關(guān)；

0<|r|<1表示存在不同程度線性相關(guān)：

|r|

<

0.4為低度線性相關(guān)；

0.4≤|r|＜0.7為顯著性線性相關(guān)；

0.7≤|r|＜1.0為高度顯著性線性相關(guān)。7/25/20239

r2

越接近于1，表明x與y之間的相關(guān)性越強(qiáng)；r2

越接近于0，表明兩個(gè)變量之間幾乎沒有直線相關(guān)關(guān)系.相關(guān)系數(shù)與判定系數(shù)是相關(guān)系數(shù)的平方，用r2表示；用來衡量回歸方程對(duì)y的解釋程度。判定系數(shù)取值范圍：判定系數(shù)7/25/202310【例】計(jì)算工業(yè)總產(chǎn)值與能源消耗量之間的相關(guān)系數(shù)及判定系數(shù)資料結(jié)論：工業(yè)總產(chǎn)值與能源消耗量之間存在高度的正相關(guān)關(guān)系，能源消耗量x的變化能夠解釋工業(yè)總產(chǎn)值y變化的95.2﹪。7/25/202311二、一元線性回歸分析1、標(biāo)準(zhǔn)的一元線性回歸模型2、一元線性回歸模型的估計(jì)3、一元線性回歸模型的檢驗(yàn)4、一元線性回歸模型預(yù)測(cè)

7/25/202312一元回歸簡單回歸多元回歸復(fù)回歸線性回歸非線性回歸一元線性回歸SimpleLinearregression按自變量的個(gè)數(shù)分按回歸曲線的形態(tài)分回歸分析的種類7/25/2023131、標(biāo)準(zhǔn)的一元線性回歸模型(一)總體回歸函數(shù)

Ｙt＝β1＋β2Ｘt＋ut

ut是隨機(jī)誤差項(xiàng)，又稱隨機(jī)干擾項(xiàng)，它是一個(gè)特殊的隨機(jī)變量，反映未列入方程式的其他各種因素對(duì)Ｙ的影響。(二)樣本回歸函數(shù):

ｔ＝１，２，...n

ｅt稱為殘差，在概念上，ｅt與總體誤差項(xiàng)ut相互對(duì)應(yīng)；ｎ是樣本的容量。7/25/202314樣本回歸函數(shù)與總體回歸函數(shù)區(qū)別總體回歸線是未知的，只有一條。樣本回歸線是根據(jù)樣本數(shù)據(jù)擬合的，每抽取一組樣本，便可以擬合一條樣本回歸線?？傮w回歸函數(shù)中的β1和β2是未知的參數(shù)，表現(xiàn)為常數(shù)。而樣本回歸函數(shù)中的是隨機(jī)變量，其具體數(shù)值隨所抽取的樣本觀測(cè)值不同而變動(dòng)?？傮w回歸函數(shù)中的ut是Ｙt與未知的總體回歸線之間的縱向距離，它是不可直接觀測(cè)的。而樣本回歸函數(shù)中的ｅt是Ｙt與樣本回歸線之間的縱向距離，當(dāng)根據(jù)樣本觀測(cè)值擬合出樣本回歸線之后，可以計(jì)算出ｅt的具體數(shù)值。7/25/202315誤差項(xiàng)的標(biāo)準(zhǔn)假定假定１：誤差項(xiàng)的期望值為零:Ｅ（ut）＝０。假定２：誤差項(xiàng)的期望值為常數(shù):Var(ut)＝。假定３：誤差項(xiàng)之間不存在序列相關(guān),協(xié)方差為零:

Cov(utus)＝０(ｔ≠ｓ)。假定４：自變量是給定變量，與誤差項(xiàng)線性無關(guān)。假定５：隨機(jī)誤差項(xiàng)服從正態(tài)分布。滿足以上標(biāo)準(zhǔn)假定的一元線性回歸模型，稱為標(biāo)準(zhǔn)的一元線性回歸模型。7/25/2023162、一元線性回歸模型的估計(jì)一元線性回歸方程的幾何意義截距斜率一元線性回歸方程的可能形態(tài)2為正2為負(fù)2為07/25/202317總體一元線性回歸方程:以樣本統(tǒng)計(jì)量估計(jì)總體參數(shù)斜率（回歸系數(shù)）截距截距β1

表示在沒有自變量x的影響時(shí)，其它各種因素對(duì)因變量y的平均影響；回歸系數(shù)β2

表明自變量x每變動(dòng)一個(gè)單位，因變量y平均變動(dòng)b個(gè)單位。樣本一元線性回歸方程：估計(jì)的一元線性回歸方程7/25/202318①回歸系數(shù)的估計(jì)總體回歸函數(shù)樣本回歸函數(shù)7/25/202319回歸系數(shù)的估計(jì)---最小二乘法標(biāo)準(zhǔn)方程組7/25/202320根據(jù)整理方程求解可得：7/25/202321上述進(jìn)行回歸分析的方法可稱為：最小平方法通過使殘差平方和為最小來估計(jì)回歸系數(shù)的一種方法，又稱最小二乘法。7/25/202322【分析】因?yàn)楣I(yè)總產(chǎn)值與能源消耗量之間存在高度正相關(guān)關(guān)系(r=0.9575），所以可以擬合工業(yè)總產(chǎn)值對(duì)能源消耗量的線性回歸方程。解：設(shè)線性回歸方程為【例】建立工業(yè)總產(chǎn)值對(duì)能源消耗量的線性回歸方程。資料7/25/202323線性回歸方程為：結(jié)果表明，其他條件不變時(shí)，能源消耗量每增加100000噸，工業(yè)總產(chǎn)值將增加7961萬元。7/25/202324②總體方差的估計(jì)該式中，分母是自由度，其中ｎ是樣本觀測(cè)值的個(gè)數(shù)，２是一元線性回歸方程中回歸系數(shù)的個(gè)數(shù)。在一元線性回歸模型中，殘差ｅt必須滿足:因而失去了兩個(gè)自由度，所以其自由度為ｎ－２。Ｓ2

的正平方根又稱做回歸估計(jì)標(biāo)準(zhǔn)誤差。7/25/202325回歸估計(jì)標(biāo)準(zhǔn)誤差(S)是因變量各實(shí)際值與其估計(jì)值之間的平均差異程度，表明其估計(jì)值對(duì)各實(shí)際值代表性的強(qiáng)弱；其值越小，回歸方程的代表性越強(qiáng)，用回歸方程估計(jì)或預(yù)測(cè)的結(jié)果越準(zhǔn)確。7/25/202326回歸估計(jì)標(biāo)準(zhǔn)誤差S的簡化計(jì)算：7/25/202327【例】計(jì)算前面擬合的工業(yè)總產(chǎn)值對(duì)能源消耗量回歸方程的回歸標(biāo)準(zhǔn)差.7/25/202328③最小二乘估計(jì)量的性質(zhì)殘差之和為零所擬合直線通過樣本散點(diǎn)圖的重心誤差項(xiàng)與解釋變量不相關(guān)β1與β2分別是總體回歸系數(shù)的無偏估計(jì)量β1與β2均為服從正態(tài)分布的隨機(jī)變量7/25/2023293、一元線性回歸模型的檢驗(yàn)①回歸模型的檢驗(yàn)的種類理論意義檢驗(yàn)一級(jí)檢驗(yàn)二級(jí)檢驗(yàn)7/25/202330①回歸模型的檢驗(yàn)的種類理論意義檢驗(yàn)主要涉及參數(shù)估計(jì)值的符號(hào)和取值區(qū)間。如果它們與實(shí)質(zhì)性科學(xué)的理論以及人們的實(shí)踐經(jīng)驗(yàn)不相符，就說明模型不能很好地解釋現(xiàn)實(shí)的現(xiàn)象。

常常會(huì)遇到理論意義檢驗(yàn)不能通過的情況，主要原因是：社會(huì)經(jīng)濟(jì)的統(tǒng)計(jì)數(shù)據(jù)無法像自然科學(xué)中的統(tǒng)計(jì)數(shù)據(jù)那樣通過有控制的實(shí)驗(yàn)去取得;觀測(cè)的樣本容量偏小，不具有足夠代表性;不滿足標(biāo)準(zhǔn)線性回歸分析所要求的假定條件。

7/25/202331一級(jí)檢驗(yàn)又稱統(tǒng)計(jì)學(xué)檢驗(yàn)，它是利用統(tǒng)計(jì)學(xué)的抽樣理論來檢驗(yàn)樣本回歸方程的可靠性。分為擬合程度評(píng)價(jià)和顯著性檢驗(yàn)。一級(jí)檢驗(yàn)是對(duì)所有現(xiàn)象進(jìn)行回歸分析時(shí)都必須通過的檢驗(yàn)。二級(jí)檢驗(yàn)又稱經(jīng)濟(jì)計(jì)量學(xué)檢驗(yàn)，對(duì)標(biāo)準(zhǔn)線性回歸模型的假定條件能否得到滿足進(jìn)行檢驗(yàn)，包括序列相關(guān)檢驗(yàn)、異方差性檢驗(yàn)等。7/25/202332②擬合程度的評(píng)價(jià)

擬合程度，是指樣本觀測(cè)值聚集在樣本回歸線周圍的緊密程度。判斷回歸模型擬合程度優(yōu)劣最常用的數(shù)量指標(biāo)是可決系數(shù)

(又稱決定系數(shù)或判定系數(shù))?？蓻Q系數(shù)是建立在對(duì)總離差平方和進(jìn)行分解的基礎(chǔ)上的。7/25/202333誤差平方和回歸平方和總離差平方和7/25/202334總離差平方和回歸平方和殘差平方和ＳＳＴ＝ＳＳＲ＋ＳＳＥ7/25/202335可決系數(shù)是對(duì)回歸模型擬合程度的綜合度量，可決系數(shù)越大，模型擬合程度越高。可決系數(shù)越小，則模型對(duì)樣本的擬合程度越差。

可決系數(shù)7/25/202336③顯著性檢驗(yàn)回歸分析中的顯著性檢驗(yàn)包括兩方面的內(nèi)容:對(duì)各回歸系數(shù)的顯著性檢驗(yàn)，通常采用t檢驗(yàn);對(duì)整個(gè)回歸方程的顯著性檢驗(yàn)，通常采用在方差分析基礎(chǔ)上的F檢驗(yàn)。在一元線性回歸模型中，由于只有一個(gè)解釋變量，對(duì)回歸系數(shù)的t檢驗(yàn)與對(duì)整個(gè)方程的F檢驗(yàn)是等價(jià)的?；貧w系數(shù)的顯著性檢驗(yàn)，就是根據(jù)樣本估計(jì)的結(jié)果對(duì)總體回歸系數(shù)的有關(guān)假設(shè)進(jìn)行檢驗(yàn)。

7/25/202337總體分布形式檢驗(yàn)統(tǒng)計(jì)量7/25/202338【例】對(duì)工業(yè)總產(chǎn)值與能源消耗量之間的回歸系數(shù)進(jìn)行顯著性檢驗(yàn)。

以上計(jì)算的t值遠(yuǎn)大于臨界值，故拒絕原假設(shè)，接受備擇假設(shè)，即認(rèn)為能源消耗量對(duì)工業(yè)總產(chǎn)值的影響是顯著的。7/25/202339④一元線性回歸模型的估計(jì)與預(yù)測(cè)估計(jì)的前提：回歸方程經(jīng)過檢驗(yàn)，證明X和Y

的關(guān)系在統(tǒng)計(jì)上是顯著相關(guān)的。點(diǎn)估計(jì)對(duì)于給定的

X

值，求出Y平均值的一個(gè)估計(jì)值或Y

的一個(gè)個(gè)別值的預(yù)測(cè)值。區(qū)間估計(jì)對(duì)于給定的X值，求出Y

的平均值的置信區(qū)間或Y

的一個(gè)個(gè)別值的預(yù)測(cè)區(qū)間。7/25/202340點(diǎn)估計(jì)若x=80（十萬噸），則：7/25/202341區(qū)間估計(jì)：對(duì)于給定的x=x0

，Y的1-置信區(qū)間為：7/25/202342區(qū)間估計(jì)：在置信度為1–α，自由度為n-2下的Yf

預(yù)測(cè)區(qū)間為其中：

7/25/202343【例】當(dāng)能源消耗量為800萬噸時(shí),計(jì)算置信度為95%的工業(yè)總產(chǎn)值的預(yù)測(cè)區(qū)間。7/25/202344三、多元線性回歸分析總體回歸函數(shù):樣本回歸函數(shù):在一元線性回歸分析假定的基礎(chǔ)上，追加一條：回歸模型所包含的自變量之間不能具有較強(qiáng)的線性關(guān)系。標(biāo)準(zhǔn)假定：1、標(biāo)準(zhǔn)的多元線性回歸模型7/25/202345誤差項(xiàng)的標(biāo)準(zhǔn)假定假定１：誤差項(xiàng)的期望值為零:Ｅ（ut）＝０。假定２：誤差項(xiàng)的期望值為常數(shù):Var(ut)＝。假定３：誤差項(xiàng)之間不存在序列相關(guān),協(xié)方差為零:

Cov(utus)＝０(ｔ≠ｓ)。假定４：自變量是給定變量，與誤差項(xiàng)線性無關(guān)。假定５：隨機(jī)誤差項(xiàng)服從正態(tài)分布。滿足以上標(biāo)準(zhǔn)假定的一元線性回歸模型，稱為標(biāo)準(zhǔn)的一元線性回歸模型。7/25/202346二元線性回歸模型

式中,為二元回歸估計(jì)值;為x1和x2構(gòu)成的平面在y軸上的截矩；和分別為y對(duì)x1和x2的回歸系數(shù)。二元直線回歸模型7/25/202347確定

、、

數(shù)值用最小二乘法，即選取、和的數(shù)值使得

二元直線回歸的估計(jì)【例】為最小值，根據(jù)數(shù)學(xué)中的極值原理可推導(dǎo)出標(biāo)準(zhǔn)方程組:7/25/202348結(jié)果表明，其他條件不變時(shí)，銷售額每增加10000元，利潤將增加1056元,流通費(fèi)用每增加10000元，利潤將減少9557元.建立二元直線回歸方程為:解得:將推算結(jié)果代入標(biāo)準(zhǔn)方程組，得:

7/25/202349多元線性回歸模型的估計(jì)同樣可采用最小二乘法，設(shè)：

對(duì)，，，求偏導(dǎo)數(shù)，令其為零，可以得

到標(biāo)準(zhǔn)方程組：7/25/202350標(biāo)準(zhǔn)方程組：7/25/202351多元線性回歸模型的矩陣形式7/25/202352總體回歸函數(shù)：樣本回歸函數(shù)：標(biāo)準(zhǔn)方程組：由標(biāo)準(zhǔn)方程組，可得回歸系數(shù)的估計(jì)：7/25/202353多元線性回歸模型總體方差的估計(jì)標(biāo)準(zhǔn)的多元線性回歸模型中，高斯-馬爾可夫定理同樣成立。S2的正平方根S為回歸估計(jì)標(biāo)準(zhǔn)誤差7/25/202354①擬合程度的評(píng)價(jià)：一元線性回歸分析中總離差平方和的分解公式依然成立。多元線性回歸模型的檢驗(yàn)和預(yù)測(cè)

注意：

在樣本容量一定的條件下，總離差平方和與自變量的個(gè)數(shù)無關(guān)，而殘差平方和則會(huì)隨著模型中自變量個(gè)數(shù)的增加不斷減少，至少不會(huì)增加。7/25/202355修正自由度的可決系數(shù)考慮到SSE受自變量個(gè)數(shù)的影響，對(duì)可決系數(shù)進(jìn)行修正：7/25/202356多元回歸模型的顯著性檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn)t檢驗(yàn)，檢驗(yàn)與各回歸系數(shù)對(duì)應(yīng)的自變量對(duì)因變量的影響是否顯著，以便對(duì)自變量的取舍作出正確的判斷。一般來說，當(dāng)發(fā)現(xiàn)某個(gè)自變量的影響不顯著時(shí)，應(yīng)將其從模型中刪除?；貧w方程的顯著性檢驗(yàn)F檢驗(yàn)，檢驗(yàn)回歸模型總體函數(shù)的線性關(guān)系是否顯著。其實(shí)質(zhì)就是判斷回歸平方和與殘差平方和之比值的大小問題。7/25/202357回歸方程的顯著性檢驗(yàn)——F檢驗(yàn)1。建立假設(shè)：

H0

：====0４。判斷：若，拒絕原假設(shè)；若，接受原假設(shè)。SST=總離差平方和SSE/(n-k)n-kSSE=

殘差平方和SSR/(k-1)k-1SSR=回歸平方和方差自由度平方和離差名稱2。進(jìn)行方差分析，列出方差分析表：3。計(jì)算檢驗(yàn)統(tǒng)計(jì)量：7/25/202358多元回歸預(yù)測(cè)多元線性回歸預(yù)測(cè)與一元線性回歸預(yù)測(cè)的原理是一致的?；竟綖椋?/p>

式中，Xjf(j=2,3,……k)是給定的Xj在預(yù)測(cè)期的具體數(shù)值；是已估計(jì)出的樣本回歸系數(shù)；是Xj給定時(shí)Ｙ的預(yù)測(cè)值。7/25/202359四、非線性回歸分析非線性回歸模型的確定：選擇非線性函數(shù)的具體形式。非線性回歸函數(shù)有多種多樣的具體形式，需要根據(jù)所要研究的問題的性質(zhì)并結(jié)合實(shí)際的樣本觀測(cè)值作出恰當(dāng)?shù)倪x擇。確定估計(jì)函數(shù)中的參數(shù)。最常用的方法仍然是最小二乘估計(jì)法。

當(dāng)自變量與因變量存在某種曲線相關(guān)關(guān)系時(shí)，可擬合曲線回歸模型。7/25/202360非線性回歸模型的確定

方程形式應(yīng)與相應(yīng)的基本理論相一致。方程有較高的擬合程度。方程的數(shù)學(xué)形式要盡可能簡單。

基本原則7/25/202361常用非線性回歸模型拋物線函數(shù)模型雙曲線函數(shù)模型冪函數(shù)模型指數(shù)函數(shù)模型對(duì)數(shù)函數(shù)模型S型曲線函數(shù)模型多項(xiàng)式方程模型7/25/202362非線性回歸模型的估計(jì)即對(duì)模型中的相應(yīng)參數(shù)作出估計(jì)基本方法：通過適當(dāng)?shù)淖儞Q，轉(zhuǎn)化為線性回歸函數(shù)，然后再利用線性回歸分析的方法進(jìn)行估計(jì)和檢驗(yàn)。常用線性變換方法：倒數(shù)變換、半對(duì)數(shù)變換、雙對(duì)數(shù)變換、多項(xiàng)式變換。注意：轉(zhuǎn)換為線性方程可使回歸分析簡單化，轉(zhuǎn)換為線性方程也是需要有一定假設(shè)條件，轉(zhuǎn)換為線性方程有可能和原方程不等價(jià)。7/25/202363非線性函數(shù)的線性變換：

倒數(shù)變換

用新的變量來替換原模型中變量的倒數(shù)，從而使原模型變成線性模型。半對(duì)數(shù)變換

應(yīng)用于對(duì)數(shù)函數(shù)的線性變換。7/25/202364雙對(duì)數(shù)變換

用新的變量來替換原模型中變量的對(duì)數(shù)，從而使原模型變換成線性模型。7/25/202365多項(xiàng)式變換適用于多項(xiàng)式方程的變換。7/25/202366綜合利用多種變換

適用于比較復(fù)雜的非線性函數(shù)的變換。7/25/202367線性變換要注意的問題:第一、比較復(fù)雜的非線性函數(shù)，需綜合利用上述的幾種方法。第二、變換得到的方程式中變量不允許包含未知的參數(shù)。第三、變換后的新模型中包含的誤差項(xiàng)能夠滿足標(biāo)準(zhǔn)假定時(shí)，新模型中回歸系數(shù)最小二乘估計(jì)量的理想性質(zhì)才能成立。第四、嚴(yán)格地說，線性變換方法只適用于變量為非線性的函數(shù)。第五、并不是所有的非線性函數(shù)都可以通過變換得到與原方程完全等價(jià)的線性方程。7/25/202368Thankyouverymuch放映結(jié)束7/25/202369序號(hào)能源消耗量（十萬噸）x工業(yè)總產(chǎn)值（億元）yx2y2xy12345678910111213141516353840424952545962646568697172762425242832313740414047504951485812251444160017642401270429163481384440964225462447615