統(tǒng)計學(xué)第八章相關(guān)與回歸分析課件

統(tǒng)計學(xué)STATISTICS4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析第一節(jié)相關(guān)與回歸分析的基本概念

第三節(jié)

一元線性回歸分析

第四節(jié)

多元線性回歸分析

【學(xué)習(xí)目標】通過對本章的學(xué)習(xí)，重點掌握回歸分析的估計和檢驗方法；掌握相關(guān)分析的種類及三種相關(guān)系數(shù)的計算方法；在此基礎(chǔ)上能夠運用相關(guān)分析和回歸分析的基本方法解釋實際社會經(jīng)濟問題。重點與難點：相關(guān)系數(shù)的計算及其檢驗；多元線性回歸分析。第五節(jié)

非線性回歸分析

第二節(jié)

相關(guān)分析

4/8/2023統(tǒng)計學(xué)課件第一節(jié)相關(guān)與回歸分析的基本概念（一）函數(shù)關(guān)系一、相關(guān)關(guān)系與函數(shù)關(guān)系

第八章相關(guān)與回歸分析函數(shù)關(guān)系是指現(xiàn)象之間存在著嚴格的依存關(guān)系，亦即當(dāng)其它條件不變時，對于某一自變量或幾個自變量的每一數(shù)值，都有因變量的一個的確定值與之相對應(yīng)，并且這種關(guān)系可以用一個確定的數(shù)學(xué)表達式反映出來。4/8/2023統(tǒng)計學(xué)課件案例分析相關(guān)關(guān)系與因果關(guān)系一家研究機構(gòu)有一項驚人的發(fā)現(xiàn)：統(tǒng)計數(shù)據(jù)顯示，腳長的兒童拼寫能力比腳短的兒童強。原來他們調(diào)查的是一群年齡不同的兒童，腳長的兒童比腳短的兒童年齡大！趕快回去量一下兒子的腳長我要把腳拉長一點！4/8/2023統(tǒng)計學(xué)課件⒈按涉及變量的多少分為相關(guān)關(guān)系的種類⒉按照表現(xiàn)形式不同分為⒊按照變化方向不同分為直線相關(guān)曲線相關(guān)負相關(guān)正相關(guān)二、相關(guān)分析的種類復(fù)相關(guān)單相關(guān)偏相關(guān)第八章相關(guān)與回歸分析4/8/2023統(tǒng)計學(xué)課件4.按相關(guān)的程度分為相關(guān)關(guān)系的種類5.按變量之間因果關(guān)系的方向分為完全相關(guān)不完全相關(guān)不相關(guān)雙向因果相關(guān)單向因果相關(guān)虛假相關(guān)第八章相關(guān)與回歸分析4/8/2023統(tǒng)計學(xué)課件第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析三、相關(guān)分析與回歸分析

相關(guān)分析中x與y對等，回歸分析中x與y要確定自變量和因變量；相關(guān)分析中x、y均為隨機變量，回歸分析中只有y為隨機變量；相關(guān)分析測定相關(guān)程度和方向，回歸分析用回歸模型進行預(yù)測和控制。區(qū)別：4/8/2023統(tǒng)計學(xué)課件第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析三、相關(guān)分析與回歸分析聯(lián)系：相關(guān)分析是回歸分析的基礎(chǔ)和前提?；貧w分析是相關(guān)分析的深入和繼續(xù)。4/8/2023統(tǒng)計學(xué)課件第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析四、相關(guān)表與相關(guān)圖(一)簡單相關(guān)表將某一變量按其取值的大小排列，然后再將與其相關(guān)的另一變量的對應(yīng)值平行排列，便得到簡單的相關(guān)表。4/8/2023統(tǒng)計學(xué)課件第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析四、相關(guān)表與相關(guān)圖

(二)分組相關(guān)表

單變量分組表雙變量分組表三變量分組表。4/8/2023統(tǒng)計學(xué)課件第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析

1.單變量分組表

表某紡織廠工人看管織機臺數(shù)和時勞動生產(chǎn)率相關(guān)表4/8/2023統(tǒng)計學(xué)課件第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析

2.雙變量分組表

表居住時間與對百貨商場的熟悉程度的雙變量分組表4/8/2023統(tǒng)計學(xué)課件第一節(jié)相關(guān)與回歸分析的基本概念

第八章相關(guān)與回歸分析

3.三變量分組表

表教育程度和私家車擁有狀況的雙變量分析4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

從上表中可以看出，文化程度越高的人擁有私家車的比例越高，這和實際情況不太相符，于是我們引入收入變量，作三變量的交叉列表分析：教育程度、收入與私家車擁有狀況的三變量分析

私家車擁有狀況收入水平低收入高收入教育程度教育程度本科及以上本科以下本科及以上本科以下有沒有20%（20）80%（80）20%（140）80%（560）40%（60）60%（90）40%（20）60%（30）列合計100%100%100%100%被調(diào)查者人數(shù)100700150504/8/2023統(tǒng)計學(xué)課件正相關(guān)負相關(guān)曲線相關(guān)不相關(guān)xyxyxyxy第八章相關(guān)與回歸分析（三）相關(guān)圖4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析一、簡單相關(guān)系數(shù)及其檢驗

(一)簡單相關(guān)系數(shù)的定義

樣本相關(guān)系數(shù)是總體相關(guān)系數(shù)的估計值。簡單相關(guān)系數(shù)通常采用下面的計算公式：4/8/2023統(tǒng)計學(xué)課件相關(guān)系數(shù)r的取值范圍：-1≤r≤1r>0為正相關(guān)，r<0為負相關(guān)；|r|=0表示不存在線性關(guān)系；|r|＝1表示完全線性相關(guān)；0<|r|<1表示存在不同程度線性相關(guān)：|r|

<0.4為低度線性相關(guān)；0.4≤|r|＜0.7為顯著性線性相關(guān)；0.7≤|r|＜1.0為高度顯著性線性相關(guān)。第八章相關(guān)與回歸分析4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析一、簡單相關(guān)系數(shù)及其檢驗

(二)簡單相關(guān)系數(shù)的檢驗樣本相關(guān)系數(shù)的檢驗有兩種方法：直接檢驗法，檢驗法。

4/8/2023統(tǒng)計學(xué)課件相關(guān)系數(shù)的顯著性檢驗（t檢驗法）⒊根據(jù)給定的顯著性水平，確定臨界值；⒌計算檢驗統(tǒng)計量并做出決策。⒋確定原假設(shè)的拒絕規(guī)則:若，則接受H0,表示總體兩變量間線性相關(guān)性不顯著;若，則拒絕H0,表示總體兩變量間線性相關(guān)性顯著步驟第八章相關(guān)與回歸分析4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析【例】檢驗生產(chǎn)量與生產(chǎn)費用之間的線性相關(guān)性是否顯著。當(dāng)成立時，則統(tǒng)計量4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析二、復(fù)相關(guān)系數(shù)

；復(fù)相關(guān)系數(shù)與簡單相關(guān)系數(shù)的區(qū)別是簡單相關(guān)系數(shù)的取值范圍是[-1,1]，而復(fù)相關(guān)系數(shù)的取值范圍是[0,1]。這是因為，在兩個變量的情況下，回歸系數(shù)有正負之分，所以在研究相關(guān)時，也有正相關(guān)和負相關(guān)之分；但在多個變量時，偏回歸系數(shù)有兩個或兩個以上，其符號有正有負，不能按正負來區(qū)別，所以復(fù)相關(guān)系數(shù)也就只取正值。4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

當(dāng)兩個變量同時受其它變量影響時，有必要研究當(dāng)控制其它變量不變時，該兩個變量之間的相關(guān)關(guān)系。這種相關(guān)關(guān)系被稱為偏相關(guān)關(guān)系。

第五節(jié)相關(guān)分析三、偏相關(guān)系數(shù)

；

計算偏相關(guān)系數(shù)的原因在于任何兩個變量這間的相關(guān)關(guān)系都可能受其余變量的影響。要考察兩個變量之間的純相關(guān)關(guān)系，必須排除其余變量的影響，或者說必須使其余變量保持不變。4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析三、偏相關(guān)系數(shù)

偏相關(guān)系數(shù)的計算是以回歸分析為基礎(chǔ)的。以三個變量的情形為例，此種情況下，的偏相關(guān)系數(shù)有三個，分別記作

為與之間的相關(guān)系數(shù)；

保持不變時，、和之間的相關(guān)系數(shù)；

與為保持不變時，之間的相關(guān)系數(shù)；為與保持不變時，之間的相關(guān)系數(shù)；4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析

計算殘差此時中不再含有對的影響。第二步，求對的回歸估計式計算殘差此時中不再含有對的影響。第一步，求對的回歸估計式4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析

第三步，計算和的簡單相關(guān)系數(shù)由于和中都不再包含的影響，因此和的簡單相關(guān)系數(shù)就是保持不變時，與之間的相關(guān)系數(shù)。所以偏相關(guān)系數(shù)4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析三、偏相關(guān)系數(shù)

可以證明，4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第五節(jié)相關(guān)分析三、偏相關(guān)系數(shù)

類似的當(dāng)變量個數(shù)多于3個時，求偏相關(guān)系數(shù)的原則不變，即應(yīng)先排除其余變量對所考察兩個變量的影響，然后求這兩個變量之間的簡單相關(guān)系數(shù)。只是變量越多，數(shù)學(xué)處理以及偏相關(guān)系數(shù)的表達式就越復(fù)雜。4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析一、一元線性回歸分析隨機誤差項的基本假定

在回歸分析中，最簡單最基本的單方程模型為一元線性回歸模型。一元線性回歸分析的總體回歸模型為：

為常數(shù)項或截距項，為斜率系數(shù),是隨機誤差項,又稱隨機干擾項。4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析一、一元線性回歸分析隨機誤差項的基本假定

第二，模型的設(shè)定誤差。在線性回歸模型中加入隨機誤差項是基于以下原因：

第一，模型不可能包含所有的解釋變量。第三，測量誤差的影響。第四，其他隨機因素的影響。4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析一、一元線性回歸分析隨機誤差項的基本假定

線性回歸模型由兩部分構(gòu)成，確定性部分和隨機性部分，為確定性部分，稱為對于給定值的期望值，可以寫為：

上式被稱為總體線性回歸方程。4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析一、一元線性回歸分析隨機誤差項的基本假定

滿足以下假定的線性回歸模型稱為古典（或經(jīng)典）線性回歸模型

假定1：回歸模型是正確設(shè)定的假定2：解釋變量是非隨機的假定3：隨機誤差項的均值為零假定4：隨機誤差項的方差為一個不變的常數(shù)（等方差假定）假定5：隨機誤差項的觀測值互不相關(guān)（非序列相關(guān)假定）假定6：解釋變量與隨機誤差項不相關(guān)假定7：隨機誤差項服從正態(tài)分布假定8：沒有一個解釋變量是其他任何解釋變量的完全線性組合（無多重共線性假定，只適用于多元線性回歸模型）4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析二、一元線性回歸模型的估計

最小二乘法的意義在于使為了得到這些估計值而最為廣泛使用的方法就是普通最小二乘法

為樣本回歸方程。達到最小來確定、

一般用、分別表分別表示參數(shù)的估計稱為回歸殘差4/8/2023統(tǒng)計學(xué)課件殘差(Residual):4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析二、一元線性回歸模型的估計

根據(jù)微積分的極值定理，對求相應(yīng)于、的偏導(dǎo)數(shù)，并令其等于0，即可求得：

4/8/2023統(tǒng)計學(xué)課件b與r的關(guān)系：r＞0r＜0r=0b＞0b＜0 b=0第八章相關(guān)與回歸分析4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析二、一元線性回歸模型的估計

樣本回歸直線具有下述性質(zhì)：第一、它通過y和x的樣本平均數(shù)和確定的那一點；第二、的平均值和的平均值相等；第三、殘差的平均值是零；第四、殘差和不相關(guān)；第五、殘差與x不相關(guān)。4/8/2023統(tǒng)計學(xué)課件【分析】因為工業(yè)總產(chǎn)值與能源消耗量之間存在高度正相關(guān)關(guān)系（），所以可以擬合工業(yè)總產(chǎn)值對能源消耗量的線性回歸方程?！纠拷⒐I(yè)總產(chǎn)值對能源消耗量的線性回歸方程。解：設(shè)線性回歸方程為第八章相關(guān)與回歸分析4/8/2023統(tǒng)計學(xué)課件序號能源消耗量（十萬噸）x工業(yè)總產(chǎn)值（億元）yx2y2xy1234567891011121314151635384042495254596264656869717276242524283231374041404750495148581225144416001764240127042916348138444096422546244761504151845776576625576784102496113691600168116002209250024012601230433648409509601176156816121998236025422560305534003381362134564408合計9166255508626175378874/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析即線性回歸方程為：計算結(jié)果表明，在其他條件不變時，能源消耗量每增加一個單位（十萬噸），工業(yè)總產(chǎn)值將增加0.7961個單位（億元）。4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析二、一元線性回歸模型的估計

在回歸分析中，不要試著對常數(shù)項進行解釋，原因有兩點：

首先，隨機誤差項部分地是由于忽略了許多邊緣自變量而生成的，這些變量的平均效應(yīng)被置于常數(shù)項中。

其次，常數(shù)項是當(dāng)所有自變量與誤差項為0時，因變量的值，但是自變量與隨機誤差項的值幾乎從不等于0，因為用作經(jīng)濟分析的變量通常是正的。4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析二、一元線性回歸模型的估計

2.大樣本性質(zhì)無偏性(二)一元線性回歸模型最小二乘估計量的性質(zhì)1.小樣本性質(zhì)線性有效性漸近無偏性一致性4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析三、一元線性回歸模型的擬合程度分析

(一)一元線性回歸模型的判定系數(shù)4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析剩余離差平方和回歸離差平方和總離差平方和4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析三、一元線性回歸模型的擬合程度分析

可以證明，對上式兩邊分別平方加總后等式仍然成立，即：(一)一元線性回歸模型的判定系數(shù)

可簡寫為：TSS＝ESS＋RSS4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析三、一元線性回歸模型的擬合程度分析

判定系數(shù)測度了回歸直線對觀測數(shù)據(jù)的擬合程度,記為(一)一元線性回歸模型的判定系數(shù)

4/8/2023統(tǒng)計學(xué)課件判定系數(shù)與相關(guān)系數(shù)的關(guān)系第八章相關(guān)與回歸分析4/8/2023統(tǒng)計學(xué)課件判定系數(shù)與相關(guān)系數(shù)的區(qū)別：判定系數(shù)無方向性，相關(guān)系數(shù)則有方向，其方向與樣本回歸系數(shù)b相同；判定系數(shù)說明變量值的總離差平方和中可以用回歸線來解釋的比例，相關(guān)系數(shù)只說明兩變量間關(guān)聯(lián)程度及方向；第八章相關(guān)與回歸分析4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析三、一元線性回歸模型的擬合程度分析

估計標準誤差是指實際值與估計值的平均離差。其定義公式如下：

(二)一元線性回歸模型的估計標準誤估計標準差越小，則變量間相關(guān)程度越高，回歸線對Y的解釋程度越高。4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析四、一元線性回歸模型的顯著性檢驗

根據(jù)正態(tài)分布下最小二乘估計量的性質(zhì)，可求出的抽樣分布為：

(一)回歸系數(shù)的顯著性檢驗

回歸系數(shù)的顯著性檢驗就是要檢驗自變量對因變量的影響程度是否顯著的問題。若總體回歸系數(shù)，則總體回歸線就是一條水平線，說明兩個變量之間沒有線性關(guān)系，即自變量的變化對因變量沒有影響。4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析四、一元線性回歸模型的顯著性檢驗

（1）建立原假設(shè)假設(shè)樣本從一個沒有線性關(guān)系的總體中選出，即

(一)回歸系數(shù)的顯著性檢驗（2）計算檢驗統(tǒng)計量t值其中，．4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析四、一元線性回歸模型的顯著性檢驗

（4）得出檢驗結(jié)果

(一)回歸系數(shù)的顯著性檢驗

（3）確定顯著性水平α(一般取α＝0.05)，并根據(jù)自由度查分布表，找出相應(yīng)的臨界值,表明自變量x對因變量y的影響是顯著的。，拒絕若,表明自變量x對因變量y的影響是顯著的。,拒絕若4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析四、一元線性回歸模型的顯著性檢驗

(二)回歸方程總體顯著性的F檢驗

F檢驗的基本步驟為：（1）建立原假設(shè)備擇假設(shè)由于備擇假設(shè)和原假設(shè)是對立的，所以備擇假設(shè)為：至少有一個不為0。

（2）計算F統(tǒng)計量

4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析四、一元線性回歸模型的顯著性檢驗

在原假設(shè)成立的條件下，F(xiàn)統(tǒng)計量服從第一個自由度為，第二個自由度為的F分布。

在一元回歸下，F(xiàn)統(tǒng)計量簡化為：4/8/2023統(tǒng)計學(xué)課件第二節(jié)一元線性回歸分析第八章相關(guān)與回歸分析四、一元線性回歸模型的顯著性檢驗

（3）確定顯著性水平a(一般取a=0.05)，并根據(jù)兩個自由度查F分布表，得到相應(yīng)的臨界值。

，則接受原假設(shè)，說明回歸方程在整體上不顯著。

（4）得出檢驗結(jié)果若,則拒絕，說明回歸方程在整體上是顯著的；若

4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

多元線性回歸模型的一般表示式為：與多元線性回歸模型相對應(yīng)的總體回歸方程為：樣本回歸模型為：

第三節(jié)多元線性回歸分析一、多元線性回歸模型(一)多元線性回歸模型的矩陣表示樣本回歸方程為：4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第三節(jié)多元線性回歸分析假設(shè)為了得到未知參數(shù)的估計值，我們對被解釋變量和解釋變量進行了n次觀測，代入多元線性回歸模型，可得n個隨機模型：一、多元線性回歸模型(一)多元線性回歸模型的矩陣表示4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

為了使多元線性回歸分析和計算更方便、更簡潔，可以用矩陣形式表示：

第三節(jié)多元線性回歸分析一、多元線性回歸模型(一)多元線性回歸模型的矩陣表示4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第三節(jié)多元線性回歸分析定義依照矩陣運算法則，上式可表示為：類似的，定義4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

我們把基本假定用矩陣的形式表示出來：

第三節(jié)多元線性回歸分析一、多元線性回歸模型(二)多元線性回歸模型的基本假定1.零均值假定可以表示為：4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第三節(jié)多元線性回歸分析2.同方差和無序列相關(guān)可以表示為：

4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析4.解釋變量與隨機誤差項不相關(guān)假定可表示為：或

第三節(jié)多元線性回歸分析

3.

隨機誤差項服從正態(tài)分布可以表示為：解釋變量之間不存在多重共線性可表示為：

如果上成立，至少有k+1階子式不為零，表明解釋變量之間也就是要求系數(shù)行列式不存在線性相關(guān)關(guān)系。等價于4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

由樣本回歸模型和樣本回歸方程，可得殘差向量為：

第三節(jié)多元線性回歸分析

二、多元線性回歸模型的估計

(一)參數(shù)的普通最小二乘估計

對上式兩邊分別對求一階導(dǎo)數(shù)，并令一階偏導(dǎo)數(shù)為零，得

由假定，可以得到參數(shù)估計量為：

4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第三節(jié)多元線性回歸分析

二、多元線性回歸模型的估計

(一)參數(shù)的普通最小二乘估計

對上式兩邊分別對求一階導(dǎo)數(shù)，并令一階偏導(dǎo)數(shù)為零，得

由假定，可以得到參數(shù)估計量為：

4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第三節(jié)多元線性回歸分析二、多元線性回歸模型的估計(二)參數(shù)普通最小二乘估計量的性質(zhì)和分布在多元線性回歸條件下，參數(shù)的最小二乘估計仍然具有線性、無偏性和最小方差性。由于

,可以看出具有線性特性，稍加變換，它還是的線性組合。由此可見是無偏的。4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

在無偏性的基礎(chǔ)上，我們可以得到的方差-協(xié)方差矩陣：

第三節(jié)多元線性回歸分析二、多元線性回歸模型的估計(二)參數(shù)普通最小二乘估計量的性質(zhì)和分布4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第三節(jié)多元線性回歸分析二、多元線性回歸模型的估計(二)參數(shù)普通最小二乘估計量的性質(zhì)和分布由于的線性組合，而假定是服從正態(tài)分布的，所以也是服從正態(tài)分布的，即由于是不可觀測的，所以其方差沒有辦法計算出來，

因此的方差-協(xié)方差矩陣的估計值為：是只能進行估計。可以證明：4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

在多元線性回歸模型中，總平方和仍可分解為回歸平方和和殘差平方和.

第三節(jié)多元線性回歸分析

三、多元線性回歸模型的檢驗(一)擬合優(yōu)度檢驗三個平方和的矩陣表示分別為：4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

多元線性回歸判定系數(shù)仍表示為回歸平方和與總平方和之比，即

第三節(jié)多元線性回歸分析

三、多元線性回歸模型的檢驗(一)擬合優(yōu)度檢驗調(diào)整的判定系數(shù)定義為：4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

在一元線性回歸中，總體回歸方程的顯著性檢驗和斜率參數(shù)的顯著性檢驗是等價的，這可以從兩類檢驗的原假設(shè)上得到說明。但在多元線性回歸中，由于存在多個解釋變量，參數(shù)的顯著性檢驗不再等價于總體回歸方程的顯著性檢驗。

第三節(jié)多元線性回歸分析

三、多元線性回歸模型的檢驗(二)總體回歸方程的顯著性檢驗4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第一步，計算檢驗統(tǒng)計量

第三節(jié)多元線性回歸分析

三、多元線性回歸模型的檢驗(三)參數(shù)的顯著性檢驗

具體作法是：將進行標準化，標準化后的變量服從標準正態(tài)分布：4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

，則拒絕原假設(shè)，認為解釋變量

若

第三節(jié)多元線性回歸分析

三、多元線性回歸模型的檢驗(三)參數(shù)的顯著性檢驗第二步，確定顯著性水平，查表確定臨界值

對應(yīng)變量的影響是顯著的。在原假設(shè)成立的情況下，該統(tǒng)計量服從個自由度的分布。由于未知，可用其估計量代替，由此可得到統(tǒng)計量：4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第四節(jié)非線性回歸分析一、非線性回歸模型的定義

非線性回歸分析模型的本質(zhì)，取決于可否通過某種數(shù)量變換或數(shù)學(xué)變換化成線性回歸模型，并從而可進行OLS估計。非線性回歸模型可以表示為：其中是期望函數(shù)，是第t個自變量向量

4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

4.S型曲線模型

第四節(jié)非線性回歸分析二、可線性化的非線性回歸模型的估計

1.雙曲線模型2.二次多項式模型3.半對數(shù)和雙對數(shù)模型5.其它非線性模型4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

對于不可線性化的非線性回歸模型，可采用非線性最小二乘法或非線性極大似然法進行估計。

第四節(jié)非線性回歸分析三、不可線性化的非線性回歸模型的估計

如果只包含一個未知參數(shù)，則可寫成下面的形式對于相對應(yīng)的殘差平方和為使上式達到最小的即為非線性最小二乘估計量，4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第四節(jié)非線性回歸分析三、不可線性化的非線性回歸模型的估計應(yīng)該滿足以下條件：即根據(jù)極值理論，4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

高斯-牛頓法的計算步驟如下：

第四節(jié)非線性回歸分析取一階近似值第一步：將在某個初值處進行泰勒級數(shù)展開，第二步：令將第二步代入第一步得4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

第四節(jié)非線性回歸分析三、不可線性化的非線性回歸模型的估計

第三步：對上面模型進行最小二乘估計，得到的第一步估計值(第一次迭代值)第四步：用代替第一步中的直到收收斂為止。

，重復(fù)一至四步，4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

；

本章小結(jié)

本章介紹了相關(guān)與回歸分析的各種理論和方法，并對大多數(shù)問題給出了實例。相關(guān)分析與回歸分析的概念是這一章的基礎(chǔ)，相關(guān)分析與回歸分析既有區(qū)別又有聯(lián)系，相關(guān)表和相關(guān)圖是了解相關(guān)關(guān)系的重要工具。一元線性回歸分析是回歸分析的核心，回歸分析都是在經(jīng)典假設(shè)的基礎(chǔ)上進行的，在經(jīng)典回歸下，最小二乘估計量具有線性、無偏性和有效性。在這些性質(zhì)的基礎(chǔ)上，可以得到最小二乘估計量的分布，由此可以對參數(shù)進行區(qū)間估計和假設(shè)檢驗。另外需要對回歸方程的擬合程度進行檢驗。預(yù)測是一元線性回歸的基本目的之一。4/8/2023統(tǒng)計學(xué)課件第八章相關(guān)與回歸分析

；

本章小結(jié)多元線性回歸的基本原理和一元線性回歸是類似的，主要區(qū)別在于解釋變量的多少。為了運算的方便，多元線性回歸采用矩陣方法進行表示。