相關(guān)回歸分析

關(guān)于相關(guān)回歸分析第一節(jié)相關(guān)分析的基本問題一、相關(guān)關(guān)系與函數(shù)關(guān)系二、相關(guān)關(guān)系的種類三、相關(guān)分析的主要內(nèi)容第2頁,共37頁，2024年2月25日，星期天

函數(shù)關(guān)系是指現(xiàn)象之間存在確定性的數(shù)量依存關(guān)系。在這種關(guān)系中，當(dāng)某一變量或某些變量取任意一個值時，另一變量都會有一個確定值與之嚴(yán)格對應(yīng)，并且這種對應(yīng)關(guān)系可以用一個數(shù)學(xué)表達(dá)式來反映。

相關(guān)關(guān)系，也稱統(tǒng)計(jì)相關(guān)，是指現(xiàn)象之間存在的非確定性的數(shù)量依存關(guān)系。即現(xiàn)象之間雖然存在著數(shù)量依存關(guān)系，一個現(xiàn)象發(fā)生數(shù)量上發(fā)生變化時，另一個現(xiàn)象數(shù)量水平也會相應(yīng)地發(fā)生變化。但這種數(shù)量變化關(guān)系并不是嚴(yán)格一一對應(yīng)的，當(dāng)一個變量數(shù)值確定時，另—個變量可能有許多個可能的取值與之相對應(yīng)，這些數(shù)值圍繞著它們的平均數(shù)上下波動。相關(guān)關(guān)系的數(shù)學(xué)—般形式為：(ε為隨機(jī)誤差項(xiàng)，用于反映隨機(jī)因素對y的影響)一、相關(guān)關(guān)系與函數(shù)關(guān)系

第3頁,共37頁，2024年2月25日，星期天按相關(guān)關(guān)系涉及的變量（或因素）的多少按變量之間相互關(guān)系的表現(xiàn)形式按變量之間的相互關(guān)系的方法或性質(zhì)不同按變量之間的相關(guān)程度不同單相關(guān)復(fù)相關(guān)線性相關(guān)非線性相關(guān)正相關(guān)負(fù)相關(guān)完全相關(guān)不相關(guān)不完全相關(guān)二、相關(guān)關(guān)系的種類第4頁,共37頁，2024年2月25日，星期天廣義上講，對兩個或兩個以上現(xiàn)象之間數(shù)量上的不確定性依存關(guān)系進(jìn)行的統(tǒng)計(jì)分析，即為相關(guān)分析。

具體來說，相關(guān)分析的內(nèi)容有：（一）判斷確定現(xiàn)象之間有無關(guān)系以及相關(guān)關(guān)系的具體表現(xiàn)形式。（二）確定相關(guān)關(guān)系的密切程度：根據(jù)變量數(shù)據(jù)的類型，選擇適當(dāng)?shù)姆椒?，?jì)算出相關(guān)系數(shù)。（三）檢驗(yàn)現(xiàn)象統(tǒng)計(jì)相關(guān)的顯著性，包括檢驗(yàn)相關(guān)關(guān)系的存在性、檢驗(yàn)相關(guān)關(guān)系強(qiáng)度是否達(dá)到一定水平，檢驗(yàn)兩對現(xiàn)象相關(guān)程度的差異性，估計(jì)相關(guān)系數(shù)的取值。（四）廣義地說，相關(guān)關(guān)系分析還包括對相關(guān)關(guān)系的數(shù)學(xué)形式加以描述，即擬合回歸方程，檢驗(yàn)回歸方程的合理性，并且應(yīng)用回歸模型進(jìn)行統(tǒng)計(jì)分析與預(yù)測和控制。三、相關(guān)分析的主要內(nèi)容第5頁,共37頁，2024年2月25日，星期天第二節(jié)相關(guān)關(guān)系的測度

一、相關(guān)關(guān)系一般判斷

二、相關(guān)系數(shù)的測定

第6頁,共37頁，2024年2月25日，星期天判斷現(xiàn)象之間有沒有相關(guān)關(guān)系，是進(jìn)行相關(guān)分析的前提和出發(fā)點(diǎn)。

（一）定性分析在研究相關(guān)關(guān)系時，應(yīng)根據(jù)一定的經(jīng)濟(jì)理論和實(shí)踐經(jīng)驗(yàn)的總結(jié)，對社會經(jīng)濟(jì)現(xiàn)象進(jìn)行科學(xué)的定性分析，以判斷它們之間是否具有相關(guān)關(guān)系以及相關(guān)關(guān)系的類型。只有在定性分析的基礎(chǔ)上，才能進(jìn)一步從數(shù)量上來測定現(xiàn)象之間的相關(guān)關(guān)系及相關(guān)的密切程度。這是判斷相關(guān)關(guān)系的一種重要方法，也是相關(guān)分析的重要前提。（二）相關(guān)表和相關(guān)圖若經(jīng)過調(diào)查已獲得現(xiàn)象的數(shù)據(jù)資料，可通過編制相關(guān)表和繪制相關(guān)圖來分析數(shù)據(jù)變動的規(guī)律，判斷現(xiàn)象之間的相關(guān)性。具體方法如下：一、相關(guān)關(guān)系一般判斷第7頁,共37頁，2024年2月25日，星期天1、簡單相關(guān)表利用未分組的原始資料，將兩個現(xiàn)象的變量值一一對應(yīng)地填列在同一張表格上，這種表就叫簡單相關(guān)表，簡單相關(guān)表適用于資料的項(xiàng)數(shù)較少的情況。表7-1銷售額與流通費(fèi)用相關(guān)表圖7-2某企業(yè)銷售額與流通費(fèi)用的散點(diǎn)圖第8頁,共37頁，2024年2月25日，星期天分析：從表7-1可以直觀地看出，隨著企業(yè)銷售額的增加，流通費(fèi)用呈現(xiàn)增長的趨勢。顯然，該企業(yè)銷售額與流通費(fèi)用之間存在著相關(guān)關(guān)系。從圖7-2可以看到，圖中各個點(diǎn)雖不完全在一條直線上，但可以認(rèn)為，該企業(yè)的銷售額和流通費(fèi)用之間有較強(qiáng)的直線相關(guān)關(guān)系。2、分組相關(guān)表

當(dāng)原始資料較多，不再適合采用簡單相關(guān)表時，可以編制分組相關(guān)表。分組相關(guān)表就是將原始資料進(jìn)行分組而編制的相關(guān)表。它又可分為單變量分組相關(guān)表和雙變量分組相關(guān)表兩種。第9頁,共37頁，2024年2月25日，星期天（1）單變量分組表

只對自變量進(jìn)行分組，因變量不分組，只是計(jì)算出其次數(shù)和平均數(shù)，這種表稱為單變量分組表。

表7-2某市家庭收入與消費(fèi)支出相關(guān)表圖7-3家庭收入與家庭消費(fèi)支出的相關(guān)圖第10頁,共37頁，2024年2月25日，星期天分析：從表7-2和圖7-3可以清楚的看到，家庭收入與家庭消費(fèi)支出之間存在相關(guān)關(guān)系，家庭消費(fèi)支出隨著家庭收入的增加而增加，并且基本呈現(xiàn)出直線相關(guān)的形態(tài)。（2）雙變量分組表將自變量和因變量都進(jìn)行分組制成的表稱為雙變量分組表。雙變量分組表適用于對大量復(fù)雜數(shù)據(jù)的處理和分析。如下表：第11頁,共37頁，2024年2月25日，星期天

從表7-3也可以看出，100戶家庭分布在不同的收入和支出區(qū)間內(nèi)，在表中形成一個大致向右上方傾斜的數(shù)據(jù)分布帶，可見家庭收入與消費(fèi)支出之間有較強(qiáng)的正相關(guān)關(guān)系。第12頁,共37頁，2024年2月25日，星期天

對于單相關(guān)情況，相關(guān)系數(shù)測定方法與相關(guān)指標(biāo)量化級別有關(guān)。對于定距變量或定比變量，通常采用皮爾遜線性相關(guān)系數(shù)公式測量相關(guān)密切程度，對于定序變量，通常采用斯皮爾曼等級相關(guān)或肯特爾等級相關(guān)系數(shù)公式測量相關(guān)密切程度，對于定類變量，則常常采用列聯(lián)系數(shù)等來測量相關(guān)密切程度。本節(jié)主要介紹常用的皮爾遜直線相關(guān)系數(shù)、斯皮爾曼等級相關(guān)系數(shù)和肯特爾等級相關(guān)系數(shù)的具體計(jì)算。

通過相關(guān)圖表可以了解現(xiàn)象之間是否具有相關(guān)關(guān)系，但要想更具體地了解現(xiàn)象之間的相關(guān)密切程度，必須進(jìn)一步測定相關(guān)系數(shù)。相關(guān)系數(shù)就是描述兩個變量之間線性相關(guān)密切程度和相關(guān)方向的統(tǒng)計(jì)分析指標(biāo)。二、相關(guān)系數(shù)的測定第13頁,共37頁，2024年2月25日，星期天（一）直線相關(guān)系數(shù)的計(jì)算

對于定距尺度的連續(xù)變量x和y，測定它們之間的線性相關(guān)關(guān)系最常用的方法是采用皮爾遜（Pearson）相關(guān)系數(shù)。根據(jù)資料情況不同，有不同的計(jì)算形式。其中的積差法是最基本表達(dá)式。1、積差法Pearson相關(guān)系數(shù)的基本公式可定義為：式中，——直線相關(guān)系數(shù)；

——變量數(shù)列x的標(biāo)準(zhǔn)差；

——變量數(shù)列y的標(biāo)準(zhǔn)差；

——變量數(shù)列x與y的協(xié)方差。（7-3）

據(jù)此，式（7-3）可寫成下式：第14頁,共37頁，2024年2月25日，星期天（7-4）

2、相關(guān)系數(shù)r的簡捷計(jì)算方法積差法在計(jì)算過程中要使用兩個數(shù)列的平均數(shù)，當(dāng)平均數(shù)的小數(shù)位很多或除不盡時，計(jì)算會比較繁雜且影響最終結(jié)果的精確性。因此，計(jì)算相關(guān)系數(shù)常常采用其簡捷公式：（7-5）

第15頁,共37頁，2024年2月25日，星期天3、利用分組資料計(jì)算相關(guān)系數(shù)（1）根據(jù)單變量分組表計(jì)算相關(guān)系數(shù)，可以在簡單相關(guān)的基本公式基礎(chǔ)上，以每組的次數(shù)為權(quán)數(shù)進(jìn)行加權(quán)計(jì)算，公式如下：（2）根據(jù)雙變量分組表，也能計(jì)算相關(guān)系數(shù)，但一般很少采用。計(jì)算公式為：

式中，——x組的次數(shù)；

——y組的次數(shù)；

——x與y交叉組的次數(shù)。（7-6）

（7-7）

第16頁,共37頁，2024年2月25日，星期天4、直線相關(guān)系數(shù)r的統(tǒng)計(jì)檢驗(yàn)

上述相關(guān)系數(shù)是基于樣本計(jì)算的，是對總體相關(guān)系數(shù)的估計(jì)。因此需要對相關(guān)系數(shù)的顯著性進(jìn)行統(tǒng)計(jì)檢驗(yàn)。檢驗(yàn)的內(nèi)容包括兩部分：一是總體線性相關(guān)的存在性檢驗(yàn)，即檢驗(yàn)總體線性相關(guān)系數(shù)是否為零；二是總體線性相關(guān)差異性檢驗(yàn)，檢驗(yàn)?zāi)骋豢傮w線性相關(guān)程度是否等于（或者單側(cè)檢驗(yàn)大于或小于）某一指定值，以及檢驗(yàn)兩個相關(guān)系數(shù)是否來自同一相關(guān)總體。本節(jié)只討論第一種情況。第17頁,共37頁，2024年2月25日，星期天

設(shè)隨機(jī)變量（X,Y）服從于正態(tài)分布?？傮w相關(guān)系數(shù)記為。則對于由樣本資料計(jì)算的皮爾遜相關(guān)系數(shù)r，需要檢驗(yàn)以下原假設(shè)與備擇假設(shè)：在成立情況之下，有以下t統(tǒng)計(jì)量：

在給定顯著性水平之下，當(dāng)，即表示總體線性相關(guān)系數(shù)顯著不等于零，即線性相關(guān)關(guān)系（在一定程度上）是存在的。第18頁,共37頁，2024年2月25日，星期天5、皮爾遜直線相關(guān)系數(shù)r的取值含義(1)r的取值有一定的范圍，在－1和＋1之間。(2)r的正負(fù)號只表示相關(guān)的方向，不表示相關(guān)程度的大小，即表示正相關(guān)，表示負(fù)相關(guān)。(3)相關(guān)程度的大小要看相關(guān)系數(shù)絕對值的大小。越接近于1，表示相關(guān)密切程度越強(qiáng)，越接近于0，表示相關(guān)密切程度越弱，當(dāng)時，就表示變量之間為完全相關(guān)。則表示完全不相關(guān)。(4)為了使判斷有一定的標(biāo)準(zhǔn)，一般將相關(guān)程度設(shè)為以下幾個強(qiáng)弱不同的等級：相關(guān)系數(shù)在0.3以下為無相關(guān)，0.3～0.5為低度相關(guān)，0.5～0.8為中度相關(guān)，0.8以上是高度相關(guān)。(5)皮爾遜直線相關(guān)系數(shù)是一種線性（直線）相關(guān)程度的度量。第19頁,共37頁，2024年2月25日，星期天（二）等級相關(guān)系數(shù)的測定方法

皮爾遜相關(guān)系數(shù)一般適用于連續(xù)變量，且要求總體分布服從或近似服從正態(tài)分布。但在統(tǒng)計(jì)實(shí)踐中，數(shù)據(jù)資料可能不能滿足上述的條件，有些數(shù)據(jù)還是屬性數(shù)據(jù)（如測定品質(zhì)的優(yōu)劣、愛好程度、信念、態(tài)度等）。對于這種以等級或次序進(jìn)行衡量的定序尺度數(shù)據(jù)，或不滿足正態(tài)分布假設(shè)的定距尺度數(shù)據(jù)，需要采用等級相關(guān)（RankCorrelation）的方法來研究變量之間的相關(guān)關(guān)系。等級相關(guān)法，就是把有關(guān)聯(lián)的定序變量按等級次序排列，形成x和y兩個序數(shù)數(shù)列，再測定這兩個序數(shù)數(shù)列之間的相關(guān)程度，用這種方法計(jì)算的相關(guān)指標(biāo)叫做等級相關(guān)系數(shù)。以下將介紹兩種常用的等級相關(guān)系數(shù)。第20頁,共37頁，2024年2月25日，星期天1、斯皮爾曼（Spearman）相關(guān)系數(shù)

英國統(tǒng)計(jì)學(xué)家斯皮爾曼在皮爾遜積差法思想的基礎(chǔ)上，推導(dǎo)出計(jì)算等級相關(guān)系數(shù)的方法，稱為“等級差數(shù)法”。用這種方法計(jì)算出的相關(guān)指標(biāo)，就命名為斯皮爾曼等級相關(guān)系數(shù)，以表示，其計(jì)算步驟可以簡述如下：（1）定等級。將變量x和y的觀測值從小到大（或從大到?。┌错樞蚨ǔ龅燃墸纬蓛蓚€序數(shù)數(shù)列。如遇有相等的數(shù)值時，則應(yīng)按原有的等級求其平均數(shù)，作為這些觀測值的等級。（2）計(jì)算x和y兩個序數(shù)數(shù)列的每對觀測值的等級之差，記作D，D=x-y。（3）按下述公式計(jì)算：式中，n——樣本容量；D——每對觀測值的等級差。必須注意的是，等級相關(guān)系數(shù)不能解釋為線性相關(guān)系數(shù)。（7-8）

第21頁,共37頁，2024年2月25日，星期天2、肯德爾（Kendall）等級相關(guān)系數(shù)統(tǒng)計(jì)學(xué)家肯德爾曾提出多種等級相關(guān)系數(shù)，以下只介紹其中的交錯系數(shù)，通常稱之為肯德爾系數(shù)，記為肯德爾系數(shù)的計(jì)算也是以變量x和y的等級數(shù)據(jù)來進(jìn)行，根據(jù)配對的等級順序排列的位置是否顛倒或者換位，得出等級換位的次數(shù)，進(jìn)而計(jì)算得到肯德爾系數(shù)。可以按下述公式計(jì)算：式中，n——樣本容量；∑i——換位總次數(shù)。第22頁,共37頁，2024年2月25日，星期天

最后應(yīng)該指出，相關(guān)分析只能說明兩個變量之間的相互依存關(guān)系，并不一定代表因果關(guān)系。因此，在計(jì)算相關(guān)系數(shù)之前，一般要先做定性分析，否則就有可能因?yàn)閿?shù)據(jù)的偶然巧合，得到較高的相關(guān)系數(shù)，從而把虛假相關(guān)視為可信的相關(guān)。第23頁,共37頁，2024年2月25日，星期天第三節(jié)回歸分析的基本問題

一、回歸分析的概念

二、回歸分析的主要內(nèi)容三、回歸分析的特點(diǎn)四、回歸分析模型的種類

第24頁,共37頁，2024年2月25日，星期天

相關(guān)分析可以分析現(xiàn)象之間相關(guān)關(guān)系的方向和相關(guān)的密切程度,但不能判斷現(xiàn)象之間具體的數(shù)量變動依存關(guān)系，也不能根據(jù)相關(guān)系數(shù)來估計(jì)或預(yù)測因變量y可能發(fā)生的數(shù)值?；貧w分析就是對具有相關(guān)關(guān)系的兩個或兩個以上變量之間數(shù)量變化的一般關(guān)系進(jìn)行測定，確定因變量和自變量之間數(shù)量變動關(guān)系的數(shù)學(xué)表達(dá)式，以便對因變量進(jìn)行估計(jì)或預(yù)測的統(tǒng)計(jì)分析方法?；貧w分析是在相關(guān)分析的基礎(chǔ)上，進(jìn)一步研究現(xiàn)象之間的數(shù)量變化規(guī)律。一、回歸分析的概念

第25頁,共37頁，2024年2月25日，星期天（1）根據(jù)研究目的和現(xiàn)象之間的內(nèi)在聯(lián)系，確定自變量和因變量.（2）確定回歸分析模型的類型及數(shù)學(xué)表達(dá)式.（3）對回歸分析模型進(jìn)行評價與診斷.（4）根據(jù)給定的自變量數(shù)值確定因變量的數(shù)值。（預(yù)測）二、回歸分析的主要內(nèi)容第26頁,共37頁，2024年2月25日，星期天（1）在兩個或兩個以上變量中，必須根據(jù)研究目的確定其中一個為因變量，其余為自變量。（2）在相關(guān)分析中，兩個變量要求都是隨機(jī)的；而在回歸分析中，要求因變量是隨機(jī)的，而自變量的值則是給定的。（3）若變量之間互為因果，或是沒有明顯因果關(guān)系，則可以求出兩個回歸方程。（4）回歸方程有較強(qiáng)的應(yīng)用性。根據(jù)回歸方程的參數(shù)可以得出變量之間的具體數(shù)量變動關(guān)系；回歸方程也可以用于估計(jì)推斷。三、回歸分析的特點(diǎn)第27頁,共37頁，2024年2月25日，星期天按照具有相關(guān)關(guān)系的變量個數(shù)劃分

按照變量間相互關(guān)系的形態(tài)劃分簡單回歸分析模型多元回歸分析模型

指只有一個自變量和一個因變量的回歸分析模型

指由多個自變量和一個因變量組成的回歸分析的模型，與簡單回歸分析模型相比，增加了自變量的個數(shù)，是對簡單回歸分析模型的拓展

非線性回歸分析模型

線性回歸分析模型

當(dāng)變量之間關(guān)系的形態(tài)表現(xiàn)為線性相關(guān)時，擬合的模型稱為線性回歸分析模型，其模型表達(dá)式為線性回歸方程當(dāng)變量之間相互關(guān)系的形態(tài)表現(xiàn)為某種曲線趨勢時，擬合的模型稱為非線性回歸分析模型，其模型表達(dá)式為某種曲線回歸方程四、回歸分析模型的種類第28頁,共37頁，2024年2月25日，星期天第四節(jié)回歸分析的模型

一、簡單線性回歸分析二、多元線性回歸模型三、非線性回歸分析

第29頁,共37頁，2024年2月25日，星期天（一）簡單線性回歸模型簡單線性回歸模型在平面坐標(biāo)圖上表現(xiàn)為一條直線，所以也稱為簡單直線回歸方程。簡單線性回歸方程的理論模型與估計(jì)模型可分別寫成：理論模型：估計(jì)模型：

在數(shù)學(xué)分析中，上式中的、為回歸參數(shù)或待定系數(shù)，a、b為相應(yīng)的估計(jì)值。a、b值確定后，估計(jì)的直線方程就確定了一、簡單線性回歸分析第30頁,共37頁，2024年2月25日，星期天（二）參數(shù)估計(jì)

擬合回歸直線的主要任務(wù)是估計(jì)待定參數(shù)a、b的值，常用的方法就是最小二乘法，用這種方法求出的回歸直線是原始數(shù)據(jù)的“最佳”擬合直線。最小二乘法的原理是使實(shí)際值y與估計(jì)值的離差平方和最小。得估計(jì)值為：

對斜率b的公式進(jìn)行數(shù)學(xué)形式轉(zhuǎn)換，可得到b的另一些表達(dá)形式：

而，所以

（7-20）

第31頁,共37頁，2024年2月25日，星期天（三）回歸估計(jì)標(biāo)準(zhǔn)誤推斷過程中存在樣本對總體的代表性問題，因此在做回歸分析時需要對擬合的回歸方程的代表性進(jìn)行衡量。可以用離差平方和的平均數(shù)來反映。我們把離差平方和的平均數(shù)稱為剩余方差，記為即：

式中，n-2為自由度，這是因?yàn)榘醋钚《朔ㄇ蠼鈨蓚€參數(shù)a和b，受到兩個正規(guī)方程的約束，失去了兩個自由度。對剩余方差開方即得回歸估計(jì)標(biāo)準(zhǔn)誤，又稱估計(jì)標(biāo)準(zhǔn)誤差，它是衡量回歸估計(jì)精確度高低或回歸方程代表性大小的統(tǒng)計(jì)分析指標(biāo)。顯然，的數(shù)值越小，說明估計(jì)值的代表性越大，觀測點(diǎn)越靠近回歸直線，其離散程度就越小。當(dāng)說明y和完全一致，反之，越大，說明觀測點(diǎn)的離散程度越大，回歸直線方程的代表性越差，回歸估計(jì)結(jié)果就越不精確。公式（7-24）也可以利用以下簡捷公式來計(jì)算，第32頁,共37頁，2024年2月25日，星期天（四）回歸方程判定系數(shù)

在直線回歸中，實(shí)際觀察值y的大小是圍繞其平均值上下波動的，y的這種波動現(xiàn)象稱為變差。這種變差產(chǎn)生的原因有兩方面：一是受自變量x的影響，x取值不同會引起y取值不同。二是受其他因素（包括隨機(jī)因素和觀測誤差）的影響。對每個觀察值來說，變差的大小可以通過離差來表示，而全部n個觀察值的總變差則可由這些離差的平方和表示。即：總變差=剩余變差+回歸變差，稱為判定系數(shù)，又稱可決系數(shù)，它是相關(guān)系數(shù)的平方。它表明自變量x的方差對因變量y的方差的解釋程度，換句話說，它表明y的方差中多大程度由x原因所引起的，判定系數(shù)一般用來反映回歸方程的擬合程度。第33頁,共37頁，2024年2月25日，星期天（五）回歸方程的統(tǒng)計(jì)檢驗(yàn)1、模型整體擬合效果的顯著性檢驗(yàn)回歸方程擬合效果越好，