第10章 相關(guān)與回歸分析

1、第十章 相關(guān)與回歸分析10.1概述 一、回歸預(yù)測(cè)的含義回歸 (Regression) 一詞是由生物學(xué)相關(guān)概念引申而來(lái),它是英國(guó)生物學(xué)家高爾頓 (F.Galton 用來(lái)描述遺傳變異現(xiàn)象的術(shù)語(yǔ)。1889年他在普用回歸定律一文中指出：每個(gè)人的特點(diǎn)和他的親屬有相似之處，但平均地說(shuō)在程度上有一定的差異。他的朋友皮爾遜后來(lái)對(duì) 1078 個(gè)家庭進(jìn)行了調(diào)查，發(fā)現(xiàn)個(gè)子高的父母比矮的父母趨向于生育個(gè)子高的子女，但是從平均數(shù)看，父母高 , 他們的子女不一定像父母那樣高 , 反之也不像 其父母那樣矮。這種現(xiàn)象便稱之為回歸。后來(lái)這個(gè)名詞被廣泛用來(lái)表示變量間的數(shù)量 關(guān)系。v回歸分析：就是研究某一個(gè)隨機(jī)變量 (因變量) 與

2、其他一或幾個(gè)變量 (自變量 ) 之間的數(shù)量變動(dòng)關(guān)系，由回歸分析求出的關(guān)系式通常稱為回歸模型。v回歸分析預(yù)測(cè)法：就是從各種經(jīng)濟(jì)現(xiàn)象之間的相互關(guān)系出發(fā)，通過(guò)對(duì)與預(yù)測(cè)對(duì)象有聯(lián)系的現(xiàn)象變動(dòng)趨勢(shì)的分析，推算預(yù)測(cè)對(duì)象未來(lái)狀態(tài)數(shù)量表現(xiàn)的一種預(yù)測(cè)法。 二、回歸預(yù)測(cè)的分類兩個(gè)變量之間就其關(guān)系變化來(lái)說(shuō),可以表現(xiàn)為兩種數(shù)學(xué)模型形式,即函數(shù)型關(guān)系和統(tǒng)計(jì)型關(guān)系.如果用 x 表示自變量 ,y 表示因變量，同時(shí) x 和 y 的關(guān)系在一定條件下是完全確定的，那就是函數(shù)關(guān)系。反之，則是統(tǒng)計(jì)型關(guān)系。 在社會(huì)經(jīng)濟(jì)現(xiàn)象中，一個(gè)變量 和另一變量盡管有密切的關(guān)系，但是由于受到眾多的難以控制的因素的影響，實(shí)際觀察得到的數(shù)據(jù)并不能構(gòu)成函數(shù)關(guān)

3、系。例如，企業(yè)的年銷售額 y 與變量 x( 人均收入、利率 的變化、產(chǎn)品的市場(chǎng)競(jìng)爭(zhēng)狀況、季節(jié)的變化及原材料的供應(yīng)等 ) 對(duì)應(yīng)的關(guān)系會(huì)形成一個(gè)統(tǒng)計(jì)分布。隨自變量 x 的變化，因變量也隨之有一個(gè)隨機(jī)變化結(jié)果。其變化的結(jié)果所對(duì)應(yīng)的曲線模型有正線性關(guān)系、負(fù)線性關(guān)系、元數(shù)量關(guān)系、向下拋物線關(guān)系、上升指數(shù)曲 線關(guān)系及下降指數(shù)曲線關(guān)系等。 在回歸分析中，如果研究的因果關(guān)系涉及兩個(gè)變量就叫做一元回歸分析或單回歸分析；如果涉及兩個(gè)以上的變量，則叫做多元回歸分析或復(fù)回歸分析。如果變量之間的相關(guān)關(guān)系呈線性變化，則叫線性回歸；如果變量之間的相關(guān)關(guān)系呈非線性變化，則叫非線性回歸。 三、回歸預(yù)測(cè)的一般程序v 確立相關(guān)因素

4、：相關(guān)因素又稱相關(guān)變量，它是回歸分析的基礎(chǔ)。相關(guān)變量選擇得準(zhǔn)確與否會(huì)直接影響回歸預(yù)測(cè)結(jié)果的準(zhǔn)確性。v 建立數(shù)學(xué)模型：根據(jù)已知的數(shù)據(jù)資料，找出變量之間相關(guān)關(guān)系的類型，選擇與其最為吻合的數(shù)學(xué)模型，代入已知數(shù)據(jù)并經(jīng)過(guò)數(shù)學(xué)運(yùn)算，求得有關(guān)系數(shù)或參數(shù)，從而建立預(yù)測(cè)的數(shù)學(xué)模型。v 檢驗(yàn)和評(píng)價(jià)數(shù)學(xué)模型：建立的數(shù)學(xué)模型是否正確，必須用一套數(shù)理統(tǒng)計(jì)方法來(lái)加以檢驗(yàn)，并測(cè)量其誤差大小和精確 (或近似)程度。v 運(yùn)用模型進(jìn)行預(yù)測(cè)：數(shù)學(xué)模型經(jīng)檢驗(yàn)后如果正確，即用所建的數(shù)學(xué)模型進(jìn)行預(yù)測(cè)和控制。10.2一元線性回歸方程一、一元線性回歸預(yù)測(cè)方程如果影響預(yù)測(cè)對(duì)象的主要因素只有一個(gè)，并且它們之間呈線性關(guān)系，那么可采用簡(jiǎn)單回歸分析法

5、預(yù)測(cè)。由于這種方法只涉及一個(gè)自變量，故其又稱為一元線性回歸分析法。設(shè)一元線性回歸方程為 :y yi i= =a+ba+bx xi i+e+ei i(i=1,2, (i=1,2, , n) , n)式中 ,n 為樣本容量；為回歸常數(shù)；b 為回歸系數(shù) , 即回歸直線的斜率； ei 為殘差值 , 又稱回歸余項(xiàng) , ei 的平均值為零 , 其中每個(gè)ei的分布方差相同，它是用a+bxi估計(jì)因變量yi 的數(shù)值所造成的，它是估計(jì)值與實(shí)際數(shù)值之間的離差 , 即 eiei= y= yi i i i 。 實(shí)際預(yù)測(cè)時(shí)，殘差項(xiàng)的是無(wú)法預(yù)測(cè)的 , 其目的只是借助a+bxi得到預(yù)測(cè)對(duì)象 yi 的估計(jì)值 , 所以預(yù)測(cè)模型為

6、 : i i = =a+ba+bx xi i式中，i為預(yù)測(cè)值( 又稱為估計(jì)值 ）a為回歸常數(shù)；b為回歸系數(shù)。 二、最小二乘法 （式）（式）用上述方程在預(yù)測(cè)前，還得先知道自變量的取值。如該地 2004 年人均收入的預(yù)測(cè)值為 560 元 , 則該地區(qū) 2002年耐用消費(fèi)品銷售額的預(yù)測(cè)值為： i i 20042004= =0.2568+2.9303 0.2568+2.9303 5.6 5.6 166.7( 166.7( 萬(wàn)元萬(wàn)元 ) )這里得到的 166.7 萬(wàn)元是一個(gè)點(diǎn)預(yù)測(cè)值，實(shí)際上的數(shù)值也許高于它，也許比它低。因此在進(jìn)行回歸預(yù)測(cè)時(shí)，總是在點(diǎn)預(yù)測(cè)為中心的基礎(chǔ)上，在一定的可能性( 即概率 )下，給一

7、個(gè)預(yù)測(cè)區(qū)間 ( 又稱為置信區(qū)間 )。若要計(jì)算點(diǎn)預(yù)測(cè)的置信區(qū)間，就要計(jì)算點(diǎn)預(yù)測(cè)值誤差的標(biāo)準(zhǔn)差。三、一元線性回歸預(yù)測(cè)的置信區(qū)間在回歸分析中 由于總體關(guān)系有一定程度的變異 , 從實(shí)際觀察值所求得的回歸線只是樣本回歸線。 a 和 b 就只能看做是總體回歸系數(shù) A 和 B 的估計(jì)值，不同的抽樣就會(huì)有不同的 和 b, 也就是說(shuō)有不同的樣本回歸線隨機(jī)因素的存在表明，給定任何一個(gè)x值就可能有許多 y 的觀察值。 進(jìn)行回歸分析時(shí)對(duì)于 y 的變異性是有前提假定的,這些假定是 : y 是一個(gè)隨機(jī)變量 , 亦即 e 是隨機(jī)變量 ; 給定一個(gè)x值時(shí) ,y 分布是正態(tài)的 ,影響 y 的其他因素的作用一般趨于互相抵消 ,

8、因此 ,E(e)=O ,y 的平均值就在給定 x 值的回歸線上； 在任何x值上，y 分布的方差 ( 及標(biāo)準(zhǔn)差 ) 相等。一元線性回歸標(biāo)準(zhǔn)差計(jì)算公式如下 :（式）置信區(qū)間 一元線性回歸的置信概率可查t分布的雙側(cè)檢驗(yàn)表，取置信概率為 95%時(shí)， t0.05=2.365 則預(yù)測(cè)區(qū)間為: 土土t t0.050.05S = 16.67S = 16.67土土2.3652.3650.6590.659 = = 151.11-182.28151.11-182.28 即預(yù)測(cè)2004年耐用商品銷售額在 151.11 萬(wàn)元至 182.28 萬(wàn)元的概率為 95% 。 預(yù)測(cè) 區(qū)間的大小與置信概率的大小為同向關(guān)系 , 概率

9、取得越高，預(yù)測(cè)區(qū)間就越大。但是如果預(yù)測(cè)區(qū)間過(guò)寬，就會(huì)使預(yù)測(cè)結(jié)果失去意義。 一、二元線性回歸 設(shè)某國(guó)每年小麥出口量的增長(zhǎng)率和該年小麥產(chǎn)量的增長(zhǎng)率及出口稅率有線性關(guān)系 , 其 1994-2003 年的樣本數(shù)據(jù)如圖表所示。利用圖表 144 的數(shù)據(jù) , 求樣本回歸方程:解:為了確定回歸系數(shù)要求先求回歸方程,為此,需要用1994-2003年小麥出口量年增長(zhǎng)率與產(chǎn)量年增長(zhǎng)率及出口稅率回歸分析計(jì)算表:10.4回歸模型的統(tǒng)計(jì)檢驗(yàn)一.簡(jiǎn)單相關(guān)檢驗(yàn) 變量與之間是否存在線性相關(guān)的問(wèn)題,可以通過(guò)散點(diǎn)圖用目測(cè)的方法解決,但既不精確也不方便?，F(xiàn)在用一種量化指標(biāo)，來(lái)較精確地描述兩變量間的線性相關(guān)的密切程度，這個(gè)指標(biāo)稱為簡(jiǎn)單

10、相關(guān)系數(shù)r，其計(jì)算公式是：二、 F 檢驗(yàn)要判定回歸方程在整體上是否顯著成立，即用所配合的回歸方程來(lái)解釋因變量的變化是否有效，此時(shí)可用 F 檢驗(yàn)法。F 檢驗(yàn)法的步驟如下： 1. 計(jì)算剩余平方和S余: S余 =(yi i ）式中 , yi 為觀察值 , i為擬合值 2計(jì)算回歸平方和 S回: S回(yi yi ）3. 計(jì)算統(tǒng)計(jì)量 F 的值 : F= S回m/ S余/ (n-m-1)式中 m 為回歸方程中自變量個(gè)數(shù)。4. 查表檢驗(yàn)顯著性 :按顯著性水平查 F 分布表,得到臨界值F , 如果 F F , 則認(rèn)為回歸效果顯著 , 否則即認(rèn)為回歸效果不顯著。 對(duì)上例的回歸方程做 F 檢驗(yàn)1.計(jì)算剩余平方和：

11、S余 = (yi i）=2.04152.計(jì)算回歸平方和: S回(yi yi ）=112.49355 3.計(jì)算 F 值(因?yàn)槭且辉€性回歸 , 只有一個(gè)自變量 , 所以 m = 1) F= S回m/ S余/ (n-m-1) = 112.4935/2.0415/7=385.724.查表檢驗(yàn)顯著性 :取顯著性水平 =0.05；m=1, 第二自由度 n-m-1=7 。查 F 分布表得臨界值 F0.05=5.59 因?yàn)?F=385.725.59, 所以回歸效果顯著。 四、t 檢驗(yàn) 判定回歸方程中系數(shù) ( 參數(shù) ) 的作用是否顯著 ,可用 t 檢驗(yàn)法。在多元回歸中,如果某個(gè)自變量X對(duì)因變量 y 的作用不顯著，則該前的系數(shù)就可視為0。但需要注意，回歸系數(shù)同0的差異是否顯著，不能根據(jù)系數(shù)絕對(duì)值的大小來(lái)判斷，而要根據(jù)統(tǒng)計(jì)假設(shè)檢驗(yàn)的理論進(jìn)行檢驗(yàn)，因?yàn)橄禂?shù)值的大小要受變量計(jì)量單位的影響。如上例中得到的回歸方程 , 自變量x前的系數(shù)是2.9303, 倘若把x的單位由百元改為