概率論與數(shù)理統(tǒng)計》ppt課件

1、第十一章 回歸分析,11.1回歸概念 11.2一元線性回歸方程 11.3可線性化的回歸方程,1.理解變量間的相關關系以及回歸分析的主要任務,2.會用最小二乘法建立回歸直線方程,一元線性回歸方程的建立,回歸直線方程的有效性檢驗,教學要求,重點,回歸分析的任務是：根據(jù)試驗數(shù)據(jù)取估計回歸函數(shù)，討論有關的點估計、區(qū)間估計、假設檢驗等問題,特別重要的是對隨機變量Y的觀察值做出點預測和區(qū)間預測,確定性關系是指變量之間的關系可以用函數(shù)關系來表達的,11.1 回歸概念,自然界和生產實踐中的許多現(xiàn)象之間存在著 相互依賴、相互制約的關系,一、現(xiàn)象,二、關系,非確定性關系即所謂相關關系,回歸分析是研究相關關系的一種

2、數(shù)學工具。它能幫助我們從一個變量取得的值去估計另一個變量所取得值,另一類是統(tǒng)計關系或稱相關關系。即變量之間雖然存在著密切的關系，但從一個（或一組）變量的每一確定的值，不能求出另一變量的確定的值?？墒窃诖罅吭囼炛?，這種不確定的關系，具有統(tǒng)計規(guī)律性，這種聯(lián)系使稱為統(tǒng)計相關,二、關系,一類是函數(shù)關系，即變量之間有著確定的關系。例如已知圓的半徑R，則圓面積可以用公式S= R2 來計算。這里S與R之間有著確定的關系,這些關系表現(xiàn)在量上主要有兩種類型,例 1 居民按人口計算的平均收入與某種商品（如糖果）的消費量之間，有著一定的聯(lián)系。一般說來平均收入高的，消費量大，但平均收入相同時，這種商品的消費量卻不一定

3、是完全相同的,例 2 森林中的同一種樹木，其斷面直徑與高度之間是有聯(lián)系的。一般說來，較粗的樹較高，但直徑相同的樹，其高度也不完全是相同的,例 3 消費者對某種商品（比如西紅柿）的月需求量與該種商品的價格有很密切的關系。一般說來，價格低時需求量大，價格高時需求量小，但同一種價格，月需求量也不完全相同,例 4 農作物的產量與施肥量、氣候、農藥 也有這種不確定的關系,即便是具有確定關系的變量，由于試驗誤差的影響，其表現(xiàn)形式也具有某種程度的不確定性,如果這個模型是線性的就稱為線性回歸分析。這種方法是處理變量間相關關系的有力工具，是數(shù)理統(tǒng)計中一種常用的方法。它不僅告訴人們怎樣建立變量間的數(shù)學表達式，即經

4、驗公式，而且還利用概率統(tǒng)計知識進行分析討論，判斷出所建立的經驗公式的有效性，從而可以進行預測或估計。這在實際中是很有用的。本章主要介紹如何建立經驗公式，以及建立的經驗公式其有效性的判斷,由一個或一組非隨機變量來估計或預測某一個 隨機變量的觀察值時，所建立的數(shù)學模型及所 進行的統(tǒng)計分析，稱為回歸分析,11.2 一元線性回歸方程,具有相關關系的變量間雖然不具有確定的函數(shù)關系，但是可以借助函數(shù)關系表達它們之間的統(tǒng)計規(guī)律性。用以近似地描述具有相關關系的變量間聯(lián)系的函數(shù)稱為回歸函數(shù),在實際中最簡單的情況是由兩個變量組成的關系，比如：在經濟關系中，對某種商品的需求量隨價格的升降而變化；居民消費隨收入的增減

5、而改變等等,首先考察兩量間的模型即,我們對普通變量x取定一組不完全相同的值,分別是在,處對Y的獨立觀察結果,稱,是一個樣本,對應的樣本值記為,如何利用樣本來估計Y關于x的回歸函數(shù),首先需要推測f (x)的形式，可將每對觀察值,在直角坐標系中描繪出它的相應的點，這種圖稱為散點圖。通過散點圖可以粗略的看出f (x)的形式,由于兩個變量之間不存在完全確定的函數(shù)關系，因此必須把隨機波動產生的影響引入方程,其中，y是隨機變量，x是普通變量，是隨機項。隨機變量yi表示對應于給定變量x的值xi的試驗結果,首先一個問題是如何根據(jù)已經試驗的結果以及以往的經驗來確定回歸函數(shù)的類型以及求出函數(shù)中的未知參數(shù)的估計，得

6、到經驗公式,一） 回歸直線方程,例1 以家庭為單位，某種商品年需求量與該商品價格之間的一組調查數(shù)據(jù)如表11-1所示,統(tǒng)計結果表明，盡管價格不變，需求仍可能變化，價格改變需求也可能不變。但是，總的趨勢是家庭對該商品的年需求量隨著價格的上升而減少，它們之間存在著密切的聯(lián)系。我們要找出近似地描述它們關系的回歸函數(shù)，也就是求出d對于p的回歸方程,的類型，先把10對數(shù)據(jù)作為直角坐標平面上點的 坐標，并把這些點畫在直角坐標平面上。這樣得到的圖稱為散點圖（如圖11-1,為了確定回歸函數(shù),可以看出，所有的點大體上分布在一條直線的周圍。即需求量與價格大致成線性關系,要求出回歸直線方程L，就是要找出a與b的估計量

7、,因而可以決定該種商品的需求量y對價格x的回歸 函數(shù)為直線型。我們把y對x的回歸函數(shù)記為,b稱為回歸系數(shù),y 對x的回歸直線方程,達到最小,使直線 L 總的看來與所有的散點最接近,通常是固定x使得,一般地，兩個變量的線性回歸模型為,取一個容量為n的樣本,并且假定,平面上任意一條直線L的方程記為,用數(shù)值,描述點,與它沿平行縱軸方向到L的遠近距離,定量地描述了直線L與n個觀察點總的接近程度。Q的大小隨直線L的位置變化而變化。也就是說，Q 的值隨著 a和 b的不同而變化。它是 a和b的二元函數(shù),稱它們?yōu)閍及 b的最小二乘估計,要找一條總的看來最接近這n個點的直線， 就要找出使得Q達到最小值的,求法可

8、以利用微積分中的極值求法,整理后得,由（1）得,代入（2）得,11.8,11.9,于是所求的回歸直線方程為,11.10,可以用（11.9）與（11.8）式分別計算 為了清楚起見，可先列出回歸計算表如表11-2,可以證明， 確實使平方和Q達到最小,例1 以家庭為單位，某種商品年需求量與該商品價格之間的一組調查數(shù)據(jù)如表11-1所示,比如求例子1中的回歸方程,所求回歸方程應為,繼續(xù)計算,解：設回歸直線方程為,21,EX,P223 1、2、3、4,二） 相關性檢驗,說明x值的變化對y沒有影響，因而變量x不能控制變量y，用回歸直線方程(11.10)不能描述兩個變量y與x之間的關系,用最小二乘法求出的回歸

9、直線并不需要事先假定y與x一定具有線性相關的關系,就方法最小二乘法本身而言，對任意一組數(shù)據(jù)都可以用（11.8)及(11.9)式給它們配一條直線，描述y與x間的關系,因此，需要判斷y對x的回歸函數(shù)的類型是否為線性的，也就是這兩個變量間是否真的存在著近似線性的關系。如果在,中的b=0,因此，在相關性檢驗時首先提出待檢假設,二） 相關性檢驗,因此，在相關性檢驗時首先提出待檢假設,若H0成立，則x與y之間無線性關系，由此建立的回歸直線方程就無效,若拒絕H0，則x與y之間存在線性關系，由此建立的回歸直線方程就有效,用方差分析的方法進行檢驗,為此先介紹平方和分解公式，將x對y的線性影響與隨機波動引起的變差

10、分開,總的離差平方和,對于任意n組數(shù)據(jù),總的離差平方和,總和Syy,余和Q,回歸和U,在平方和分解公式中,須證明,成立,帶入上式左端得,a,0,1,0,2,證明,3,證明,是回歸直線上的點,說明,也是樣本值的均值點,在平方和分解公式中,其中U是 對于其平均值 的離差平方和,它反映了 的分散程度。而這一分散性是由于在回歸直線上它們所對應的橫坐標 ，的變化引起的，并且通過x對于y的線性影響表現(xiàn)出來，稱它為回歸平方和,11.1,可更清楚地看出x對y的線性影響與U的關系,至于Q，它是對應于變量x的每一個取值 xi ，變量y的實際觀察值yi與回歸函數(shù)值 的離差平方和，是由總誤差中分離出x對y的線性影響之

11、外的其余因素而產生的誤差,在（11.2）式假定下，Q完全是隨機項 引起的，稱為殘差平方和或剩余平方和,在平方和分解公式中,如果 U的值大，說明U起主導作用，建立的回歸方程回歸效果顯著,如果 Q的值大，說明Q起主導作用，建立的回歸方程回歸效果不顯著,則建立的回歸方程無效,可以證明,回歸直線方程,若建立的回歸直線方程無效，則b=0,認為x與y之間存在線性相關關系,1.首先提出待檢假設,2.根據(jù)假設選取統(tǒng)計量,在H。成立的條件下所選統(tǒng)計量,3.對于給定的檢驗水平 ，構造小概率事件,4)根據(jù)樣本觀察值計算統(tǒng)計量F的值并與臨界值F比較,5)下結論,如果F F ， 則否定假設H0,只有存在線性相關關系的變

12、量之間建立回歸直線方程才是有意義的,為了檢驗相關性，有時選用樣本相關系數(shù),為統(tǒng)計量，并把R的臨界值列成相關系數(shù)表(附表七,不過這兩種檢驗方法是一致的,這是由于,因此，F(xiàn)的值較大等價于|R|較大，可以用,以例1為例，說明相關性檢驗的步驟,可以用（11.9）與（11.8）式分別計算 為了清楚起見，可先列出回歸計算表如表11-3,例1 以家庭為單位，某種商品年需求量與該商品價格之間的一組調查數(shù)據(jù)如表11-1所示,解：設回歸直線方程為,相關性檢驗的一般步驟,1.提出待檢假設,2.列出方差計算表（如表113,根據(jù)表中結果繼續(xù)計算,3.列出方差分析表,4.78,12.18,7.53,11.86,0.32,在顯著性一欄內畫一個,在顯著性一欄內再畫一個,4.結論：拒絕假設H0,認為b0,變量x對y有極其顯著的線性影響,所求回歸方程應為,繼續(xù)計算,11.3 可線性化的回歸方程,如果由觀察數(shù)據(jù)畫出的散點圖或由經驗認為兩個變量之間不能用線性關系近似描述，但是其中有些回歸方程仍可化為線性回歸方程，那么只要進行變量替換，就能直接利用線性回歸方程的結果。 在經濟領域中常用的有下面幾種形