l第八章 方差分析和回歸分析.ppt

1、第八章 方差分析和回歸分析,方差分析 回歸分析,教學目的和要求： 熟悉單因子方差分析 理解回歸分析的基本思想，掌握一元線性回歸模型,教學重點和難點: 重點：單因子方差分析和一元線性回歸分析 難點：方差分析的運用及線性回歸模型的建立和其顯著性檢驗,8.1 方差分析,8.1.1 單因子方差分析,1. 提出問題 設(shè)某因子有r個水平，即為 ，在每一水平下各作m次獨立重復試驗，若記第 個水平下第 j 次重復的實驗結(jié)果為 ，所有試驗的結(jié)果可列于表如下：,對這個試驗要研究的問題是：r個水平 間有無顯著差異.,2、基本假設(shè),（1）第 個水平下的數(shù)據(jù) 是來自正態(tài)總體 的一個樣本.,（2） 個方差相同，即,（3）

2、諸數(shù)據(jù) 都相互獨立,在這三個基本假定下，要檢驗的假設(shè)是,方差分析就是在方差相等的條件下，對若干個正態(tài)均值是否相等的假設(shè)檢驗.,稱為組內(nèi)平方和或誤差平方和，其自由度,稱為組間平方和或因子A的平方和，其自由 度,4、方差分析表,5、判斷 在 成立的條件下， 對給定的顯著水平 ，其拒絕域 為， 其中 可查表,若 ，則可以認為因子A顯著，即諸正態(tài)均值間有顯著差異；,若 ，則說明因子A不顯著，即保留原假設(shè),8.1.2 數(shù)據(jù)結(jié)構(gòu)式及其參數(shù)估計,要檢驗的假設(shè)檢驗可改寫為,水平均值 的估計,主效應(yīng) 的估計,誤差方差 的估計,8.2.3重復數(shù)不等情形下的方差分析,1、獲得數(shù)據(jù) 設(shè)因子A有r個水平 ，并且第r個水

3、平 下重復進行 次試驗，可得如下數(shù)據(jù),2. 基本假定、平方和分解、方差分析和判斷準則都和前面一樣，只是因子A的平方和的計算公式略有不同：記 ，則,3. 數(shù)據(jù)結(jié)構(gòu)式及參數(shù)估計式基本同前，需要注意下面兩點：,（1）總均值,（2）主效應(yīng)約束條件為,8.2 線性回歸分析,8.2.1 一元情形,以前我們所研究的函數(shù)關(guān)系是完全確定的，但在實際問題中，常常會遇到兩個變量之間具有密切關(guān)系卻又不能用一個確定的數(shù)學式子表達，這種非確定性的關(guān)系稱為相關(guān)關(guān)系。通過大量的試驗和觀察，用統(tǒng)計的方法找到試驗結(jié)果的統(tǒng)計規(guī)律，這種方法稱為回歸分析.,一元回歸分析是研究兩個變量之間的相關(guān)關(guān)系的方法。如果兩個變量之間的關(guān)系是線性的

4、，這就是一元線性回歸問題。一元線性回歸問題主要分以下三個方面：,（1）通過對大量試驗數(shù)據(jù)的分析、處理，得到兩個變量之間的經(jīng)驗公式即一元線性回歸方程.,（2）對經(jīng)驗公式的可信程度進行檢驗，判斷經(jīng)驗公式是否可信.,（3）利用已建立的經(jīng)驗公式，進行預測和控制.,1散點圖與回歸直線 在一元線性回歸分析里，主要是考察隨機變量 y 與普通變量 x 之間的關(guān)系。通過試驗，可得到x、y 的若干對實測數(shù)據(jù)，將這些數(shù)據(jù)在坐標系中描繪出來，所得到的圖叫做散點圖.,例1 在硝酸鈉（NaNO3）的溶解度試驗中，測得在不同溫度x（）下，溶解于100份水中的硝酸鈉份數(shù) y 的數(shù)據(jù)如下：,給出散點圖并試建 x 與 y 的經(jīng)驗

5、公式.,解：將每對觀察值（xi，yi）在直角坐標系中描出，得散點圖. 從圖可看出，這些點雖不在一條直線上，但都在一條直線附近.,于是，很自然會想到用一條直線來近似地表示 x 與 y 之間的關(guān)系，這條直線的方程就叫做 y對 x 的一元線性回歸方程。設(shè)這條直線的方程為 其中 a、b 叫做回歸系數(shù)（表示直線上 y 的值與實際值 yi 不同）,下面是怎樣確定 a 和 b ，使直線總的看來最靠近這幾個點.,2最小二乘法,在一次試驗中，取得 n 對數(shù)據(jù)（xi，yi），其中 yi 是隨機變量 y 對應(yīng)于 xi 的觀察值. 我們所要求的直線應(yīng)該是使所有 之和最小的一條直線，其中 . 由于絕對值在處理上比較麻煩

6、，所以用平方和來代替，即要求a、b的 值使 最小。利用多元函數(shù)求極 值的方法求回歸系數(shù) ，得,其中,從而得到一元線性回歸方程 ，其中 稱為參數(shù) a、b 的最小二乘估計，上述方法叫做最小二乘估計法.,下面計算例1中 y 對 x 的一元線性回歸方程. 這里 n=9，（xi，yi）由例1給出，計算出,故所求回歸方程為,3. 回歸方程的顯著性檢驗,一般的情況下，給定 n 對數(shù)組，總是能建立一個方程，因為完全可以按公式做，但是這個方程是否有效，還需作檢驗，也就是說回歸的顯著不顯著需要檢驗. 若回歸方程中 ，則回歸方程變成 不再與 x 有關(guān)，因此 是否為零是檢驗的原假設(shè)與備擇假設(shè)，為了尋求檢驗的統(tǒng)計量.,

7、我們把總體平方和分解，令,稱為剩余平方和 稱為回歸平方和,再來分析它們的分布,若能求出 的自由度，則 的自由度也就知道了.,為了求 的自由度，只要求出的 數(shù)學期望就可. 由于,又 成立條件下,因而,又寫成,在 ，若統(tǒng)計量 ，回歸顯著，否定,4. 相關(guān)性檢驗 在使用由試驗數(shù)據(jù)求出回歸方程的最小二乘法之前，并沒有判定兩個變量之間是否具有線性的相關(guān)關(guān)系. 因此，即使在平面上一些并不呈現(xiàn)線性關(guān)系的點之間，也照樣可以求出一條回歸直線，這顯然毫無意義. 因此，我們要用假設(shè)檢驗的方法進行相關(guān)關(guān)系的檢驗，其方法如下：,（1）假設(shè)H0：y 與 x 存在密切的線性相關(guān)關(guān)系,（2）計算相關(guān)系數(shù),（3）給定 ，根據(jù)自

8、由度 ，查項關(guān)系數(shù) 表，求出臨界值,（4）作出判斷：如果 時，接受假設(shè)H0，即認為在顯著性水平 下，y 與 x 的線性相關(guān)關(guān)系較顯著；,如果 時，則可認為在顯著性水平 下，y 與 x 的線性相關(guān)關(guān)系不顯著，即拒絕假設(shè)H0 .,5. 預測與控制 在求出隨機變量 y 與變量 x 的一元線性回歸方程，并通過相關(guān)性檢驗后，便能用回歸方程進行預測和控制.,（1）預測 點預測：對給定的x=x0，根據(jù)回歸方程求得 ，作為 的預測值，這種方法叫做點預測.,區(qū)間預測：區(qū)間預測就是對給定的 x=x0，利用區(qū)間估計的方法求出 y0 的置信區(qū)間. 對給定的 x=x0，由回歸方程可計算一個回歸值,一般地（特別當 n 很

9、大時） 相互獨立，而且服從同一正態(tài)分布,可以證明，統(tǒng)計量 是 的無偏估計量，其中,從而可近似地認為,于是，我們得到 y0 的95%預測區(qū)間為,于是，我們得到 y0 的99%預測區(qū)間為,上述預測區(qū)間在 n 較大且 較小時適用.,（2）控制 控制是預測的反問題，就是如何控制 x 值使 y 落在指定范圍內(nèi)，也就是給定 y 的變化范圍求 x 的變化范圍,如果希望 y 在區(qū)間（y1，y2）內(nèi)取值（y1 與y2 已知），則x的控制區(qū)間的兩個端點 x1、x2可由下述方程解出,當回歸系數(shù) 時，控制區(qū)間為（x1，x2） 當 時，控制區(qū)間為（x2，x1）,應(yīng)當指出下面兩點： （1）y的取值范圍一般僅限于在已試驗過

10、的y的變化范圍之內(nèi)，不能任意外推,（2）對y的指定區(qū)間（y1，y2）不能任意小，按上面的方程組計算時，y1、y2必須滿足 時，所求的 x 的控制區(qū)間才有意義,8.2.2 多元線性回歸,實際應(yīng)用中，很多情況要用到多元回歸的方法才能更好地描述變量間的關(guān)系，因此有必要在本節(jié)對多元線性回歸做一簡單介紹，就方法的實質(zhì)來說，處理多元的方法與處理一元的方法基本相同，只是多元線性回歸的方法復雜些，計算量也大得多，一般都用計算機進行處理.,1、多元線性回歸的模型,設(shè)因變量 y 與自變量 之間有關(guān)系式,抽樣得 n 組觀測數(shù)據(jù),其中 是自變量 的第 j 個觀測值， 是因變量 y 的第 j 個值，得模型的數(shù)據(jù)結(jié)構(gòu)式,

11、上述模型即稱為 k 元正態(tài)線性回歸模型，其中 及 都是未知待估的參數(shù)，對 k 元線性模型，需討論的問題與一元時相同.,其中,通常稱該方程為正規(guī)方程組，其中前 k 個方程的系數(shù)矩陣記為 ，當 可逆時，正規(guī)方程組有解，便可得 的最小二乘估計 .,即,代入模型，略去隨機項得經(jīng)驗回歸方程為,類似一元可以證明 都是相應(yīng)的 的無偏估計，且 的無偏估計為,3. 回歸方程的顯著性檢驗,與一元的情形一樣，上面的討論是在 y 與 之間呈現(xiàn)線性相關(guān)的前提下進行的，所求的經(jīng)驗方程是否有顯著意義，還需對 y 與諸 間是否存在線性相關(guān)關(guān)系作顯著性假設(shè)檢驗，與一元類似，對 是否有顯著意義，可通過檢驗,為了找檢驗H0的檢驗統(tǒng)計量，也需將總偏差平方和 作分解,這里 . 分別稱 為殘差平方和、回歸平方和，可以證明,取F作H0的檢驗計量，對給定的水平 ，查 分布表可