研究生回歸分析講稿.doc

回歸分析模型一、什么是回歸分析自然界中許多變量間都存在著某種相互聯系和相互制約的關系，這種關系一般有兩類，一類是確定性關系，也稱之為函數關系。如中變量與的關系就是確定性關系。另一類是不確定性關系，也稱之為相關關系或統(tǒng)計關系。這種變量間的關系尚無法表示成精確的函數關系，如人的身高與體重間的關系；商品的銷售量與價格間的關系；樹高與生長時間的關系等等均屬于這類關系。所謂回歸分析是指通過試驗和觀測，去尋找隱藏在變量間的統(tǒng)計關系的一種數學方法。設我們要研究變量與之間的統(tǒng)計關系，希望找出的值是如何隨的變化而變化的規(guī)律，這時稱為因變量，為自變量。通常被認為是非隨機變量，它是可以精確測量或嚴格控制的；是一個隨機變量，它是可觀測的，但存在測量誤差。于是與的關系可表示為.（）其中是一切隨機因素影響的總和，有時也簡稱為隨機誤差。通常假設滿足.由（）式得到，（）（）式稱為理論回歸方程。由于的函數形式未知，或者的函數形式已知，但其中含有未知參數，即，其中為未知參數。故理論回歸方程一般無法直接寫出。為了得到理論回歸方程的近似表達式，通常先對的函數形式作出假定，然后通過觀測得到關于的組獨立觀測數據。利用這些觀測數據來估計出中的未知參數，得到經驗回歸方程 （）（）式又稱為回歸方程，稱為對的回歸函數。當是線性函數時，（）式稱為線性回歸方程，而獲得線性回歸方程的方法稱為線性回歸分析。若所進行的線性回歸分析中自變量是一元的，則稱之為一元線性回歸分析；若自變量是多元的，則稱之為多元線性回歸分析?；貧w分析在數學建模中的應用非常廣泛，其主要作用有：（）根據所給的數據，在誤差盡可能小的條件下，建立因變量與自變量之間的回歸方程，并利用此方程對變量進行預測或控制。（）判斷自變量中，哪些變量對的影響是顯著的，哪些變量的影響是不顯著的。（）估計多項式插值函數的系數。二、一元線性回歸分析一元線性回歸分析是指獲得一元線性回歸方程的方法。1數學模型的建立設變量與之間存在統(tǒng)計關系，通過觀測得到關于的對獨立觀測數據.（）在平面直角坐標系中，描出每對觀測數據所對應的點，得到的圖稱為散點圖。若散點圖呈直線狀，則可以假定變量與之間有如下關系.（）其中為隨機變量，為非隨機變量，稱為回歸系數。為隨機變量，稱為隨機誤差，它可以理解為中無法用表示的其它各種隨機因素造成的誤差。我們的問題是要用來估計的均值，即.且假定，是與無關的待定常數。因此，變量的對獨立觀測數據應滿足 （）其中為待估參數，為個相互獨立的且服從同一正態(tài)分布的隨機變量。（）式稱為一元線性回歸的數學模型。2參數的最小二乘估計為了得到回歸方程， （）我們需要利用觀測數據來估計參數，而估計參數的原則是使（誤差平方和）盡可能地小。又因為，（）所以和的估計值和應為方程組（）的解。記，則方程組（）化為 （10）方程組（10）稱為正規(guī)方程組。由于，所以方程組（10）有唯一解，其解為. （11） 若記則（11）可化為，. （12）所求回歸方程為. （13）這種以誤差平方和達最小為原則的參數估計方法稱為最小二乘估計。例考察硫酸銅(CuSO4)在100克水中的溶解量與溫度間的關系時，作了9組獨立試驗，結果見表31。試尋找隱藏在變量與之間的統(tǒng)計關系。表3溫度（）01020304050607080溶解量(g)14.017.521.226.129.233.340.048.054.8圖 31解以變量的9組獨立觀測數據為點的坐標，在平面直角坐標系中作散點圖，見圖3。由圖3可見變量與之間大致呈線性關系，因此我們設. (14）其中和為待估參數，為隨機誤差，且設。利用公式（12）對參數和進行估計，計算結果如下. .所求回歸方程為. （15）至于回歸方程（15）是否真實地反映了變量與之間的統(tǒng)計關系，這還需對其進行顯著性檢驗。3回歸方程的顯著性檢驗由前面的討論可知，變量與之間存在線性統(tǒng)計關系是依據散點圖做出的假設。這只是一種直觀判斷，并不可靠。一旦變量與之間不存在線性統(tǒng)計關系，則我們所確定的回歸方程將毫無意義。因此，在建立了回歸方程后，我們必須對變量與之間是否真正存在線性統(tǒng)計關系進行檢驗，這就是所謂的回歸方程顯著性檢驗。對回歸方程（13）進行顯著性檢驗，就是要檢驗假設當為真時，模型（）不成立，即與之間不存在線性統(tǒng)計關系；當不真時，模型（）成立，即與之間存在線性統(tǒng)計關系。為了檢驗假設，需要建立檢驗統(tǒng)計量。在建立檢驗統(tǒng)計量之前，首先對引起數據波動的主要因素進行分析。歸納起來引起數據波動的主要因素有兩個：（）由自變量取值的不同引起的變化，稱為回歸因素。（）其它一切隨機因素（包括試驗誤差）的影響，稱為誤差因素。為了檢驗兩方面的影響哪一個是主要的，需要把它們從的總離差中分解出來，這就是所謂的總離差平方和的分解。觀測值的總離差.可以證明，其中是回歸方程在處的函數值，即稱為理論值，并且其平均值也是。記， （16）則是描述，的離散程度的平方和，的大小反映了的變化對波動的影響，因此稱為回歸平方和，其自由度為1（因為自變量的個數是1）。而是反映其它一切隨機因素（包括試驗誤差）對波動的影響，稱為剩余平方和（或殘差平方和），其自由度為的自由度減去1，即。由回歸平方和及剩余平方和的意義可知，與之間是否存在線性統(tǒng)計關系，取決于及在中所占的比例大小，或者看的大小，這個比值越大，說明對的線性影響越大?？梢宰C明，且與相互獨立。而在假設成立的條件下，有 .因此，由分布的定義知，在成立的條件下，. （17）有了檢驗統(tǒng)計量，在給定的顯著性水平下，假設的拒絕域為.若假設被拒絕，則回歸方程（13）的回歸效果是顯著的，這說明變量與之間存在顯著的線性統(tǒng)計關系；否則回歸方程（13）的回歸效果是不顯著的，這說明變量與之間不存在顯著的線性統(tǒng)計關系?；貧w平方和與剩余平方和也可采用下述簡便公式計算（=），.（18）例對例1中的回歸方程（15）進行顯著性檢驗。解假設 .我們有，且，,.查表知。因此,回歸方程（15）的回歸效果是極顯著的，即例1中變量與之間存在著極顯著的線性統(tǒng)計關系。4應用回歸方程進行預報當所建立的回歸方程通過了顯著性檢驗后，可應用該回歸方程進行預報。如在例1中，我們可以應用回歸方程（15）預報水溫為25時，硫酸銅的溶解量。因為，所以當水溫為25時，硫酸銅的溶解量為24.1克。三、多元線性回歸分析多元線性回歸分析的理論與一元線性回歸分析的理論是相似的，只不過自變量由一元擴展到了多元，因此在計算上相對要復雜一些。下面將多元線性回歸分析簡要地做一個介紹。1 數學模型的建立假設變量與變量之間有如下關系 （19）其中為隨機變量，為非隨機變量，稱為回歸系數。為隨機變量，稱為隨機誤差，它可以理解為中無法用表示的其它各種隨機因素造成的誤差。我們的問題是要用來估計的均值，即.且假定，是與無關的待定常數。為了估計，對變量進行次獨立試驗（或觀測），得到的組獨立觀測數據為. （20）而變量的組獨立觀測數據應滿足 （21）其中為待估參數，為個相互獨立且服從同一正態(tài)分布的隨機變量，（21）式稱為多元線性回歸的數學模型。若記，.則（21）式的矩陣形式為.（22） 2參數的最小二乘估計與一元線性回歸的理論相同，也以使得誤差平方和最小為原則，對理論回歸方程 （23）的參數進行估計。因為，所以的估計值應為方程組 （24）的解。方程組（24）稱為正規(guī)方程組，其有唯一解。方程組（24）的矩陣形式為若記回歸方程（23）中待估參數的估計值為,則 （25）所求回歸方程為 （26）方程組（24）也可以寫為 （27）其中；.若記 （28）則，3回歸方程的顯著性檢驗（1）總離差平方和的分解，其中,稱為理論值，并且其平均值也是若記，.則稱為回歸平方和，它反映了自變量的變化所引起的的波動，其自由度為（因為自變量的個數為）；而稱為剩余平方和（或殘差平方和），它反映了其它一切隨機因素（包括試驗誤差）對波動的影響，其自由度為的自由度減去，即（）顯著性檢驗對回歸方程的顯著性檢驗是指檢驗假設. （29）可以證明，且和相互獨立當假設成立時，可以證明因此，由分布的定義知，在成立的條件下，. （30）有了檢驗統(tǒng)計量，在給定的顯著性水平下，假設的拒絕域為若假設沒有被拒絕，則回歸方程（26）的回歸效果是不顯著的，這說明變量與變量之間不存在顯著的線性統(tǒng)計關系，回歸方程（26）沒有任何實際意義；若假設被拒絕，則回歸方程（26）的回歸效果是顯著的，這說明變量與變量之間存在顯著的線性統(tǒng)計關系4回歸系數的顯著性檢驗前面對回歸方程的顯著性檢驗，是對回歸方程中全部自變量的總體回歸效果進行檢驗但總體回歸效果顯著并不說明每個自變量對因變量的影響都是顯著的，即可能有某個自變量對的影響并不顯著，或者能被其它的自變量的作用所代替因此，對這種自變量我們希望能從回歸方程中剔除，從而建立更簡單的回歸方程顯然若自變量對因變量的影響不顯著，則它的回歸系數就應取值為零因此，檢驗每個自變量是否對影響顯著，就是檢驗假設（31）可以證明，在假設成立的條件下，統(tǒng)計量. (32)其中為（28）式中矩陣的主對角線上第個元素。有了檢驗統(tǒng)計量，在給定的顯著性水平下，假設的拒絕域為若假設被拒絕，則對有顯著影響；否則對沒有顯著影響，應在回歸方程中被剔除，并且對變量與變量之間的線性統(tǒng)計關系需要重新進行線性回歸分析，再建立新的回歸方程這個過程只有到了回歸方程中所有的自變量對的影響都顯著時才能停止例3某養(yǎng)豬場估計豬的毛重，測得14頭豬的體長(cm)、胸圍（cm）與體重(kg)的數據見表3試建立與的回歸方程表3序號1234567891011121314x141455152596269727880909298103x24958627162747174798485949195y2839414443505157636670768084解假設與之間有如下關系，故所求回歸方程為應用方程組（27）進行參數估計經計算得 ,，.故，所求回歸方程為 (33)對回歸方程進行顯著性檢驗，經計算得.故查表知，因此，回歸方程（33）的回歸效果極顯著。對回歸系數進行顯著性檢驗，經計算得，查表知，因此，和對的影響都顯著，和都應保留在回歸方程（33）中。作業(yè)1在研究某化學提取過程中溫度（）與得率（%）的相關關系時，作了9組獨立試驗，觀測值的散點圖呈線性變化規(guī)律，根據觀測值計算出：=40,=31.567,=6000,=2995,=1533.38（1）求回歸方程；（2）對回歸方程進行顯著性檢驗（取顯著性水平=0.01，臨界值=12.25）。作業(yè)2為了研究老鼠體內血糖的減少量和注射胰島素A的劑量的關系，將同樣條件下繁殖的7只老鼠注射不同劑量的胰島素A，觀測數據見下表。觀測注射胰島素A的劑量0.200.250.300.350.400.450.50老鼠體內血糖的減少量302640355460