回歸模型-1.ppt

1、統(tǒng)計(jì)模型及其應(yīng)用,西安電子科技大學(xué)數(shù)學(xué)科學(xué)系,馮海林,E-mail ,一.回歸模型及其應(yīng)用線性回歸模型,1.線性回歸模型 回歸參數(shù)的估計(jì)最小二乘估計(jì)（約束最小二乘估計(jì)） 2.回歸診斷 殘差分析與影響分析；Box-Cox變換 3.假設(shè)檢驗(yàn)與預(yù)測(cè) 回歸方程與回歸系數(shù)的檢驗(yàn)；異常點(diǎn)檢驗(yàn)；因變量預(yù)測(cè) 4.回歸方程的選擇 選擇標(biāo)準(zhǔn)與逐步回歸 5.非線性回歸 可線性化的一元非線性回歸,1.線性回歸模型,線性統(tǒng)計(jì)（線性回歸和方差分析）模型是現(xiàn)代統(tǒng)計(jì)學(xué)中應(yīng)用最為廣泛的模型之一，是其它統(tǒng)計(jì)模型研究或應(yīng)用的基礎(chǔ),現(xiàn)實(shí)中，許多變量之間具有線性或近似的線性關(guān)系,現(xiàn)實(shí)中，雖然許多變量之間的關(guān)系是非線性的，但經(jīng) 過(guò)適當(dāng)變

2、換，變換后的變量具有近似的線性關(guān)系,線性關(guān)系是數(shù)學(xué)中最簡(jiǎn)單，最基本的一種關(guān)系，處理容 易且有成熟的理論與方法,線性回歸模型是處理變量之間線性相關(guān)關(guān)系的一種數(shù)學(xué)模型.,1.找出能夠反映變量間真實(shí)關(guān)系的表達(dá)式,3.利用這樣的關(guān)系進(jìn)行預(yù)測(cè),2.對(duì)變量之間的關(guān)系進(jìn)行分析,回歸模型的任務(wù),一般，稱為因變量或響應(yīng)變量，稱為自變量或預(yù)報(bào)變量,f(X)+e 其中e為隨機(jī)誤差并要求(e),特別，當(dāng)f(X)是線性函數(shù)： f(X) =0+1X有如下模型：, =0+ 1Xe,稱該模型為一元線性回歸模型，或線性回歸方程,經(jīng)驗(yàn)回歸方程,一元線性回歸模型,二元線性回歸模型, =0+ 1X1 2X2 e,注：0， 1 ，（

3、2）是未知的，需要通過(guò)觀測(cè)數(shù)據(jù)進(jìn)行估 計(jì) 1，（ 2）稱為回歸系數(shù),注：經(jīng)驗(yàn)回歸方程是否能真實(shí)反映變量之間的關(guān)系，是需要檢驗(yàn)的,多元線性回歸模型,稱之為多元線性回歸模型,注：在實(shí)際中需要利用觀測(cè)數(shù)據(jù)和適當(dāng)?shù)慕y(tǒng)計(jì)方法對(duì)未知參數(shù) 進(jìn)行估計(jì),多元線性回歸模型,多元線性回歸模型,Gauss-Markov假設(shè),多元線性回歸模型,多元線性回歸模型,經(jīng)驗(yàn)回歸方程,利用適當(dāng)?shù)慕y(tǒng)計(jì)方法，得到未知參數(shù)向量的估計(jì)值,回歸參數(shù)的估計(jì)最小二乘估計(jì)（約束最小二乘估計(jì)）,多元線性回歸模型約束最小二乘估計(jì),2.回歸診斷,回歸診斷的兩個(gè)任務(wù): 1.考察實(shí)際數(shù)據(jù)是否滿足多元線性回歸模型的 Gauss-Markov假設(shè)殘差分析 2

4、.探察對(duì)估計(jì)或預(yù)測(cè)有異常大影響的數(shù)據(jù) Cook統(tǒng)計(jì)量,注：1.殘差的大小反映了實(shí)際數(shù)據(jù)與理論模型擬合程度的好壞； 2.利用殘差可以得到模型假設(shè)中誤差方差 的無(wú)偏估計(jì)：,2.回歸診斷_殘差分析,2.回歸診斷_殘差分析,學(xué)生化殘差：,一般，可近似認(rèn)為相互獨(dú)立且服從標(biāo)準(zhǔn)正態(tài)分布.則,可以證明擬合值與學(xué)生化殘差相互獨(dú)立. 以擬合值 為橫軸，殘差 為縱軸的圖稱為殘差圖.,注：還有其它的殘差圖，區(qū)別是橫軸的表示的量不同,2.回歸診斷_殘差分析,大師傅,回歸診斷學(xué)生化殘差圖,回歸診斷影響分析,在線性模型中剔除掉第i組數(shù)據(jù)后，利用剩余的n組數(shù) 據(jù)獲得模型參數(shù)的最小二乘估計(jì)記為,回歸診斷影響分析,Cook統(tǒng)計(jì)量

5、的大小度量了每組數(shù)據(jù)的影響的大小,對(duì) 每組數(shù)據(jù),都可以有一個(gè)量來(lái)刻畫它對(duì)回歸系數(shù)估計(jì) 影響的大小.但是在實(shí)際中確定其臨界值比較困難,可 通過(guò)實(shí)際問(wèn)題進(jìn)行比較.,對(duì)回歸估計(jì)影響很大的數(shù)據(jù),要進(jìn)行必要的處理,如修正,或者剔除,回歸診斷Box-Cox變換,一般,如果殘差圖顯示了誤差方差不相等,則可采用一些方法 使得其模型方差近似相等.包括:因變量的變換,實(shí)際中效果 比較好的有Box-Cox變換.,Box-Cox變換是對(duì)回歸因變量Y的如下變換:,回歸診斷Box-Cox變換,確定,對(duì)因變量的n個(gè)觀察值應(yīng)用以上變換,確定 使得,可以利用極大似然估計(jì)的思想確定,為了在計(jì)算機(jī)上方便實(shí)現(xiàn)Box-Cox變換.需要

6、計(jì)算,回歸診斷Box-Cox變換,3.假設(shè)檢驗(yàn)與預(yù)測(cè),回歸系數(shù)的檢驗(yàn)t檢驗(yàn),異常點(diǎn)的檢驗(yàn)F檢驗(yàn),統(tǒng)計(jì)上，異常點(diǎn)是泛指在一組數(shù)據(jù)中，與它們的主體不是來(lái)自同一分布的少數(shù)點(diǎn).直觀上指遠(yuǎn)離數(shù)據(jù)組的主體.,異常點(diǎn)的檢驗(yàn)F檢驗(yàn),因變量預(yù)測(cè)點(diǎn)預(yù)測(cè),因變量預(yù)測(cè)區(qū)間預(yù)測(cè),（4）“有進(jìn)有出”的逐步回歸分析。,（1）從所有可能的因子（變量）組合的回歸方程中選擇最優(yōu)者；,（2）從包含全部變量的回歸方程中逐次剔除不顯著因子；,（3）從一個(gè)變量開始，把變量逐個(gè)引入方程；,選擇“最優(yōu)”的回歸方程有以下幾種方法：,以第四種方法，即逐步回歸分析法在篩選變量方面較為理想.,“最優(yōu)”的回歸方程就是包含所有對(duì)Y有影響的變量, 而不包

7、含對(duì)Y影響不顯著的變量回歸方程。,4.回歸方程的選擇逐步回歸分析,這個(gè)過(guò)程反復(fù)進(jìn)行，直至既無(wú)不顯著的變量從回歸方程中剔除，又無(wú)顯著變量可引入回歸方程時(shí)為止。,逐步回歸分析的思想,從一個(gè)自變量開始，視自變量Y作用的顯著程度，從大到小依次逐個(gè)引入回歸方程。,當(dāng)引入的自變量由于后面變量的引入而變得不顯著時(shí)，要將其剔除掉。,引入一個(gè)自變量或從回歸方程中剔除一個(gè)自變量，為逐步回歸的一步。,對(duì)于每一步都要進(jìn)行Y值檢驗(yàn)，以確保每次引入新的顯著性變量前回歸方程中只包含對(duì)Y作用顯著的變量。,例 出鋼時(shí)所用的盛鋼水的鋼包，由于鋼水對(duì)耐火材料的侵蝕， 容積不斷增大.我們希望知道使用次數(shù)與增大的容積之間的關(guān) 系.對(duì)一鋼包作試驗(yàn)，測(cè)得的數(shù)據(jù)列于下表：,5.非線性回歸可線性化的一元非線性回歸,散