多元回歸與多項(xiàng)式回歸

多元回歸與多項(xiàng)式回歸第1頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月第九章

多元回歸與多項(xiàng)式回歸

學(xué)習(xí)要求

了解多元回歸、偏相關(guān)系數(shù)、通徑分析、多項(xiàng)式回歸的概念；理解多元回歸、多項(xiàng)式回歸關(guān)系的顯著性檢驗(yàn)及準(zhǔn)確度測(cè)定的意義；掌握正規(guī)方程組求解求逆緊湊法的步驟及建立最優(yōu)回歸方程、通徑分析方法。重點(diǎn)與難點(diǎn)

重點(diǎn)：涉及本章統(tǒng)計(jì)量的含義，建立最優(yōu)回歸方程及通徑分析方法難點(diǎn)：求解求逆緊湊法的應(yīng)用思考題及作業(yè)

1、何謂偏回歸及偏相關(guān)系數(shù)、通徑系數(shù)、及決定系數(shù)？

2、求解求逆緊湊法的公式有哪些性質(zhì)？這些性質(zhì)有何用處？

3、試述偏相關(guān)系數(shù)、復(fù)相關(guān)系數(shù)及簡(jiǎn)單相關(guān)系數(shù)的區(qū)別？

4、習(xí)題作業(yè)：《標(biāo)準(zhǔn)化綜合測(cè)試題》第九章1—4題

參考書

1．貴州農(nóng)學(xué)院(主編).2001.《生物統(tǒng)計(jì)附試驗(yàn)設(shè)計(jì)》教材.中國(guó)農(nóng)業(yè)出版社.172~197頁(yè)

2．莫惠棟著.1992.農(nóng)業(yè)試驗(yàn)統(tǒng)計(jì).上海科學(xué)技術(shù)出版社.467~580頁(yè)

第2頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月第一節(jié)

多元回歸與多元相關(guān)

1、闡述多元回歸的概念2、重點(diǎn)介紹正規(guī)方程組的解法世界上的事情是復(fù)雜的，生物現(xiàn)象尤其這樣。在生物現(xiàn)象中，變量與變量的關(guān)系往往不是簡(jiǎn)單的一對(duì)一的關(guān)系，而是很多變量相互之間都有關(guān)聯(lián)。在極大多數(shù)的實(shí)際問題中，一個(gè)變量不是受一個(gè)而是受多個(gè)變量的影響。要研究一個(gè)依變量與多個(gè)自變量間的關(guān)系，就需要用多元回歸分析和多元相關(guān)分析的方法。線性回歸是最基本的回歸關(guān)系。這里介紹的多元回歸，也是多元線性回歸。多元線性回歸與一元線性回歸的原理完全相同，只是計(jì)算方法比較復(fù)雜而已。一、配置多元回歸方程的一般方法設(shè)y為一依變量，它受xl、x2、x3……xm的m個(gè)自變量的影響，我們可以在它們之間配置一個(gè)線性回歸方程如下：

=b0+b1x1+b2x2+b3x3+……bmxm

（9—1）

其中b0為常數(shù)項(xiàng)，（9—2）b1、b2、b3…bm為y對(duì)xl、x2、x3…xm的偏回歸系數(shù)。b1=by1.2，3……m，b2=by2.1，3……m，b3=by3.1，2……m，……，bm=bym.1，2，3……(m－1)。b1=by1.2，3……m表示當(dāng)x2、x3……xm諸變量都固定時(shí)，自變量xl變化一個(gè)單位而使依變量y平均改變的值，這就是y對(duì)x1的偏回歸系數(shù)，或稱為回歸系數(shù)。其余各偏回歸系數(shù)都具有相應(yīng)的含義。

第3頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月

b1、b2、b3…bm還是利用最小二乘法來(lái)確定，即選取這樣的b1、b2、b3…bm，使離回歸平方和（剩余平方和）。

SSE=SS離回歸=∑(y－)2=∑[y－(b0+b1x1+b2x2+b3x3+……bmxm)]2(9—3)達(dá)到極小值。用求偏微分的方法可得出b1、b2、b3…bm必須滿足下列正規(guī)方程：上述方程組的系數(shù)項(xiàng)，按主對(duì)角線上為各變量的離均差平方和，SS1、SS2、SS3……SSm。其余則為各自變量?jī)蓛上嗷サ碾x均差乘積和，并依主對(duì)角線為軸左右對(duì)稱相等（SPij=SPji），常數(shù)項(xiàng)為各自變量同依變量y的離均差乘積和，SP1y，SP2y，SP3y……SPmy。

解這個(gè)正規(guī)方程組，即得b1、b2、b3…bm代入公式9—2求得b0，再一起代人公式9—1，就得到多元?dú)w歸方程。

二、正規(guī)方程組的解法

正規(guī)方程組的解法，與一般方程組的解法相同，已在一般數(shù)學(xué)教科書中介紹過，如行列式法、消元法等。本章將重點(diǎn)介紹求解求逆緊湊法。

第4頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月1、行列式法常用于解低元的正規(guī)方程組。如二元正規(guī)方程組：（9—4）（9—5）例1．當(dāng)需要解三元或三元以上方程組時(shí)，則用以下計(jì)算方法。目前最為流行的是求解求逆緊湊法。

2．消元法消元法求解的原理是利用乘或除法使方程組中兩方程式的同一項(xiàng)具有相同的系數(shù)，然后將此兩式相加或相減使該項(xiàng)系數(shù)為零，從而消去一元。逐次消元，最后得一方程及各元之解（略）。

第5頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月以上兩種方法都無(wú)求逆過程，而逆矩陣元素是偏回歸系數(shù)顯著性檢驗(yàn)所不可缺少的。故以上兩種方法不常用。例2．這些方程用矩陣的形式表示為：

AB=Y

（9—6）或記為其中：A為系數(shù)矩陣；B為所要解的偏回歸系數(shù)的列向量；Y為正規(guī)方程組等號(hào)右邊的常數(shù)項(xiàng)的列向量。如果對(duì)方程（9—6）的兩邊都從左邊乘以A的逆矩陣，即A－1，我們可得

A－1AB=A－1Y

（9—7）

3．矩陣法正規(guī)方程組的求解可用矩陣法來(lái)進(jìn)行。第6頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月∵A－1A=E，EB=B。這里E是單位矩陣，它是一個(gè)特別重要的對(duì)稱矩陣，它的主對(duì)角線上元素都等于1，而對(duì)角線以外的元素都等于0。單位矩陣的性質(zhì)相當(dāng)于一般數(shù)學(xué)中的1。∴方程（9－7）可變?yōu)椋?/p>

B=A－1Y

（9—8）當(dāng)我們算出了A的逆矩陣（A－1）代入（9—8），即可得方程b的解。對(duì)于例2資料，由于其系數(shù)矩陣的逆矩陣為：即：代入方程（9—8）得：

注*逆矩陣一般用C表示（C=A－1），故其元素用cij表示，亦具有對(duì)稱性，它在統(tǒng)計(jì)學(xué)中常稱之為高斯乘數(shù)。由矩陣法求解，常稱之高斯解法。第7頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月即：b1=0.380×4+(－0.320)×4+(－0.141)×3=－0.181b2=(－0.320)×4+0.480×4+(－0.040)×3=0.519b3=(－0.141)×4+(－0.040)×4+0.423×3=0.541

關(guān)于逆矩陣的計(jì)算，我們?nèi)钥捎孟ㄖ械妮喯▉?lái)求逆矩陣元素。其方法是在系數(shù)矩陣后附單位矩陣而不是附常數(shù)項(xiàng)的列向量。求得逆矩陣元素（cij）后，即可將其乘常數(shù)項(xiàng)的列向量而求解，如前述。由于求解求逆的工作量較大，特別是在具有較多的元時(shí)。因此一般用計(jì)算機(jī)同時(shí)進(jìn)行求解求逆，考慮到節(jié)省計(jì)算機(jī)的內(nèi)存數(shù)，故目多采用的是求解求逆緊湊法。4．求解求逆緊湊法求解求逆緊湊法是在采用矩陣法時(shí)卻省去了單位矩陣，而將單位矩陣處的計(jì)算結(jié)果前移到系數(shù)矩陣的位置，而不是附在系數(shù)矩陣后。即在系數(shù)矩陣后仍附常數(shù)項(xiàng)的列向量，成為一個(gè)增廣矩陣后用輪消法消元。最后在系數(shù)矩陣處得逆矩陣元素，常數(shù)項(xiàng)不變?nèi)詾楦髟?。?頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月求解求逆緊湊法的應(yīng)用步驟仍以例2資料為例，說明其緊湊法求解求逆計(jì)算（1）列出增廣矩陣（2）應(yīng)用下列公式（緊湊式輪消法）對(duì)各元素進(jìn)行變換式中：

l

—變換的次數(shù)，a(l+1)—變換

l

次后的元素，a(l)—變換l

次時(shí)的元素，k—每次變換的主行列標(biāo)號(hào)，akk—變換行主單元的元素，i—元素a的行標(biāo)，j—元素a的列標(biāo)。9.1式用于變換主行（k）主元素的變換；9.2式用于變換主行除主元素外其它元素的變換；9.3式用于變換主列（k）除主元素外其它元素的變換；9.4式用于除變換主行主列元素外其它各元素的變換。第9頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月如：當(dāng)

l

=0，k=1，i=2、3，j=2、3、4時(shí)，應(yīng)用9—9公式可將A(0)

變換成A(1)→其中各元素的變換是：①按9.1式將A(0)中待變換的主元素10取倒數(shù)得：1/10=0.1②按9.2式將A(0)中待變換主行(k=1)除10外，其它元素均被主元素10除得：

7/10=0.7、4/10=0.4、4/10=0.4③按9.3式將A(0)中待變換主列(k=1)除10外，其它元素均被主元素10除后改變符號(hào)得：－7/10=－0.7、－4/10=－0.4④按9.4式將A(0)中除主行主列外，其它各元素的變換是：用該元素減去同行同列中位于與主元素(10)相對(duì)應(yīng)的兩元素相乘后被主元素(10)除所得的差。如：i=2，j=2、3、4時(shí)，元素7、3、4同行中位于與主元素(10)相對(duì)應(yīng)的元素均為7，同列中位于與主元素(10)相對(duì)應(yīng)的元素分別為7、4、4。則：

7－7×7/10=2.13－7×4/10=0.24－7×4/10=1.2類似地，當(dāng)i=3，j=2、3、4時(shí)，A(0)中元素3、4、3可變換成：

3－4×7/10=0.24－4×4/10=2.43－4×4/10=1.4第10頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月當(dāng)l=1，k=2，i=1、3，j=1、3、4時(shí)，應(yīng)用9—9公式可將A(1)

變換成A(2)其中各元素的變換是：①A(1)中待變換的主元素2.1取倒數(shù)得：1/2.1=0.476②變換主行(k=2)除2.1外，其它元素均被主元素2.1除得：－0.7/2.1=－0.333、0.2/2.1=0.095、1.2/2.1=0.571③變換主列(k=2)除2.1外，其它元素均被主元素2.1除后改變符號(hào)得：－0.7/2.1=－0.333、－0.2/2.1=－0.095→④除主行主列外，其它各元素的變換是：

i=1，j=1、3、4時(shí)i=3，j=1、3、4時(shí)

0.1－0.7×(－0.7)/2.1=0.333－0.4－0.2×(－0.7)/2.1=－0.3330.4－0.7×0.2/2.1=0.3332.4－0.2×0.2/2.1=2.3810.4－0.7×1.2/2.1=0.3331.4－0.2×1.2/2.1=1.286當(dāng)l=2，k=3，i=1、2，j=1、2、4時(shí)，依9—9公式可將A(2)

變換成A(3)

→經(jīng)過3次輪消后，系數(shù)矩陣元素變換為逆矩陣元素。而常數(shù)項(xiàng)值則為各元之解(bi)。

第11頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月求解求逆緊湊法公式具有如下4個(gè)性質(zhì)；（1）每作一次變換lk就得一個(gè)子方程的解及該子方程組系數(shù)矩陣的逆矩陣，如是例2資料的子方程組，它的解是：

b1=0b2=0.519其系數(shù)矩陣的逆矩陣為：這可從A(2)中見到。（2）消去變換后的矩陣與消去的次序無(wú)關(guān)。這點(diǎn)可從例2資料自行驗(yàn)證。（3）對(duì)k行作一次消去變換后，再對(duì)k行重復(fù)作一次消去變換，等于沒有對(duì)該行作消去變換。（4）當(dāng)方程組的系數(shù)矩陣為對(duì)稱矩陣時(shí)。A(l)具有如下的對(duì)稱性；當(dāng)作bi、bj均已作了消去變換，或均未作消去變換時(shí)。這可以A(2)中1、2行或A(1)中的2、3行系數(shù)矩陣的變換中看到。當(dāng)對(duì)bi、bj中一個(gè)且僅一個(gè)作過消去變換時(shí)，這可以從A(1)的1、2行或A(2)的1、3行中驗(yàn)證。這些性質(zhì)在方程組的求解求逆計(jì)算中或配置可行的多元回歸方程中各有用處。

第12頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月三、多元回歸在科研中的應(yīng)用實(shí)例

應(yīng)用實(shí)例豬的瘦肉量是肉用型豬育種中的重要性狀，但這個(gè)性狀的度量比較麻煩，需要進(jìn)行整個(gè)胴體的剝離和稱量。據(jù)研究，這個(gè)性狀與其它一些比較容易度量的性狀，如膘厚，胴體長(zhǎng)，眼肌面積等之間，存在著一定的相關(guān)，但與其中任何一個(gè)性狀的相關(guān)都不太高。因此利用任何一個(gè)簡(jiǎn)單回歸間接估計(jì)都不可能太準(zhǔn)確。為了提高間接估測(cè)的準(zhǔn)確度，需要配置一個(gè)多元回歸方程。設(shè)y—瘦肉量，xl—眼肌面積，x2—胴體長(zhǎng)，x3—膘厚。根據(jù)三江豬育種組的實(shí)測(cè)資料，統(tǒng)計(jì)54頭雜種豬的有關(guān)性狀，得如下數(shù)據(jù)：SSx1=846.2281SSx2=745.6041SSx3=13.8987SSy=70.6617SPx1x2=40.6832SPx1x3=－6.2594SPx2x3=-45.1511SPx1y=114.4530SPx2y=76.2799SPx3y=－11.2966

=25.7002=94.4343=3.4344=14.8722rx1y=0.4680rx2y=0.3323rx3y=－0.3605

為了求各偏回歸系數(shù)，列出下列正規(guī)方程組：用求解求逆緊湊法對(duì)正規(guī)方程組解得：第13頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月計(jì)算中，純小數(shù)的小數(shù)位一般不能低于6位，這樣才能保證最后計(jì)算結(jié)果正確。即：b1=0.1282b2=0.0617b3=0.5545A(3)中前3行3列為系數(shù)矩陣的逆矩陣(A－1)，利用系數(shù)矩陣的逆矩陣元素（cij），可對(duì)偏回歸系數(shù)作顯著性檢驗(yàn)。從而可繼續(xù)作自變量的剔除。此外逆矩陣也是研究逐步回歸的基礎(chǔ)知識(shí)。這樣，我們就可得到估測(cè)瘦肉量的多元回歸方程。=7.6552+0.1282x1+0.0617x2－0.5545x3第14頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月四、顯著性檢驗(yàn)與準(zhǔn)確度測(cè)定

（一）多元回歸關(guān)系的顯著性檢驗(yàn)在實(shí)際問題中，事先我們并不能斷定變量y與變量xl、x2…，xm之間是否確有線性關(guān)系。當(dāng)求出線性回歸方程之后，需要對(duì)其進(jìn)行統(tǒng)計(jì)檢驗(yàn)，作出肯定或否定的結(jié)論。如果依變量y與自變量xl、x2…，xm之間沒有線性關(guān)系，則公式（9—1）中各項(xiàng)系數(shù)b1，b2，…bm應(yīng)均為零。所以統(tǒng)計(jì)檢驗(yàn)的假設(shè)應(yīng)為H0：β1=0，β2=0，…，βm=0?？梢宰C明在假設(shè)H0成立的條件下，依變量y與自變量xi之間的線性回歸關(guān)系，可以由方差分析法，即下述的統(tǒng)計(jì)量來(lái)檢驗(yàn)：（9—10）

m—自變量數(shù)，n—變量的數(shù)據(jù)數(shù)當(dāng)實(shí)際算得的F≥Fα(df1，df2)，即推翻原假設(shè)H0，而認(rèn)為自變量全體與依變量y的線性關(guān)系是顯著的。這時(shí)，m個(gè)自變量中至少有一個(gè)βi≠0，但并不排斥有若干個(gè)βi=0。式中：表9—1（A）多元線性回歸關(guān)系的方差分析模式表變異來(lái)源dfSSMSF回歸MMSRMSR/MSE離回歸（誤差）n－m－1SSE=SSy－SSRMSE

總的n－1SSy

第15頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月仍以實(shí)例的資料說明具體檢驗(yàn)步驟如下：

Q=SSy－SSR=70.6617－25.6433=45.0184dfR=3，dfE=dfT－dfR=(n－1)－m=n－m－1=54－3－1＝50表9—1（B）多元回歸關(guān)系的方差分析變異來(lái)源dfSSMSF臨界值總的（y變量）回歸離回歸5335070.661725.643345.0184

8.54780.9004

9.4933**

F0.05(3，50)=2.79F0.01(3，50)=4.20

經(jīng)F檢驗(yàn)，F(xiàn)＞F0.01(3，50)=4.20，p＜0.01，高度顯著，說明根據(jù)這一資料得到的多元回歸方程是可靠的。

（二）多元回歸的準(zhǔn)確度測(cè)定用多元回歸方程從多個(gè)自變量來(lái)估計(jì)一個(gè)依變量，其準(zhǔn)確度如何，常是實(shí)際工作需要考慮的問題。準(zhǔn)確度的測(cè)定實(shí)際是多元相關(guān)的分析。依變量y與諸自變量xi之間的相關(guān)程度。一般用復(fù)相關(guān)系數(shù)（R）來(lái)衡量。所謂復(fù)相關(guān)系數(shù)就是y的實(shí)際度量值與估計(jì)值間的相關(guān)系數(shù)：

R=Ry.·123…m=（9—11）它的計(jì)算是較麻煩的、但在一元回歸中，我們已經(jīng)知道相關(guān)指數(shù)及相關(guān)系數(shù)分別為：第16頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月在多元回歸中也是一樣，相關(guān)指數(shù)及復(fù)相關(guān)系數(shù)分別為：（9—12），（9—13）仍以實(shí)例為例：將這個(gè)R值和前面所列各自變量與y的簡(jiǎn)單相關(guān)系數(shù)（rxij）比較。

R＞|rx1y|＞|rx3y|＞|rx2y|0.6024＞0.4680＞|－0.3605|＞0.3323

可見用這個(gè)多元回歸方程來(lái)估計(jì)y，比用y對(duì)這三個(gè)自變量中任意一個(gè)的筒單回歸來(lái)估計(jì)，其準(zhǔn)確度都高。當(dāng)然這個(gè)準(zhǔn)確度還是不夠理想的，因?yàn)檫€只有36.29%（0.60242=0.3629）。還有必要探索其他有關(guān)自變量，以配置更理想的多元回歸方程。

（三）復(fù)相關(guān)系數(shù)的顯著性檢驗(yàn)多元回歸的顯著性檢驗(yàn)，亦可由對(duì)復(fù)相關(guān)系數(shù)的顯著性檢驗(yàn)來(lái)確定。因?yàn)椋?/p>

SST=SSr+SS1－rSSyR2SSy(1－R2)SSydfT=dfr+df1－rn－1mn－m－1第17頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月根據(jù)自由度df1=m和df2=(n－m－1)，查臨界值F，以確定R是否顯著。由于SSr=SSR，SSl－r=SSE，自由度亦相等，因此R的顯著性檢驗(yàn)與多元回歸的顯著性檢驗(yàn)結(jié)論是同步的。

因此(9—14)但同簡(jiǎn)單相關(guān)系數(shù)r的顯著檢驗(yàn)一樣，由于R的顯著性值可以從（9—15）公式算得，并列之以表，故而R的顯著性檢驗(yàn)亦可用簡(jiǎn)便的查表法來(lái)進(jìn)行。如實(shí)例的R=0.6024。根據(jù)自變量m=3，自由度df=n－m－1=54－3－1=50，查附表—r及R的顯著性值，得R＞R0.01(3，50)=0.449，即p＜0.01，此復(fù)相關(guān)系數(shù)高度顯著，從而說明例中的依變量（瘦肉量）與三自變量（眼肌面積、胴體長(zhǎng)、膘厚）之間有復(fù)相關(guān)關(guān)系和復(fù)回歸關(guān)系存在。（四）偏回歸系數(shù)的顯著性檢驗(yàn)在多元線性回歸中，對(duì)多元回歸關(guān)系的顯著性檢驗(yàn)是看所有自變量對(duì)依變量的總影響如何，而不能確定某一自變量對(duì)y的單獨(dú)影響如何。偏回歸系數(shù)的顯著性檢驗(yàn)要判定在諸多自變量中，某一自變量對(duì)變異y的單獨(dú)影響作用。其檢驗(yàn)的假設(shè)是H0：βi=0。偏回歸系數(shù)顯著性檢驗(yàn)有t檢驗(yàn)法和F檢驗(yàn)法。第18頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月（1）t檢驗(yàn)法（9—16）式中：bi—偏回歸系數(shù)，Sbi—偏回歸系數(shù)標(biāo)準(zhǔn)誤，Sy·1，2，…m—估計(jì)標(biāo)準(zhǔn)誤（離回歸標(biāo)準(zhǔn)誤），Q—離回歸平方和，m—自變量數(shù)，Cij—高斯乘數(shù)，即逆矩陣主對(duì)角線元素，n—變量數(shù)據(jù)數(shù)仍以實(shí)例為例，由前計(jì)算已知

b1=0.1282b2=0.0617b3=0.5545C11=0.001187C22=0.001671C33＝0.089707Q=45.0184m=3n=54所以

df=n－m－1=54－3－1=50第19頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月（2）F檢驗(yàn)F檢驗(yàn)需要求出各偏回歸均方，然后與離回歸均方進(jìn)行比較，求出各F值：

F=MSbi/MSEdfR＇=1dfE=n－m－1i=1，2…m（9—17）在多元線性回歸中，回歸平方和（U）表示所有自變量對(duì)y平方和的總影響，某一自變最的偏回歸平方和表示該自變量對(duì)y平方和的影響，所以我們可以用取消該自變量后回歸平方和的減少數(shù)值表示該自變量的偏回歸平方和。但要注意，在一般情況下，各偏回歸平方和之總和并不等于回歸平方和，即∑SSbi≠U。據(jù)推導(dǎo)，偏回歸平方和；計(jì)算t值：各偏回歸平方和的自由度(dfR‘)為1，所以偏回歸平方和就等于偏回歸均方。

（9—18）仍以實(shí)例為例說明偏回歸系數(shù)的F檢驗(yàn)，由前計(jì)算已知：b1=0.1282b2=0.0617b3=0.5545C11=0.001187C22=0.001671C33=0.089707MSE=0.9004由此可見，b1高度顯著，b2不顯著，b3達(dá)到10%的顯著水平。第20頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月所以計(jì)算F值：F檢驗(yàn)與t檢驗(yàn)是同步的，因此結(jié)論相同，b1高度顯著，b2不顯著，b3達(dá)到10%的顯著水平。第21頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月*五、在多元回歸中剔除作用不大的自變量在多元回歸方程中，有的自變量其偏回歸平方和很小，將它從回歸平方和中減去，對(duì)回歸平方和值影響不大，因此從多元回歸中剔除這個(gè)自變量，對(duì)復(fù)相關(guān)系數(shù)也影響不大，也就是對(duì)回歸估計(jì)的準(zhǔn)確度影響不大。在前，我們已進(jìn)行了各偏回歸系數(shù)的顯著性檢驗(yàn)，三個(gè)偏回歸系數(shù)中有兩個(gè)不顯著，說明這兩個(gè)自變量在這個(gè)多元回歸中的作用較小，可以剔除。但要注意只能逐一剔除，不能兩個(gè)同時(shí)剔除，因?yàn)樘蕹艘粋€(gè)自變量后，整個(gè)多元回歸發(fā)生改變，在新的多元回歸中，各偏回歸系數(shù)的顯著性也要發(fā)生變化。一個(gè)自變量在這個(gè)多元回歸中作用不大。到了另一個(gè)多元回歸中作用可能加大。因此，我們首先剔除偏回歸平方和最小（或F、t值最?。┑囊粋€(gè)自變量（本例為胴體長(zhǎng)x2）。剔除后，由剩余的自變量重建新的多元回歸方程，重求新的偏回歸系數(shù)及逆矩陣元素。其方法有：（1）利用上述介紹的4種方法，對(duì)剔除后由剩余自變量組成的多元回歸方程重新求解。該法適用于自變量較少的情況。

（2）利用求解求逆緊湊法公式的性質(zhì)，簡(jiǎn)化剔除和重建回歸方程。

計(jì)算方法是將所應(yīng)剔除的變量行為主行，重新作一次消去變換。之后，將該變量有關(guān)的行列劃去，即得余下諸自變量所組成子方程組的解和逆矩陣元素。之后，依之重配一個(gè)新的多元回歸方程，再對(duì)新的偏回歸系數(shù)作顯著性檢驗(yàn)。若還存在有不顯著的偏回歸系數(shù)，再選偏回歸平方和最小的一個(gè)自變量作同上的消去變換，方法步驟同上，直至建立起來(lái)的多元回歸方程的所有自變量的偏回歸系數(shù)都顯著為止。所得回歸方程即最優(yōu)回歸方程。

第22頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月仍以實(shí)例資料為例，因需剔除自變量x2，故在最后逆陣元素及解A(3)

的基礎(chǔ)上，以第二行列為主行列，k=2，重復(fù)作一次消去變換。（l=4）依公式（9—9）進(jìn)行消去變換后得：在A(4)中，除去第二行第二列即為自變量x1和x3子方程組的解和逆陣元素。由此可得新的回歸系數(shù)、逆陣元素及回歸方程為：

b1＇=0.1297b3＇=－-0.7544C11＇=0.001886C22＇=0.0722C12＇=C21＇=0.000534

=14.1298+0.1297x1－0.7544x3得到的新的多元回歸仍需進(jìn)行顯著性檢驗(yàn)和準(zhǔn)確度測(cè)定：

U＝0.1297×114.453－（－0.7544）（－11.2966）=23.3667Q=70.6617－23.3667

(從嚴(yán)要求，與F0.01(2，50)=5.06相比，已決定顯著性，故可不用內(nèi)插法求F0.01(2，51)的值)

第23頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月

（從嚴(yán)要求，與R0.01(50)=0.410相比）偏回歸系數(shù)的顯著性檢驗(yàn)F檢驗(yàn)（9—19）（從嚴(yán)要求，與F0.01(1，50)=7.17相比）這里我們可以看到，y對(duì)x3的偏回歸系數(shù)在前一個(gè)多元回歸中是不顯著的，而在后一個(gè)多元回歸中都高度顯著，所以我們?cè)谔蕹宰兞繒r(shí)，不能把偏回歸系數(shù)不顯著的自變量一下都剔除掉，而應(yīng)該逐一剔除。

式中下標(biāo)k為被剔除自變量的序號(hào)。仍以實(shí)例資料為例，應(yīng)剔除自變量x2，這時(shí)k=2，由A(3)可得：（3）在自變量較多的情況下，重新配置一個(gè)新的多元回歸方程計(jì)算很麻煩，可直接應(yīng)用下列公式，簡(jiǎn)化剔除過程。第24頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月*第二節(jié)

通徑分析與偏相關(guān)系數(shù)

可見與前述的計(jì)算結(jié)果基本相同。

一、標(biāo)準(zhǔn)回歸系數(shù)（通徑系數(shù)）要比較各自變量在多元回歸中的作用大小，也可比較它們各自的偏回歸系數(shù)。但是偏回歸系數(shù)與簡(jiǎn)單的回歸系數(shù)一樣，是有單位的，不同單位的回歸系數(shù)不能相互比較。為了便于相互比較，首先必須消除單位，也就是都進(jìn)行標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化的回歸系數(shù)（包括偏回歸系數(shù)）叫做標(biāo)準(zhǔn)回歸系數(shù)。所謂標(biāo)準(zhǔn)化就是各變數(shù)值除以各自的標(biāo)準(zhǔn)差，所以y對(duì)x的標(biāo)準(zhǔn)回歸系數(shù)：

（9—20）第25頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月同樣，標(biāo)準(zhǔn)化的偏回歸系數(shù)也是一樣（9—21）仍以實(shí)例為例在各偏回歸系數(shù)未標(biāo)準(zhǔn)化以前，從絕對(duì)值來(lái)看，b3最大，bl次之，b2最小。但這種大小順序并不反映它們的相對(duì)重要性，只有標(biāo)準(zhǔn)化之后|b1＇|最大，|b3＇|次之，|b2＇|最小，才真正反映了它各自的作用大小。其大小順序與偏回歸平方和的大小順序完全一致。

第26頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月二、通徑分析標(biāo)準(zhǔn)回歸系數(shù)也就是通徑系數(shù)、通徑系數(shù)就是表示自變量對(duì)依變量直接影響程度的一種統(tǒng)計(jì)量。通過通徑分析能把自變量與依變量間的相關(guān)剖分成該自變量對(duì)依變量的直接影響與通過其他相關(guān)的自變量對(duì)依變量的間接影響。仍以上例說明，我們把上述各變量的關(guān)系畫成以下通徑圖：圖9—1三個(gè)變量xi到y(tǒng)變量的通徑圖單箭頭線即通徑，其系數(shù)即通徑系數(shù)：對(duì)箭頭線即相關(guān)線，其系數(shù)即相關(guān)系數(shù)。xi到y(tǒng)的通徑系數(shù)記作Py，i。

Py，i=bi＇根據(jù)通徑系數(shù)原理：第27頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月這樣riy就剖分成兩部分：一是xi對(duì)y的直接影響程度Py·i；另一是通過其他變量x2和x3，而對(duì)y的間接影響程度r12Py·2+r13Py·3，余類推。在我們這個(gè)例子中：

x1與y的相關(guān)程度為：r1y=0.4680，而其對(duì)y的直接影響：Py·1=0.4436間接影響：r12Py·2+r13Py·3=0.0512×0.2004+(－0.0577)(－0.2459)=0.0244x2與y的相關(guān)程度為：r2y=0.3323，而其對(duì)y的直接影響：Py·21=0.2004間接影響：r21Py·1+r23Py·3=0.0512×0.4436+(－0.4435)(－0.2459)=0.1318x3與y的相關(guān)程度為：而其對(duì)y的直接影響：Py·3=0.2459間接影響：r31Py·1+r32Py·2=(－0.0577)×0.4436+(－0.4435)×0.2004=－0.1145第28頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月由此可見，x1對(duì)y主要是直接關(guān)系，r1y與Py·1相差不大；而x2、x3與y相關(guān)中卻有寫成矩陣形式：（9—22）（9—23）這個(gè)由簡(jiǎn)單相關(guān)系數(shù)組成的矩陣叫做相關(guān)矩陣，在逐步回歸分析中常用到。由簡(jiǎn)單相關(guān)系數(shù)組成的正規(guī)方程計(jì)算通徑系數(shù)的具體計(jì)算，仍可采用求解求逆緊湊法。對(duì)于上例的計(jì)算將在偏相關(guān)系數(shù)求解過程中同時(shí)得解。l／3上下是間接影響造成的。根據(jù)這個(gè)相關(guān)剖分的原理，可以得到計(jì)算通徑系數(shù)（即標(biāo)準(zhǔn)回歸系數(shù)）的另一種方法。當(dāng)我們只知道各變量間的相關(guān)時(shí)，我們可以解下列正規(guī)方程求通徑系數(shù)（即標(biāo)準(zhǔn)回歸系數(shù)）：

第29頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月三、偏相關(guān)系數(shù)

在多變量的情況下，變量之間的相關(guān)關(guān)系是很復(fù)雜的，兩個(gè)變量間的簡(jiǎn)單相關(guān)系數(shù)。往往不能正確說明這兩個(gè)變量間的真正關(guān)系，只有在除去其他變量影響的情況下，計(jì)算它們之間的相關(guān)系數(shù)，才能真正表示它們間的相關(guān)關(guān)系。這樣計(jì)算出的相關(guān)系數(shù)叫偏相關(guān)系數(shù)或凈相關(guān)系數(shù)。例如，有三個(gè)變量xl，x2，x3相互相關(guān)，在除去x3的影響后x1與x2的相關(guān)系數(shù)，即x1與x2偏相關(guān)系數(shù)，記作r12·3。如有四個(gè)變量xl，x2，x3，x4，在除去x3、x4的影響xl與x2的相關(guān)系數(shù)也是xl與x2的偏相關(guān)系數(shù)，記作r13·34。R12·3叫做一級(jí)偏相關(guān)，r13·34叫做二級(jí)偏相關(guān)。也還有三級(jí)、四級(jí)……偏相關(guān)。所以有時(shí)簡(jiǎn)單相關(guān)系數(shù)也稱為0級(jí)偏相關(guān)。偏相關(guān)系數(shù)的計(jì)算是逐級(jí)進(jìn)行的。一級(jí)偏相關(guān)系數(shù)：（9—24）二級(jí)偏相關(guān)系數(shù)；（9—25）三級(jí)在二級(jí)、四級(jí)在三級(jí)……的基礎(chǔ)上進(jìn)行計(jì)算。逐級(jí)的解法，級(jí)愈高，計(jì)算愈麻煩。一般的解法可通過由簡(jiǎn)單相關(guān)系數(shù)組成的相關(guān)矩陣(注意：rii=1，rIJ=rji)R，求其逆矩陣R－1。

第30頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月仍以上例為例，計(jì)算其二級(jí)偏相關(guān)系數(shù)。在相關(guān)模型中，各變量都同等看待，不作自變量與依變量之分。為了方便，將瘦肉量（依變量）改以x4表示。故得簡(jiǎn)單相關(guān)系數(shù)為：

r12=0.0512r13=0.0577r14=0.4680r23=－0.4435r24=0.3323r34=－0.3605按公式（9—9）求其逆矩陣：

→然后按下述公式直接求之：（9—26）→第31頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月→→→第32頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月以上變換中，從R(0)～R(3)，實(shí)際上就是采用求解求逆緊湊法，對(duì)實(shí)例資料求通徑系數(shù)的具體計(jì)算過程，R(3)中的第4列即為通徑系數(shù)的解。其中，Py·1=0.44354，Py·2=0.20049，Py·3=－0.24599，與用（9—21）式計(jì)算相同（這里有計(jì)算誤差）。通徑系數(shù)的顯著性檢驗(yàn)與偏回歸系數(shù)、偏相關(guān)系數(shù)是同步的。在實(shí)例資料中，給合上述，我們需要研究的是瘦肉量（x4）與眼肌面積（x4）、胴體長(zhǎng)（x2）、膘厚（x3）的二級(jí)偏相關(guān)。因此按公式（9—26）求得：偏相關(guān)系數(shù)的顯著性檢驗(yàn)用t檢驗(yàn)法df=n－m（m為變量數(shù)目）

（9—27）上述三個(gè)偏相關(guān)系數(shù)，其自由度為df=54－4=50第33頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月

偏相關(guān)系數(shù)同偏回歸系數(shù)有密切的聯(lián)系，不僅符號(hào)一致。而且其顯著性檢驗(yàn)亦是同步的，因?yàn)閠rij·=tbij·（這里有計(jì)算誤差）所以結(jié)論亦是一致的：瘦肉量（x4）與眼肌面積x1的二級(jí)偏相關(guān)高度顯著；與胴體長(zhǎng)x2的二級(jí)偏相關(guān)不顯著。與膘厚x3的二級(jí)偏相關(guān)勉強(qiáng)顯著。偏相關(guān)系數(shù)的顯著性檢驗(yàn)亦可用查表法進(jìn)行。偏相關(guān)系數(shù)與簡(jiǎn)單相關(guān)系數(shù)在數(shù)值上可以相差很大，有時(shí)甚至符號(hào)相反。世界上各種事物間的關(guān)系很復(fù)雜，在研究它們的關(guān)系時(shí)，不能只孤立地看兩者之間的關(guān)系，而是要把各種事物間的關(guān)系都搞清楚，全面地來(lái)看兩兩間的關(guān)系。簡(jiǎn)單相關(guān)系數(shù)只表示兩者間的表面關(guān)系，而只有偏相關(guān)系數(shù)才表示兩者間的本質(zhì)聯(lián)系。例如對(duì)上例資料的相關(guān)分析。單就瘦肉量x4與眼肌面積、胴體長(zhǎng)、膘厚的簡(jiǎn)單相關(guān)系數(shù)：

r14=0.4680**r24=0.3323*r34=0.3605**

雖然相關(guān)不高，但均表明有顯著的相關(guān)關(guān)系存在。然而若作固定二變量的二級(jí)偏相關(guān)分析，則只能證明瘦肉量x4與眼肌面積x1有顯著的相關(guān)關(guān)系存在，而與第34頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月胴體長(zhǎng)x2的關(guān)系不顯著，與膘厚x3的關(guān)系則很勉強(qiáng)。因此說明在多個(gè)性狀值綜合估計(jì)瘦肉量的值中，胴體長(zhǎng)的作用不大。剔除胴體長(zhǎng)x2后，x4對(duì)于x1、x3作偏相關(guān)分析：

1、一級(jí)偏相關(guān)系數(shù)可直接用公式求之df=n－m=54－3=51因t＞t0.01(50)=2.678(用查表法：r＞r0.01(50)=0.354)，即P＜0.01，可以看出偏相關(guān)系數(shù)均高度顯著。所以偏相關(guān)分析的結(jié)果，亦證明用眼肌面積和膘厚兩個(gè)性狀值作多元回歸來(lái)綜合估計(jì)瘦肉量是恰當(dāng)?shù)暮涂煽康摹?/p>

2、利用求逆公式的性質(zhì)，在R(4)中以剔除變量行為主行重復(fù)作一次消去變換，從去除該變量有關(guān)行及列子矩陣的逆陣元素計(jì)算次級(jí)偏相關(guān)系數(shù)（略）。

第35頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月第三節(jié)

多項(xiàng)式回歸

就不能通過變量變換把它化為直線，但如令x1=x，x2=x2，就可把它化成一個(gè)二元線性方程；這樣就可按多元回歸的方法求得各回歸系數(shù)。一般說來(lái)，包含多變量的任意多項(xiàng)式均可照此辦理。例如：可以令：x1=x1，x2=x12，x3=x3，x4=x14，x5=x1×x2多項(xiàng)式回歸在回歸分析中很重要，因?yàn)槿魏魏瘮?shù)至少在一個(gè)較小的范圍內(nèi)都可用多項(xiàng)式任意逼近，因此在比較復(fù)雜的實(shí)際問題中，有時(shí)可以不問y與諸因素的確切關(guān)系如何，而用多項(xiàng)式回歸進(jìn)行分析和計(jì)算。

y=a+bx1+cx2y=b0+b1x1+b2x12+b3x3+b4x14+b5x1x2于是上式即化成：

y=bo+blxl+b2x2+b3x3+b4x4+b5x5下面舉例說明計(jì)算過程。奶牛的產(chǎn)奶量受產(chǎn)犢季節(jié)影響甚大，為了制訂一個(gè)校正系數(shù)用以消除產(chǎn)犢季節(jié)的影響，需要配置一個(gè)回歸方程。

變量之間有時(shí)并不是直線關(guān)系，而是曲線關(guān)系。前面已經(jīng)講過，有些曲線關(guān)系可以通過變量變換的辦法，利用一般直線回歸的辦法來(lái)配置回歸方程，但并非所有曲線都可按此辦理。例如拋物線

y=a+bx+cx2第36頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月表9—9重慶市種畜場(chǎng)奶牛群各月份產(chǎn)犢母牛平均產(chǎn)奶量(kg)產(chǎn)犢月份x平均305的天產(chǎn)奶量y產(chǎn)犢月份x平均305的天產(chǎn)奶量y1234563833.433811.583769.473565.743481.993372.827891011123476.763466.223395.423807.083817.033884.52據(jù)重慶市動(dòng)物數(shù)量遺傳研究小組耿繼平等同志對(duì)重慶市種畜場(chǎng)奶牛群產(chǎn)奶資料(表9—2)的研究，配置出一個(gè)回歸方程，其步驟如下：

1．作散點(diǎn)圖定函數(shù)類型根據(jù)表9—2產(chǎn)奶量與產(chǎn)犢月份資料作散點(diǎn)圖(圖9—2)

從圖9—2上可以看到，兩者的關(guān)系基本是拋物線，于是就決定配置拋物線。其模型是：

y=a+bx+cx2

圖9—2產(chǎn)奶量與產(chǎn)犢月份的關(guān)系

第37頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月令x1=x，x2=x2，并使轉(zhuǎn)換成如下二元線性方程：

y=bo+blxl+b2x22．計(jì)算必要數(shù)據(jù)，列正規(guī)方程組（1）一級(jí)數(shù)據(jù)∑x1=78，∑x2=650，∑y=43682.06，

∑x1x2=6087，∑x1y=283973.06，∑x2y=3640.17，（2）二級(jí)數(shù)據(jù)SS1=143，SS2=25501.67，

SSy=421195.39，SP12=1859，SP1y=39.67，SP2y=21584.36。（3）列正規(guī)方程組3．計(jì)算偏回歸系數(shù)，常數(shù)項(xiàng)及列回歸方程

b0=3640.17－（－204.9362）×6.5－15.7857×54.17=4117.144．顯著性檢驗(yàn)及準(zhǔn)確性測(cè)定第38頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月

U=（－204.9362）×39.67+15.7857×21584.36=332594.4126Q=421195.39－332594.4126=88600.9774變異來(lái)源dfSSMSF臨界值回歸離回歸29332594.412688600.9774166297.20639845.553016.8923**

F0.01(2，9)=8.02可見多元回歸是非常顯著的，準(zhǔn)確度也是較高的。

5．偏回歸系數(shù)的顯著性檢驗(yàn)兩偏回歸系數(shù)均非常顯著。

上述計(jì)算證明，所配的二次拋物線是符合產(chǎn)犢月份和產(chǎn)奶量?jī)尚誀钪g的回歸關(guān)系的。在選擇母牛的育種工作中，可以依之制定校正系數(shù)，以消除產(chǎn)犢季節(jié)對(duì)產(chǎn)奶量的影響。依所定方程=4117.4－224.9362x+15.7857x2

描繪的回歸曲線如圖9—2。

第39頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月SAS程序optionsnodatenonumber;dataxu9a;inputx1x2x3y@@;cards;proc

reg

corr;48.4721.800.8570.00title

'1.backwardelimination';40.6614.150.2551.20modely=x1-x3/selection=backwardsls=.05

stb;49.8720.000.8370.00run;33.5318.000.4960.00title

'3.stepwiseregression';40.585.310.3251.20modely=x1-x3/selection=stepwisesls=.05

sle=.05

stb;39.365.310.3554.10run;35.265.310.2552.71title

'9.multivarateregression';24.598.710.4054.14modely=x1-x3/selection=nonestb;19.125.450.2552.72run;15.847.690.2540.3210.873.270.2340.3911.593.270.2841.3610.763.150.2340.0011.893.210.2542.9111.803.210.2542.90;第40頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月

1.backwardelimination

CorrelationVariablex1x2x3yx11.00000.75190.70290.8741x20.75191.00000.86290.8609x30.70290.86291.00000.8894y0.87410.86090.88941.0000

DependentVariable:yBackwardElimination:Step0AllVariablesEntered:R-Square=0.9158andC(p)=4.0000AnalysisofVarianceSumofMeanSourceDFSquaresSquareFValuePr>FModel31282.10135427.3671239.88<.0001Error11117.8794510.71631CorrectedTotal141399.98080ParameterStandardVariableEstimateErrorTypeIISSFValuePr>FIntercept32.696112.058832702.68075252.20<.0001x10.314300.09139126.7535611.830.0055x20.155440.286483.154950.290.5982x323.102238.5204478.782507.350.0202第41頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月

BackwardElimination:Step1Variablex2Removed:R-Square=0.9135andC(p)=2.2944

AnalysisofVarianceSumofMeanSourceDFSquaresSquareFValuePr>FModel21278.94639639.4732063.40<.0001Error12121.0344110.08620CorrectedTotal141399.98080

ParameterStandardVariableEstimateErrorTypeIISSFValuePr>FIntercept32.276241.850943066.96363304.08<.0001x10.334350.08109171.4784317.000.0014x326.398905.79523209.2942720.750.0007

Allvariablesleftinthemodelaresignificantatthe0.0500level.SummaryofBackwardEliminationVariableNumberPartialModelStepRemovedVarsInR-SquareR-SquareC(p)FValuePr>F1x220.00230.91352.29440.290.5982第42頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月

DependentVariable:y

AnalysisofVarianceSumofMeanSourceDFSquaresSquareFValuePr>FModel31282.10135427.3671239.88<.0001Error11117.8794510.71631CorrectedTotal141399.98080RootMSE3.27358R-Square0.9158DependentMean50.93000AdjR-Sq0.8928CoeffVar6.42760

ParameterEstimatesParameterStandardStandardizedVariableDFEstimateErrortValuePr>|t|EstimateIntercept132.696112.0588315.88<.00010x110.314300.091393.440.00550.46252x210.155440.286480.540.59820.10270x3123.102238.520442.710.02020.47570第43頁(yè)，課件共45頁(yè)，創(chuàng)作于2023年2月optionsnodat