第5章回歸分析.ppt

1、第5章 回歸分析,理學(xué)院應(yīng)用數(shù)學(xué)系 戴芳,在現(xiàn)實(shí)問題中，處于同一個(gè)過程中的一些變量，往往是相互依賴和相互制約的，它們之間的相互關(guān)系大致可分為兩種：,（1）確定性關(guān)系函數(shù)關(guān)系；,（2）非確定性關(guān)系相關(guān)關(guān)系；,相關(guān)關(guān)系表現(xiàn)為這些變量之間有一定的依賴關(guān)系，但這種關(guān)系并不完全確定，它們之間的關(guān)系不能精確地用函數(shù)表示出來，這些變量其實(shí)是隨機(jī)變量，或至少有一個(gè)是隨機(jī)變量。,例如：在氣候、土壤、水利、種子和耕作技術(shù)等條件基本相同時(shí)，某農(nóng)作物的畝產(chǎn)量 Y 與施肥量 X 之間有一定的關(guān)系，但施肥量相同，畝產(chǎn)量卻不一定相同。畝產(chǎn)量是一個(gè)隨機(jī)變量。,又如：人的血壓 Y 與年齡 X 之間有一定的依賴關(guān)系，一般來說，年

2、齡越大，血壓越高，但年齡相同的兩個(gè)人的血壓不一定相等。血壓是一個(gè)隨機(jī)變量。,農(nóng)作物的畝產(chǎn)量與施肥量、血壓與年齡之間的這種關(guān)系稱為相關(guān)關(guān)系，在這些變量中，施肥量、年齡是可控變量，畝產(chǎn)量、血壓是不可控變量。一般在討論相關(guān)關(guān)系問題中，可控變量稱為自變量，不可控變量稱為因變量。,相關(guān)關(guān)系,影響,的值，,函數(shù)關(guān)系,決定,的值，,因此，統(tǒng)計(jì)學(xué)上討論兩變量的相關(guān)關(guān)系時(shí)，是設(shè)法 確定：在給定自變量 的條件下，因變量 的 條件數(shù)學(xué)期望,回歸分析的概念,研究一個(gè)隨機(jī)變量與一個(gè)（或幾個(gè)）可控變量之間的相關(guān)關(guān)系的統(tǒng)計(jì)方法稱為回歸分析。,只有一個(gè)自變量的回歸分析稱為一元回歸分析；多于一個(gè)自變量的回歸分析稱為多元回歸分析

3、。,引進(jìn)回歸函數(shù),稱為回歸方程,5.1 一元線性回歸,一、一元線性回歸模型 設(shè)隨機(jī)變量 與可控變量 之間有相關(guān)關(guān)系，即當(dāng)自變量 取定值時(shí)，有一個(gè)確定的（條件）分布與之對應(yīng)。如果 的數(shù)學(xué)期望存在，那么其值隨 的取值而定，因而是 的函數(shù)，記為 ，即 ，稱 為 關(guān)于 的回歸函數(shù)。,若假定 滿足關(guān)系式 ，其中 為具有零均值、有限方差的隨機(jī)變量，則這就構(gòu)建了一種回歸模型。 回歸分析的基本任務(wù)是利用試驗(yàn)數(shù)據(jù)來推斷回歸函數(shù) 。,設(shè) 是可控變量，是與之相關(guān)的隨機(jī)變量，假定它們滿足關(guān)系式,其中 和 都是與 無關(guān)的未知參數(shù)，（5.1）稱為一元線性回歸模型， 稱為回歸系數(shù)。,(5.2)稱為線性模型。對模型（5.2）

4、主要考慮下列問題：,（1）用 對試驗(yàn)數(shù)據(jù) 對 和 作估計(jì)； （2）對回歸系數(shù) 作假設(shè)檢驗(yàn)。 （3）對 作預(yù)測。,二、一元線性回歸模型的參數(shù)估計(jì),1、 的最小二乘估計(jì) 已知變量 的 對試驗(yàn)數(shù)據(jù) 其中 不全相同。作離差平方和,選擇參數(shù) 使 達(dá)到最小，這種方法稱為最小二乘法。用最小二乘法求出的估計(jì)量稱為參數(shù)的最小二乘估計(jì)。,取 關(guān)于 的一階偏導(dǎo)數(shù)，并令它們等于零,得到,經(jīng)整理，得正規(guī)方程組,由于 不全相同，正規(guī)方程組的系數(shù)行列式不為零，方程組（5.3）有唯一解。解此方程組，得 的最小二乘估計(jì)為,注：（1）在用最小二乘法求參數(shù) 的估計(jì)時(shí)，并不需要 為i.i.d和 這一條件；,（3）稱 為經(jīng)驗(yàn)回歸函數(shù)，

5、稱方程 為 關(guān)于 的經(jīng)驗(yàn)回歸（直線）方程，稱 為經(jīng)驗(yàn)回歸系數(shù)。,（2）對模型(5.2)，若用極大似然法求參數(shù) 的極大似然估計(jì) ，則 與 的最小二乘估計(jì) 相同；,設(shè),則有,似然函數(shù),對模型（5.2）的參數(shù) 的極大似然估計(jì),即,分別對 求偏導(dǎo)，并令其為零，整理后設(shè),與最小二乘的正規(guī)方程組相同。,2、 的估計(jì),因?yàn)?所以考慮用 作為 的矩估計(jì)。以 替換未知參數(shù) 及 的矩估計(jì),例1 某建材實(shí)驗(yàn)室在作陶?；炷翉?qiáng)度實(shí)驗(yàn)中，考察每立方米混凝土的水泥用量 對28天后的混凝土抗壓強(qiáng)度 的影響。測得如下數(shù)據(jù),求 對 的經(jīng)驗(yàn)回歸函數(shù)，并計(jì)算 的估計(jì)值 。,表 5.1.1,解 由表5.1.1所給的數(shù)據(jù)，得,所以 對

6、 的經(jīng)驗(yàn)回歸函數(shù)為 的估計(jì)值為,證,三、參數(shù)估計(jì)量的概率分布,引理1 對于一元線性回歸，有,是獨(dú)立的正態(tài)變量，所以,服從正態(tài)分布。,所以,2、 的分布,由于,可見 也服從正態(tài)分布,故,2、 的分布,殘差平方和,定理 5.1 對于模型（5.2）有,相互獨(dú)立。,由定理 5.1可知 令,則 故 為 的無偏估計(jì),由,可知， 是 的漸進(jìn)無偏估計(jì) 。,四、一元線性回歸的假設(shè)檢驗(yàn),在前面的討論中，假定 關(guān)于 的回歸函數(shù) 為線性函數(shù) 。然而，在處理實(shí)際問題時(shí)， 是否為 的線性函數(shù)，還需要檢驗(yàn)。對模型（5.2），若 為 的線性函數(shù)，則 不應(yīng)為零。因此，對模型（5.2）提出如下假設(shè),檢驗(yàn)統(tǒng)計(jì)量,故對給定的顯著水平

7、 ，假設(shè) 的拒絕域?yàn)?Th5.2 設(shè)一元線性回歸中 則,證,又由Th5.1知,且 與 獨(dú)立，故,在判斷經(jīng)驗(yàn)回歸方程是否具有實(shí)用價(jià)值時(shí)，除了用假設(shè)檢驗(yàn)的方法外，還可以用一個(gè)數(shù)量指標(biāo)來衡量它。,即,由等式,可見：,（1）當(dāng) ，即 時(shí)，說明試驗(yàn)數(shù)據(jù) 都在一條直線上 此時(shí)可以認(rèn)為變量 與 之間存在確定的線性函數(shù)關(guān)系。,由等式,可見：,（2）當(dāng) 時(shí)， 達(dá)到最大值。此時(shí)， 的變化對 無任何影響，說明 與 之間無線性相關(guān)關(guān)系。,將 變形為,綜合上述兩點(diǎn)， 可用來描述變量間線性相關(guān)的密切程度。然而 是有量綱的量，在使用時(shí)會受到所選單位的影響。,其中,記,稱為經(jīng)驗(yàn)相關(guān)系數(shù)或樣本相關(guān)系數(shù)。,和 的關(guān)系：,五、預(yù)測

8、,預(yù)測分為點(diǎn)預(yù)測和區(qū)間預(yù)測，即當(dāng) 時(shí)，求因變量 的預(yù)測值和求 的具有給定的置信度的預(yù)測區(qū)間。,1、點(diǎn)預(yù)測,作為 的預(yù)測值。,當(dāng) 時(shí)，取 處的經(jīng)驗(yàn)回歸值,2、區(qū)間預(yù)測,當(dāng) 時(shí)， 的真值 為,假定 是在模型（5.2）的條件下又作了一次獨(dú)立試驗(yàn)的結(jié)果，即 與 相互獨(dú)立。,考慮 ，由于 相互獨(dú)立，并且都服從正態(tài)分布，因而 也服從正態(tài)分布。由,可知,因而,再由 與 相互獨(dú)立，,給定置信度 ，得,即,其中,故 的置信度為 的預(yù)測區(qū)間是,讓 變動(dòng)，并記 ，則在 處， 的置信度為 的預(yù)測區(qū)間是,當(dāng) 時(shí)，預(yù)測區(qū)間的長度最小，預(yù)測的精確度最好。,分別畫出函數(shù) 的圖形。,當(dāng) 遠(yuǎn)離 時(shí)，區(qū)間變長，預(yù)測的精確度變差。,

9、當(dāng) 很大且 在 附近時(shí)， 此時(shí)， 的置信度為 的預(yù)測區(qū)間近似為,例1 煉鋁廠測得所產(chǎn)鑄模用的鋁的硬度 與抗張強(qiáng)度 的數(shù)據(jù)如下：,（1）求 對 的回歸方程；,（2）在顯著水平 下檢驗(yàn)回歸方程的顯著性；,（4）求經(jīng)驗(yàn)相關(guān)系數(shù)。,（3）試預(yù)測當(dāng)鋁的硬度 時(shí)的抗張強(qiáng)度 。,解 （1）,由題意,所以,回歸方程,所以拒絕 ，即認(rèn)為線性回歸顯著。,（2）檢驗(yàn)統(tǒng)計(jì)量,（3） 的置信度為 的置信區(qū)間為,（4）經(jīng)驗(yàn)相關(guān)系數(shù),5.2 多元線性回歸,一、多元線性回歸模型,在有些實(shí)際問題中，隨機(jī)變量 與多個(gè)可控變量 相關(guān)，此時(shí)，回歸函數(shù)通常為多元函數(shù)，即,稱 為 關(guān)于 的多元回歸函數(shù)。,設(shè) 是可控變量， 是隨機(jī)變量，假

10、定它們之間有關(guān)系,其中 都是與 無關(guān)的未知參數(shù)。（5.3）稱為 元線性回歸模型， 稱為回歸變量， 稱為回歸系數(shù)。,稱（5.4）為線性模型。,它們滿足關(guān)系式,當(dāng)變量 取不全相同的 組數(shù) 時(shí)，對 依次作獨(dú)立觀測（試驗(yàn)），得到 組試驗(yàn)數(shù)據(jù)：,模型（5.4）可以表示為矩陣形式。,其中，,觀測向量,回歸設(shè)計(jì)矩陣或資料矩陣,表示 階單位陣,對模型（5.4）或（5.5），主要考慮下列統(tǒng)計(jì)推斷問題：,（3）對 作預(yù)測。,（2）對線性模型的假設(shè)和對 的某種假設(shè)作檢驗(yàn)；,（1）估計(jì) 和 ，建立 與 之間的經(jīng)驗(yàn)回歸關(guān)系式；,二、多元線性回歸模型的參數(shù)估計(jì),1、用最小二乘法求參數(shù) 的點(diǎn)估計(jì),約定 ，即求使 達(dá)到最小的

11、 寫成矩陣形式，即,用微分法求（5.6）式的解，即取 關(guān)于 的偏導(dǎo)，并令它們等于零，,整理后得，,把方程組（5.7）改寫為矩陣形式，有,假定 ，所以 可逆，從而有,稱 為經(jīng)驗(yàn)回歸（平面）方程。,2、 的點(diǎn)估計(jì),三、參數(shù)估計(jì)量的分布及性質(zhì),性質(zhì)1、,性質(zhì)2、 是 的最優(yōu)線性無偏估計(jì)，即 具有最小協(xié)方差陣。,記 ，稱 為殘差向量，則殘差平方和,性質(zhì)4、,性質(zhì)5、若 ，滿足模型（5.4）中的條件，則,(1) 為正態(tài)向量且 與 相互獨(dú)立。,(2) 與 相互獨(dú)立。,(3),四、多元線性回歸的假設(shè)檢驗(yàn),1、回歸方程的顯著性檢驗(yàn),若回歸系數(shù) 全為零，則認(rèn)為線性回歸不顯著；否則認(rèn)為線性回歸顯著。因此，對模型（5.5）提出如下假設(shè),將總的離差平方和分解為,構(gòu)造檢驗(yàn)統(tǒng)計(jì)量,的拒絕域?yàn)?接受 ，認(rèn)為 與 之間的線性關(guān)系不