




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、第5章 回歸分析,理學(xué)院應(yīng)用數(shù)學(xué)系 戴芳,在現(xiàn)實(shí)問題中,處于同一個(gè)過程中的一些變量,往往是相互依賴和相互制約的,它們之間的相互關(guān)系大致可分為兩種:,(1)確定性關(guān)系函數(shù)關(guān)系;,(2)非確定性關(guān)系相關(guān)關(guān)系;,相關(guān)關(guān)系表現(xiàn)為這些變量之間有一定的依賴關(guān)系,但這種關(guān)系并不完全確定,它們之間的關(guān)系不能精確地用函數(shù)表示出來,這些變量其實(shí)是隨機(jī)變量,或至少有一個(gè)是隨機(jī)變量。,例如:在氣候、土壤、水利、種子和耕作技術(shù)等條件基本相同時(shí),某農(nóng)作物的畝產(chǎn)量 Y 與施肥量 X 之間有一定的關(guān)系,但施肥量相同,畝產(chǎn)量卻不一定相同。畝產(chǎn)量是一個(gè)隨機(jī)變量。,又如:人的血壓 Y 與年齡 X 之間有一定的依賴關(guān)系,一般來說,年
2、齡越大,血壓越高,但年齡相同的兩個(gè)人的血壓不一定相等。血壓是一個(gè)隨機(jī)變量。,農(nóng)作物的畝產(chǎn)量與施肥量、血壓與年齡之間的這種關(guān)系稱為相關(guān)關(guān)系,在這些變量中,施肥量、年齡是可控變量,畝產(chǎn)量、血壓是不可控變量。一般在討論相關(guān)關(guān)系問題中,可控變量稱為自變量,不可控變量稱為因變量。,相關(guān)關(guān)系,影響,的值,,函數(shù)關(guān)系,決定,的值,,因此,統(tǒng)計(jì)學(xué)上討論兩變量的相關(guān)關(guān)系時(shí),是設(shè)法 確定:在給定自變量 的條件下,因變量 的 條件數(shù)學(xué)期望,回歸分析的概念,研究一個(gè)隨機(jī)變量與一個(gè)(或幾個(gè))可控變量之間的相關(guān)關(guān)系的統(tǒng)計(jì)方法稱為回歸分析。,只有一個(gè)自變量的回歸分析稱為一元回歸分析;多于一個(gè)自變量的回歸分析稱為多元回歸分析
3、。,引進(jìn)回歸函數(shù),稱為回歸方程,5.1 一元線性回歸,一、一元線性回歸模型 設(shè)隨機(jī)變量 與可控變量 之間有相關(guān)關(guān)系,即當(dāng)自變量 取定值時(shí),有一個(gè)確定的(條件)分布與之對應(yīng)。如果 的數(shù)學(xué)期望存在,那么其值隨 的取值而定,因而是 的函數(shù),記為 ,即 ,稱 為 關(guān)于 的回歸函數(shù)。,若假定 滿足關(guān)系式 ,其中 為具有零均值、有限方差的隨機(jī)變量,則這就構(gòu)建了一種回歸模型。 回歸分析的基本任務(wù)是利用試驗(yàn)數(shù)據(jù)來推斷回歸函數(shù) 。,設(shè) 是可控變量,是與之相關(guān)的隨機(jī)變量,假定它們滿足關(guān)系式,其中 和 都是與 無關(guān)的未知參數(shù),(5.1)稱為一元線性回歸模型, 稱為回歸系數(shù)。,(5.2)稱為線性模型。對模型(5.2)
4、主要考慮下列問題:,(1)用 對試驗(yàn)數(shù)據(jù) 對 和 作估計(jì); (2)對回歸系數(shù) 作假設(shè)檢驗(yàn)。 (3)對 作預(yù)測。,二、一元線性回歸模型的參數(shù)估計(jì),1、 的最小二乘估計(jì) 已知變量 的 對試驗(yàn)數(shù)據(jù) 其中 不全相同。作離差平方和,選擇參數(shù) 使 達(dá)到最小,這種方法稱為最小二乘法。用最小二乘法求出的估計(jì)量稱為參數(shù)的最小二乘估計(jì)。,取 關(guān)于 的一階偏導(dǎo)數(shù),并令它們等于零,得到,經(jīng)整理,得正規(guī)方程組,由于 不全相同,正規(guī)方程組的系數(shù)行列式不為零,方程組(5.3)有唯一解。解此方程組,得 的最小二乘估計(jì)為,注:(1)在用最小二乘法求參數(shù) 的估計(jì)時(shí),并不需要 為i.i.d和 這一條件;,(3)稱 為經(jīng)驗(yàn)回歸函數(shù),
5、稱方程 為 關(guān)于 的經(jīng)驗(yàn)回歸(直線)方程,稱 為經(jīng)驗(yàn)回歸系數(shù)。,(2)對模型(5.2),若用極大似然法求參數(shù) 的極大似然估計(jì) ,則 與 的最小二乘估計(jì) 相同;,設(shè),則有,似然函數(shù),對模型(5.2)的參數(shù) 的極大似然估計(jì),即,分別對 求偏導(dǎo),并令其為零,整理后設(shè),與最小二乘的正規(guī)方程組相同。,2、 的估計(jì),因?yàn)?所以考慮用 作為 的矩估計(jì)。以 替換未知參數(shù) 及 的矩估計(jì),例1 某建材實(shí)驗(yàn)室在作陶?;炷翉?qiáng)度實(shí)驗(yàn)中,考察每立方米混凝土的水泥用量 對28天后的混凝土抗壓強(qiáng)度 的影響。測得如下數(shù)據(jù),求 對 的經(jīng)驗(yàn)回歸函數(shù),并計(jì)算 的估計(jì)值 。,表 5.1.1,解 由表5.1.1所給的數(shù)據(jù),得,所以 對
6、 的經(jīng)驗(yàn)回歸函數(shù)為 的估計(jì)值為,證,三、參數(shù)估計(jì)量的概率分布,引理1 對于一元線性回歸,有,是獨(dú)立的正態(tài)變量,所以,服從正態(tài)分布。,所以,2、 的分布,由于,可見 也服從正態(tài)分布,故,2、 的分布,殘差平方和,定理 5.1 對于模型(5.2)有,相互獨(dú)立。,由定理 5.1可知 令,則 故 為 的無偏估計(jì),由,可知, 是 的漸進(jìn)無偏估計(jì) 。,四、一元線性回歸的假設(shè)檢驗(yàn),在前面的討論中,假定 關(guān)于 的回歸函數(shù) 為線性函數(shù) 。然而,在處理實(shí)際問題時(shí), 是否為 的線性函數(shù),還需要檢驗(yàn)。對模型(5.2),若 為 的線性函數(shù),則 不應(yīng)為零。因此,對模型(5.2)提出如下假設(shè),檢驗(yàn)統(tǒng)計(jì)量,故對給定的顯著水平
7、 ,假設(shè) 的拒絕域?yàn)?Th5.2 設(shè)一元線性回歸中 則,證,又由Th5.1知,且 與 獨(dú)立,故,在判斷經(jīng)驗(yàn)回歸方程是否具有實(shí)用價(jià)值時(shí),除了用假設(shè)檢驗(yàn)的方法外,還可以用一個(gè)數(shù)量指標(biāo)來衡量它。,即,由等式,可見:,(1)當(dāng) ,即 時(shí),說明試驗(yàn)數(shù)據(jù) 都在一條直線上 此時(shí)可以認(rèn)為變量 與 之間存在確定的線性函數(shù)關(guān)系。,由等式,可見:,(2)當(dāng) 時(shí), 達(dá)到最大值。此時(shí), 的變化對 無任何影響,說明 與 之間無線性相關(guān)關(guān)系。,將 變形為,綜合上述兩點(diǎn), 可用來描述變量間線性相關(guān)的密切程度。然而 是有量綱的量,在使用時(shí)會受到所選單位的影響。,其中,記,稱為經(jīng)驗(yàn)相關(guān)系數(shù)或樣本相關(guān)系數(shù)。,和 的關(guān)系:,五、預(yù)測
8、,預(yù)測分為點(diǎn)預(yù)測和區(qū)間預(yù)測,即當(dāng) 時(shí),求因變量 的預(yù)測值和求 的具有給定的置信度的預(yù)測區(qū)間。,1、點(diǎn)預(yù)測,作為 的預(yù)測值。,當(dāng) 時(shí),取 處的經(jīng)驗(yàn)回歸值,2、區(qū)間預(yù)測,當(dāng) 時(shí), 的真值 為,假定 是在模型(5.2)的條件下又作了一次獨(dú)立試驗(yàn)的結(jié)果,即 與 相互獨(dú)立。,考慮 ,由于 相互獨(dú)立,并且都服從正態(tài)分布,因而 也服從正態(tài)分布。由,可知,因而,再由 與 相互獨(dú)立,,給定置信度 ,得,即,其中,故 的置信度為 的預(yù)測區(qū)間是,讓 變動(dòng),并記 ,則在 處, 的置信度為 的預(yù)測區(qū)間是,當(dāng) 時(shí),預(yù)測區(qū)間的長度最小,預(yù)測的精確度最好。,分別畫出函數(shù) 的圖形。,當(dāng) 遠(yuǎn)離 時(shí),區(qū)間變長,預(yù)測的精確度變差。,
9、當(dāng) 很大且 在 附近時(shí), 此時(shí), 的置信度為 的預(yù)測區(qū)間近似為,例1 煉鋁廠測得所產(chǎn)鑄模用的鋁的硬度 與抗張強(qiáng)度 的數(shù)據(jù)如下:,(1)求 對 的回歸方程;,(2)在顯著水平 下檢驗(yàn)回歸方程的顯著性;,(4)求經(jīng)驗(yàn)相關(guān)系數(shù)。,(3)試預(yù)測當(dāng)鋁的硬度 時(shí)的抗張強(qiáng)度 。,解 (1),由題意,所以,回歸方程,所以拒絕 ,即認(rèn)為線性回歸顯著。,(2)檢驗(yàn)統(tǒng)計(jì)量,(3) 的置信度為 的置信區(qū)間為,(4)經(jīng)驗(yàn)相關(guān)系數(shù),5.2 多元線性回歸,一、多元線性回歸模型,在有些實(shí)際問題中,隨機(jī)變量 與多個(gè)可控變量 相關(guān),此時(shí),回歸函數(shù)通常為多元函數(shù),即,稱 為 關(guān)于 的多元回歸函數(shù)。,設(shè) 是可控變量, 是隨機(jī)變量,假
10、定它們之間有關(guān)系,其中 都是與 無關(guān)的未知參數(shù)。(5.3)稱為 元線性回歸模型, 稱為回歸變量, 稱為回歸系數(shù)。,稱(5.4)為線性模型。,它們滿足關(guān)系式,當(dāng)變量 取不全相同的 組數(shù) 時(shí),對 依次作獨(dú)立觀測(試驗(yàn)),得到 組試驗(yàn)數(shù)據(jù):,模型(5.4)可以表示為矩陣形式。,其中,,觀測向量,回歸設(shè)計(jì)矩陣或資料矩陣,表示 階單位陣,對模型(5.4)或(5.5),主要考慮下列統(tǒng)計(jì)推斷問題:,(3)對 作預(yù)測。,(2)對線性模型的假設(shè)和對 的某種假設(shè)作檢驗(yàn);,(1)估計(jì) 和 ,建立 與 之間的經(jīng)驗(yàn)回歸關(guān)系式;,二、多元線性回歸模型的參數(shù)估計(jì),1、用最小二乘法求參數(shù) 的點(diǎn)估計(jì),約定 ,即求使 達(dá)到最小的
11、 寫成矩陣形式,即,用微分法求(5.6)式的解,即取 關(guān)于 的偏導(dǎo),并令它們等于零,,整理后得,,把方程組(5.7)改寫為矩陣形式,有,假定 ,所以 可逆,從而有,稱 為經(jīng)驗(yàn)回歸(平面)方程。,2、 的點(diǎn)估計(jì),三、參數(shù)估計(jì)量的分布及性質(zhì),性質(zhì)1、,性質(zhì)2、 是 的最優(yōu)線性無偏估計(jì),即 具有最小協(xié)方差陣。,記 ,稱 為殘差向量,則殘差平方和,性質(zhì)4、,性質(zhì)5、若 ,滿足模型(5.4)中的條件,則,(1) 為正態(tài)向量且 與 相互獨(dú)立。,(2) 與 相互獨(dú)立。,(3),四、多元線性回歸的假設(shè)檢驗(yàn),1、回歸方程的顯著性檢驗(yàn),若回歸系數(shù) 全為零,則認(rèn)為線性回歸不顯著;否則認(rèn)為線性回歸顯著。因此,對模型(5.5)提出如下假設(shè),將總的離差平方和分解為,構(gòu)造檢驗(yàn)統(tǒng)計(jì)量,的拒絕域?yàn)?接受 ,認(rèn)為 與 之間的線性關(guān)系不
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 村民就業(yè)問題的現(xiàn)狀與挑戰(zhàn)分析
- 廣東省湛江雷州市2024年化學(xué)九上期末復(fù)習(xí)檢測模擬試題含解析
- 江蘇省無錫市錫山區(qū)錫東片2025屆化學(xué)九上期末質(zhì)量檢測模擬試題含解析
- 河北滄州泊頭市蘇屯初級中學(xué)2024年七上數(shù)學(xué)期末教學(xué)質(zhì)量檢測模擬試題含解析
- 江蘇省常州市溧陽市2025屆八上數(shù)學(xué)期末達(dá)標(biāo)測試試題含解析
- 智能物流產(chǎn)業(yè)發(fā)展及技術(shù)創(chuàng)新研究報(bào)告
- 2025至2030靜脈留置針行業(yè)項(xiàng)目調(diào)研及市場前景預(yù)測評估報(bào)告
- 寫字樓消防通道保潔要求
- 2025至2030數(shù)字金融行業(yè)發(fā)展趨勢分析與未來投資戰(zhàn)略咨詢研究報(bào)告
- 2025至2030中國自動(dòng)滴咖啡機(jī)行業(yè)市場占有率及投資前景評估規(guī)劃報(bào)告
- 實(shí)驗(yàn)室培育鉆石行業(yè)技術(shù)發(fā)展趨勢報(bào)告
- 2025年領(lǐng)英大制造行業(yè)人才全球化報(bào)告-馬來西亞篇
- 專題:閱讀理解 30篇 中考英語高分提升之新題速遞第二輯【含答案+解析】
- 企業(yè)面試題目和答案大全
- 抖音房產(chǎn)直播課件
- 2025至2030中國近視眼治療儀市場競爭力剖析及企業(yè)經(jīng)營形勢分析報(bào)告
- 2025年北京市高考英語試卷真題(含答案解析)
- 日本所有番號分類
- 國際壓力性損傷-潰瘍預(yù)防和治療臨床指南(2025年版)解讀課件
- 降低手術(shù)患者術(shù)中低體溫發(fā)生率
- 患者跌倒墜床風(fēng)險(xiǎn)評估流程防范措施
評論
0/150
提交評論