《數(shù)學(xué)建模統(tǒng)計模型》PPT課件.ppt

1、1,建立實際回歸模型的過程,實際問題 設(shè)置指標(biāo)變量 解釋變量的重要性；不相關(guān)性；用相近的變量代替或幾個指標(biāo)復(fù)合；個數(shù)適當(dāng)這個過程需反復(fù)試算 收集整理數(shù)據(jù) 時間序列數(shù)據(jù)：隨機誤差項的序列相關(guān)，如人們的消費習(xí)慣 橫截面數(shù)據(jù)：隨機誤差項的異方差性，如居民收入與消費 樣本容量的個數(shù)應(yīng)比解釋變量個數(shù)多 缺失值，異常值處理 構(gòu)造理論模型 繪制 yi 與 xi 的樣本散點圖，如生產(chǎn)函數(shù)、投資函數(shù)、需求函數(shù) 估計模型參數(shù)最小二乘,偏最小二乘,主成分回歸等,依靠軟件. 模型檢驗統(tǒng)計檢驗和模型經(jīng)濟意義檢驗,從設(shè)置指標(biāo)變量修改 模型運用 經(jīng)濟因素分析、經(jīng)濟變量控制、經(jīng)濟決策預(yù)測,2,線性回歸實例選講牙膏的銷售量,1

2、. 問題,建立牙膏銷售量與價格、廣告投入之間的模型;,預(yù)測在不同價格和廣告費用下的牙膏銷售量.,收集了30個銷售周期本公司牙膏銷售量、價格、廣告費用，及同期其他廠家同類牙膏的平均售價 .,3,明確問題一 牙膏的銷售量,確定關(guān)系： 牙膏銷售量價格、廣告投入 內(nèi)部規(guī)律復(fù)雜數(shù)據(jù)統(tǒng)計分析 常用模型回歸模型數(shù)學(xué)原理軟件 30個銷售周期數(shù)據(jù)： 銷售量、價格、廣告費用、同類產(chǎn)品均價,4,2. 基本模型,y 公司牙膏銷售量 x1其它廠家與本公司價格差 x2公司廣告費用,解釋變量 (回歸變量, 自變量),被解釋變量（因變量）,多元回歸模型,5,Matlab 統(tǒng)計分析,rcoplot(r,rint) 殘差及其置信

3、區(qū)間作圖 MATLAB7.0版本 s增加一個統(tǒng)計量: 剩余方差s2,statistics toolbox,解釋變量：矩陣,顯著性水平：0.05,系數(shù)估計值,置信區(qū)間,殘差向量y-xb,置信區(qū)間,被解釋變量：列,檢驗統(tǒng)計量：R2,F,p,x=,3. 模型求解,由數(shù)據(jù) y,x1,x2估計,x=ones(size(x1),x1,x2,x2.2; b,bint,r,rint,stats=regress(y,x),程序,6,4. 結(jié)果分析, 故x22項顯著,但可將x2保留在模型中,即：,y的90.54%可由模型確定、 F遠(yuǎn)超過F檢驗的臨界值、 p遠(yuǎn)小于=0.05,顯著性 ：整體顯著,x2 ：2 置信區(qū)間

4、包含零點, 但右端點距零點很近 x2 對因變量 y 的影響不太顯著；,3 顯著,7,控制價格差 x1=0.2元，投入廣告費 x2=6.5 百萬元,銷售量預(yù)測區(qū)間為 7.8230，8.7636（置信度95%）,上限用作庫存管理的目標(biāo)值,下限用來把握公司的現(xiàn)金流,若估計 x3=3.9，設(shè)定 x4=3.7,(百萬支),銷售量預(yù)測,價差x1=它廠價x3-公司價x4,估計x3，調(diào)整x4,控制x1,預(yù)測y,得,則可以 95%的把握知道銷售額在 7.83203.7 29（百萬 元）以上,8,5. 模型改進(jìn),x1和x2對y的影響?yīng)毩?比較： 置信區(qū)間, R2,9,比較: 兩模型銷售量預(yù)測,控制價格差 x1=0

5、.2 元，投入廣告費 x2=6.5 百萬元,(百萬支),區(qū)間 7.8230，8.7636,區(qū)間 7.8953，8.7592,(百萬支),預(yù)測區(qū)間長度更短,略有增加,10,x2=6.5,x1=0.2,x1,x1,x2,x2,6. 比較:兩模型 與x1, x2的關(guān)系,11,討論：交互作用影響,價格差 x1=0.1 價格差 x1=0.3,廣告投入y （ x2大于6百萬元）,價格差較小時 增加的速率更大,x2,價格優(yōu)勢y,價格差較小廣告作用大,x1,x2,12,多元二項式回歸,命令：rstool（x，y，model, alpha）,13,完全二次多項式模型,MATLAB中有命令rstool直接求解,從

6、輸出 Export 可得,鼠標(biāo)移動十字線(或下方窗口輸入)可改變x1, x2, 左邊窗口顯示預(yù)測值 及預(yù)測區(qū)間,Rstool(x,y,model,alpha,xname,yname),14,牙膏的銷售量,建立統(tǒng)計回歸模型的基本步驟,根據(jù)已知數(shù)據(jù)從常識和經(jīng)驗分析, 輔之以作圖, 決定回歸變量及函數(shù)形式(先取盡量簡單的形式).,用軟件(如MATLAB統(tǒng)計工具箱)求解.,對結(jié)果作統(tǒng)計分析: R2,F, p, s2是對模型整體評價, 回歸系數(shù)置信區(qū)間是否含零點檢驗其影響的顯著性.,模型改進(jìn), 如增添二次項、交互項等.,對因變量進(jìn)行預(yù)測.,15,非線性回歸實例選講酶促反應(yīng),問題,研究酶促反應(yīng)（酶催化反應(yīng)

7、）中嘌呤霉素(處理與否)對反應(yīng)速度與底物（反應(yīng)物）濃度之間關(guān)系的影響.,酶促反應(yīng) 由酶作為催化劑催化進(jìn)行的化學(xué)反應(yīng) 生物體內(nèi)的化學(xué)反應(yīng)絕大多數(shù)屬于酶促反應(yīng) 酶促反應(yīng)中酶作為高效催化劑使得反應(yīng)以極快的速度（1031017倍）或在一般情況下無法反應(yīng)的條件下進(jìn)行 酶是生物體內(nèi)進(jìn)行各種化學(xué)反應(yīng)最重要的因素,16,建立數(shù)學(xué)模型，反映該酶促反應(yīng)的速度與底物濃度以及經(jīng)嘌呤霉素處理與否之間的關(guān)系 設(shè)計了兩個實驗 酶經(jīng)過嘌呤霉素處理 酶未經(jīng)嘌呤霉素處理 實驗數(shù)據(jù):,方案,17,分析,酶促反應(yīng)的基本性質(zhì) 底物濃度較小時，反應(yīng)速度大致與濃度成正比； 底物濃度很大、漸進(jìn)飽和時，反應(yīng)速度趨于固定值,數(shù)據(jù)分析,18,解決

8、方案一：線性化模型,經(jīng)嘌呤霉素處理后實驗數(shù)據(jù)的估計結(jié)果,對1 , 2非線性,19,線性化模型結(jié)果分析,x較大時，y有較大偏差,1/x較小時有很好的線性趨勢, 1/x較大時出現(xiàn)很大的起落,線性化：參數(shù)估計時 x 較小（1/x很大）的數(shù)據(jù)控制了回歸參數(shù)的確定 改進(jìn)：非線性模型,20,beta的置信區(qū)間,回歸分析：非線性,statistics toolbox,解釋變量：矩陣,模型的函數(shù)M文件名,參數(shù)估計值,殘差,參數(shù)初值,被解釋變量：列,估計預(yù)測誤差的Jacobi矩陣,解決方案二：非線性化模型,MATLAB 統(tǒng)計工具箱,21,beta,R,J = nlinfit (x,y,model,beta0),

9、% beta的置信區(qū)間,MATLAB 統(tǒng)計工具箱,function y=f1(beta, x) y=beta(1)*x./(beta(2)+x);,x= = ; y= ; beta0=195.8027 0.04841; beta,R,J=nlinfit(x,y,f1,beta0); betaci=nlparci(beta,R,J); beta, betaci,beta0線性化模型估計結(jié)果,Matlab 程序,22,半速度點(達(dá)到最終速度一半時 的底物濃度 x 值 )為,o 原始數(shù)據(jù) + 擬合結(jié)果,非線性模型結(jié)果分析,其他輸出,命令nlintool 給出交互畫面,最終反應(yīng)速度為,給出交互畫面 拖

10、動畫面的十字線，得y的預(yù)測值和預(yù)測區(qū)間 畫面左下方的Export 輸出其它統(tǒng)計結(jié)果。 剩余標(biāo)準(zhǔn)差s= 10.9337,23,在同一模型中考慮嘌呤霉素處理的影響,用未經(jīng)嘌呤霉素處理的模型附加增量的方法。,混合反應(yīng)模型,x2示性變量：x2=1表示經(jīng)過處理，x2=0表示未經(jīng)處理,24,用nlinfit 和 nlintool命令 參數(shù)初值：基于對數(shù)據(jù)的分析,o 原始數(shù)據(jù) + 擬合結(jié)果,估計結(jié)果和預(yù)測,剩余標(biāo)準(zhǔn)差s= 10.4000,2置信區(qū)間包含零點，表明2對因變量y的影響不顯著,混合模型求解,25,簡化的混合模型,估計結(jié)果和預(yù)測,簡化的混合模型形式簡單 參數(shù)置信區(qū)間不含零點,剩余標(biāo)準(zhǔn)差 s = 10

11、.5851，比一般混合模型略大,26,簡化混合模型的預(yù)測區(qū)間較短，更為實用、有效.,預(yù)測區(qū)間為預(yù)測值 ,一般混合模型與簡化混合模型預(yù)測比較.,結(jié)果分析,27,酶促反應(yīng),評注,注：非線性模型擬合程度的評價無法直接利用線性模型的方法，但R2 與s仍然有效。,反應(yīng)速度與底物濃度的關(guān)系,非線性關(guān)系,求解線性模型,求解非線性模型,嘌呤霉素處理與否對反應(yīng)速度與底物濃度關(guān)系的影響,混合模型,簡化模型,28,先用線性模型來簡化參數(shù)估計，但由于變量的代換已經(jīng)隱含了誤差擾動項的變換，因此，除非變換后的誤差項仍具有常數(shù)方差，一般情況下我們還需要采用原始數(shù)據(jù)做非線性回歸，而把線性化模型的參數(shù)估計結(jié)果作為非線性模型參數(shù)

12、估計的迭代初值。,29,模型三 軟件開發(fā)人員的薪金,薪金資歷、崗位、學(xué)歷 建立模型：分析人事策略的合理性，作為新聘用人員薪金的參考,資歷 從事專業(yè)工作的年數(shù)；管理 1=管理人員，0=非管理人員；教育 1=中學(xué)，2=大學(xué)，3=更高程度,46名軟件開發(fā)人員的檔案資料,30,模型假設(shè),假設(shè)： y 薪金，x1 資歷（年） x2 = 1 管理人員，0 非管理人員,1 中學(xué) 2 大學(xué) 3 更高？,假設(shè)： 資歷每加一年薪金的增長是常數(shù)； 管理、教育、資歷之間無交互作用,教育=,模型：線性回歸,回歸系數(shù) 隨機誤差,31,模型求解,x1資歷(年) x2 = 1 管理，0 非管理 中學(xué)：x3=1, x4=0;大學(xué)

13、：x3=0, x4=1; 更高：x3=0, x4=0,Matlab程序: xinjindata.m xinjin.m,xinjindata.m： 序號、工資y、資歷x1、管理x2、學(xué)歷、x3、x4、xx,xinjin.m ： M=dlmread(xinjindata.m); x1=M(:,3);x2=M(:,4);x3=M(:,6);x4=M(:,7);y=M(:,2); x=ones(size(x1) x1 x2 x3 x4 b,bi,r,ri,s=regress(y,x),32,R2,F, p 模型整體上可用 資歷增加1年薪金增長546 管理人員薪金多6883 中學(xué)程度薪金比更高的少299

14、4 大學(xué)程度薪金比更高的多148 a4置信區(qū)間包含零點 解釋不可靠!,結(jié)果,33,結(jié)果分析,殘差分析法,殘差, 與資歷x1的關(guān)系,殘差大概分成3個水平 6種管理教育組合混在一起，未正確反映,34, 與管理x2教育x3 、x4的關(guān)系,殘差全為正，或全為負(fù)，管理教育組合處理不當(dāng),應(yīng)在模型中增加管理x2與教育x3, x4的交互項,殘差分析,35,模型改進(jìn),增加管理x2與教育x3, x4的交互項,R2,F有改進(jìn) 回歸系數(shù)置信區(qū)間不含零點 模型可用,Matlab: xinjin3.m,36,消除了不正?，F(xiàn)象 異常數(shù)據(jù)(33號)去掉,殘差分析,e x1,e 組合,37,去掉異常數(shù)據(jù)后的結(jié)果,模型改進(jìn),R2

15、： 0.957 0.999 0.9998 F： 226 554 36701 置信區(qū)間長度更短,38,殘差分析,殘差圖正常 模型的結(jié)果可以應(yīng)用, x1, 組合,39,模型應(yīng)用,制訂基礎(chǔ)薪金 資歷為0 ： x1= 0 管理教育組合：6種,大學(xué)程度管理人員比更高程度管理人員的薪金高,大學(xué)程度非管理人員比更高程度非管理人員的薪金略低,教育 1中學(xué)：x3=1, x4=0 2大學(xué)：x3=0, x4=1 3更高：x3=0, x4=0,40,評注,對定性因素：如管理、教育 可以引入0-1變量處理 0-1變量的個數(shù)應(yīng)比定性因素的水平少1 殘差分析：可以發(fā)現(xiàn)模型的缺陷 引入交互作用項常常能夠改善模型 剔除：異常數(shù)

16、據(jù) 有助于得到更好的結(jié)果 另： 可以直接對6種管理教育組合引入5個0-1變量,41,隨機過程是研究隨機動態(tài)系統(tǒng)演變過程規(guī)律性的學(xué)科 廣泛地應(yīng)用于通信、控制、生物、地質(zhì)、經(jīng)濟、管理、能源、氣象等許多領(lǐng)域,馬氏鏈(Markov Chain)模型： 時間、狀態(tài)均為離散的隨機轉(zhuǎn)移過程 系統(tǒng)在每個時期所處的狀態(tài)是隨機的 從一時期到下時期的狀態(tài)按一定概率轉(zhuǎn)移 下時期狀態(tài)只取決于本時期狀態(tài)和轉(zhuǎn)移概率 已知現(xiàn)在，將來與過去無關(guān)（無后效性）,42,模型一 健康與疾病,人的健康狀態(tài)隨著時間的推移會隨機地發(fā)生轉(zhuǎn)變 保險公司要對投保人未來的健康狀態(tài)作出估計, 以制訂保險金和理賠金的數(shù)額,人的健康狀況分為健康和疾病兩種

17、狀態(tài) 設(shè)對特定年齡段的人 今年健康、明年保持健康狀態(tài)的概率為0.8 今年患病、明年轉(zhuǎn)為健康狀態(tài)的概率為0.7 若某人投保時健康, 問10年后他仍處于健康狀態(tài)的概率,問題1,43,在一個離散時間集合T=0,1,2,和一個有限或可列無窮的狀態(tài)空間S=1,2,上，一個隨機過程在任一時刻從一個狀態(tài)以一定的概率向其他狀態(tài)轉(zhuǎn)移（或保持原狀態(tài)不變）。記Xn為時刻n時時刻過程所處的狀態(tài)， n 1,2,，假定： 在時刻0,過程所處的狀態(tài)X0是S上的一個隨機變量； 在任一時刻n，給定X0， ， Xn-1 ， Xn時， Xn1的條件分布只與Xn有關(guān)，而與X0， ， Xn-1無關(guān)。 滿足上述條件的隨機過程為馬爾可夫鏈

18、，簡稱馬氏鏈。,馬氏鏈,44,醉鬼在路中央，向前一步的概率為p,向后退一步的概率為1-p,他的運動是一種隨機走動，是一種馬爾可夫鏈。,狀態(tài)空間S=0, 1, 2, 無限狀態(tài)馬氏鏈。,一只荷蘭豬在一個分成四個房間的籠子里隨機運動，當(dāng)它在任一時刻、處于任一房間是地，在下一時刻的概率為1/3，是一種馬爾可夫鏈。 狀態(tài)空間S=1,2,3,4,45,狀態(tài)與狀態(tài)轉(zhuǎn)移,模型,給定a(0)預(yù)測 a(n), n=1,2,狀態(tài)：,轉(zhuǎn)移：,轉(zhuǎn)移方程,今年健康、明年保持健康狀態(tài)的概率為0.8 今年患病、明年轉(zhuǎn)為健康狀態(tài)的概率為0.7,p11=0.8, p12=0.2 p21=0.7, p22=0.3,1 健康 2 疾

19、病,46,狀態(tài),符號分析,已知,狀態(tài)概率,轉(zhuǎn)移概率,轉(zhuǎn)移方程,可見： Xn+1只取決于 Xn 和 pij, 與 Xn-1, 無關(guān) 狀態(tài)轉(zhuǎn)移具有無后效性,47,n=input(n=) A=zeros(2,n+1); A(1,1)=input(a01=); A(2,1)=1-A(1,1); for i=1:n A(1,i+1)=0.8*A(1,i)+0.7*A(2,i); A(2,i+1)=0.2*A(1,i)+0.3*A(2,i); end A,數(shù)值分析,p11=0.8, p12=0.2 p21=0.7, p22=0.3,1 健康 2 疾病,48,n時： 狀態(tài)概率趨于穩(wěn)定值 穩(wěn)定值與初始狀態(tài)無關(guān)

20、,結(jié)果,49,狀態(tài) 健康和疾?。?Xn=1 健康, Xn=2 疾病 第3種狀態(tài)：死亡Xn=3 已知： p11=0.8, p12=0.18, p13=0.02 p21=0.65, p22=0.25, p23=0.1 p31=0, p32=0, p33=1 若某人投保時健康, 問n年后各狀態(tài)的概率,問題2,50,狀態(tài)與狀態(tài)轉(zhuǎn)移,模型,狀態(tài)：,轉(zhuǎn)移：,轉(zhuǎn)移方程,51,n=input(n=) A=zeros(3,n+1); A(1,1)=input(a01=); A(2,1)=input(a02=); A(3,1)=1-A(1,1)-A(2,1); for i=1:n A(1,i+1)=0.8*A(1

21、,i)+0.65*A(2,i)+0*A(3,i); A(2,i+1)=0.18*A(1,i)+0.25*A(2,i)+0*A(3,i); A(3,i+1)=0.02*A(1,i)+0.1*A(2,i)+1*A(3,i); end A,52,設(shè)投保時處于健康狀態(tài)，預(yù)測 a(n), n=1,2,分析,初始狀態(tài)最終都要轉(zhuǎn)到狀態(tài)3 一旦a1(k)= a2(k)=0, a3(k)=1 nk, a1(n)=0， a2(n)=0, a3(n)=1 從狀態(tài)3不會轉(zhuǎn)移到其它狀態(tài)。,53,理論,狀態(tài),基本方程,馬氏鏈的基本方程,狀態(tài)概率,轉(zhuǎn)移概率,54,1、正則鏈,馬氏鏈的兩個重要類型,任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移以

22、正概率到達(dá)另外任一狀態(tài),w 穩(wěn)態(tài)概率,例1：,特征向量,定義 對于馬氏鏈，若存在一正整 數(shù)N，使其轉(zhuǎn)移矩陣 的N次冪MN0（每一分量均大 于0），則稱此馬爾鏈為一正則（regular）鏈。,55,存在吸收狀態(tài) 一旦到達(dá)就不會離開的狀態(tài) 且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)吸收狀態(tài),2、吸收鏈,有非零元素,yi 從第 i 個非吸收狀態(tài)出發(fā)，被某個吸收狀態(tài)吸收前的平均轉(zhuǎn)移次數(shù),轉(zhuǎn)移矩陣：,n-r個非吸收狀態(tài),有r個吸收狀態(tài),56,模型二 鋼琴銷售的存貯策略,鋼琴銷售 售量很小 商店的庫存量不大以免積壓資金 一家商店根據(jù)經(jīng)驗估計：平均每周的鋼琴需求為1架 存貯策略 每周末檢查庫存量 僅當(dāng)

23、庫存量為零時，才訂購3架供下周銷售 否則，不訂購。 問題： 估計在這種策略下失去銷售機會的可能性有多大，以及每周的平均銷售量是多少。,背景與問題,57,分析與假設(shè),需求：顧客的到達(dá)相互獨立 需求量近似服從波松分布，其參數(shù)由需求均值為每周1架確定 計算不同的需求概率 失去銷售機會：需求超過庫存動態(tài)過程概率 存貯策略：周末庫存量為零時訂購3架, 周初到貨；否則，不訂購 周末的庫存量：0, 1, 2, 3 周初的庫存量：1, 2, 3共三種狀態(tài) 用馬氏鏈描述不同需求導(dǎo)致的周初庫存狀態(tài)的變化 以每周初的庫存量作為狀態(tài)變量 狀態(tài)轉(zhuǎn)移具有無后效性 在穩(wěn)態(tài)情況下時間充分長以后 計算該存貯策略失去銷售機會的概率、每周的平均銷售量,動態(tài)過程中每周銷售量不同，失去銷售機會（需求超過庫存）的概率不同.,58,狀態(tài)轉(zhuǎn)移規(guī)律,模型,Dn第n周需求量：泊松分布,狀態(tài)變量：Sn第n周初庫存量,均值為1,需求量,需求量,進(jìn)貨量,狀態(tài)轉(zhuǎn)移矩陣,59,則,計算,Dn第n周需求量，均值為1的泊松分布,Sn第n周初庫存量(狀態(tài)變量 ),狀態(tài)轉(zhuǎn)移規(guī)律,60,狀態(tài)概率,馬氏鏈的基本方程,已知初始狀態(tài)：可預(yù)測第n周初庫存量Sn=i 的概率,n, 狀態(tài)概率,已知,正則鏈,正則鏈,