建模培訓(xùn)講座

1、建模培訓(xùn)講座第二講 統(tǒng)計(jì)模型與SAS軟件 理學(xué)院 吳有煒7月10日第一部分 SAS與Excel數(shù)據(jù)第二部分 統(tǒng)計(jì)推斷一.SAS與Excel數(shù)據(jù)的轉(zhuǎn)換1.SAS數(shù)據(jù)輸入2.調(diào)用Excel數(shù)據(jù)3.SAS輸出結(jié)果的保存與轉(zhuǎn)化成Excel數(shù)據(jù)二.數(shù)據(jù)圖表與曲線第二部分 統(tǒng)計(jì)推斷一.假設(shè)檢驗(yàn)與區(qū)間估計(jì)模型二.假設(shè)檢驗(yàn)的各種類型與結(jié)論7月11日第三部分 方差分析與列聯(lián)表分析一.單因素方差分析二.多因素方差分析三.列聯(lián)表分析7月12日第四部分 回歸分析1多元線性回歸模型與顯著性檢驗(yàn)2非線性回歸模型3相關(guān)性分析7月13日第五部分 多目標(biāo)綜合第六部分 主成份分析第七部分 聚類分析與判斷分析第一部分 SAS與Ex

2、cel數(shù)據(jù)一.SAS與Excel數(shù)據(jù)的轉(zhuǎn)換1.SAS數(shù)據(jù)輸入2.調(diào)用Excel數(shù)據(jù)3.SAS輸出結(jié)果的保存與轉(zhuǎn)化成Excel數(shù)據(jù)二.數(shù)據(jù)圖表與曲線附錄一:SAS數(shù)據(jù)輸入和調(diào)用Excel數(shù)據(jù)、SAS輸出結(jié)果轉(zhuǎn)化成Excel表格SAS一維數(shù)據(jù)輸入: data E21; input N $ x1 x2 x3; /*說明N是字符型變量,N后加$*/ y=x1+x2;z=x1*x2;u=x1*3; /*用加,乘,乘方產(chǎn)生新變 量*/ cards; /*說明以下輸入數(shù)據(jù)說明以下輸入數(shù)據(jù)*/ A 1.1 2.6 3.8 B 4.5 5.7 6.0 C 7.6 8.2 9.7; /*空語句說明數(shù)據(jù)輸入結(jié)束*/

3、Proc print; /*有此打印語句則在output窗口有輸出,否則只在 explorework儲(chǔ)存*/run;SAS程序不區(qū)分大小寫字母請(qǐng)看演示SAS數(shù)據(jù)輸入(帶三個(gè)下標(biāo)的一維變量Rijr)SAS數(shù)據(jù)輸入(帶二個(gè)下標(biāo)的二維變量(x,y)ij)SAS輸出結(jié)果轉(zhuǎn)化成Excel表或進(jìn)行修改的方法將SAS的輸出結(jié)果保存后,重點(diǎn)Program Editor，點(diǎn)File，點(diǎn)Open，”文件類型”選中”All Files”,打到該文件后,右擊，選中記事本打開方式，重新存入某位置(要記住該位置) (如果需要修改或解釋此時(shí)可在記事本上進(jìn)行);打開空白Excel,數(shù)據(jù)導(dǎo)入外部數(shù)據(jù)導(dǎo)入數(shù)據(jù)找到記事本所在位置并

4、打開按提示進(jìn)行Example:將SAS數(shù)據(jù)文件f66轉(zhuǎn)化成Excel文件1.打開SAS,運(yùn)行p252.點(diǎn)擊save保存(設(shè)起名為f66out)3.(點(diǎn)擊Program Edit后)點(diǎn)File,Open,文件類型選擇為All File后找到保存的文件,右擊文件名f66out,選擇用記事本打開,并重新保存在某位置。4.打開空白Excel,數(shù)據(jù)導(dǎo)入外部數(shù)據(jù)導(dǎo)入數(shù)據(jù)找到記事本所在位置并打開f66out 按提示進(jìn)行(選擇按”固定寬度”),最后對(duì)Excel文件保存二.圖表及散點(diǎn)圖一.圖表 圖表-使你所要的資料一目了然,圖表是當(dāng)中最常用的統(tǒng)計(jì)方法,它包括折線圖、長(zhǎng)條圖、圓形圖以及帶狀圖等等。 1. 折線圖(

5、趨勢(shì)圖、歷史線圖)-以時(shí)間為橫坐標(biāo),給出定量變量(計(jì)量、計(jì)數(shù))的數(shù)據(jù)隨時(shí)間的變化 去年度某快餐店的外賣數(shù)統(tǒng)計(jì)表如下(單位:次) 當(dāng)你手頭有這樣一個(gè)數(shù)據(jù)的時(shí)候,你如何直觀地怎么向你的主管匯報(bào)? 我們可以用Excel的折線圖功能來做一個(gè)圖表給主管看(用Excel操作過程見附錄1,): 點(diǎn)此超鏈接 這樣是不是很直觀呢?折線圖可以讓人很直觀的看到不良異常的變化狀況.掌握各時(shí)段的具體數(shù)據(jù).所以折線圖的作用是能讓人很直觀的看到你想了解的數(shù)據(jù).2. 長(zhǎng)條圖(柱形圖)-以定性變量的各水平為橫坐標(biāo)對(duì)各水平的指標(biāo)值進(jìn)行比較如果你是人事小姐,老板要你報(bào)告05年度的人員流失情況,你會(huì)用什么方式去匯報(bào)?直接一個(gè)一個(gè)同老

6、板講嗎?肯定不行,老板沒有那么多時(shí)間聽你的長(zhǎng)篇大論,也不利于他了解真實(shí)的狀況.這個(gè)時(shí)候你就可以用到長(zhǎng)條圖了.數(shù)據(jù)如下:用Excel作長(zhǎng)條圖(作圖操作方法點(diǎn)此超鏈接附錄2)如下: 4. 帶狀圖(條形圖)-可以反映出分層情況下對(duì)定性變量的不同水平的指標(biāo)值進(jìn)行比較如果要對(duì)分層的定性變量的不同水平間進(jìn)行比較,則帶狀圖是個(gè)很好的選擇。 上表是快餐店在3年中三類業(yè)務(wù)的銷量百分?jǐn)?shù)據(jù),我們先用年份作分層標(biāo)志,然后對(duì)定性變量業(yè)務(wù)類別進(jìn)行比較，即欲比較同一年不同業(yè)務(wù)類的銷售百分?jǐn)?shù);然后我們又以業(yè)務(wù)類作分層標(biāo)志,對(duì)定性變量年份進(jìn)行比較，即比較同一類不同年份的銷售百分?jǐn)?shù)。我們可以作帶狀圖(用附錄4用Excel作帶狀圖

7、.docExcel作圖見附錄4點(diǎn)此超鏈接)進(jìn)行分類對(duì)比 以上數(shù)據(jù)做圖如下：下面帶狀圖是業(yè)務(wù)類別為組比較每個(gè)業(yè)務(wù)類別內(nèi)三個(gè)年度銷量百分?jǐn)?shù),下面帶狀圖是以年份為組比較同一年三個(gè)業(yè)務(wù)類別的銷量百分?jǐn)?shù)圖表中的各種圖形，都是表示數(shù)據(jù)變化情況的一種工具。它們均可以將雜亂無章的資料，解析出規(guī)則性，比較直觀的看出要項(xiàng)（如產(chǎn)品質(zhì)量）的特性的分布狀況。常用的簡(jiǎn)單圖表還有環(huán)形圖、雷達(dá)圖、甘特圖等等,示例如后多層圓環(huán)圖用于分析同時(shí)多個(gè)總體內(nèi)各部分的比例關(guān)系或一個(gè)總體不同時(shí)期內(nèi)各部分比例關(guān)系(點(diǎn)此鏈接)雷達(dá)圖作用 1)用于同時(shí)對(duì)多個(gè)指標(biāo)(用多條射線表示)在某時(shí)刻(譬如QC活動(dòng))前后變化(對(duì)比每條射線刻度上)的對(duì)比分析(

8、點(diǎn)此鏈接)2)用于對(duì)同一指標(biāo)在多個(gè)時(shí)期(用多條射線表示)的值(刻劃在射線上)進(jìn)行分析對(duì)比(點(diǎn)此鏈接)第二部分 統(tǒng)計(jì)推斷一.假設(shè)檢驗(yàn)與區(qū)間估計(jì)模型二.假設(shè)檢驗(yàn)的各種類型與結(jié)論未知參數(shù)問題的一些提法:總體X,總體均值未知問題提法 問題的模型(為總體均值) 1. =? 參數(shù)的雙側(cè)區(qū)間估計(jì)2.? 參數(shù)的上方有界的單側(cè)區(qū)間估計(jì)3.? 參數(shù)的下方有界的單側(cè)區(qū)間估計(jì)4. (H0) =0? 參數(shù)的雙側(cè)假設(shè)檢驗(yàn)問題5. (H1) 0? 參數(shù)的上方有界的單側(cè)假設(shè)檢驗(yàn)6. (H1) 0? 參數(shù)的下方有界的單側(cè)假設(shè)檢驗(yàn)Unit 3 第三單元第三單元9 Hypothesis Testing:Mean and Varia

9、nce 假設(shè)檢驗(yàn)假設(shè)檢驗(yàn):均值和方差均值和方差9.1 Developing Null and Alternative Hypothesis提出零假設(shè)和備擇假設(shè)一個(gè)參數(shù)假設(shè)檢驗(yàn)的例子一個(gè)參數(shù)假設(shè)檢驗(yàn)的例子這里，先結(jié)合例子來說明假設(shè)檢驗(yàn)的基本思想和做法. Exmple 某車間用一臺(tái)包裝機(jī)包裝精制鹽. 包得精制鹽袋重是一個(gè)隨機(jī)變量，它服從正態(tài)分布. 當(dāng)機(jī)器正常時(shí)，其均值為0.5公斤，標(biāo)準(zhǔn)差為0.015公斤. 某日開工為檢驗(yàn)包裝機(jī)是否正常，隨機(jī)地抽取它所包裝的精制鹽9袋，稱得凈重為(公斤)：0.499 0.514 0.508 0.512 0.498 0.515 0.5160.513 0.524問機(jī)器是

10、否正常(即均值是否為0.5)？用SAS進(jìn)行假設(shè)檢驗(yàn)(數(shù)據(jù)文件p355)說明:SAS軟件把參數(shù)的區(qū)間估計(jì)和假設(shè)檢驗(yàn)置于同一菜單系統(tǒng)運(yùn)行數(shù)據(jù)文件后SolutionAnalysis Analyst (分析員系統(tǒng)) (出現(xiàn)空白數(shù)據(jù)表)FileOpen By Sas Name(在Make one selection窗口中) work 選中數(shù)據(jù)名 (p355)(OK) Statistics Hypothesis TestsOne Sample ztest for a Mean待分析變量xVariablestd.dev.of(即)填入0.015(或Variance(即2)內(nèi)填入0.0152) Tests I

11、nterval OK OK 輸出結(jié)果和解釋見后圖類似可以求未知方差的的均值的假設(shè)檢驗(yàn)及方差的假設(shè)檢測(cè).請(qǐng)看演示利用SAS討論數(shù)據(jù)文件p304中學(xué)生體重超過60公斤(定義為超重)時(shí)wf=1否則為0.問 1).有半數(shù)學(xué)生超重嗎? 2).學(xué)生超重比例p超過1/3嗎? 3).學(xué)生超重比例p不到2/3嗎?利用SAS討論以下配對(duì)數(shù)據(jù)問題(數(shù)據(jù)名p383)24只小豬隨機(jī)分三組喂三種不同催肥飼料作以下研究1. 24只小豬平均增肥有70公斤嗎?2. 24只小豬平均增肥超過65公斤嗎?3. 24只小豬平均增肥不到76公斤嗎?4.按飼料不同分組平均增肥有70公斤嗎?相應(yīng)研究對(duì)應(yīng)假設(shè)檢驗(yàn)1. H0:d=70 ;H1:

12、d70 2. H0:d65 ;H1:d65 3. H0:d76 ;H1:d764.分組討論 H0:d=70 ;H1:d70用SAS對(duì)50名中國(guó)和40名美國(guó)16歲女孩的身高數(shù)據(jù)作身高超過1.58m的比例比較。 H0: pcpa; H1:pcpa(數(shù)據(jù)名p420)7月10日下午練習(xí)題一.從數(shù)學(xué)建模網(wǎng)上下載有以下詞的賽題數(shù)據(jù)”中國(guó)人口增長(zhǎng)預(yù)測(cè)、艾滋病、高速公路、高校收費(fèi)”(以上賽題數(shù)據(jù)分析涉及方差分析、多項(xiàng)式回歸、非線性回歸、主成份分析等)二.將以下數(shù)據(jù)編成SAS數(shù)據(jù),并轉(zhuǎn)化成Excel文件三1.數(shù)據(jù)文件p304中學(xué)生身高超過170時(shí)x=1否則為0.問 1).有半數(shù)學(xué)生身高超過170嗎? 2).學(xué)生

13、身高超過170比例p超過1/3嗎? 3).學(xué)生身高超過170比例p不到2/3嗎?利用SAS討論以下配對(duì)數(shù)據(jù)問題(數(shù)據(jù)名p383) 24只小豬隨機(jī)分三組喂三種不同催服飼料作以下研究1). 分組討論小豬平均增肥為65公斤嗎?2). 分組討論小豬平均增肥不到76公斤嗎?四重復(fù)老師上午的操作7月11日第三部分 方差分析與列聯(lián)表分析一.單因素方差分析二.兩因素方差分析三.列聯(lián)表分析問題-方差分析研究(分類)變量取不同水平對(duì)指標(biāo)的影響,同時(shí)在回歸分析等分析方法以及產(chǎn)品設(shè)計(jì)、生產(chǎn)過程控制、采購(gòu)過程、糾正措施、質(zhì)量持續(xù)改進(jìn)、試驗(yàn)結(jié)果分析等方面均用到方差分析的內(nèi)容第一節(jié) 方差分析模型如下問題提法所涉及的都是方差

14、分析模型:“問不同機(jī)器對(duì)生產(chǎn)的鋁合金板的厚度有無影響?” -單因素方差分析模型,考察因素機(jī)器對(duì)指標(biāo)厚度的影響“導(dǎo)彈射程試驗(yàn): 問推進(jìn)器和燃料的不同水平對(duì)射程是否有顯著的影響? 推進(jìn)器和燃料不同水平組合對(duì)射程有無顯著影響?” -有交互效應(yīng)的雙因素方差分析模型,考察因素推進(jìn)器、燃料以及它們的交互作用對(duì)指標(biāo)射程的影響“高速公路質(zhì)量試驗(yàn):問在瀝青型號(hào)、巖性相同的情況下,不同的瀝青生產(chǎn)廠家、不同的巖料產(chǎn)地對(duì)高速公路質(zhì)量指標(biāo)(抗水指標(biāo)、抗高溫指標(biāo)、抗低溫指標(biāo))有無顯著影響?” -帶二個(gè)分組變量(瀝青型號(hào)、巖性)的多指標(biāo)(抗水指標(biāo)、抗高溫指標(biāo)、抗低溫指標(biāo))雙因素(瀝青生產(chǎn)廠家、巖料產(chǎn)地)方差分析模型利用正交

15、試驗(yàn)提高產(chǎn)品得率.指標(biāo)y(回收率),因素:XA(尿素量),XB(水量),XC(反應(yīng)時(shí)間),XD(溶劑量) -多因素(3)方差分析模型,研究各因素對(duì)指標(biāo)的定量影響第二節(jié) 方差分析的統(tǒng)計(jì)原理統(tǒng)計(jì)原理-將指標(biāo)的總波動(dòng)(方差)分解成諸因素和隨機(jī)誤差之和,以隨機(jī)誤差的平均方差為參照對(duì)被考察對(duì)象的平均方差即方差比進(jìn)行分析.統(tǒng)計(jì)結(jié)論-方差分析的零假設(shè)是模型或效應(yīng)不顯著,軟件在輸出結(jié)果中給出了零假設(shè)成立的概率Pr1)Pr0.05時(shí)則接受零假設(shè)稱模型(或效應(yīng))不顯著;2)0.05Pr0.01時(shí)則拒絕零假設(shè)稱模型(或效應(yīng))顯著;(本例因素f的效應(yīng)是顯著的)3)Pr0.05或0.01);*為顯著(0.010.05)

16、,*為高度顯著(2=1.9747=0.00122 而Proportion給出了每個(gè)主成份對(duì)方差(由大到小)的貢獻(xiàn)率,由累計(jì)貢獻(xiàn)率(Cumulative)知前三個(gè)主成份已提取了96.29%的方差,可以用特征值歸一化后作為權(quán)進(jìn)行多指標(biāo)綜合:綜合指標(biāo)=(1/1+2+3)prin1+( 2/1+2+3)prin2+(3/1+2+3)prin3即綜合指標(biāo)=3.789/(3.789+1.974+0.979)*z1+1.974/(3.789+1.974+0.979)*z2+0.979/ (3.789+1.974+0.979)*z3=0.562*z1+0.293*z2+0.14*z3 data prn123;

17、 set outprin; /*調(diào)用主成份分析的輸出文件產(chǎn)生數(shù)據(jù)集prn123*/ prin123=0.562*z1+0.293*z2+0.145*z3; proc print; var area prin123; proc rank data =prn123 descending; var prin123; ranks rankprin123; /*以上三行語句作用為先對(duì)prin123由大到小排序(descending降序),再轉(zhuǎn)換成名為rankprin123的名次變量*/proc sort; by rankprin123; /*對(duì)rankprin123排序(默認(rèn)為升序即由小到大)*/pro

18、c print; var area z1-z3 prin123 rankprin123;/*印出對(duì)rankprin123排序后的city 等變量*/ run;請(qǐng)看演示E1321out對(duì)數(shù)據(jù)的排序也可由數(shù)據(jù)表直接完成SolutionAnalysis Interactive Data Analysis (SAS/INSIGHT系統(tǒng)系統(tǒng))work選中數(shù)據(jù)名(pn123)Open 出現(xiàn)數(shù)據(jù)表,點(diǎn)左上角然后利用Move to First和Sort等功能將變量prin123自大到小排序(Asc/Des分別為遞增/遞減)并和變量city放在一起.請(qǐng)看演示主成分分析的例還可見數(shù)據(jù)economy,Jordan(

19、喬丹的籃球生涯)主成份的解釋:利用分析員應(yīng)用系統(tǒng)進(jìn)行主成份分析利用分析員應(yīng)用系統(tǒng)進(jìn)行主成份分析以下以數(shù)據(jù)E1321為例,設(shè)當(dāng)前SAS數(shù)據(jù)庫(kù)work中已有該數(shù)據(jù)文件,操作如下:Solutionanalysis Analyst(出現(xiàn)空白數(shù)據(jù)表) FileOpen By Sas Name(在Make one selection窗口) work 選中數(shù)據(jù)名 (data E1321)(OK) Statistics Multivariate Princinpal Component進(jìn)入多變量分析主窗口Princinpal Component:Economy在多變量分析主窗口里選擇y1y7Variables

20、 Statistics 選擇相關(guān)陣還是協(xié)方差陣及主成份個(gè)數(shù),本例選相關(guān)陣、主成份個(gè)數(shù)2個(gè)OK Id樣本本例用number) OK (OK)請(qǐng)看演示第十三章練習(xí)題第十五章 聚類分析與判別分析系統(tǒng)聚類法聚類分析是數(shù)值分類學(xué)的基本內(nèi)容，是對(duì)統(tǒng)計(jì)樣本進(jìn)行定量分類的一種多元統(tǒng)計(jì)分析方法. 將這種方法應(yīng)用于綜合評(píng)價(jià)，一方面可以對(duì)分類評(píng)價(jià)問題給出直接的評(píng)價(jià)結(jié)果，另一方面，也為其他綜合評(píng)價(jià)方法如判別分析提供訓(xùn)練樣本，形成綜合評(píng)價(jià)的框架結(jié)構(gòu)以便提高綜合評(píng)價(jià)的效果. 以下介紹系統(tǒng)聚類. 設(shè)有n個(gè)樣本x1,x2,xn用p個(gè)指標(biāo)描述，形成相應(yīng)的數(shù)據(jù)陣.np階陣X的第i行xi= (xi1,xi2,xip)給出了第i個(gè)樣

21、本的p個(gè)指標(biāo)值(i=1,2,n)；第j列=(x1j,x2j,xnj)(j=1,2,p)給出了第j個(gè)指標(biāo)上n個(gè)樣本的取值. 聚類分析有兩類問題：對(duì)于樣本的聚類分析和對(duì)于指標(biāo)的聚類分析. 先討論對(duì)樣本的聚類分析，再推廣到對(duì)指標(biāo)的聚類分析 第一節(jié) 綜合評(píng)價(jià)的系統(tǒng)聚類法聚類分析對(duì)所研究的事物(或指標(biāo)，或因素)進(jìn)行分類，俗話講物以類聚，人以群分，把多個(gè)事物中具有相同或相近屬性的事物歸成一類. 聚類分析是數(shù)值分類學(xué)的基本內(nèi)容，是對(duì)統(tǒng)計(jì)樣本進(jìn)行定量分類的一種多元統(tǒng)計(jì)分析方法. 將這種方法應(yīng)用于綜合評(píng)價(jià)，一方面可以對(duì)分類評(píng)價(jià)問題給出直接的評(píng)價(jià)結(jié)果，另一方面，也為其他綜合評(píng)價(jià)方法如后續(xù)判別分析提供訓(xùn)練樣本，形成

22、綜合評(píng)價(jià)的框架結(jié)構(gòu)以便提高綜合評(píng)價(jià)的效果. 以下介紹系統(tǒng)聚類 先討論對(duì)樣本的聚類分析，再推廣到對(duì)指標(biāo)的聚類分析，為此我們先引入一些基本概念.三種類距離:最小距離法,類平均距離法,ward法離差平方和距離(ward)法: 設(shè)有用p個(gè)指標(biāo)描述的n個(gè)樣本x1,x2,xn(均為p維行向量),求得重心為為p維行向量),分成k個(gè)類A1,A2,Ak,記為類Ai的重心,可以證明如下平方和分解定理成立:總離差平方和=類間離差平方和+類內(nèi)離差平方和=常數(shù) 當(dāng)兩個(gè)類并成一個(gè)新類時(shí), 類間離差平方和而類內(nèi)離差平方和,定義兩個(gè)類的ward距離為將這兩個(gè)類合并時(shí)類間離差平方和的減少量(也即類內(nèi)平方和的增加量)例15.2.

23、1 對(duì)于北京地區(qū)19511961年11年的冬季12月、1月、2月 三個(gè)月的氣溫采用類平均法進(jìn)行聚類分析.data temperat; input year Dec Jan Feb; cards; (數(shù)據(jù)略);proc cluster /*系統(tǒng)聚類*/ data = temperat method=average;/*類平均法*/var Dec Jan Feb;id year;proc tree horizontal /*水平樹;缺省即為垂直樹*/ id year;/*年為樣本*/ run;請(qǐng)看演示對(duì)指標(biāo)的聚類:作變換dij=1-rij后采用系統(tǒng)聚類cluster過程 /*例 中學(xué)生8個(gè)體型指標(biāo)的聚類分析 在中學(xué)生中測(cè)量八個(gè)體型指標(biāo)的相關(guān)系數(shù)x1=身高 x2=手臂長(zhǎng) x3=上肢長(zhǎng) x4=下腿長(zhǎng) x5=體重 x6=頸圍 x7=胸圍 x8=胸寬;*/ data E102 (type=distance); array x(8) x1-x8; input _name_ $ x1-x8; do i=1 to 8; x(i)=1-abs(x(i); e