試驗(yàn)設(shè)計(jì)與數(shù)據(jù)處理及統(tǒng)計(jì)軟件SAS普通版

試驗(yàn)設(shè)計(jì)與數(shù)據(jù)處理及統(tǒng)計(jì)軟件SAS普通版第1頁/共422頁目錄

課程目的與主要內(nèi)容

預(yù)備篇:SAS數(shù)據(jù)和SAS分析員應(yīng)用系統(tǒng)

第一章矩陣代數(shù)

第二章概率論與抽樣分布

第三章統(tǒng)計(jì)推斷

第二節(jié)區(qū)間估計(jì)第三節(jié)假設(shè)檢驗(yàn)

第四章方差分析第五章正交試驗(yàn)設(shè)計(jì)

第六章回歸分析

第一節(jié)回歸方程的最小二乘估計(jì)第二節(jié)多元線性回歸

第三節(jié)回歸模型的檢驗(yàn)

第五節(jié)最優(yōu)回歸方程和逐步回歸法

第六節(jié)關(guān)于參數(shù)的線性模型第2頁/共422頁

第七節(jié)響應(yīng)面分析

第八節(jié)非線性回歸

第九節(jié)復(fù)共線性

第十節(jié)殘差分析

第七章回歸正交設(shè)計(jì)

第八章均勻設(shè)計(jì)

第九章單純形優(yōu)化設(shè)計(jì)

SAS的試驗(yàn)設(shè)計(jì)模塊(ADX)

第十章析因試驗(yàn)設(shè)計(jì)

第七節(jié)重復(fù)試驗(yàn)

第十一章測試誤差

第十二章多指標(biāo)綜合評價(jià)概論

第十三章主成份分析法

第十四章模糊綜合評價(jià)

第十五章聚類分析與判別分析

第十六章典型相關(guān)分析

穩(wěn)定性尋優(yōu)與三次設(shè)計(jì)(選講)

二分?jǐn)?shù)據(jù)回歸與LOGISTIC回歸(選講)

列聯(lián)表分析(選講)

第3頁/共422頁課程目的與主要內(nèi)容1.試驗(yàn)設(shè)計(jì)部分---介紹主要的試驗(yàn)設(shè)計(jì)方法,用盡可能少的試驗(yàn)點(diǎn)采集盡可能多的信息.2.數(shù)據(jù)處理部分---介紹常用的統(tǒng)計(jì)分析方法,從數(shù)據(jù)中根據(jù)需要有效地提取信息.3.SAS軟件部分---學(xué)習(xí)操作SAS,應(yīng)用SAS進(jìn)行數(shù)據(jù)的實(shí)際分析.第4頁/共422頁預(yù)備篇:SAS數(shù)據(jù)和SAS分析員應(yīng)用系統(tǒng)一維數(shù)據(jù)輸入:dataE21;

inputN$x1x2x3;

/*說明N是字符型變量,N后加$*/y=x1+x2;z=x1*x2;u=x1**3;/*用加,乘,乘方產(chǎn)生新變量*/cards;/*說明以下輸入數(shù)據(jù)*/A1.12.63.8B4.55.76.0C7.68.29.7;/*空語句說明數(shù)據(jù)輸入結(jié)束*/Procprint;/*有此打印語句則在output窗口有輸出,否則只在explore—work儲(chǔ)存*/run;SAS程序不區(qū)分大小寫字母請看演示第5頁/共422頁不等重復(fù)數(shù)據(jù)的兩種輸入法第6頁/共422頁DataE4122;inputc$t@@;cards;119115122120118

220240221233227316317315318316

418422419;procprint;RUN;

DataE4122;doc=1to4;dorep=1to5;inputt@@;output;end;end;cards;1915222018

2040213327

1617151816

182219..

/*缺失數(shù)據(jù)需加點(diǎn)*/;procprint;RUN;第7頁/共422頁SAS數(shù)據(jù)輸入(帶三個(gè)下標(biāo)的一維變量Rijr)第8頁/共422頁第9頁/共422頁SAS數(shù)據(jù)輸入(帶二個(gè)下標(biāo)的二維變量(x,y)ij)第10頁/共422頁第11頁/共422頁進(jìn)入SAS的分析員應(yīng)用系統(tǒng)1.編輯程序輸入數(shù)據(jù)并保存;或者調(diào)用在V8中的數(shù)據(jù):File→Open→選中數(shù)據(jù)名→打開2.Solution→Analysis→Analyst(分析員系統(tǒng))(出現(xiàn)空白數(shù)據(jù)表)→File→OpenBySasName…

(在Makeoneselection窗口中)→work→選中數(shù)據(jù)名(Datanorm見V8文件)→(OK)→Statistics請看演示第12頁/共422頁調(diào)用其它SAS數(shù)據(jù)集中的數(shù)據(jù)

形式:data數(shù)據(jù)名;set其它SAS數(shù)據(jù)集中數(shù)據(jù)名;(用于DATA步的其它SAS語句;)run;例

dataE20;inputnumbersex$x1x2@@;cards;1m12542w45763m43764w4217;run;/*以下為調(diào)用*/dataE24;setE20;/*注:set

調(diào)取sas數(shù)據(jù)庫數(shù)據(jù)E23*/ifsex=’m’;/*數(shù)據(jù)的刪選,即只選取E20中女性的數(shù)據(jù)進(jìn)入E24*/y=(x1+x2)/3;z=x1*x2;I=int(y);/*注:int(y)表對y取整數(shù)部分*/run;第13頁/共422頁變量變換

dataE23;inputmember$sex$x1x2x3@@;w=Abs(x2);/*絕對值函數(shù)*/ifx1>x2thenD='yes';elseD='no';/*五種條件語句之

1*/ifx1>x2thenDo;E='yes';end;elseDo;E='no';end;/*五種條件語句之

2*/ifsex='m'thensex1='男';elsesex1='女';/*五種條件語句之3*/if(x1=x2)or(x2=x3)thenF='eql';/*邏輯判斷or或,and且,not否定五種條件語句之4*/cards;Am1.13.83.8Bw4.5-5.7.

/*遺漏數(shù)據(jù)一定要加符號.*/Cm-8.2-8.29.7;title’數(shù)據(jù)的各種輸入’;run;第14頁/共422頁第15頁/共422頁一般函數(shù)1.

x的絕對值A(chǔ)BS(x)2.x的平方根sqrt(x)3.符號函數(shù)Sign(x)例

sign(-6.7)=-1,sign(0)=0,sign(3.8)=14.取整函數(shù)Int(x)例Int(-3.6)=-4,Int(4.8)=4;5.數(shù)學(xué)函數(shù)Exp(x)Log(x)Log2(x)Log10(x)Cos(x)Sin(x)Tan(x)Arcos(x)Arsin(x)Atan(x)第16頁/共422頁隨機(jī)變量X的分布函數(shù)

F(x)滿足:F(x)=P{X<x}PROBnorm(x)標(biāo)準(zhǔn)正態(tài)分布

PROBnorm(x)=P{u<x},其中u是標(biāo)準(zhǔn)正態(tài)隨機(jī)變量

PROBf(x,分子自由度,分母自由度,非中心參數(shù))F--分布

PROBt(x,自由度,非中心參數(shù))t—分布隨機(jī)數(shù)函數(shù)-------seed每隨意賦一個(gè)值可得到給定分布的隨機(jī)變量抽樣值

1均勻分布隨機(jī)數(shù)函數(shù)UNIFORM(seed)或RANuni(seed)2標(biāo)準(zhǔn)正態(tài)分布隨機(jī)數(shù)函數(shù)normal(seed)或RANnor(seed),

均值為a方差為σ2的正態(tài)分布隨機(jī)數(shù)函數(shù)X=a+sqrt(σ2)*RANnor(seed),以下程序運(yùn)行后產(chǎn)生兩組各100個(gè)抽樣于均值為170,方差為30的正態(tài)分布隨機(jī)數(shù)

datanorm;doseed=1to100;x=170+sqrt(30)*rannor(seed);/*x=均值為170,方差為30的正態(tài)分布隨機(jī)數(shù)*/y=170+sqrt(30)*rannor(seed);/*注意由于是隨機(jī)數(shù),兩組結(jié)果不一樣,且每次都不一樣*/output;end;procprint;run;

第17頁/共422頁預(yù)備篇練習(xí)題第18頁/共422頁第19頁/共422頁第一章矩陣代數(shù)第20頁/共422頁第一種情況的例第21頁/共422頁第二種情況的例第22頁/共422頁向量代數(shù)第23頁/共422頁第24頁/共422頁第二章概率論與抽樣分布已經(jīng)知道隨機(jī)現(xiàn)象可以用隨機(jī)變量來描述.對于隨機(jī)變量X,最好知道它的分布函數(shù)(則講已經(jīng)完全掌握了它的變化規(guī)律),或者至少能知道它的某些數(shù)字特征(比如數(shù)學(xué)期望EX,方差DX).但是對于刻劃一個(gè)具體隨機(jī)現(xiàn)象的隨機(jī)變量,它的分布函數(shù)或它的某些數(shù)字特征往往是未知的,如何確定它的分布函數(shù)或數(shù)字特征是數(shù)理統(tǒng)計(jì)要解決的問題.當(dāng)然對被研究的對象全體進(jìn)行全面觀測或試驗(yàn)是解決此類問題獲得最準(zhǔn)確結(jié)果的方法,但這樣實(shí)施往往有很大的困難或不可行.例如,要了解全國人口的某些情況,雖然可以進(jìn)行全國人口普查,但由于工作量驚人而不可能輕易采用這種方法;又如要了解某廠家生產(chǎn)的一批燈管的質(zhì)量,由于試驗(yàn)帶有破壞性不可能通過點(diǎn)壞所有燈管來確定壽命分布.在長期的實(shí)踐研究中,人們總結(jié)出解決上述問題的合適而有效的方法:從研究對象中隨機(jī)抽取一小部分進(jìn)行試驗(yàn)或觀測,對所得資料加以整理和分析,根據(jù)這些資料所顯示的統(tǒng)計(jì)規(guī)律性,應(yīng)用概率論原理,對研究對象的分布或它的某些數(shù)字特征作出推斷.依據(jù)概率論原理由局部推斷整體是數(shù)理統(tǒng)計(jì)學(xué)科的的研究方法.數(shù)理統(tǒng)計(jì)方法往往涉及大量計(jì)算,隨著計(jì)算機(jī)科學(xué)技術(shù)的迅速普及,借助于計(jì)算機(jī)和計(jì)算軟件,數(shù)理統(tǒng)計(jì)在科學(xué)研究和國民經(jīng)濟(jì)的眾多領(lǐng)域已得到了廣泛的應(yīng)用.試驗(yàn)設(shè)計(jì)與數(shù)據(jù)處理是以概率論與數(shù)理統(tǒng)計(jì)為理論基礎(chǔ)的實(shí)用性課程.第25頁/共422頁1.對于隨機(jī)事件A,概率P(A)是事件A發(fā)生的可能性大小的度量.

通過隨機(jī)變量X的分布F(x)可以給出隨機(jī)變量取某個(gè)區(qū)間上值的概率:P{a<X<b}=F(b)-F(a)2.隨機(jī)變量X分布的兩個(gè)最重要的數(shù)字特征:1)數(shù)學(xué)期望(均值)EX2)方差DX=E(X-EX)23.兩個(gè)隨機(jī)變量(X,Y)相互聯(lián)系密切程度的數(shù)字特征:1)協(xié)方差V(X,Y)=E(X-EX)(Y-EY)2)相關(guān)系數(shù)ρ(X,Y)=V(X,Y)/4.最重要的分布:正態(tài)分布N(μ,σ2),其中EX=μ,DX=σ2在SAS中PROBNorm(x)=P{Y<x},其中Y服從標(biāo)準(zhǔn)正態(tài)分布N(0,1)

描述性統(tǒng)計(jì)量通過X的抽樣x1,x2,…,xn或(X,Y)抽樣(x1,y1),(x2,y2),…(xn,yn)可用樣本統(tǒng)計(jì)量作為隨機(jī)量數(shù)字特征的估計(jì)稱為描繪性統(tǒng)計(jì)量常用的有以下:第26頁/共422頁第27頁/共422頁第28頁/共422頁第29頁/共422頁第30頁/共422頁第三章統(tǒng)計(jì)推斷統(tǒng)計(jì)推斷包括區(qū)間估計(jì)與假設(shè)檢驗(yàn),在SAS中用同一個(gè)菜單系統(tǒng)完成.Solution→Analysis→Analyst(分析員系統(tǒng))(出現(xiàn)空白數(shù)據(jù)表)→File→OpenBySasName…

(在Makeoneselection窗口中)→work→選中數(shù)據(jù)名(DataE3212見V8文件)→(OK)→Statistics→HypothesisTests第31頁/共422頁第二節(jié)區(qū)間估計(jì)問題:估計(jì)分布的未知參數(shù),通常是均值和方差抽樣x1,x2,…,xn構(gòu)造統(tǒng)計(jì)量θ1(x1,x2,…,xn)與θ2(x1,x2,…,xn)統(tǒng)計(jì)結(jié)論:θ的置信區(qū)間(θ1θ2)以顯著性水平為1-α包含未知參數(shù)θ第32頁/共422頁例3.2.12設(shè)有一組來自正態(tài)總體N(μ,σ2)的樣本值：0.497,0.506,0.518,0.524,0.488,0.510,0.510,0.515,0.512.1.數(shù)據(jù)輸入:dataE3212;inputx@@;cards;0.4970.5060.5180.5240.4880.5100.5100.5150.512;procprint;run;以下介紹統(tǒng)計(jì)原理第33頁/共422頁第34頁/共422頁第35頁/共422頁Solution→Analysis→Analyst(分析員系統(tǒng))(出現(xiàn)空白數(shù)據(jù)表)→File→OpenBySasName…

(在Makeoneselection窗口中)→work→選中數(shù)據(jù)名(DataE3212見V8文件)→(OK)→Statistics→HypothesisTests→OneSamplez—testforaMean…→待分析變量x→Variable→std.dev.of(即σ)填入0.01(或Variance(即σ2)內(nèi)填入0.012)→Tests→Interval→OK→OK類似可以求未知方差的的均值的區(qū)間估計(jì)及方差的區(qū)間估計(jì).請看演示第36頁/共422頁第三節(jié)假設(shè)檢驗(yàn)問題:檢驗(yàn)分布的未知參數(shù).統(tǒng)計(jì)方法:提出關(guān)于未知參數(shù)的零假設(shè)和備擇假設(shè).小概率原理:小概率事件在一次觀測中是幾乎不可能發(fā)生的.如果在某個(gè)零假設(shè)下,在一次觀測中小概率事件發(fā)生了,就要拒絕零假設(shè).統(tǒng)計(jì)結(jié)論:當(dāng)零假設(shè)概率Pr>0.05時(shí)接受零假設(shè);當(dāng)零假設(shè)概率Pr<0.05時(shí)拒絕零假設(shè).第37頁/共422頁例3.3.1

某車間用一臺(tái)包裝機(jī)包裝葡萄糖.包得的袋裝糖重是一個(gè)隨機(jī)變量，它服從正態(tài)分布.當(dāng)機(jī)器正常時(shí)，其均值為0.5公斤，標(biāo)準(zhǔn)差為0.015公斤.某日開工為檢驗(yàn)包裝機(jī)是否正常，隨機(jī)地抽取它所包裝的糖9袋，稱得凈重為(公斤)：

0.4970.5060.5180.5240.4980.5110.5200.5150.512問機(jī)器是否正常？(數(shù)據(jù)名DataE331)請看通過菜單系統(tǒng)進(jìn)行假設(shè)檢驗(yàn)的演示第38頁/共422頁Solution→Analysis→Analyst(分析員系統(tǒng))(出現(xiàn)空白數(shù)據(jù)表)→File→OpenBySasName…

(在Makeoneselection窗口中)→work→選中數(shù)據(jù)名(DataE331見V8文件)→(OK)→Statistics→HypothesisTests→OneSamplez—testforaMean…→待分析變量x→Variable→std.dev.of(即σ)填入0.015(或Variance(即σ2)內(nèi)填入0.0152)→Tests→Interval→OK→OK類似可以求未知方差的的均值的假設(shè)檢驗(yàn)及方差的假設(shè)檢測.請看演示第39頁/共422頁1.編程序輸入數(shù)據(jù):DataE335;inputxy@@;card;624152526150536241607143;procprint;run;第40頁/共422頁2.Solution→Analysis→Analyst↓(分析員系統(tǒng))(出現(xiàn)空白數(shù)據(jù)表)→File→OpenBySasName…→(在Makeoneselection窗口中)work選中數(shù)據(jù)名(DataE335見V8文件→(OK)→Statistics→HypothesisTests→TwoSamplet—testforVariance…→Groupsarein選Twovariable(待分析變量x→Group1)(待分析變量y→Group2)(在Hypothesis框;備擇假設(shè)Alternate(選擇)Variance1/Variance2≠1)→Intervals(置信區(qū)間)→Interval)→OK→OK特別提醒:Pr>F項(xiàng)下是零假設(shè)成立的概率,當(dāng)Pr>0.05時(shí)接受零假設(shè)否則拒絕零假設(shè).請看演示第41頁/共422頁3.Solution→Analysis→Analyst→(分析員系統(tǒng))(出現(xiàn)空白數(shù)據(jù)表)→File→OpenBySasName…

(在Makeoneselection窗口中)→work選中數(shù)據(jù)名(DataE333見V8文件)→(OK)Statistics→HypothesisTests→TwoSamplet—testforMeans…→Groupsarein選Twovariable(待分析變量x→Group1)(待分析變量y→Group2)(在Hypothesis框填入零假設(shè)值)Null:Mean1-Mean2=2;備擇假設(shè)Alternate(選擇)Mean1-Mean2^=2→

Tests→Interval→OK→OK類似可求其它各種情況的假設(shè)檢驗(yàn),請看演示(E335)第42頁/共422頁第三章練習(xí)題第43頁/共422頁第44頁/共422頁第四章方差分析問題----研究分類變量取不同水平對指標(biāo)的影響統(tǒng)計(jì)原理----將指標(biāo)的總波動(dòng)(方差)分解成諸因素和隨機(jī)誤差之和,以隨機(jī)誤差的平均方差為參照對被考察對象的平均方差即方差比進(jìn)行分析.設(shè)立零假設(shè):被檢驗(yàn)對象效應(yīng)(即方差)(相對于誤差)不顯著統(tǒng)計(jì)結(jié)論:零假設(shè)為Pr>0.05因素的主效應(yīng)(或因素間的交互效應(yīng))不顯著;當(dāng)Pr<0.05時(shí)認(rèn)為影響顯著;當(dāng)Pr<0.01時(shí)認(rèn)為影響高度顯著.直觀上當(dāng)總波動(dòng)主要由模型的波動(dòng)解釋時(shí)稱模型顯著,而誤差的波動(dòng)在總波動(dòng)中占比例較大時(shí)稱為不顯著.三種情況:1)單因素

2)二因素

3)多因素(≥3)以及4)含協(xié)變量的協(xié)方差分析第45頁/共422頁第一節(jié)單因素方差分析例4.1.1設(shè)有三臺(tái)機(jī)器，用來生產(chǎn)規(guī)格相同的鋁合金薄板.取樣，測量薄板的厚度精確至千分之一厘米.得結(jié)果如表所示.問不同機(jī)器對生產(chǎn)的鋁合金板的厚度有無影響?第46頁/共422頁第47頁/共422頁特別提醒:方差分析(無論單因素雙因素)中的誤差平方和本質(zhì)是重復(fù)試驗(yàn)的隨機(jī)誤差平方和(區(qū)別于后面回歸分析中的誤差平方和)第48頁/共422頁第49頁/共422頁對前例編程進(jìn)行單因素方差分析DataE411;inputc$y@@;cards;10.23620.25730.25810.23820.25330.26410.24820.25530.25910.24520.25430.26710.24320.26130.262;procglm

data=E411;/*glm為方差分析*/classc;/*分類變量c*/modely=c;/*模型因變量=自變量*/lsmeansc;/*最小誤差法*/meansc;/*求c的均值*/RUN;請看演示第50頁/共422頁輸出方差分析表如下:

第51頁/共422頁利用菜單系統(tǒng)進(jìn)行方差分析(設(shè)已輸入數(shù)據(jù)dataE411)Solution→Analysis→Analyst(分析員系統(tǒng))(出現(xiàn)空白數(shù)據(jù)表)→File→OpenBySasName…

(在Makeoneselection窗口中)work選中數(shù)據(jù)名E411→(OK)→Statistics→ANOVA→One-WayANOVA…

Independent填分類變量c→Dependent因變量yPlots—可選擇分水平的盒形圖(Box-＆-WhiskerPlot),條形圖(BarChart)及均值、標(biāo)準(zhǔn)差圖Means—ComparisonsMethods給出了10種多重比較的方法

α為選擇的顯著性水平,Breakdown可按水平分組出描述性統(tǒng)計(jì)量→OK(點(diǎn)擊運(yùn)行后的結(jié)果樹標(biāo)簽則會(huì)打開相應(yīng)圖.第52頁/共422頁*關(guān)于自由度

自由度=變量個(gè)數(shù)-約束方程個(gè)數(shù)譬如在單因素方差分析中:

第53頁/共422頁自由度公式總自由度ft=試驗(yàn)次數(shù)n-1;誤差自由度fe=總自由度ft-模型自由度f模型方差分析中

(單因素模型)因素A(即模型)的自由度fA=水平數(shù)-1(A,B雙因素考慮交互效應(yīng)模型)

因素A的自由度fA=水平數(shù)-1

因素B的自由度fB=水平數(shù)-1

交互效應(yīng)A*B的自由度fA*B=fA*fB

模型自由度f模型=fA+fB+fA*B

回歸分析中項(xiàng)自由度=1

模型自由度f模型=項(xiàng)自由度之和第54頁/共422頁對于不等重復(fù)試驗(yàn),方差分析同樣進(jìn)行,請看例4.1.2DataE412;inputc$t@@;cards;119115122120118220240221233227316317315318316418422419;procglmdata=E412;/*glm為方差分析*/classc;/*分類變量c*/modelt=c;/*模型因變量=自變量*/lsmeansc;/*最小誤差法*/meansc;/*求c的均值*/RUN;第55頁/共422頁第二節(jié)兩因素方差分析第56頁/共422頁

1.數(shù)據(jù)輸入:見DataRocket2.編程進(jìn)行:procglm

data=rocket;classfm;/*class語句說明對分類變量

f,m分析*/modelr=fmf*m;

/*模型:連續(xù)變量r;考慮因素f,m及交互f*m*/lsmeansfmf*m;run;說明:如果要考慮交互效應(yīng),則每一水平組合必須做重復(fù)試驗(yàn),否則可以不做重復(fù)試驗(yàn).第57頁/共422頁3.應(yīng)用分析員應(yīng)用系統(tǒng):Solution→Analysis→Analyst(分析員系統(tǒng))→(出現(xiàn)空白數(shù)據(jù)表)→File→OpenBySas(在Makeoneselection窗口中)→work(選中數(shù)據(jù)名Datarocket)→(OK)Statistics→ANOVA→FactorialANOVA…→Independent填分類變量f,m→Dependent填因變量R

→Model-----StandardModelsMaineffectsonly只考慮主效應(yīng);Effectsupto2-wayinteractions考慮交互效應(yīng)Plots—可選擇響應(yīng)變量的均值(主效應(yīng)或交互效應(yīng))連線圖Means—ComparisonsMethods給出了10種多重比較的方法

α為選擇的顯著性水平,Breakdown可按水平分組出描述性統(tǒng)計(jì)量→OK請看演示第58頁/共422頁第三節(jié)多因素(≥3)方差分析

對于多因素方差分析由于往往受試驗(yàn)次數(shù)約束而采用回歸分析中的方差分析模型進(jìn)行平方和分解,此時(shí)顯著性參照物誤差為指標(biāo)的觀測值和理論模型值的均方差(與模型選擇有關(guān)),誤差來源于不在模型內(nèi)的因素(項(xiàng))和隨機(jī)誤差.這不同于ANOVA(或GLM)程序中的方差分析中的誤差來源于重復(fù)試驗(yàn).

指標(biāo)y(回收率),因素:XA(尿素量),XB(水量),XC(反應(yīng)時(shí)間),XD(溶劑量)(一)初步分析:從數(shù)據(jù)表(見dataQ98)看出各因素等間距取值,由正交多項(xiàng)式理論,此時(shí)因素的主效應(yīng)(在以下變換的前提下,注意未經(jīng)變換主效應(yīng)的線性部分和二次項(xiàng)部分無法有正交性分解)可以進(jìn)一步分解成線性部分和二次項(xiàng)部分.對于顯著因素,如果二次項(xiàng)部分不顯著,只是線性項(xiàng)部分顯著,那么因素與指標(biāo)呈線性關(guān)系;如果二次項(xiàng)部分顯著那么因素與指標(biāo)呈拋物線關(guān)系.

因素等間距取值時(shí),因素的取值與水平數(shù)(自然數(shù)1,2,3)可以有線性變換關(guān)系新變量(可看成水平序號,已經(jīng)無量綱影響)=(原變量－左端點(diǎn))/步長+1

此時(shí)在SAS中應(yīng)先用水平數(shù)為自變量進(jìn)行項(xiàng)的刪選,刪選結(jié)束用水平數(shù)與原始變量進(jìn)行方差分析和回歸分析結(jié)論完全相同第59頁/共422頁說明:A,B,C,B分別是四個(gè)因素在正交表上的水平值(二)數(shù)據(jù)輸入dataQ98;inputnumber$ABCDXAXBXCXDy;A2=A**2;B2=B**2;C2=C**2;D2=D**2;XA2=XA**2;XB2=XB**2;XC2=XC**2;XD2=XD**2;cards;(數(shù)據(jù)略)procprint;run;第60頁/共422頁

(三)分析過程進(jìn)行分析時(shí)(1)當(dāng)因素很多或誤差自由度顯然不夠時(shí)可先只考察所有因素的主效應(yīng),如有可能再進(jìn)一步考慮主要因素的二次項(xiàng)和交互項(xiàng)或(2)當(dāng)試驗(yàn)次數(shù)相對較多時(shí)直接在進(jìn)行變量代換新變量(可看成水平序號)=(原變量－左端點(diǎn))/步長+1后,可考慮所有一次項(xiàng)和二次項(xiàng)采用逐步回歸刪去不顯著的項(xiàng)直接討論本例先采用方法(1)分步討論與直接采用方法(2)討論的結(jié)果是一致的方法(1)第一步得輸出表如下:第61頁/共422頁第62頁/共422頁分析:由于每個(gè)因素自由度2,合計(jì)模型自由度8,n-1-p=0即誤差自由度為0,從而無法產(chǎn)生統(tǒng)計(jì)量F和相應(yīng)概率Pr,但從平方和分解中可以看出因素效應(yīng)大小的順序,并看出因素D是不顯著的,故可以刪去因素D后進(jìn)入

StatisticsRegression-Linear重新分析(在選項(xiàng)Statistics中選擇Ⅰ型平方和SS)得表如下(從平方和比較中可以看出因素A只是線性效應(yīng)而因素B,C呈拋物線效應(yīng),):第63頁/共422頁刪除A2項(xiàng)重新上步工作得最終結(jié)果如表:

第64頁/共422頁項(xiàng)的刪選結(jié)束后當(dāng)采用原始數(shù)據(jù)進(jìn)行回歸可發(fā)現(xiàn)方差分析結(jié)束完成一致并且得原變量和指標(biāo)的回歸方程見下表方法(1)的以上過程與對新變量采用方法(2)直接利用逐步回歸直接完成的結(jié)論相同第65頁/共422頁第66頁/共422頁第67頁/共422頁第68頁/共422頁

多因素(≥3)方差分析(續(xù))五因素三水平安排在正交表L18(37)上,要考察每個(gè)因素和其平方對指標(biāo)y的影響的顯著性.數(shù)據(jù)見下程序dataQ146;inputnumber$ABCDEy;A2=A*A;B2=B*B;C2=C*C;D2=D*D;E2=E*E;cards;111111943.44212222975.06(…數(shù)據(jù)部分略);procprint;run;第69頁/共422頁Solution→Analysis→Analyst(“分析員應(yīng)用”)→File→OpenBySasName…→

(在Makeoneselection窗口中)work選中數(shù)據(jù)名Q146→(OK)→Statistics→Regression→Linear…線性回歸在線性回歸主窗口中Dependen填入因變量;Explanatory填入各自變量;(以下為返回式選項(xiàng)窗口,進(jìn)入該類窗口并進(jìn)行選擇后→OK返回)→OK→Model選擇篩選變量的方法→逐步回歸stepwiseselection(如果對項(xiàng)的入選采取較寬容的態(tài)度可以適當(dāng)調(diào)大α值譬如0.1)→OK;→Statistics選擇Type1sumofsquares→OK→OK請看演示第70頁/共422頁第71頁/共422頁總和T以及各列的波動(dòng)平方和Sｉ和總波動(dòng)平方和ST等可以用SAS求得:dataQ143;inputABCEmy;cards;11115.09/*數(shù)據(jù)前三列為正交表L9(34)前三列*/122220.39133324.56212316.8223123.23231218.94313221.01321315.59332122.34;procprint;run;第72頁/共422頁運(yùn)行數(shù)據(jù)后再利用SAS菜單系統(tǒng)進(jìn)行方差分析:Solution→Analysis→Analyst→(分析員系統(tǒng))(出現(xiàn)空白數(shù)據(jù)表)→File→OpenBySas(在Makeoneselection窗口中)

→work(選中數(shù)據(jù)名DataQ143)→(OK)→Statistics→ANOVA→LinearModels…

→Independent填分類變量A,B,C→Dependent因變量(響應(yīng)變量)填y→在選項(xiàng)Statistics→

Type1下打勾→OK→OK請看演示第73頁/共422頁發(fā)現(xiàn)因素A不顯著,準(zhǔn)備刪去因素A,重新進(jìn)入菜單系統(tǒng):Statistics→ANOVA→LinearModels…→Reset后→Independent填分類變量B,C→Dependent因變量(響應(yīng)變量)填y在選項(xiàng)Statistics→Type1下打勾→OK→OK請看演示第74頁/共422頁方差分析中的平方和分解定理第75頁/共422頁第四節(jié)協(xié)方差分析第76頁/共422頁datapig;inputa$@;/*輸入字符變量A+數(shù)組@(do---end語句實(shí)際給出@相當(dāng)于x1y1x2y2…x8y8)*/doi=1to8;inputx@;/* 用inputx@;inputy@;輸入向量(x,y)*/inputy@;output;end;cards;(數(shù)據(jù)略)；procglmdata=pig;classa;modely=ax/solution;/*模型:連續(xù)(響應(yīng))變量y=分類變量a,協(xié)變量x(用/solution表示)*/lsmeansa/stderrtdiffpdiff;/*用最小誤差平方和法估計(jì)的均值估計(jì)a(稱為修正均值)選項(xiàng)stderr要求輸出修正均值的標(biāo)誤

tdiff和pdiff表示要求輸出各組修正均值相互比較的t值和P值*/meansa;/*求出a中各組的均值*/run;(運(yùn)行后主要輸出結(jié)果如下)

第77頁/共422頁第78頁/共422頁第79頁/共422頁第80頁/共422頁datafab;dob=1to4;doa=1to4;dorep=1to2;/*注:用三個(gè)do---end語句輸入三個(gè)下標(biāo)的二維向量(x,y)bar*/

inputx@;/*(b=1-4;a=1-3;r=1,2)(下標(biāo):兩因素+重復(fù))順序(外層內(nèi)層):*/inputy@;/*行(b=1-4)列(a=1-4)重復(fù)(r=1-2)向量(x,y)*/output;end;end;end;cards;(數(shù)據(jù)略);procglm;classab;modely=aba*bx/solution;lsmeansaba*b;meansaba*b;run;第81頁/共422頁第四章練習(xí)題第82頁/共422頁第83頁/共422頁第84頁/共422頁第五章正交試驗(yàn)設(shè)計(jì)正交試驗(yàn)設(shè)計(jì)由于具有優(yōu)良的均衡分散性和整齊可比性，其設(shè)計(jì)的試驗(yàn)點(diǎn)具有強(qiáng)烈的代表性，在工藝改革等多因素試驗(yàn)設(shè)計(jì)問題中，往往能以較少的試驗(yàn)次數(shù)，分析出各因素的主次順序以及對試驗(yàn)指標(biāo)的影響規(guī)律，刪選出較滿意的試驗(yàn)結(jié)果.正交試驗(yàn)法還滲透到其它一些試驗(yàn)設(shè)計(jì)方法中，提高了試驗(yàn)的效率和分析質(zhì)量.正交試驗(yàn)法應(yīng)用廣泛，具有卓越的經(jīng)濟(jì)效益，是多因素試驗(yàn)設(shè)計(jì)問題中的常用手段.第85頁/共422頁第一節(jié)正交表介紹第86頁/共422頁L8(27)有8個(gè)橫行和7個(gè)縱列，由數(shù)碼“1”和“2”組成.它有兩個(gè)特點(diǎn)：

(1)每縱列恰有四個(gè)“1”和四個(gè)“2”；(2)任意兩個(gè)縱列，其橫方向形成的八個(gè)數(shù)字對中，恰好(1，1)、(1，2)、(2，1)和(2，2)各出現(xiàn)兩次.這就是說對于任意兩個(gè)縱列，數(shù)碼“1”、“2”間的搭配是均衡的.

在正交表L9(34)中.(1)每縱列“1”、“2”和“3”出現(xiàn)的次數(shù)相同，都是三(2)任意兩個(gè)縱列，其橫方向形成的九個(gè)數(shù)字對中，(1，1)、(1，2)、(1，3)、(2，1)、(2，2)、(2，3)、(3，1)、(3，2)和(3，3)出現(xiàn)的次數(shù)相同，都是一次，即任意兩列的數(shù)碼“1”、“2”和“3”間的搭配是均衡的.第87頁/共422頁第二節(jié)二水平正交試驗(yàn)和分批試驗(yàn)分批試驗(yàn)的思想:第88頁/共422頁例5.2.12，4—二硝基苯肼的工藝改革考察指標(biāo):產(chǎn)出率和顏色第89頁/共422頁第90頁/共422頁第91頁/共422頁第二批撒小網(wǎng)

對第一批試驗(yàn)確定的主次因素，若認(rèn)為不再需要進(jìn)一步考慮的因素，則主要因素固定在好水平上，次要因素固定在適當(dāng)水平上，第二批試驗(yàn)中要考慮的因素包括第一批試驗(yàn)中確定的主要因素且認(rèn)為有必要進(jìn)一步詳細(xì)考察的因素以及第一批試驗(yàn)中未及考慮到而認(rèn)為有必要在第二批試驗(yàn)中補(bǔ)充考慮的因素.第92頁/共422頁第93頁/共422頁第三節(jié)多水平正交試驗(yàn)和水平趨勢圖例5.3.1晶體退火工藝改進(jìn)第94頁/共422頁第95頁/共422頁

定量因素的水平趨勢圖

發(fā)現(xiàn)有用量選偏的因素(在本例中是恒溫溫度B)是認(rèn)識上的重大收獲.下批試驗(yàn)中把用量選準(zhǔn)后，常能取得明顯的進(jìn)展.

第96頁/共422頁第97頁/共422頁第四節(jié)正交試驗(yàn)設(shè)計(jì)的優(yōu)良性質(zhì)1.均衡分布見P.97圖5.4.1(L9(34)前三列)使每個(gè)試驗(yàn)點(diǎn)有強(qiáng)烈的代表性正交試驗(yàn)的試驗(yàn)次數(shù)(空心點(diǎn)總數(shù))：全面試驗(yàn)試驗(yàn)次數(shù)(格子點(diǎn)數(shù))=每個(gè)平面上空心點(diǎn)數(shù):每個(gè)平面上格子點(diǎn)數(shù)=每條棱上空心點(diǎn)數(shù)：每條棱上格子點(diǎn)數(shù)即9/27=3/9=1/3(三因素三水平場合)局部試驗(yàn)的最優(yōu)點(diǎn)的平均名次=(N+1)/(n+1)

這兒N是全面試驗(yàn)次數(shù),n是局部試驗(yàn)次數(shù),對于正交表L8(27)則有(128+1)/(8+1)≈14第98頁/共422頁第99頁/共422頁2.整齊可比性使正交表的同一列可比較產(chǎn)生”好水平”.下表說明A1的三次試驗(yàn)(空心點(diǎn))中因素B的三個(gè)水平和因素C的三個(gè)水平各出現(xiàn)一次，A2和A3有同樣情況，就是說，對因素A的三個(gè)不同水平，受因素B和因素C的水平影響處于對等狀態(tài).第100頁/共422頁正交試驗(yàn)采用極差分析或方差分析都可以,兩者沒有本質(zhì)區(qū)別只是前者較方便而后者分析更精確,以下見例5.3.1用方差進(jìn)行分析(E531).

dataE531;

inputABCDy;

cards;

inputABCDxaxbxcy;

cards;

(數(shù)據(jù)略)

;

procprint;

procanovadata=E531;

classxaxbxcd;

modely=xaxbxcd;

/*當(dāng)各因素單因素方差分析同時(shí)進(jìn)行時(shí)由于沒有誤差自由度所以無法進(jìn)行顯著性分析*/

meansxaxbxcd/snk;

/*選項(xiàng)snk要求作各水平組均值間的兩兩比較*/

run;

亦可利用菜單系統(tǒng)對每個(gè)因素進(jìn)行單因素方差分析,模型的平方和即該因素的平方和在正交試驗(yàn)的分析中與極差作用類似.亦可用因素的原始數(shù)據(jù)值(xaxbxc)求水平趨勢圖(plot選項(xiàng)中選取均值圖)第101頁/共422頁

第六節(jié)正交表的靈活安排

定量因素的試驗(yàn)用量或定性因素的狀態(tài)叫做因素的水平，在確定參加正交試驗(yàn)的因素后，各種類型的正交表的格式是固定的，有時(shí)候各因素的水平必須靈活處理以適應(yīng)某張合適的正交表.1.活動(dòng)水平2.擬水平和后備水平第102頁/共422頁配比試驗(yàn)第103頁/共422頁第五章練習(xí)題第104頁/共422頁第105頁/共422頁第六章回歸分析在現(xiàn)實(shí)世界中，存在著大量這樣的情況：一個(gè)變量和一個(gè)或多個(gè)變量,譬如y和x1，x2，…，xp有一些依賴關(guān)系,由x1，x2，…，xp可以部分地決定y的值，但這種決定往往不很確切.常常用來說明這種依賴關(guān)系的最簡單、直觀的例子是體重與身高、腰圍.若用x1表示某人的身高，用x2表示某人的腰圍，用y表示他的體重,眾所周知，一般說來，當(dāng)x1，x2大時(shí)，y也傾向于大，但由x1，x2不能嚴(yán)格地決定y.類似的例子還很多.變量之間的這種關(guān)系稱為“相關(guān)關(guān)系”，回歸模型就是研究相關(guān)關(guān)系的一個(gè)有力工具.第106頁/共422頁第一節(jié)回歸方程的最小二乘據(jù)估計(jì)

一元線性回歸的例6.2.1dataE621;inputmumber$yx@@;cards;數(shù)據(jù)略

;procprint;run;請看演示第107頁/共422頁例6.2.1散點(diǎn)圖第108頁/共422頁由散點(diǎn)圖可見x增大時(shí)y反而小,散點(diǎn)散布在一條直線附近.不過找不到一條直線穿過所有散點(diǎn)(這就是由誤差決定的相關(guān)關(guān)系的特征).現(xiàn)在要求這樣的直線方程:y=b0+b1xi,即由數(shù)據(jù)確定回歸參數(shù)b0,b1.對于每一數(shù)據(jù)對(xi,yi)中的xi,同時(shí)有y的觀測值yi與回歸直線上的計(jì)算值b0+b1xi與之對應(yīng),相應(yīng)有誤差ei=yi-(b0+b1xi).回歸分析中參數(shù)的最小二乘估計(jì)就是要求這樣的b0,b1使第109頁/共422頁利用分析員應(yīng)用系統(tǒng)進(jìn)行一元回歸Solution→Analysis→Analyst(“分析員應(yīng)用”)→File→OpenBySasName…

(在Makeoneselection窗口中)→work→選中數(shù)據(jù)名E621→(OK)→Statistics→Regression→Simple…一元回歸(一元回歸主窗口)在線性回歸主窗口中,Dependen因變量選中y;Explanatory自變量選中x;然后進(jìn)入各返回式選項(xiàng)窗口(進(jìn)入該類窗口并進(jìn)行選擇后OK返回)→OK請看演示第110頁/共422頁第二節(jié)多元線性回歸假設(shè)y為因變量，x1，…，xp為對y有影響的p個(gè)自變量，并且它們之間具有線性關(guān)系

y=b0+b1x1+…+bpxp+e，其中e為誤差項(xiàng)，它表示除了x1，…，xp之外其它因素對y的影響以及試驗(yàn)或測量誤差.b0，b1，…，bp是待估計(jì)的未知參數(shù).假定我們有了因變量y和自變量x1，…，xp的n組觀測值(xi1，…，xip；yi)，i=1，…，n，它們滿足yi=b0+b1xi1+…+bpxip+ei，i=1，……，n(6.1.3)這里ei為對應(yīng)的隨機(jī)誤差.第111頁/共422頁第112頁/共422頁第113頁/共422頁數(shù)據(jù)中心化

第114頁/共422頁第115頁/共422頁最小二乘的幾何意義第116頁/共422頁例6.4.1研究某一地區(qū)土壤中含植物可給態(tài)磷的情況.設(shè)y是35℃時(shí)土壤中可給態(tài)磷含量；x1是土壤中所含無機(jī)鹽濃度；x2是土壤中溶于K2CO3溶液并受溴化物水解的有機(jī)磷；x3是土壤中溶于K2CO3溶液但不溶于溴化物的有機(jī)磷，經(jīng)18次測量(見程序中數(shù)據(jù))，求x1,x2,x3對y的線性回歸方程Y=b0+b1x1+b2x2+b3x3第117頁/共422頁datapcontent;inputx1-x3y@@;cards;數(shù)據(jù)略;procprint;run;第118頁/共422頁利用SAS進(jìn)行多元線性回歸1.編程進(jìn)行(設(shè)數(shù)據(jù)已輸入):procreg

data=pcontent;/*reg回歸分析*/modely=x1-x3;/*模型因變量=自變量*/run;2.利用菜單系統(tǒng):Solution→Analysis→Analyst(“分析員應(yīng)用”)→File→OpenBySasName…

(在Makeoneselection窗口中)→work選中數(shù)據(jù)名→(OK)→Statistics→Regression→Linear…線性回歸→Dependen填入因變量;→Explanatory填入各自變量;以下為返回式選項(xiàng)窗口(進(jìn)入該類窗口并進(jìn)行選擇后→OK)→OK

請看演示第119頁/共422頁第三節(jié)回歸模型的檢驗(yàn)SAS不能替我們選擇模型,模型的選擇是我們決定的.但SAS可以幫我們判斷模型選擇的好壞,與此有關(guān)的就是方程的顯著性檢驗(yàn)和失擬檢驗(yàn).看例dataE123;inputxy@@;cards;0.11.100.21.360.31.380.41.450.51.560.61.410.71.390.81.360.91.081.00.96;procprint;run;第120頁/共422頁用直線擬合數(shù)據(jù)E123第121頁/共422頁用拋物線擬合數(shù)據(jù)E123第122頁/共422頁顯著性檢驗(yàn)的幾何意義:F=(‖b1x1*+b2x2*‖2/fr)/(‖e‖2/fe)第123頁/共422頁回歸分析中的平方和分解定理第124頁/共422頁方程顯著性檢驗(yàn)的三個(gè)方法1.總離差平方和St=回歸平方和Sr+誤差平方和Se,相應(yīng)有自由度:總自由度ft=試驗(yàn)次數(shù)-1;回歸自由度fr=項(xiàng)數(shù);誤差自由度fe=ft–fr.

用F-統(tǒng)計(jì)量F=(Sr/fr)/(Se/fe)參照臨界值Fα(ft,fe)判斷顯著性:若F>F0.01(fr,fe),稱方程高度顯著;若F>F0.05(fr,fe),稱方程顯著;若F<F0.05(fr,fe),(或F<F0.1(fr,fe)),稱方程不顯著;第125頁/共422頁2.假設(shè)檢驗(yàn):零假設(shè)為H0：b1=b2=…=bp=0SAS根據(jù)數(shù)據(jù)給出零假設(shè)成立的概率(Pr>F)當(dāng)Pr>0.05時(shí)接受零假設(shè),認(rèn)為方程不顯著;當(dāng)Pr<0.05時(shí)拒絕零假設(shè),認(rèn)為方程顯著;當(dāng)Pr<0.01時(shí)拒絕零假設(shè),認(rèn)為方程高度顯著;3.y和自變量集的(修正的)復(fù)相關(guān)系數(shù)ρ(y;x1,…,xp)=cos(y*,b1x1*+…+bpxp*)其平方越大越顯著建議采用考慮自由度的復(fù)相關(guān)系數(shù)平方AdjR-sq4.重復(fù)試驗(yàn)和失擬檢驗(yàn)(見第十章第七節(jié))請看演示:數(shù)據(jù)E123(分別用線性和二次進(jìn)行),數(shù)據(jù)pcontent的分析結(jié)果第126頁/共422頁第五節(jié)最優(yōu)回歸方程和逐步回歸法第127頁/共422頁

由偏回歸平方和的概念可知當(dāng)回歸方程中項(xiàng)數(shù)p↑時(shí),誤差平方和‖e‖2↓.同時(shí)顯著性檢驗(yàn)統(tǒng)計(jì)量

F=(Sr/p)/(‖e‖2/n-1-p)中卻有n-1-p↓,因此,當(dāng)p↑或↓時(shí)‖e‖2/n-1-p的變化決定于因子的顯著性,所謂“最優(yōu)”回歸方程，是指包括對因變量有明顯影響的自變量，不包括那些影響不顯著或根本無影響的自變量，而且是殘余方差較小的回歸方程.SAS利用逐步回歸stepwise或AdjustedR-square等方法尋求最優(yōu)回歸方程,請看演示(數(shù)據(jù)名datarumay,逐步回歸中試用選入臨界值α=0.6和淘汰α=0.05看因素的進(jìn)出)

特別提醒:1)即使方程高度顯著,不能保證理論模型與實(shí)際擬合的優(yōu)劣,參見第十章第七節(jié)重復(fù)試驗(yàn)

2)對于由于眾多小因素造成復(fù)共線性較嚴(yán)重模型(即使由于眾多因素的共同作用使方程高度顯著但每個(gè)因素都不顯著)以上方法無效,適合用主成份分析過濾復(fù)共線性后用主成份作為新因素對指標(biāo)進(jìn)行回歸第128頁/共422頁1.編程進(jìn)行:datar