統(tǒng)計(jì)檢驗(yàn)分析第三章第四章詳解演示文稿

統(tǒng)計(jì)檢驗(yàn)分析第三章第四章詳解演示文稿當(dāng)前1頁，總共61頁。優(yōu)選統(tǒng)計(jì)檢驗(yàn)分析第三章第四章當(dāng)前2頁，總共61頁。標(biāo)準(zhǔn)差與標(biāo)準(zhǔn)誤的區(qū)別標(biāo)準(zhǔn)差是表示個(gè)體間變異大小的指標(biāo),反映了整個(gè)樣本對樣本平均數(shù)的離散程度,是數(shù)據(jù)精密度的衡量指標(biāo)。標(biāo)準(zhǔn)誤反映樣本平均數(shù)對總體平均數(shù)的變異程度,從而反映抽樣誤差的大小,是量度結(jié)果精密度的指標(biāo)。樣本數(shù)越大，樣本標(biāo)準(zhǔn)差趨于總體標(biāo)準(zhǔn)差；標(biāo)準(zhǔn)誤越來越小，即樣本平均數(shù)越接近總體平均數(shù)。可以適當(dāng)增加N，減少SEM。當(dāng)前3頁，總共61頁。第3章樣本幾何與隨機(jī)抽樣一、樣本幾何二、樣本均值和協(xié)方差矩陣的期望值三、廣義樣本方差四、樣本均值、協(xié)方差和相關(guān)系數(shù)的矩陣運(yùn)算五、線性組合的樣本均值和協(xié)方差當(dāng)前4頁，總共61頁。一、樣本幾何本章深入地研究描述性統(tǒng)計(jì)量：樣本均值，樣本協(xié)方差矩陣和樣本相關(guān)矩陣的幾何解釋。P個(gè)變量（列）N個(gè)觀測值（行）當(dāng)前5頁，總共61頁。數(shù)據(jù)矩陣X可以看成是：p維空間的n個(gè)點(diǎn)組成，或n維空間的p個(gè)向量組成當(dāng)前6頁，總共61頁。例如矩陣p維空間的n個(gè)點(diǎn)組成n維空間的p個(gè)向量組成當(dāng)前7頁，總共61頁。均值向量和偏差向量定義n維坐標(biāo)的平均向量1’=[1,1,..1]，該向量與各個(gè)坐標(biāo)軸等角，為其單位向量，設(shè)均值向量為：yi在單位1向量的投影為：偏差向量為：當(dāng)前8頁，總共61頁。例題3-1分解下面矩陣為均值向量和偏差向量。求解：均值向量：偏差向量：當(dāng)前9頁，總共61頁。不改變偏差向量的方向和長度，移動(dòng)到從原點(diǎn)開始當(dāng)前10頁，總共61頁。偏差向量的長度和夾角偏差向量的長度的平方：長度與方差成正比兩個(gè)偏差向量的夾角：夾角的余弦是樣本相關(guān)系數(shù)當(dāng)前11頁，總共61頁。例題3-2計(jì)算樣本協(xié)方差矩陣和相關(guān)矩陣。求解：樣本協(xié)方差和相關(guān)矩陣：當(dāng)前12頁，總共61頁。二、樣本均值和協(xié)方差矩陣的期望值隨機(jī)樣本的定義樣本均值的估計(jì)樣本協(xié)方差矩陣的估計(jì)當(dāng)前13頁，總共61頁。隨機(jī)樣本的定義設(shè)p個(gè)變量n次測量值都為隨機(jī)變量；每一次的觀察值Xi代表來自密度函數(shù)為f(x)的一個(gè)公共聯(lián)合分布的獨(dú)立觀測值，所有的Xi構(gòu)成了一個(gè)來自f(x)的隨機(jī)樣本。特點(diǎn)：單次觀測中，p個(gè)變量的值常常是相關(guān)的； 不同次的觀測中得到的結(jié)果是獨(dú)立的； 當(dāng)變量隨著時(shí)間變化時(shí)，獨(dú)立性可能不成立。當(dāng)前14頁，總共61頁。樣本均值的估計(jì)設(shè)X1,…Xn是來自均值為μ，協(xié)方差矩陣為Σ的聯(lián)合分布的一個(gè)隨機(jī)樣本；求該樣本的均值的期望和協(xié)方差矩陣。解：樣本的均值為：X=(X1+X2…+Xn)/n它的期望為：E(X)=(E(X1)+…E(Xn))/n=μ它的協(xié)方差矩陣為：Cov(X)=E(X-μ)(X-μ)’無偏估計(jì)當(dāng)前15頁，總共61頁。設(shè)X1,…Xn是來自均值為μ，協(xié)方差矩陣為Σ的聯(lián)合分布的一個(gè)隨機(jī)樣本；求該樣本的均值的期望和協(xié)方差矩陣。解：它的協(xié)方差矩陣為：Cov(X)由于Xj和Xl之間相互獨(dú)立，所以交叉項(xiàng)都為零Cov(X)N無窮大時(shí)，方差為零，均值無偏，因此估計(jì)是是一致估計(jì)當(dāng)前16頁，總共61頁。樣本協(xié)方差矩陣的估計(jì)設(shè)X1,…Xn是來自均值為μ，協(xié)方差矩陣為Σ的聯(lián)合分布的一個(gè)隨機(jī)樣本；求該樣本的協(xié)方差矩陣的期望。解：樣本的協(xié)方差矩陣為：求其期望當(dāng)前17頁，總共61頁。求樣本的協(xié)方差矩陣的期望有偏估計(jì)偏差為-Σ/n加權(quán)后是無偏估計(jì)當(dāng)前18頁，總共61頁。三、廣義樣本方差無偏的樣本協(xié)方差矩陣元素如下：包含p個(gè)方差和p(p-1)/2個(gè)協(xié)方差。廣義樣本方差=|S|，即行列式，可以表示變異性總樣本方差=s11+s22+…spp廣義樣本方差的幾何意義廣義方差為零的情況標(biāo)準(zhǔn)化的廣義樣本方差|R|當(dāng)前19頁，總共61頁。廣義樣本方差的幾何意義兩個(gè)偏差向量d1，d2構(gòu)成的平面如圖所示平行四邊形的面積為：偏差向量的長度和夾角：所以平行四邊形的面積為當(dāng)前20頁，總共61頁。數(shù)學(xué)歸納法可證：所以大的體積對應(yīng)大的廣義樣本方差。當(dāng)前21頁，總共61頁。廣義方差為零的情況偏差矩陣中任意一個(gè)偏差向量位于其它偏差向量生成的平面中，則廣義方差為零，即下面矩陣中各列線性相關(guān)。（退化）當(dāng)前22頁，總共61頁。標(biāo)準(zhǔn)化的廣義樣本方差|R|改變所有偏差向量的比例，對每個(gè)觀測值xjk用下式來替換計(jì)算出來的行列式稱為標(biāo)準(zhǔn)化的廣義方差|R||S|和|R|的關(guān)系：當(dāng)前23頁，總共61頁。四、樣本均值、協(xié)方差和相關(guān)系數(shù)的矩陣運(yùn)算已知觀測矩陣X利用計(jì)算機(jī)計(jì)算樣本統(tǒng)計(jì)量：第3章作業(yè)：證明上面三個(gè)等式。當(dāng)前24頁，總共61頁。五、線性組合的樣本均值和協(xié)方差兩個(gè)隨機(jī)樣本的線性組合如下：q個(gè)隨機(jī)樣本的線性組合AX，樣本均值向量和樣本協(xié)方差矩陣為當(dāng)前25頁，總共61頁。第4章多元正態(tài)分布一、多元正態(tài)密度及其性質(zhì)二、從多元正態(tài)分布抽樣與極大似然估計(jì)三、樣本均值和樣本協(xié)方差的抽樣分布四、樣本均值和樣本協(xié)方差的大樣本特性五、評估正態(tài)性假定六、搜尋離群值及“清潔”數(shù)據(jù)七、變換到接近正態(tài)性當(dāng)前26頁，總共61頁。一、多元正態(tài)密度及其性質(zhì)由于中心極限效應(yīng)，不論母總體的類型，許多多元統(tǒng)計(jì)的抽樣分布是近似正態(tài)的。一元正態(tài)分布：其中紅色部分表示從x到μ的統(tǒng)計(jì)距離的平方：推廣到多元正態(tài)分布中表示x到μ的廣義統(tǒng)計(jì)距離的平方（作用：標(biāo)準(zhǔn)化所有變量；消除相關(guān)的影響）當(dāng)前27頁，總共61頁。多元正態(tài)分布：例4-1，計(jì)算二元正態(tài)密度，其中計(jì)算得二維正態(tài)密度為：當(dāng)前28頁，總共61頁。二元正態(tài)分布圖當(dāng)前29頁，總共61頁。輪廓線（Contour）：p維正態(tài)密度產(chǎn)生一個(gè)等高的x值的路線為橢球面，即在x到μ的廣義距離的平方為常數(shù)的所有x值，這些路線稱為輪廓線。例4-2，計(jì)算二元正態(tài)密度的輪廓線，其中求解：軸是由下面向量組成當(dāng)前30頁，總共61頁。x值的實(shí)心橢球滿足下式的概率為1-α，是自由度為p的卡方分布概率為0.5和0.9的輪廓線如下：當(dāng)前31頁，總共61頁。多元正態(tài)分布的性質(zhì)設(shè)X服從Np(μ,Σ)分布X的分量的線性組合還是正態(tài)分布 a）線性組合如下，它服從如下分布反之也成立b）q個(gè)線性組合它服從如下分布當(dāng)前32頁，總共61頁。多元正態(tài)分布的性質(zhì)設(shè)X服從Np(μ,Σ)分布X的分量的所有子集是正態(tài)分布 例如把X分成兩部分：當(dāng)前33頁，總共61頁。多元正態(tài)分布的性質(zhì)零協(xié)方差意味著分量是獨(dú)立分布的當(dāng)前34頁，總共61頁。多元正態(tài)分布的性質(zhì)分量的條件分布是正態(tài)的則X1的條件分布是正態(tài)的，并且均值和協(xié)方差為（假定X2=x2）：當(dāng)前35頁，總共61頁。多元正態(tài)分布的性質(zhì)相互獨(dú)立的分量的線性組合服從正態(tài)分布V1，V2的聯(lián)合多元正態(tài)分布的協(xié)方差為：如果b‘c=0則V1、V2相互獨(dú)立當(dāng)前36頁，總共61頁。二、從多元正態(tài)分布抽樣和極大似然估計(jì)多元正態(tài)似然：假定p*1向量X1，X2…Xn，是來自均值為μ，協(xié)方差矩陣為Σ的多元正態(tài)總體的隨機(jī)樣本，且相互獨(dú)立，每個(gè)都服從Np(μ,Σ)分布，則它們的聯(lián)合密度是邊緣概率密度之積：對于觀察值{x1，x2…xn}代入上式得到的函數(shù)稱為似然函數(shù)，極大似然估計(jì)就是使得上式最大而估計(jì)的參數(shù)值。當(dāng)前37頁，總共61頁。利用跡（對角線元素之和）的性質(zhì)，把似然函數(shù)化簡如下，用L表示似然函數(shù)：需要估計(jì)的參數(shù)為μ和Σ。當(dāng)前38頁，總共61頁。μ和Σ的極大似然估計(jì) 假定p*1向量X1，X2…Xn，是來自均值為μ，協(xié)方差矩陣為Σ的多元正態(tài)總體的隨機(jī)樣本，μ和Σ的極大似然估計(jì)量為：觀察值（抽樣值）的稱為μ和Σ的極大似然估計(jì)值估計(jì)出來的似然函數(shù)的極大值如下：當(dāng)前39頁，總共61頁。極大似然估計(jì)量具有不變性即h(θ)函數(shù)的極大似然估計(jì)是由估計(jì)出來的h值給定的充分統(tǒng)計(jì)量設(shè)X1，X2…Xn，是來自均值為μ，協(xié)方差矩陣為Σ的多元正態(tài)總體的隨機(jī)樣本，則即μ和Σ的信息都包含在S和中。當(dāng)前40頁，總共61頁。Example2當(dāng)前41頁，總共61頁。當(dāng)前42頁，總共61頁。疊加方法：當(dāng)前43頁，總共61頁。改進(jìn)方法1當(dāng)前44頁，總共61頁。改進(jìn)方法2傅里葉變換，得到：根據(jù)Ej(w)建立對數(shù)似然函數(shù)：當(dāng)前45頁，總共61頁。當(dāng)前46頁，總共61頁。當(dāng)前47頁，總共61頁。仿真結(jié)果當(dāng)前48頁，總共61頁。仿真結(jié)果當(dāng)前49頁，總共61頁。三、X和S的抽樣分布一元情況下：設(shè)X1，X2…Xn，是來自一元正態(tài)總體（N(μ,σ2)）的隨機(jī)樣本，則多元情況下：設(shè)X1，X2…Xn，是來自多元正態(tài)總體（Np(μ,Σ)）的隨機(jī)樣本，則當(dāng)前50頁，總共61頁。樣本協(xié)方差矩陣的抽樣分布以其發(fā)現(xiàn)者命名為威沙特分布（獨(dú)立的多元正態(tài)隨機(jī)樣本的乘積之和）：威沙特分布的性質(zhì)（線性組合特性）：當(dāng)前51頁，總共61頁。四、X和S的大樣本特性設(shè)X是由大量獨(dú)立的原因V1,V2,..Vn確定，且Vi具有近似相同的變異性，設(shè)X=V1+V2,..+Vn，應(yīng)用中心極限定理，無論Vi的母體分布如何，X的分布近似正態(tài)（n足夠大）。大數(shù)定理：設(shè)X1,X2…Xn來自任何均值為μ與非奇異協(xié)方差Σ的總體的獨(dú)立觀察結(jié)果，在n趨于無窮時(shí)：中心極限定理：對大樣本容量有當(dāng)前52頁，總共61頁。五、評估正態(tài)性假定觀測結(jié)果Xj是否違背它們來自正態(tài)總體的假定？大部分實(shí)際工作中，對一維、二維的研究是多的，并且在低維為正態(tài)而高維為非正態(tài)的病態(tài)數(shù)據(jù)集并不多見。評估一元邊緣分布的正態(tài)性評估二元正態(tài)性當(dāng)前53頁，總共61頁。評估一元邊緣分布的正態(tài)性當(dāng)前54頁，總共61頁。評估一元邊緣分布的正態(tài)性n較小時(shí)用點(diǎn)圖，n>25時(shí)用直方圖，有助于揭示分布的差異；當(dāng)前55頁，總共61頁。評估一元邊緣分布的正態(tài)性Q-Q圖：專門用來評估正態(tài)性假設(shè)的圖形：任何單一特征Xj的n個(gè)觀測值xi，按照大小排序后表示為位于x(j)左邊的比例(概率p)為j/n，通常用(j-0.5)/n近似；標(biāo)準(zhǔn)正態(tài)分位數(shù)q(j)定義如下：當(dāng)前56頁，總共61頁。Q-Q圖,成對數(shù)（q(j)x(j)）接近一條直線時(shí)，不拒絕這些數(shù)據(jù)服從正態(tài)分布的假設(shè)。即在正態(tài)假設(shè)下，它們的關(guān)系如下：Q-Q圖的直線性可通過相關(guān)系數(shù)來檢驗(yàn)：當(dāng)前57頁，總共61頁。例4-1：畫出Q-Q圖，并用相關(guān)系數(shù)檢驗(yàn)是否拒絕正態(tài)假設(shè)。數(shù)據(jù)見表。當(dāng)前58頁，總共61頁。Q-Q圖和相關(guān)系數(shù)查表，發(fā)現(xiàn)在顯著性水平為0.1下，r>0.9351時(shí)就不能拒絕正態(tài)性假設(shè)。當(dāng)前59頁，總共61頁。評估二元正態(tài)分布由于常數(shù)密度輪廓線是橢圓，如果二維散布圖接近橢圓的形狀，則接近二元正態(tài)分布；二元觀察結(jié)果的集合x處于50%