多元正態(tài)分布(新)-PPT精品課件

1、 多元正態(tài)分布及其參數(shù)估計(jì)多元正態(tài)分布的重要性：（1）多元統(tǒng)計(jì)分析中很多重要的理論和方法都是直接或間接 地建立在正態(tài)分布 基礎(chǔ)上的，許多統(tǒng)計(jì)量的極限分布往往和 正態(tài)分布有關(guān)。（2）許多實(shí)際問(wèn)題涉及的隨機(jī)向量服從多元正態(tài)分布或近似 服從正態(tài)分布。因此多元正態(tài)分布是多元統(tǒng)計(jì)分析的基礎(chǔ)。一、多元正態(tài)分布的定義定義1：若p維隨機(jī)向量 的密度函數(shù)為：其中， 是p維向量 是p階正定矩陣，則稱X服從p維正態(tài)分布，記為 1多元正態(tài)分布的定義及其性質(zhì)定義2：獨(dú)立標(biāo)準(zhǔn)正態(tài)變量 的有限線性組合 稱為p維正態(tài)隨機(jī)變量，記為 其中但是 的分解一般不是唯一的。定義3：若隨機(jī)向量X的特征函數(shù)為：其中t為實(shí)向量，則稱X服從p

2、元正態(tài)分布。特征函數(shù)定義的優(yōu)點(diǎn)在于可以包含 的情況。特別地，二元正態(tài)分布： 二元正態(tài)分布曲面( ) 二元正態(tài)分布曲面( )即 ，兩個(gè)隨機(jī)變量獨(dú)立而 可以求得 的邊緣密度函數(shù)為：當(dāng) 時(shí)X1與X2不相關(guān)，對(duì)于正態(tài)分布來(lái)說(shuō)不相關(guān)和獨(dú)立等價(jià)。因?yàn)榇藭r(shí)：為X1和X2的相關(guān)系數(shù)。二、多元正態(tài)分布的性質(zhì) 性質(zhì)1：若 ， 是對(duì)角矩陣，則 相互獨(dú)立。 性質(zhì)2：若 則 性質(zhì)3：若 ，將 作剖分：則性質(zhì)4：p 元正態(tài)分布的條件分布仍服從正態(tài)分布。即在某些變量取固定值時(shí)，另外一些變量的分布仍然服從多元正態(tài)分布。 三、正態(tài)分布數(shù)據(jù)的變換若一批多元數(shù)據(jù)不滿足正態(tài)分布時(shí)，可以對(duì)數(shù)據(jù)進(jìn)行正態(tài)變換。一般來(lái)說(shuō)常采用冪變換，如果想

3、使值變小可以采用變換：如果想使值變大，則采用變換：不管使用哪種冪變換，還應(yīng)該對(duì)變換后的數(shù)據(jù)的正態(tài)性做檢驗(yàn).2多元正態(tài)分布的參數(shù)估計(jì) 一、多元樣本及其樣本數(shù)字特征多元樣本陣記2、多元樣本的數(shù)字特征樣本均值：樣本均值向量可以用樣本矩陣表示出來(lái)，即因?yàn)椋簶颖倦x差陣樣本協(xié)方差矩陣 或 樣本離差陣用樣本資料陣表示為：因?yàn)槎?、多元正態(tài)總體的最大似然估計(jì)及其性質(zhì)利用最大似然法求出 和 的最大似然估計(jì)為：求解過(guò)程似然函數(shù)為：對(duì)數(shù)似然函數(shù)為：（引理：設(shè)A為p階正定矩陣，則 當(dāng)A=I等號(hào)成立。最大似然估計(jì)的性質(zhì) ，即 是 的無(wú)偏估計(jì) 。 ，即 不是 的無(wú)偏估計(jì)。 ，即 是無(wú)偏估計(jì)。 分別是 的最小方差無(wú)偏估量。3

4、. 分別是 的一致估計(jì)。 三、維斯特（Wishart）分布-一元 分布的推廣定義： 設(shè) 個(gè)隨機(jī)向量 獨(dú)立同分布于 ， 則隨機(jī)矩陣 服從自由度為n的非中心維斯特分布，記為 隨機(jī)矩陣的分布：將該矩陣的列向量（或行向量）連接起來(lái)組成的長(zhǎng)向量稱為拉直向量，拉直向量的分布定義為該矩陣的分布，如果是對(duì)稱矩陣則只取其下三角的部分拉直即可。性質(zhì)：（1）若W1和W2獨(dú)立，其分布分別為 和 ，則 分布為 ，即維斯特(Wishart)分布有可加性。（2） ，C為mp階的矩陣，則 的分布為 定理： 設(shè) 分別是來(lái)自正態(tài)總體 的樣本均值和離差陣 ，則(1) (2) 相互獨(dú)立。 S為正定矩陣的充分必要條件是 np 。11一

5、元正態(tài)總體：為來(lái)自一元正態(tài)總體的一組樣本定理：證明： 構(gòu)造正交矩陣做變換第三章多元正態(tài)總體參數(shù)的假設(shè)檢驗(yàn)一、HotellingT2分布 一元t分布的推廣定義 設(shè) ，且X與S相互獨(dú)立， ，則稱統(tǒng)計(jì)量 的分布為非中心的Hotelling T分布，記為 ，當(dāng) 時(shí)稱為中心的HotellingT2分布。記為一元t分布：設(shè)總體 是一組樣本 ,則統(tǒng)計(jì)量 其中與 類似并且定理：設(shè) 且X與S相互獨(dú)立， 令基本性質(zhì):則二、多元正態(tài)總體均值向量的假設(shè)檢驗(yàn)1.單個(gè)正態(tài)總體(1) 協(xié)方差矩陣 已知時(shí)均值向量的檢驗(yàn)檢驗(yàn)統(tǒng)計(jì)量設(shè)水平為 ，查表確定 ，使得（當(dāng)H0成立時(shí)）拒絕域?yàn)椋寒?dāng)原假設(shè)成立時(shí)(2) 協(xié)方差矩陣 未知時(shí)均值

6、向量的檢驗(yàn) 檢驗(yàn)統(tǒng)計(jì)量拒絕域?yàn)椋豪喝说某龊苟嗌儆谌梭w內(nèi)鉀和鈉的含量有一定的關(guān)系。測(cè)得20名健康成年女性的出汗多少（X1）、鈉的含量(X2)和鉀的含量（X3）的數(shù)據(jù)，做如下的假設(shè)檢驗(yàn)：例：在企業(yè)市場(chǎng)結(jié)構(gòu)研究中，起關(guān)鍵作用的指標(biāo)有市場(chǎng)份額X1，企業(yè)規(guī)模（資產(chǎn)凈值總額的對(duì)數(shù)）X2，資本收益率X3,總收益增長(zhǎng)率X4.為了研究市場(chǎng)結(jié)構(gòu)的變動(dòng)Shepherd（1972）抽取了美國(guó)231個(gè)大型企業(yè)，調(diào)查了這些企業(yè)1960-1969年的資料。假設(shè)以前企業(yè)市場(chǎng)結(jié)構(gòu)指標(biāo)的均值向量為：而該次調(diào)查得到的企業(yè)市場(chǎng)結(jié)構(gòu)指標(biāo)的均值向量和協(xié)方差矩陣為：試問(wèn)市場(chǎng)結(jié)構(gòu)是否發(fā)生了變化？帶入到T2統(tǒng)計(jì)量中得到臨界值因此拒絕原假設(shè)，

7、認(rèn)為市場(chǎng)結(jié)構(gòu)已經(jīng)發(fā)生了顯著的變化。2.協(xié)方差陣相等時(shí)，兩個(gè)正態(tài)總體均值向量的檢驗(yàn)設(shè)且兩組樣本相互獨(dú)立。（1 ）有共同已知的協(xié)方差矩陣 檢驗(yàn)統(tǒng)計(jì)量為：拒絕域?yàn)椋海?）有共同的未知協(xié)方差矩陣檢驗(yàn)統(tǒng)計(jì)量為： 用 代替即可得到上述統(tǒng)計(jì)量。例：為了研究日美企業(yè)在華投資企業(yè)對(duì)中國(guó)經(jīng)營(yíng)環(huán)境的評(píng)價(jià)是否存在差異，現(xiàn)從兩國(guó)在華投資企業(yè)中各抽出10家，讓其對(duì)如下 指標(biāo)進(jìn)行打分。假設(shè)兩組來(lái)自正態(tài)總體，有共同的未知協(xié)方差矩陣，且兩組樣本相互獨(dú)立。經(jīng)計(jì)算代入統(tǒng)計(jì)量中得：查F分布表得：顯然有：故拒絕原假設(shè)，認(rèn)為日、美兩國(guó)在華投資企業(yè)對(duì)中國(guó)經(jīng)營(yíng)環(huán)境的評(píng)價(jià)存在差別。3.協(xié)方差陣不相等時(shí)，兩個(gè)正態(tài)總體均值向量的檢驗(yàn)略一元方差分析

8、一、方差分析的概念及有關(guān)術(shù)語(yǔ) 方差分析是根據(jù)實(shí)驗(yàn)數(shù)據(jù)來(lái)推斷一個(gè)或多個(gè)因素在其狀態(tài)變化時(shí)是否會(huì)對(duì)實(shí)驗(yàn)指標(biāo)產(chǎn)生顯著影響的一種數(shù)理統(tǒng)計(jì)方法。方差分析可以用來(lái)研究分類型自變量(名義測(cè)度）對(duì)數(shù)值型因變量的影響。包括它們之間有沒(méi)有關(guān)系、關(guān)系的強(qiáng)度如何等，也就是研究一個(gè)或多個(gè)因素變化時(shí)不同總體的某個(gè)指標(biāo)是否有顯著差異，所采用的方法就是檢驗(yàn)各個(gè)總體的均值是否相等。方差分析是用于評(píng)價(jià)實(shí)驗(yàn)的最重要的分析方法。4.多個(gè)正態(tài)總體均值向量的檢驗(yàn)（多元方差分析）例子：為了對(duì)幾個(gè)行業(yè)的服務(wù)質(zhì)量進(jìn)行評(píng)價(jià)，消費(fèi)者協(xié)會(huì)在零售業(yè)、旅游業(yè)、航空公司、家電制造業(yè)分別抽取了不同的企業(yè)作為樣本。每個(gè)行業(yè)中所抽取的樣本在服務(wù)對(duì)象、服務(wù)內(nèi)容、

9、企業(yè)規(guī)模等基本上是相同的，統(tǒng)計(jì)出消費(fèi)者對(duì)23家企業(yè)的投訴次數(shù)，現(xiàn)判斷幾個(gè)行業(yè)的服務(wù)質(zhì)量是否有差別。投訴次數(shù)如下表：返回假定各個(gè)行業(yè)在服務(wù)對(duì)象、服務(wù)內(nèi)容、企業(yè)規(guī)模等基本相同的前提下，要分析4個(gè)行業(yè)的服務(wù)質(zhì)量是否有顯著差，實(shí)際上就是判斷“行業(yè)”對(duì)投訴次數(shù)是否有顯著影響，即“行業(yè)”為自變量，投訴次數(shù)為因變量。做出這種判斷最終歸結(jié)為檢驗(yàn)4個(gè)行業(yè)被投訴次數(shù)的均值是否相等。如果相等則認(rèn)為行業(yè)因素對(duì)投訴次數(shù)是沒(méi)有影響的，如果均值不全相等，則意味著行業(yè)因素對(duì)服務(wù)質(zhì)量有影響。在做假設(shè)檢驗(yàn)時(shí)每個(gè)行業(yè)看作是一個(gè)總體，因此我們可以簡(jiǎn)單概括為：方差分析主要用來(lái)對(duì)多個(gè)總體均值是否相等作出假設(shè)檢驗(yàn)。典型的應(yīng)用實(shí)例：不同影院

10、節(jié)目宣傳方式（如海報(bào)和報(bào)紙廣告）對(duì)票房有何影響？影院老板為了知道答案，每次僅用一種方式宣傳一段時(shí)期，就可以獲得樣本數(shù)據(jù)進(jìn)行方差分析。兩種營(yíng)銷手段單獨(dú)作用或共同作用分別對(duì)目標(biāo)變量有何影響？例如，一位果醬生產(chǎn)商認(rèn)為，商標(biāo)名稱和銷售途徑有重要影響，于是他對(duì)三個(gè)不同的商標(biāo)名稱在兩種不同銷售途徑下進(jìn)行測(cè)試。對(duì)同一個(gè)年級(jí)的幾個(gè)班級(jí)用不同的教學(xué)方法，調(diào)查教學(xué)效果。相關(guān)術(shù)語(yǔ)因素（因子）：在方差分析中，所要檢驗(yàn)的對(duì)象稱為因素或因子。例子中的“行業(yè)”水平：因素中的不同表現(xiàn)稱為水平。例子中的零售業(yè)、旅游業(yè)、航空公司、家電制造業(yè)是“行業(yè)”因素的具體表現(xiàn)，即水平。單因素方差分析：只針對(duì)一個(gè)因素進(jìn)行分析；多因素方差分析：

11、同時(shí)針對(duì)多個(gè)因素進(jìn)行分析。（1）每個(gè)總體（因素的各個(gè)水平）的相應(yīng)變量服從正態(tài)分布。也就是說(shuō)，對(duì)于因素的每個(gè)水平，其觀測(cè)值是來(lái)自正態(tài)總體的簡(jiǎn)單隨機(jī)樣本,上例中每個(gè)行業(yè)的投訴次數(shù)應(yīng)服從正態(tài)分布。（2）所有總體的方差相等2。也就是說(shuō)，各組觀測(cè)數(shù)據(jù)來(lái)自相同方差的正態(tài)總體。上例中4個(gè)行業(yè)被投訴次數(shù)的方差相同。（3）不同觀察值相互獨(dú)立。（每個(gè)樣本點(diǎn)的取值不影響其他樣本點(diǎn)的取值）上例中，每個(gè)企業(yè)被投訴的次數(shù)與其他企業(yè)被投訴的次數(shù)是相互獨(dú)立的。方差分析的三個(gè)基本假定問(wèn)題的一般提法設(shè)因素有r個(gè)水平，每個(gè)水平的均值分別為 ，要檢驗(yàn)r個(gè)水平（即為r個(gè)總體）的均值是否相等，提出如下假設(shè)：與原來(lái)兩兩總體的假設(shè)檢驗(yàn)方法相

12、比，方差分析不僅可以提高檢驗(yàn)的效率，同時(shí)由于它是將所有的樣本信息結(jié)合在一起，因此增加了分析的可靠性。，上例中如果用一般的假設(shè)檢驗(yàn)方法，需要兩兩組合作6次檢驗(yàn)。我們畫出不同行業(yè)投訴次數(shù)的散點(diǎn)圖零售業(yè) 旅游業(yè) 航空 家電制造業(yè)80604020 0投訴次數(shù)行業(yè) 圖中的折線是由投訴次數(shù)的均值連接而成的。從圖中可以看出不同行業(yè)投訴次數(shù)是有顯著 差異的，而且即使在同一個(gè)行業(yè)，不同企業(yè)的投訴次數(shù)也明顯不同這表明行業(yè)與被投訴次數(shù)有關(guān)系，因?yàn)槿绻袠I(yè)與被投訴次數(shù)之間如果沒(méi)有關(guān)系，不同行業(yè)被投訴次數(shù)的均值應(yīng)該差不多相同。 但是，僅僅從散點(diǎn)圖上還不能提供充分的證據(jù)證明不同行業(yè)被投訴次數(shù)之間有顯著差異，因?yàn)橐苍S這種差

13、異是由于抽樣的隨機(jī)性所造成的。因此需要通過(guò)對(duì)數(shù)據(jù)誤差來(lái)源進(jìn)行分析來(lái)判斷不同總體的均值是否相等，進(jìn)而分析某一個(gè)因素對(duì)實(shí)驗(yàn)結(jié)果是否有影響。因此進(jìn)行方差分析時(shí)，需要考察數(shù)據(jù)誤差的來(lái)源。 首先，我們注意到同一行業(yè)（同一總體）下，樣本的觀測(cè)值是不同的。因?yàn)槠髽I(yè)是隨機(jī)抽取的，因此他們之間的差異可以看成是由隨機(jī)因素的影響造成的，或者說(shuō)是由抽樣的隨機(jī)性造成的，我們稱之為隨機(jī)誤差。 其次，在不同的行業(yè)（不同的總體）下，各個(gè)觀測(cè)值也是不同的。這種差異除了抽樣的隨機(jī)性造成的，也可能是由于行業(yè)因素本身造成的，由不同行業(yè)所形成的誤差稱之為系統(tǒng)誤差。 數(shù)據(jù)的誤差用平方和表示。衡量因素的同一水平下（同一總體）下樣本數(shù)據(jù)的誤

14、差，稱為是組內(nèi)誤差。例如，零售業(yè)所抽取的7家企業(yè)被投訴次數(shù)之間的誤差。衡量因素的不同水平（不同總體）下樣本之間的誤差，稱為組間誤差。例如，零售業(yè)、旅游業(yè)、航空業(yè)、家電制造業(yè)之間被投訴次數(shù)之間的誤差。顯然，組內(nèi)誤差只包含隨機(jī)誤差，組間誤差既包含隨機(jī)誤差也包含系統(tǒng)誤差。假如不同行業(yè)對(duì)投訴次數(shù)沒(méi)有影響，那么在組間誤差中只包含隨機(jī)誤差，而沒(méi)有系統(tǒng)誤差。這時(shí)，組內(nèi)誤差和組間誤差經(jīng)過(guò)平均后的數(shù)值就應(yīng)該很接近，它們的比值就接近于1.反之，如果不同行業(yè)對(duì)投訴次數(shù)有影響，在組間誤差中除了包含隨機(jī)誤差外還包含系統(tǒng)性誤差，這時(shí)組間誤差平均后的值就會(huì)大于組內(nèi)誤差平均后的值，它們的比值就會(huì)大于1，當(dāng)這個(gè)比值大于某個(gè)臨界

15、值時(shí)，我們就可以說(shuō)因素的不同水平之間存在顯著差異。因此判斷行業(yè)對(duì)投訴次數(shù)是否有顯著影響這一問(wèn)題，實(shí)際上就是檢驗(yàn)投訴次數(shù)的差異主要是由什么原因引起的。如果這種差異主要是系統(tǒng)誤差，我們就說(shuō)不同行業(yè)對(duì)投訴次數(shù)有顯著影響。如果原假設(shè)成立：說(shuō)明某因素不同水平的影響不顯著（無(wú)系統(tǒng)性影響），只剩下隨機(jī)性影響，因此組間誤差與組內(nèi)誤差差別不大，它們的比接近于1。如果原假設(shè)不成立：說(shuō)明某因素不同水平的影響顯著（存在系統(tǒng)性影響），組間誤差與組內(nèi)誤差差別較大，它們的比遠(yuǎn)超出1構(gòu)造統(tǒng)計(jì)量： 為全體樣本合并的大樣本的樣本均值為第 j個(gè)總體的樣本均值xij=第j 個(gè)子樣本中第 i 個(gè)觀測(cè)值；nj=第 j個(gè)子樣本的樣本容量其

16、中，n=n1+n2+nr r為總體的個(gè)數(shù)于是，大樣本的總誤差平方和(Sum of Squares for Total，SST)為：設(shè)39誤差平方和的計(jì)算 可以證明： 第一項(xiàng)是各子樣本均值與合并的大樣本的公共均值的離差平方和，它反映了因素不同水平對(duì)總離差平方和的影響（系統(tǒng)性影響），稱為組間誤差平方和(因素效應(yīng)誤差平方和）（Sum of Squares for Factor A, SSA)； 第二項(xiàng)是各子樣本內(nèi)部離差平方和之和，反映了隨機(jī)性因素的影響(誤差性影響），稱為組內(nèi)誤差平方和(Sum of Squares for Error，SSE）。各誤差平方和的大小與觀測(cè)值的多少有關(guān)，為了消除觀測(cè)值多

17、少對(duì)誤差平方和大小的影響，用各個(gè)平方和除以自由度即得到平均平方誤差，簡(jiǎn)稱均方誤差： 即 SST=SSA+SSE 總誤差平方和=組間誤差平方和+組內(nèi)誤差平方和構(gòu)造F統(tǒng)計(jì)量：當(dāng)原假設(shè)成立時(shí)根據(jù)給定的顯著性水平，查表得到拒絕域：上例中，經(jīng)計(jì)算說(shuō)明不同行業(yè)被投訴次數(shù)的均值有顯著差異，這意味著行業(yè)（自變量）與投訴次數(shù)（因變量）之間的關(guān)系是顯著的。關(guān)系強(qiáng)度的測(cè)量上述F統(tǒng)計(jì)量只能表明自變量和因變量之間是否有關(guān)系，不能表明關(guān)系的強(qiáng)弱，為了度量相關(guān)強(qiáng)度定義判定系數(shù)：R2越大說(shuō)明關(guān)系越強(qiáng)，越小關(guān)系越弱。類似于相關(guān)系數(shù)。上例中， R2=0.349759。這表明行業(yè)對(duì)投訴次數(shù)的影響效應(yīng)占總效應(yīng)的34.9759%，而殘

18、差效應(yīng)則占65.0241%。 方差分析中的多重比較上面的分析得出的結(jié)論是不同行業(yè)被投訴次數(shù)的均值是不全相同的，但是究竟哪些均值不相等呢，也就是這種差異究竟出現(xiàn)在哪些行業(yè)之間呢？則需要對(duì)總體均值進(jìn)行兩兩比較。多重比較的方法有很多，我們簡(jiǎn)單介紹一下由Fisher提出的最小顯著差異方法（LSD方法）。檢驗(yàn)步驟為：第一步：提出原假設(shè)：第二步：計(jì)算檢驗(yàn)統(tǒng)計(jì)量：第三步：計(jì)算LSD，公式為：第四步：根據(jù)顯著性水平做出決策：如果則拒絕原假設(shè)，否則接受原假設(shè)。例：對(duì)4個(gè)行業(yè)的均值作多重比較第一步：提出假設(shè)第二步：計(jì)算檢驗(yàn)統(tǒng)計(jì)量第三步：計(jì)算LSD第四步：做出決策不能拒絕原假設(shè)，說(shuō)明零售業(yè)和 旅游業(yè)之間的投訴次數(shù)沒(méi)

19、有顯著差異。.雙因素方差分析 單因素方差分析只是考慮一個(gè)分類型自變量對(duì)數(shù)值型因變量的影響。如果同時(shí)需考慮兩個(gè)因素A與B對(duì)實(shí)驗(yàn)結(jié)果的影響，則可進(jìn)行雙因素方差分析。例：分析影響彩電銷售量的因素，需要考察品牌、銷售地區(qū)等因素的影響?，F(xiàn)有4種品牌的彩電在5個(gè)地區(qū)進(jìn)行銷售，為分析彩電的“品牌”因素和“地區(qū)”因素對(duì)銷售量是否有影響，調(diào)查數(shù)據(jù)如下：地區(qū)因素地區(qū)1地區(qū)2地區(qū)3地區(qū)4地區(qū)5品品牌1365350343340323牌品牌2345368363330333因品牌3358323353343308素品牌4288280298260298雙因素方差分析的數(shù)據(jù)結(jié)構(gòu)在雙因素方差分析中因?yàn)橛袃蓚€(gè)因素，例如“品牌”和“

20、銷售地區(qū)”兩個(gè)因素，如果兩個(gè)因素對(duì)銷售量的影響是相互獨(dú)立，我們分別判斷兩個(gè)因素對(duì)銷售量的影響，稱為無(wú)交互作用的雙因素方差分析。如果除了兩個(gè)因素的單獨(dú)影響外，兩個(gè)因素的搭配還會(huì)對(duì)銷售量產(chǎn)生新的影響效應(yīng)，例如，某個(gè)地區(qū)對(duì)某個(gè)品牌的彩電有特殊偏好，這就是兩個(gè)因素結(jié)合后產(chǎn)生的新效應(yīng)，此時(shí)的雙因素方差分析稱為有交互作用的雙因素方差分析。無(wú)交互作用的雙因素方差分析為了檢驗(yàn)兩個(gè)因素的影響，需要分別對(duì)兩個(gè)因素提出假設(shè)。對(duì)行因素提出的假設(shè)為：對(duì)列因素提出的假設(shè)為：地區(qū)對(duì)銷售量沒(méi)有顯著影響品牌對(duì)銷售量沒(méi)有顯著影響誤差平方和的分解其中:可以證明:分別構(gòu)造統(tǒng)計(jì)量關(guān)系強(qiáng)度的測(cè)量反應(yīng)了這兩個(gè)因素聯(lián)合起來(lái)與因變量之間的相關(guān)程度。有交互作用的方差分析路段1路段212619高22420峰327