chapter2非參數(shù)統(tǒng)計(jì)

1、第二章 基本概念 2.1 非參數(shù)統(tǒng)計(jì)概念與產(chǎn)生 ：不假定總體分布的具體形式，盡量從數(shù)據(jù)或樣本本身獲得所需要的信息，通過估計(jì)而獲得分布的結(jié)構(gòu)，并逐步建立對(duì)事物的數(shù)學(xué)描述和統(tǒng)計(jì)模型的方法. ：樣本數(shù)據(jù)被視為從分布族的某個(gè)參數(shù)族抽取出來的總體的代表，未知的僅是總體分布具體的參數(shù)值，這樣推斷問題就轉(zhuǎn)換為分布族的若干個(gè)未知參數(shù)的估計(jì)問題，用樣本對(duì)這些參數(shù)作出估計(jì)或進(jìn)行假設(shè)檢驗(yàn)，從而獲得數(shù)據(jù)背后的分布.非參數(shù)統(tǒng)計(jì)的特點(diǎn)： 非參數(shù)統(tǒng)計(jì)方法對(duì)總體的額家丁相對(duì)較少，效率高，結(jié)果一般有較好的穩(wěn)定性； 非參數(shù)統(tǒng)計(jì)可以處理所有類型的數(shù)據(jù)，有廣泛的適用性； 非參數(shù)統(tǒng)計(jì)思想容易理解，計(jì)算容易。 20世紀(jì)40-50年代，(

2、1) Wilcoxon 兩樣本秩和檢驗(yàn)，1947年Mann和Whitney將結(jié)果推廣到兩組樣本量不等的情況； (2)Pitman 提出了相對(duì)于非參數(shù)方法相對(duì)于參數(shù)方法的相對(duì)效率的問題。 20世紀(jì)60年代，Hodges 和Lehmann 從秩檢驗(yàn)統(tǒng)計(jì)量出發(fā)，導(dǎo)出了若干估計(jì)量和置信區(qū)間； 20世紀(jì)70-80年代，非參數(shù)統(tǒng)計(jì)借助于計(jì)算機(jī)獲得了更穩(wěn)健的估計(jì)和預(yù)測，促進(jìn)了促進(jìn)了非參數(shù)統(tǒng)計(jì)在應(yīng)用領(lǐng)域的發(fā)展.20世紀(jì)90年代后，有關(guān)非參數(shù)統(tǒng)計(jì)的應(yīng)用和研究主要集中在非參數(shù)回歸和非參數(shù)密度領(lǐng)域.2.2 假設(shè)檢驗(yàn)回顧一般的參數(shù)假設(shè)檢驗(yàn).：;：0100HH ： 為了對(duì)總體的分布類型或?qū)傮w中未知參數(shù)的推斷，首先提出

3、假設(shè)H0，然后在H0為真的條件下，通過選取恰當(dāng)?shù)慕y(tǒng)計(jì)量來構(gòu)造一個(gè)小概率事件，若在一次試驗(yàn)中小概率事件發(fā)生，則拒絕H0，否則則接受H0.假設(shè)檢驗(yàn)問題需要探討的問題： 將樣本顯示的特點(diǎn)作為對(duì)總體的猜想，并優(yōu)先選作備擇假設(shè)，零假設(shè)是相對(duì)于備擇假設(shè)而出現(xiàn)的.(2 p 值：在一個(gè)假設(shè)檢驗(yàn)中拒絕零假設(shè)的最小顯著水平.判斷法則： (3) 兩類錯(cuò)誤 第一類錯(cuò)誤(棄真錯(cuò)誤)： H0為真，拒絕H0 一般由檢驗(yàn)顯著性水平控制 第二類錯(cuò)誤(取偽錯(cuò)誤)： H0為假，接受H0 兩類錯(cuò)誤相互制衡，不能同時(shí)都減到很小. 就單變量位置參數(shù)而言，置信區(qū)間和雙邊假設(shè)檢驗(yàn)有密切的聯(lián)系.(1) 檢驗(yàn)顯著水平 a 和置信水平 1-a 是

4、兩個(gè)對(duì)立事件的概率(2) 若水平為 a的拒絕域?yàn)?W，則其對(duì)立事件是置信水平為 1-a 的置信區(qū)間；(3) 若 H0在1-a的置信區(qū)間內(nèi)則接受 H0,否則拒絕 H0.置信區(qū)間和假設(shè)檢驗(yàn)的這種關(guān)系成為對(duì)偶關(guān)系.例：正態(tài)總體在方差已知情況下對(duì)均值的U檢驗(yàn). 2.3 經(jīng)驗(yàn)分布和分布探索 ：設(shè) x 為定義在樣本空間上且取值于實(shí)數(shù)域的隨機(jī)變量，其分布函數(shù)定義為 F(x)=P(Xx) (1) 右連續(xù) 或 F(x)=P(Xr。(2)最大與最小次順統(tǒng)計(jì)量的分布：在上式中分別取r=n和r=1.容量為n的樣本最大順序統(tǒng)計(jì)量x(n)與樣本最小順序統(tǒng)計(jì)量x(1)之差稱為樣本極差樣本極差,簡稱極差極差,常用R=x(n)

5、-x(1)表示。(1) 樣本分位數(shù)(2) 分布分位數(shù)例如標(biāo)準(zhǔn)正態(tài)分布2) Q-Q圖2.6 秩檢驗(yàn)統(tǒng)計(jì)量(1) 定義(2) 分布(3) 邊緣分布例秩統(tǒng)計(jì)量結(jié)統(tǒng)計(jì)量)()()(F)(),(0,)3();()2(lim) 1 (nyyPyynnnnnnnnpnnnn正態(tài)分布，即的分布函數(shù)收斂于標(biāo)準(zhǔn)規(guī)范化變量使得的正數(shù)列若存在一個(gè)趨于的估計(jì)序列對(duì)于漸近正態(tài)性：相合性：）無偏性；（漸進(jìn)無偏性估計(jì)優(yōu)劣的標(biāo)準(zhǔn)有：的一個(gè)估計(jì)，評(píng)價(jià)一個(gè)是設(shè)2.7 U統(tǒng)計(jì)量參數(shù)估計(jì)回顧：(4) 無偏估計(jì)的有效性計(jì)。的一致最小方差無偏估是)(則稱)(var()(var都有,)(對(duì)于一切,無偏估計(jì)也是一個(gè))().()(|)(的無偏估

6、計(jì)類的一個(gè)可估參數(shù)，是)(,),;(設(shè)參數(shù)分布族)(一致最小方差無偏估計(jì))5(*gggggggEggxpFUMVUEgg一致最小方差無偏估計(jì)的求解：(1) 有充分統(tǒng)計(jì)量,無偏估計(jì)(2)求條件期望E(充分統(tǒng)計(jì)量|無偏估計(jì))(1) 這里構(gòu)造后的核函數(shù)(1)對(duì)稱性；(2)無偏性UMVUE.的 )g(是統(tǒng)計(jì)量，則對(duì)應(yīng)的h是),.,(假設(shè)的一個(gè)核，)g(是 )X,.,h(X上的一個(gè)可估函數(shù)，F(xiàn)是)g(又設(shè)).所有的離散分布F或(所有的連續(xù)分布設(shè)1k1UUxxUFn(1) 無偏性(2) 是樣本的對(duì)稱函數(shù)(3) 一致最小方差無偏估計(jì) 定理：).,.,(),.,(),.,(),.,( | ),.,()()(,

7、)(),.,(,.,1111111nnnnnnnxxUxxxxUUUxxxxUEgUMVUEggxxUxx等于的性質(zhì)，上述條件期望的函數(shù)，根據(jù)條件期望是統(tǒng)計(jì)量的值，所以的順序都不改變本中元素?cái)?shù)，故無論如何改變樣統(tǒng)計(jì)量是樣本的對(duì)稱函由于為如下條件期望的從而估計(jì)的無偏是計(jì)量，又總是樣本分布的充分統(tǒng)量是離散分布，順序統(tǒng)計(jì)無論總體是連續(xù)分布還證明：例1.11例1.12為了證明這個(gè)定理，我們引入下面的引理。)var(,0)var(,.,2, 1 ,0ch),.,(,.,),.,.,(),.,(h,.,2, 1 ,0ch0101111hhkUxxhhhFXXXXxxhExxkkccckkkckcccc則令

8、，的方差。對(duì)統(tǒng)計(jì)量的方差依賴與為期望。并且這些函數(shù)都以的獨(dú)立同分布變量。是來自分布其中令，相關(guān)的序列。對(duì)第一步定義一個(gè)與中共同的整數(shù)個(gè)數(shù)。是有如下結(jié)果成立和以及上述排列對(duì)于分布引理),.,(),.,(),.,(),.,(cov(),.,(),.,(cov),.,(),.,(11111111kkckcckkkkjjiicxxhxxhjjhiihjjiiFcccckckckcckccjjiikkxxhxxhExxxxxxxxxxhxxxxhExxhxxhjjiikk).,()().,(,.,.,.,),.,.,()(),.,.,(),.,(),.,(covc),.,(),.,(, 1, 1, 11

9、11, 11, 11, 111上式所以分布的給定的條件下是獨(dú)立同在這里個(gè)共同的整數(shù)，那么有如果兩個(gè)排列引理證明：定理2.4證明(1) 無偏性的證明可以利用U統(tǒng)計(jì)量的定義直接獲得。.素方法數(shù)為個(gè)元i-k的),.,(最后選取排列,同元素的子集的方法有個(gè)共i中方法，從中選取具有有),.,i(個(gè)樣本中選取n從因?yàn)?法為：這種特征的排列對(duì)的方具有個(gè)共同的元素，則選取i有),.,(),.,i(設(shè)排列1111ikknkikknkikknikknkkCjjCCiCCCjji(2) 方差的證明則可以證明上述方差序列是非減序列證明可以利用定理2.6例2.132n 1(1)(2)(n 1)2nn12n(n)2n 1(2)(3)(n)(1)(2)(n)d12nF(X) F (X)F(X)U .U.U.F (X)F(X) F (X)