統(tǒng)計(jì)量與抽樣分布課件

第二章

統(tǒng)計(jì)量與抽樣分布1第二章

統(tǒng)計(jì)量與抽樣分布1§1.基本概念總體與個體抽樣、簡單隨機(jī)抽樣樣本、簡單隨機(jī)樣本與樣本空間分布族、參數(shù)空間統(tǒng)計(jì)量與樣本矩2§1.基本概念總體與個體2總體與個體在數(shù)理統(tǒng)計(jì)中，把研究對象的全體稱為總體(Population)，把組成總體的每一個單元稱為個體在實(shí)際中，總體通常是某個隨機(jī)變量取值的全體，其中每一個個體都是一個實(shí)數(shù)以后我們把總體和數(shù)量指標(biāo)X可能取值的全體組成的集合等同起來。隨機(jī)變量X的分布就是總體的分布3總體與個體在數(shù)理統(tǒng)計(jì)中，把研究對象的全體稱為總體(Popul抽樣與簡單隨機(jī)抽樣從一總體X中隨機(jī)抽取n個個體x1,x2,…,xn，其中每個xi是一次抽樣觀察結(jié)果，我們稱x1,x2,…,xn為總體X的一組樣本（觀察）值。這里的xi具有二重性：1.對每一次抽樣結(jié)果，它是完全確定的一組數(shù)；2.由于抽樣的隨機(jī)性，每一個xi都可以看作某一個隨機(jī)變量Xi(i=1,2,…,n)所取的觀察值。我們稱X1,X2,…,Xn是容量為n的樣本（Sample）。4抽樣與簡單隨機(jī)抽樣從一總體X中隨機(jī)抽取n個個體x1,抽樣與簡單隨機(jī)抽樣

定義：設(shè)X1,X2,…,Xn為來自總體X的容量為n的樣本，如果隨機(jī)變量X1,X2,…,Xn相互獨(dú)立且與總體有相同的分布，則稱這樣的樣本為總體X的簡單隨機(jī)樣本，簡稱樣本。這樣獲得簡單隨機(jī)樣本的方法稱為簡單隨機(jī)抽樣。抽樣方式：隨機(jī)抽樣,分層抽樣,等距抽樣,整群抽樣,多階段抽樣以后如不特別聲明，所提到的樣本都是簡單隨機(jī)樣本。5抽樣與簡單隨機(jī)抽樣定義：設(shè)X1,X2,…,Xn為綜上所述，所謂總體就是一個隨機(jī)變量X

，所謂樣本（指簡單隨機(jī)樣本）就是n個相互獨(dú)立且與總體X有相同的分布的隨機(jī)變量X1,X2,…,Xn，并稱X1,X2,…,Xn

為來自于總體X的樣本.顯然，若總體具有分布函數(shù)F(x),則X1,X2,…,Xn的聯(lián)合分布函數(shù)（樣本聯(lián)合分布）為：6綜上所述，所謂總體就是一個隨機(jī)變量X，所謂樣本（指簡單隨抽樣與簡單隨機(jī)抽樣以后對樣本X1,X2,…,Xn

作兩種理解：在理論推導(dǎo)中把其作為隨機(jī)向量在用理論推導(dǎo)所得出的結(jié)論進(jìn)行具體推斷時，作為實(shí)數(shù)向量，代入具體的觀察值進(jìn)行計(jì)算。7抽樣與簡單隨機(jī)抽樣以后對樣本X1,X2,…,Xn作兩種樣本空間

定義：樣本X1,X2,…,Xn所有可能取值的全體稱為樣本空間（SampleSpace），或稱為子樣空間。樣本空間為n維歐氏空間或它的一個子集。一個樣本觀察值（x1,x2,…,xn)是樣本空間中的一個點(diǎn)。8樣本空間定義：樣本X1,X2,…,Xn所有可能取分布族與參數(shù)空間在概率論中，總假定所用隨機(jī)變量的分布函數(shù)已知，而在數(shù)理統(tǒng)計(jì)中，認(rèn)為其是未知的，但總假定其是某一個分布族的成員。一般可憑經(jīng)驗(yàn)，直方圖或經(jīng)驗(yàn)分布函數(shù)來對總體給出假定。9分布族與參數(shù)空間在概率論中，總假定所用隨機(jī)變量的分布函數(shù)已知分布族與參數(shù)空間如果對總體了解甚少，那么總體所在的分布族可設(shè)為{F(x):F(x)為分布函數(shù)，其它條件}如果知道總體的分布形式，只是不知道具體參數(shù)，那么總體所在的分布族可設(shè)為，這里為總體的分布函數(shù)中的未知參數(shù)(可以是向量)，未知參數(shù)的全部可容許值組成的集合稱為參數(shù)空間，記為稱為統(tǒng)計(jì)模型(StatisticalModel)。10分布族與參數(shù)空間如果對總體了解甚少，那么總體所在的分布族可設(shè)分布族與參數(shù)空間

定義：若一個分布族中只含有有限個未知參數(shù)，或參數(shù)空間為歐氏空間的一部分，則稱此分布族為參數(shù)分布族。凡不是參數(shù)分布族的分布族稱為非參數(shù)分布族。由參數(shù)分布族出發(fā)所得到的統(tǒng)計(jì)方法稱為參數(shù)統(tǒng)計(jì)方法；由非參數(shù)分布族出發(fā)所得到的統(tǒng)計(jì)方法稱為非參數(shù)統(tǒng)計(jì)方法。這兩類分布族在研究方法上有很大差異。11分布族與參數(shù)空間定義：若一個分布族中只含有有限個未知統(tǒng)計(jì)量與樣本矩我們對某一個問題歸納出所在的分布族，并從總體中抽出了一個樣本后，就要進(jìn)行統(tǒng)計(jì)推斷，即判斷這個樣本是來自總體分布族中哪一個基本的分布.雖然樣本含有總體的信息，但仍比較分散。為了使統(tǒng)計(jì)推斷成為可能，首先必須把分散在樣本中的信息集中起來，用樣本的某種函數(shù)表示，這種函數(shù)稱為統(tǒng)計(jì)量(Statistic)。12統(tǒng)計(jì)量與樣本矩我們對某一個問題歸納出所在的分布族，并從總體中統(tǒng)計(jì)量與樣本矩定義：設(shè)X1,X2,…,Xn為總體X的一個樣本，若樣本的實(shí)值連續(xù)（可擴(kuò)大為可測）函數(shù)T＝T(X1,X2,…,Xn)不依賴于可能含于總體中的未知參數(shù)，則稱T為此分布族的一個統(tǒng)計(jì)量(Statistic)。往往從直觀或某些一般性原則考慮提出統(tǒng)計(jì)量，再考慮它是否在某種意義下較好地集中了樣本中與所討論問題有關(guān)的信息量。13統(tǒng)計(jì)量與樣本矩定義：設(shè)X1,X2,…,Xn為總體X的一個 例如，X~N(,2),其中已知，2未知。而(X1，X2)是從X中抽取的一個樣本，則X1＋X2，是統(tǒng)計(jì)量，但（X1－）/就不是統(tǒng)計(jì)量了。14 例如，X~N(,2),其中已知，2未知。樣本矩（SampleMoment）設(shè)X1,X2,…,Xn

是來自于總體X的一個樣本樣本均值（SampleMean）：樣本方差（SampleVariance）：15樣本矩（SampleMoment）設(shè)X1,X2,…,Xn樣本標(biāo)準(zhǔn)差（SampleStandardDeviation）：樣本矩（SampleMoment）16樣本標(biāo)準(zhǔn)差（SampleStandardDeviatio再設(shè)Y1,Y2,…,Yn是來自總體Y的樣本。兩個樣本之間的協(xié)方差：兩個樣本之間的相關(guān)系數(shù)：17再設(shè)Y1,Y2,…,Yn是來自總體Y的樣本。兩個樣本記E(X)=,D(X)=2,E(Xk)=ak

定理1若X的二階矩存在，則有定理2若X的2k階矩存在，則有18記E(X)=,D(X)=2,E(經(jīng)驗(yàn)分布函數(shù)定義

設(shè)X1,X2,…,Xn為總體X的一個樣本，x1,x2,…,xn是樣本的觀察值，把其從小到大重新排列得到 ，定義函數(shù)如下稱其為總體X的經(jīng)驗(yàn)分布函數(shù)。19經(jīng)驗(yàn)分布函數(shù)定義設(shè)X1,X2,…,Xn為總體經(jīng)驗(yàn)分布函數(shù)在點(diǎn)x的函數(shù)值其實(shí)就是觀測值中小于或等于x的頻率，它是一個右連續(xù)的非減函數(shù)，且，因而它具有分布函數(shù)的性質(zhì)，可以將它看成是以等概率取的離散隨機(jī)變量的分布函數(shù)。經(jīng)驗(yàn)分布函數(shù)的圖象是一個非減右連續(xù)的階梯函數(shù)。20經(jīng)驗(yàn)分布函數(shù)在點(diǎn)x對于的每一數(shù)值而言，經(jīng)驗(yàn)分布函數(shù)為樣本的函數(shù)，它是一統(tǒng)計(jì)量，即為一隨機(jī)變量，其可能取值為。事件發(fā)生的概率，由于相互獨(dú)立且有相同的分布函數(shù)，因而它等價(jià)于次獨(dú)立重復(fù)試驗(yàn)的貝努里概型中事件發(fā)生k次而其余次不發(fā)生的概率，即有：其中，它是總體的分布函數(shù)。21對于的每一數(shù)值而言，經(jīng)驗(yàn)分布函數(shù)定理

（格列汶科定理）設(shè)總體的分布函數(shù)為F(x),經(jīng)驗(yàn)分布函數(shù)為Fn*(x)，則對任何實(shí)數(shù)x有22定理（格列汶科定理）設(shè)總體的分布函數(shù)為F(x),經(jīng)驗(yàn)分從上面定理知道，經(jīng)驗(yàn)分布函數(shù)Fn*(x)依概率1收斂于（理論）分布函數(shù)F(x)?？梢岳媒?jīng)驗(yàn)分布函數(shù)構(gòu)造出非參數(shù)統(tǒng)計(jì)推斷中許多常用的統(tǒng)計(jì)量。

23從上面定理知道，經(jīng)驗(yàn)分布函數(shù)Fn*(x)依概率1收斂于（理論§2抽樣分布統(tǒng)計(jì)量的分布稱為抽樣分布，求出統(tǒng)計(jì)量的分布函數(shù)是數(shù)理統(tǒng)計(jì)的基本問題之一。精確分布與小樣本問題極限分布與大樣本問題24§2抽樣分布統(tǒng)計(jì)量的分布稱為抽樣分布，求出統(tǒng)計(jì)量的分布函數(shù)正態(tài)總體的抽樣分布正態(tài)總體樣本的線性函數(shù)的分布

－分布t－分布F－分布25正態(tài)總體的抽樣分布正態(tài)總體樣本的線性函數(shù)的分布25正態(tài)總體樣本線性函數(shù)的分布

定理1設(shè)總體XN(,2),

X1,X2,…,Xn是總體X的容量為n的樣本,令

U=a1X1+a2X2+…+anXn,其中a1,a2,…,an是已知常數(shù)，則U也是正態(tài)隨機(jī)變量，其均值、方差分別為

E(U)=

,D(U)=226正態(tài)總體樣本線性函數(shù)的分布定理1設(shè)總體XN(

定理2設(shè)總體XN(,2),（X1,X2,…,Xn)是總體的容量為n的樣本,A=(aij)是pn階矩陣。記Y=(Y1

,Y2

,…,Yp)’=A(X1

,X2,…,Xn)’,則Y1

,Y2

,…,Yp也是正態(tài)隨機(jī)變量，其均值、方差、協(xié)方差分別為

E(Yi)=,D(Yi)=2

Cov(Yi,Yj)=2

當(dāng)

=0,且A是－nn

階正交矩陣時，Y1

,Y2

,…,Yp也相互獨(dú)立，且服從于N(0,2

)

正態(tài)變換下的不變性27定理2設(shè)總體XN(,2),（X1,X2分布定義設(shè)隨機(jī)變量X1,X2,…,Xn相互獨(dú)立且服從N(0,1)分布，則稱隨機(jī)變量

服從自由度為n的分布，記為28分布定義設(shè)隨機(jī)變量X1,定理1設(shè)隨機(jī)變量，則的密度函數(shù)為:29定理1設(shè)隨機(jī)變量定理2設(shè)

，則E(X)=n,D(X)=2n定理3設(shè)

，且X1與X2相互獨(dú)立，則

定理4(Cochra)設(shè)隨機(jī)變量X1,X2,…,Xn相互獨(dú)立且服從N(0,1)分布，又設(shè)

Q1+Q2+…+Qk=其中Qj是秩為nj的X1,X2,…,Xn的非負(fù)定二次型。則Qj相互獨(dú)立，且分別服從于自由度為nj的

分布的充要條件是:n1+n2+…+nk=n30定理2設(shè)，則E(X引理設(shè)

，則X的特征函數(shù)為(t)=(1-2it)-n/2.定理3的證明：根據(jù)引理及特征函數(shù)性質(zhì)，我們有得E(X)=n，E(X2)=n2+2n，D(X)=2n31引理設(shè)，則

定理5(抽樣分布基本定理)

設(shè)

X1,X2,…,Xn是來自總體N(,2)的一個樣本，則注：1. 的獨(dú)立性僅當(dāng)總體分布為正態(tài)時才成立。當(dāng)總體分布的三階中心矩為零時，可以推出兩者是不相關(guān)的。2.服從精確的正態(tài)分布也只有在總體為正態(tài)分布時才成立。（1）（2）與相互獨(dú)立；32定理5(抽樣分布基本定理)設(shè)X1,X2,…證令，則且，選取正交矩陣A:作為正交變換33證令則，且1.2.，且，則而僅是Z1的線性函數(shù)，與無關(guān)，故

與相互獨(dú)立。34則t－分布定義設(shè)X～N(0,1),

，且X和Y相互獨(dú)立，則稱隨機(jī)變量 所服從的分布是自由度為n的t分布，記為T~t(n).定理1

設(shè)T～t(n),則T的概率密度為35t－分布定義設(shè)X～N(0,1),此定理的證明也同前面類似。先寫出X,Y的密度函數(shù)，然后利用隨機(jī)變量的函數(shù)的分布的知識寫出根號下Y/n的密度函數(shù)，再利用獨(dú)立性寫出（X,根號下Y/n)的聯(lián)合密度函數(shù)，最后利用兩個隨機(jī)變量商的密度函數(shù)給出結(jié)果。36此定理的證明也同前面類似。先寫出X,Y的密度函數(shù)，然后利用定理2

設(shè)X1,X2,…,Xn

是來自總體

的一個樣本，則有 。定理3

設(shè)

X1,X2,…,Xm和Y1,Y2,…,Yn是分別來自總體

和的樣本，且假定兩總體相互獨(dú)立，則有

37定理2設(shè)X1,X2,…,Xn是來自總體定理4設(shè)Tn~t(n)，n=1,2,...,則Tn依分布收斂于N(0,1).38定理4設(shè)Tn~t(n)，n=1,2,...,則Tn依定理5

設(shè)T~t(n),n>1,則對正整數(shù)r(r<n),ETr存在，且定理6

設(shè)T~t(n),若n>2,則E(T)=0,D(T)=n/(n-2).注：t分布只存在階數(shù)小于n的矩.39定理5設(shè)T~t(n),n>1,則對正整數(shù)r(F－分布定義設(shè)隨機(jī)變量X和Y是自由度分別為n1和n2的相互獨(dú)立的

分布隨機(jī)變量，則稱隨機(jī)變量

所服從的分布為自由度是(n1,n2)的F分布，記為F~F(n1,n2).其中n1稱為第一自由度，n2稱為第二自由度。40F－分布定義設(shè)隨機(jī)變量X和Y是自由度分別為n定理1

設(shè)F~F(n1,n2),則F的概率密度為41定理1設(shè)F~F(n1,n2),則F的概率密度為定理2若X/2~,

Y/2~，且相互獨(dú)立，則定理3若X～F(n1,n2),則1/X~F(n2,n1).定理4若X～t(n),則X2~F(1,n).定理5設(shè)X1,X2,…,Xm

和Y1,Y2,…,Yn是分別來自總體

和

的樣本，且假定兩總體相互獨(dú)立，則有42定理2若X/2~,定理7

設(shè)隨機(jī)變量X1,X2,…,Xn相互獨(dú)立且服從，又設(shè)

Q1+Q2+…+Qk=其中Qj是秩為nj的X1,X2,…,Xn

的非負(fù)定二次型。若n1+n2+…+nk=n，則Qj相互獨(dú)立,且定理6設(shè)Xn～F(m,n),

則當(dāng)n時,43定理7設(shè)隨機(jī)變量X1,X2,…,Xn相互獨(dú)立且服從定理分位數(shù)（分位點(diǎn)）

定義1設(shè)隨機(jī)變量X的分布函數(shù)為F(x),0<<1，若x使

P{X>x}=F(x)=,則稱x為此概率分布的(上側(cè))分位點(diǎn)（或分位數(shù)）。44分位數(shù)（分位點(diǎn)）定義1設(shè)隨機(jī)變量X的分布函數(shù)為分位數(shù)（分位點(diǎn)）當(dāng)X~N(0,1),將其上側(cè)分位數(shù)記為u當(dāng)X~，將其上側(cè)分位數(shù)記為當(dāng)X~t(n),將其上側(cè)分位數(shù)記為t(n).當(dāng)X~F(m,n)，將其上側(cè)分位數(shù)記為F

(m,n).上面幾類分位數(shù)的性質(zhì)-u=

u1-,

-t(n)=

t1-(n)

F(m,n)=1/

F1-(n,m)45分位數(shù)（分位點(diǎn)）當(dāng)X~N(0,1),將其上側(cè)分位數(shù)記為u有時也需要上側(cè)分位數(shù)和雙側(cè)分位數(shù)定義2設(shè)X為一隨機(jī)變量,0<<1，若使

P{X}=,則稱為此概率分布的下側(cè)分位數(shù)。 易證為原分布的1-上側(cè)分位數(shù)，即＝x1-定義3

設(shè)X為一隨機(jī)變量,0<<1,若1,2使

P{X1}=/2,P{X>2}=/2,則稱1,2為此概率分布的雙側(cè)分位數(shù)。 易證1=x1-/2

,

2=x/2

46有時也需要上側(cè)分位數(shù)和雙側(cè)分位數(shù)46非正態(tài)總體的抽樣分布例1設(shè)總體,

X1,X2,…,Xn為來自總體X的樣本，求樣本均值的分布。例2設(shè)總體

,X1,X2,…,Xn為來自總體X的樣本，求樣本均值的分布。47非正態(tài)總體的抽樣分布例1設(shè)總體當(dāng)樣本容量n趨于無窮時，若統(tǒng)計(jì)量的分布趨于一定的分布，則稱后者為該統(tǒng)計(jì)量的極限分布。它提供了統(tǒng)計(jì)推斷的一種近似解法。所謂大樣本指樣本容量n>30,最好大于50或100.統(tǒng)計(jì)量的漸近分布非正態(tài)總體大樣本的抽樣分布48當(dāng)樣本容量n趨于無窮時，若統(tǒng)計(jì)量的定義1對于統(tǒng)計(jì)量Tn,若存在常數(shù)序列使得則稱Tn的漸近分布為49定義1對于統(tǒng)計(jì)量Tn,若存在常數(shù)序列使得則稱Tn的漸近分定理1設(shè)總體X的分布函數(shù)為F(x),X1,X2,…,Xn為來自總體X的樣本，則樣本的均值的漸近分布為定理2設(shè)總體X的分布函數(shù)為F(x),X1,X2,…,Xn為來自總體X的樣本，則50定理1設(shè)總體X的分布函數(shù)為F(x),X1,X2,…,X定理3

設(shè)X1,X2,…,Xm與Y1,Y2,…,Yn是來自

與

的兩獨(dú)立樣本，則當(dāng)n趨于無窮m趨于無窮時有51定理3設(shè)X1,X2,…,Xm與Y1,Y2,…,Yn是定義2設(shè)統(tǒng)計(jì)量Tn為某個待估函數(shù)

的估計(jì)量,則稱Tn是

的漸近正態(tài)估計(jì)。若對于每個52定義2設(shè)統(tǒng)計(jì)量Tn為某個待估函數(shù)的§3充分統(tǒng)計(jì)量與完備統(tǒng)計(jì)量統(tǒng)計(jì)量既然是對樣本的加工或壓縮，在這個過程中可能有損失有關(guān)參數(shù)的一部分信息，現(xiàn)在問題是在這個過程中是否存在某些統(tǒng)計(jì)量，既起到壓縮作用，又不損失參數(shù)的信息，這樣的統(tǒng)計(jì)量稱為充分統(tǒng)計(jì)量。53§3充分統(tǒng)計(jì)量與完備統(tǒng)計(jì)量統(tǒng)計(jì)量既然是對樣本例的函數(shù)相同的T值，這樣實(shí)際上是對樣本起到了加工或壓縮的作用。)分布，即正品和次品服從兩點(diǎn)設(shè)總體(X是來自總體的樣本，考慮樣本,實(shí)際上表T數(shù)，對不同觀察值可能對應(yīng)示樣本中所含的次品個54例的函數(shù)相同的T值，這樣實(shí)際上是對樣本起到了加工或壓縮的作用5555定義充分統(tǒng)計(jì)量（SufficientStatistics）一般情況下，利用條件分布證明統(tǒng)計(jì)量的充分性是比較困難的。但存在證明充分性的一個充分必要準(zhǔn)則，就是下面的因子分解定理（Factorizationtheorem）。56定義充分統(tǒng)計(jì)量（SufficientStatistics）定理57定理57

例設(shè)X~B(1,p),試證樣本均值是參數(shù)p的充分統(tǒng)計(jì)量。

例

設(shè)X~N(,1)，未知，試證樣本均值是參數(shù)的充分統(tǒng)計(jì)量。5858注：在因子分解定理中，如果未知參數(shù)是向量，T是隨機(jī)向量，且定理?xiàng)l件成立，則稱T關(guān)于是聯(lián)合充分的。但這時一般不能由T關(guān)于的充分性而推出T的第j個分量關(guān)于的第j個分量是充分的。定理

設(shè)T是的一個充分統(tǒng)計(jì)量，u=g(t)是單值可逆函數(shù)，則U=g(T)也是的充分統(tǒng)計(jì)量。59注：在因子分解定理中，如果未知參數(shù)是向量，T是隨機(jī)向量，且例60例60定義的任一實(shí)值函數(shù)，完備的(Complete)。則稱61定義的任一實(shí)值函數(shù)，完備的(Complete)。則稱61例

證明樣本，62例證明樣本，62欲使上式恒成立，只有左邊多項(xiàng)式的系數(shù)為零，63欲使上式恒成立，只有左邊多項(xiàng)式的系數(shù)為零，63定理一個樣本，其密度函數(shù)（分布率）可表示為其中，如果包含一個k維矩形，且的值域包含一個k維開集，則是充分完備統(tǒng)計(jì)量。

64定理一個樣本，其密度函數(shù)（分布率）可表示為其中例解對數(shù)分布密度函數(shù)為65例解對數(shù)分布密度函數(shù)為65因此樣本的聯(lián)合密度為這樣66因此樣本的聯(lián)合密度為這樣66次序統(tǒng)計(jì)量及其分布

定義

設(shè)是取自總體X的一個樣本，被稱為該樣本的第i個次序統(tǒng)計(jì)量，它是樣本的滿足如下條件的函數(shù)：每當(dāng)樣本得到一組觀測值時，將它們從小到大排列為，第i個值是的觀測值，稱為該樣本的次序統(tǒng)計(jì)量；稱為最小次序統(tǒng)計(jì)量，稱為最大次序統(tǒng)計(jì)量。67次序統(tǒng)計(jì)量及其分布定義設(shè)說明即68說明即68

定義樣本最大次序統(tǒng)計(jì)量與樣本最小次序統(tǒng)計(jì)量之差稱為樣本極差，常用表示。若樣本容量為n，則樣本極差為。它表示樣本取值范圍的大小，也反映了總體取值分散與集中的程度，而且計(jì)算方便。

定義

樣本按大小次序排列后處于中間位置上的稱為樣本中位數(shù)，常用表示。設(shè)是來自某總體的一個樣本，其次序統(tǒng)計(jì)量為，則69定義樣本最大次序統(tǒng)計(jì)量與樣本最小次序統(tǒng)計(jì)量之差

定義設(shè)是來自某總體的一個樣本，其次序統(tǒng)計(jì)量為，樣本的p分位數(shù)

是指由下式?jīng)Q定的統(tǒng)計(jì)量：式中的是不超過的最大整數(shù)。(若總體X的分布函數(shù)為F(x)，我們稱滿足(0＜p＜1）的ap為的分位數(shù)。）70定義設(shè)定理（3）第i個次序統(tǒng)計(jì)量具有密度：71定理（3）第i個次序統(tǒng)計(jì)量具有密度：7172727373任意兩個次序統(tǒng)計(jì)量,其聯(lián)合密度為：74任意兩個次序統(tǒng)計(jì)量,其聯(lián)合密度為：若i=1，j=n，則得到最小次序統(tǒng)計(jì)量與最大次序統(tǒng)計(jì)量的聯(lián)合密度函數(shù)：

由與的聯(lián)合密度函數(shù)，可求出極差統(tǒng)計(jì)量的分布。75若i=1，j=n，則得到最小次序統(tǒng)計(jì)量與次序統(tǒng)計(jì)量的聯(lián)合密度函數(shù)：76次序統(tǒng)計(jì)量第二章

統(tǒng)計(jì)量與抽樣分布77第二章

統(tǒng)計(jì)量與抽樣分布1§1.基本概念總體與個體抽樣、簡單隨機(jī)抽樣樣本、簡單隨機(jī)樣本與樣本空間分布族、參數(shù)空間統(tǒng)計(jì)量與樣本矩78§1.基本概念總體與個體2總體與個體在數(shù)理統(tǒng)計(jì)中，把研究對象的全體稱為總體(Population)，把組成總體的每一個單元稱為個體在實(shí)際中，總體通常是某個隨機(jī)變量取值的全體，其中每一個個體都是一個實(shí)數(shù)以后我們把總體和數(shù)量指標(biāo)X可能取值的全體組成的集合等同起來。隨機(jī)變量X的分布就是總體的分布79總體與個體在數(shù)理統(tǒng)計(jì)中，把研究對象的全體稱為總體(Popul抽樣與簡單隨機(jī)抽樣從一總體X中隨機(jī)抽取n個個體x1,x2,…,xn，其中每個xi是一次抽樣觀察結(jié)果，我們稱x1,x2,…,xn為總體X的一組樣本（觀察）值。這里的xi具有二重性：1.對每一次抽樣結(jié)果，它是完全確定的一組數(shù)；2.由于抽樣的隨機(jī)性，每一個xi都可以看作某一個隨機(jī)變量Xi(i=1,2,…,n)所取的觀察值。我們稱X1,X2,…,Xn是容量為n的樣本（Sample）。80抽樣與簡單隨機(jī)抽樣從一總體X中隨機(jī)抽取n個個體x1,抽樣與簡單隨機(jī)抽樣

定義：設(shè)X1,X2,…,Xn為來自總體X的容量為n的樣本，如果隨機(jī)變量X1,X2,…,Xn相互獨(dú)立且與總體有相同的分布，則稱這樣的樣本為總體X的簡單隨機(jī)樣本，簡稱樣本。這樣獲得簡單隨機(jī)樣本的方法稱為簡單隨機(jī)抽樣。抽樣方式：隨機(jī)抽樣,分層抽樣,等距抽樣,整群抽樣,多階段抽樣以后如不特別聲明，所提到的樣本都是簡單隨機(jī)樣本。81抽樣與簡單隨機(jī)抽樣定義：設(shè)X1,X2,…,Xn為綜上所述，所謂總體就是一個隨機(jī)變量X

，所謂樣本（指簡單隨機(jī)樣本）就是n個相互獨(dú)立且與總體X有相同的分布的隨機(jī)變量X1,X2,…,Xn，并稱X1,X2,…,Xn

為來自于總體X的樣本.顯然，若總體具有分布函數(shù)F(x),則X1,X2,…,Xn的聯(lián)合分布函數(shù)（樣本聯(lián)合分布）為：82綜上所述，所謂總體就是一個隨機(jī)變量X，所謂樣本（指簡單隨抽樣與簡單隨機(jī)抽樣以后對樣本X1,X2,…,Xn

作兩種理解：在理論推導(dǎo)中把其作為隨機(jī)向量在用理論推導(dǎo)所得出的結(jié)論進(jìn)行具體推斷時，作為實(shí)數(shù)向量，代入具體的觀察值進(jìn)行計(jì)算。83抽樣與簡單隨機(jī)抽樣以后對樣本X1,X2,…,Xn作兩種樣本空間

定義：樣本X1,X2,…,Xn所有可能取值的全體稱為樣本空間（SampleSpace），或稱為子樣空間。樣本空間為n維歐氏空間或它的一個子集。一個樣本觀察值（x1,x2,…,xn)是樣本空間中的一個點(diǎn)。84樣本空間定義：樣本X1,X2,…,Xn所有可能取分布族與參數(shù)空間在概率論中，總假定所用隨機(jī)變量的分布函數(shù)已知，而在數(shù)理統(tǒng)計(jì)中，認(rèn)為其是未知的，但總假定其是某一個分布族的成員。一般可憑經(jīng)驗(yàn)，直方圖或經(jīng)驗(yàn)分布函數(shù)來對總體給出假定。85分布族與參數(shù)空間在概率論中，總假定所用隨機(jī)變量的分布函數(shù)已知分布族與參數(shù)空間如果對總體了解甚少，那么總體所在的分布族可設(shè)為{F(x):F(x)為分布函數(shù)，其它條件}如果知道總體的分布形式，只是不知道具體參數(shù)，那么總體所在的分布族可設(shè)為，這里為總體的分布函數(shù)中的未知參數(shù)(可以是向量)，未知參數(shù)的全部可容許值組成的集合稱為參數(shù)空間，記為稱為統(tǒng)計(jì)模型(StatisticalModel)。86分布族與參數(shù)空間如果對總體了解甚少，那么總體所在的分布族可設(shè)分布族與參數(shù)空間

定義：若一個分布族中只含有有限個未知參數(shù)，或參數(shù)空間為歐氏空間的一部分，則稱此分布族為參數(shù)分布族。凡不是參數(shù)分布族的分布族稱為非參數(shù)分布族。由參數(shù)分布族出發(fā)所得到的統(tǒng)計(jì)方法稱為參數(shù)統(tǒng)計(jì)方法；由非參數(shù)分布族出發(fā)所得到的統(tǒng)計(jì)方法稱為非參數(shù)統(tǒng)計(jì)方法。這兩類分布族在研究方法上有很大差異。87分布族與參數(shù)空間定義：若一個分布族中只含有有限個未知統(tǒng)計(jì)量與樣本矩我們對某一個問題歸納出所在的分布族，并從總體中抽出了一個樣本后，就要進(jìn)行統(tǒng)計(jì)推斷，即判斷這個樣本是來自總體分布族中哪一個基本的分布.雖然樣本含有總體的信息，但仍比較分散。為了使統(tǒng)計(jì)推斷成為可能，首先必須把分散在樣本中的信息集中起來，用樣本的某種函數(shù)表示，這種函數(shù)稱為統(tǒng)計(jì)量(Statistic)。88統(tǒng)計(jì)量與樣本矩我們對某一個問題歸納出所在的分布族，并從總體中統(tǒng)計(jì)量與樣本矩定義：設(shè)X1,X2,…,Xn為總體X的一個樣本，若樣本的實(shí)值連續(xù)（可擴(kuò)大為可測）函數(shù)T＝T(X1,X2,…,Xn)不依賴于可能含于總體中的未知參數(shù)，則稱T為此分布族的一個統(tǒng)計(jì)量(Statistic)。往往從直觀或某些一般性原則考慮提出統(tǒng)計(jì)量，再考慮它是否在某種意義下較好地集中了樣本中與所討論問題有關(guān)的信息量。89統(tǒng)計(jì)量與樣本矩定義：設(shè)X1,X2,…,Xn為總體X的一個 例如，X~N(,2),其中已知，2未知。而(X1，X2)是從X中抽取的一個樣本，則X1＋X2，是統(tǒng)計(jì)量，但（X1－）/就不是統(tǒng)計(jì)量了。90 例如，X~N(,2),其中已知，2未知。樣本矩（SampleMoment）設(shè)X1,X2,…,Xn

是來自于總體X的一個樣本樣本均值（SampleMean）：樣本方差（SampleVariance）：91樣本矩（SampleMoment）設(shè)X1,X2,…,Xn樣本標(biāo)準(zhǔn)差（SampleStandardDeviation）：樣本矩（SampleMoment）92樣本標(biāo)準(zhǔn)差（SampleStandardDeviatio再設(shè)Y1,Y2,…,Yn是來自總體Y的樣本。兩個樣本之間的協(xié)方差：兩個樣本之間的相關(guān)系數(shù)：93再設(shè)Y1,Y2,…,Yn是來自總體Y的樣本。兩個樣本記E(X)=,D(X)=2,E(Xk)=ak

定理1若X的二階矩存在，則有定理2若X的2k階矩存在，則有94記E(X)=,D(X)=2,E(經(jīng)驗(yàn)分布函數(shù)定義

設(shè)X1,X2,…,Xn為總體X的一個樣本，x1,x2,…,xn是樣本的觀察值，把其從小到大重新排列得到 ，定義函數(shù)如下稱其為總體X的經(jīng)驗(yàn)分布函數(shù)。95經(jīng)驗(yàn)分布函數(shù)定義設(shè)X1,X2,…,Xn為總體經(jīng)驗(yàn)分布函數(shù)在點(diǎn)x的函數(shù)值其實(shí)就是觀測值中小于或等于x的頻率，它是一個右連續(xù)的非減函數(shù)，且，因而它具有分布函數(shù)的性質(zhì)，可以將它看成是以等概率取的離散隨機(jī)變量的分布函數(shù)。經(jīng)驗(yàn)分布函數(shù)的圖象是一個非減右連續(xù)的階梯函數(shù)。96經(jīng)驗(yàn)分布函數(shù)在點(diǎn)x對于的每一數(shù)值而言，經(jīng)驗(yàn)分布函數(shù)為樣本的函數(shù)，它是一統(tǒng)計(jì)量，即為一隨機(jī)變量，其可能取值為。事件發(fā)生的概率，由于相互獨(dú)立且有相同的分布函數(shù)，因而它等價(jià)于次獨(dú)立重復(fù)試驗(yàn)的貝努里概型中事件發(fā)生k次而其余次不發(fā)生的概率，即有：其中，它是總體的分布函數(shù)。97對于的每一數(shù)值而言，經(jīng)驗(yàn)分布函數(shù)定理

（格列汶科定理）設(shè)總體的分布函數(shù)為F(x),經(jīng)驗(yàn)分布函數(shù)為Fn*(x)，則對任何實(shí)數(shù)x有98定理（格列汶科定理）設(shè)總體的分布函數(shù)為F(x),經(jīng)驗(yàn)分從上面定理知道，經(jīng)驗(yàn)分布函數(shù)Fn*(x)依概率1收斂于（理論）分布函數(shù)F(x)。可以利用經(jīng)驗(yàn)分布函數(shù)構(gòu)造出非參數(shù)統(tǒng)計(jì)推斷中許多常用的統(tǒng)計(jì)量。

99從上面定理知道，經(jīng)驗(yàn)分布函數(shù)Fn*(x)依概率1收斂于（理論§2抽樣分布統(tǒng)計(jì)量的分布稱為抽樣分布，求出統(tǒng)計(jì)量的分布函數(shù)是數(shù)理統(tǒng)計(jì)的基本問題之一。精確分布與小樣本問題極限分布與大樣本問題100§2抽樣分布統(tǒng)計(jì)量的分布稱為抽樣分布，求出統(tǒng)計(jì)量的分布函數(shù)正態(tài)總體的抽樣分布正態(tài)總體樣本的線性函數(shù)的分布

－分布t－分布F－分布101正態(tài)總體的抽樣分布正態(tài)總體樣本的線性函數(shù)的分布25正態(tài)總體樣本線性函數(shù)的分布

定理1設(shè)總體XN(,2),

X1,X2,…,Xn是總體X的容量為n的樣本,令

U=a1X1+a2X2+…+anXn,其中a1,a2,…,an是已知常數(shù)，則U也是正態(tài)隨機(jī)變量，其均值、方差分別為

E(U)=

,D(U)=2102正態(tài)總體樣本線性函數(shù)的分布定理1設(shè)總體XN(

定理2設(shè)總體XN(,2),（X1,X2,…,Xn)是總體的容量為n的樣本,A=(aij)是pn階矩陣。記Y=(Y1

,Y2

,…,Yp)’=A(X1

,X2,…,Xn)’,則Y1

,Y2

,…,Yp也是正態(tài)隨機(jī)變量，其均值、方差、協(xié)方差分別為

E(Yi)=,D(Yi)=2

Cov(Yi,Yj)=2

當(dāng)

=0,且A是－nn

階正交矩陣時，Y1

,Y2

,…,Yp也相互獨(dú)立，且服從于N(0,2

)

正態(tài)變換下的不變性103定理2設(shè)總體XN(,2),（X1,X2分布定義設(shè)隨機(jī)變量X1,X2,…,Xn相互獨(dú)立且服從N(0,1)分布，則稱隨機(jī)變量

服從自由度為n的分布，記為104分布定義設(shè)隨機(jī)變量X1,定理1設(shè)隨機(jī)變量，則的密度函數(shù)為:105定理1設(shè)隨機(jī)變量定理2設(shè)

，則E(X)=n,D(X)=2n定理3設(shè)

，且X1與X2相互獨(dú)立，則

定理4(Cochra)設(shè)隨機(jī)變量X1,X2,…,Xn相互獨(dú)立且服從N(0,1)分布，又設(shè)

Q1+Q2+…+Qk=其中Qj是秩為nj的X1,X2,…,Xn的非負(fù)定二次型。則Qj相互獨(dú)立，且分別服從于自由度為nj的

分布的充要條件是:n1+n2+…+nk=n106定理2設(shè)，則E(X引理設(shè)

，則X的特征函數(shù)為(t)=(1-2it)-n/2.定理3的證明：根據(jù)引理及特征函數(shù)性質(zhì)，我們有得E(X)=n，E(X2)=n2+2n，D(X)=2n107引理設(shè)，則

定理5(抽樣分布基本定理)

設(shè)

X1,X2,…,Xn是來自總體N(,2)的一個樣本，則注：1. 的獨(dú)立性僅當(dāng)總體分布為正態(tài)時才成立。當(dāng)總體分布的三階中心矩為零時，可以推出兩者是不相關(guān)的。2.服從精確的正態(tài)分布也只有在總體為正態(tài)分布時才成立。（1）（2）與相互獨(dú)立；108定理5(抽樣分布基本定理)設(shè)X1,X2,…證令，則且，選取正交矩陣A:作為正交變換109證令則，且1.2.，且，則而僅是Z1的線性函數(shù)，與無關(guān)，故

與相互獨(dú)立。110則t－分布定義設(shè)X～N(0,1),

，且X和Y相互獨(dú)立，則稱隨機(jī)變量 所服從的分布是自由度為n的t分布，記為T~t(n).定理1

設(shè)T～t(n),則T的概率密度為111t－分布定義設(shè)X～N(0,1),此定理的證明也同前面類似。先寫出X,Y的密度函數(shù)，然后利用隨機(jī)變量的函數(shù)的分布的知識寫出根號下Y/n的密度函數(shù)，再利用獨(dú)立性寫出（X,根號下Y/n)的聯(lián)合密度函數(shù)，最后利用兩個隨機(jī)變量商的密度函數(shù)給出結(jié)果。112此定理的證明也同前面類似。先寫出X,Y的密度函數(shù)，然后利用定理2

設(shè)X1,X2,…,Xn

是來自總體

的一個樣本，則有 。定理3

設(shè)

X1,X2,…,Xm和Y1,Y2,…,Yn是分別來自總體

和的樣本，且假定兩總體相互獨(dú)立，則有

113定理2設(shè)X1,X2,…,Xn是來自總體定理4設(shè)Tn~t(n)，n=1,2,...,則Tn依分布收斂于N(0,1).114定理4設(shè)Tn~t(n)，n=1,2,...,則Tn依定理5

設(shè)T~t(n),n>1,則對正整數(shù)r(r<n),ETr存在，且定理6

設(shè)T~t(n),若n>2,則E(T)=0,D(T)=n/(n-2).注：t分布只存在階數(shù)小于n的矩.115定理5設(shè)T~t(n),n>1,則對正整數(shù)r(F－分布定義設(shè)隨機(jī)變量X和Y是自由度分別為n1和n2的相互獨(dú)立的

分布隨機(jī)變量，則稱隨機(jī)變量

所服從的分布為自由度是(n1,n2)的F分布，記為F~F(n1,n2).其中n1稱為第一自由度，n2稱為第二自由度。116F－分布定義設(shè)隨機(jī)變量X和Y是自由度分別為n定理1

設(shè)F~F(n1,n2),則F的概率密度為117定理1設(shè)F~F(n1,n2),則F的概率密度為定理2若X/2~,

Y/2~，且相互獨(dú)立，則定理3若X～F(n1,n2),則1/X~F(n2,n1).定理4若X～t(n),則X2~F(1,n).定理5設(shè)X1,X2,…,Xm

和Y1,Y2,…,Yn是分別來自總體

和

的樣本，且假定兩總體相互獨(dú)立，則有118定理2若X/2~,定理7

設(shè)隨機(jī)變量X1,X2,…,Xn相互獨(dú)立且服從，又設(shè)

Q1+Q2+…+Qk=其中Qj是秩為nj的X1,X2,…,Xn

的非負(fù)定二次型。若n1+n2+…+nk=n，則Qj相互獨(dú)立,且定理6設(shè)Xn～F(m,n),

則當(dāng)n時,119定理7設(shè)隨機(jī)變量X1,X2,…,Xn相互獨(dú)立且服從定理分位數(shù)（分位點(diǎn)）

定義1設(shè)隨機(jī)變量X的分布函數(shù)為F(x),0<<1，若x使

P{X>x}=F(x)=,則稱x為此概率分布的(上側(cè))分位點(diǎn)（或分位數(shù)）。120分位數(shù)（分位點(diǎn)）定義1設(shè)隨機(jī)變量X的分布函數(shù)為分位數(shù)（分位點(diǎn)）當(dāng)X~N(0,1),將其上側(cè)分位數(shù)記為u當(dāng)X~，將其上側(cè)分位數(shù)記為當(dāng)X~t(n),將其上側(cè)分位數(shù)記為t(n).當(dāng)X~F(m,n)，將其上側(cè)分位數(shù)記為F

(m,n).上面幾類分位數(shù)的性質(zhì)-u=

u1-,

-t(n)=

t1-(n)

F(m,n)=1/

F1-(n,m)121分位數(shù)（分位點(diǎn)）當(dāng)X~N(0,1),將其上側(cè)分位數(shù)記為u有時也需要上側(cè)分位數(shù)和雙側(cè)分位數(shù)定義2設(shè)X為一隨機(jī)變量,0<<1，若使

P{X}=,則稱為此概率分布的下側(cè)分位數(shù)。 易證為原分布的1-上側(cè)分位數(shù)，即＝x1-定義3

設(shè)X為一隨機(jī)變量,0<<1,若1,2使

P{X1}=/2,P{X>2}=/2,則稱1,2為此概率分布的雙側(cè)分位數(shù)。 易證1=x1-/2

,

2=x/2

122有時也需要上側(cè)分位數(shù)和雙側(cè)分位數(shù)46非正態(tài)總體的抽樣分布例1設(shè)總體,

X1,X2,…,Xn為來自總體X的樣本，求樣本均值的分布。例2設(shè)總體

,X1,X2,…,Xn為來自總體X的樣本，求樣本均值的分布。123非正態(tài)總體的抽樣分布例1設(shè)總體當(dāng)樣本容量n趨于無窮時，若統(tǒng)計(jì)量的分布趨于一定的分布，則稱后者為該統(tǒng)計(jì)量的極限分布。它提供了統(tǒng)計(jì)推斷的一種近似解法。所謂大樣本指樣本容量n>30,最好大于50或100.統(tǒng)計(jì)量的漸近分布非正態(tài)總體大樣本的抽樣分布124當(dāng)樣本容量n趨于無窮時，若統(tǒng)計(jì)量的定義1對于統(tǒng)計(jì)量Tn,若存在常數(shù)序列使得則稱Tn的漸近分布為125定義1對于統(tǒng)計(jì)量Tn,若存在常數(shù)序列使得則稱Tn的漸近分定理1設(shè)總體X的分布函數(shù)為F(x),X1,X2,…,Xn為來自總體X的樣本，則樣本的均值的漸近分布為定理2設(shè)總體X的分布函數(shù)為F(x),X1,X2,…,Xn為來自總體X的樣本，則126定理1設(shè)總體X的分布函數(shù)為F(x),X1,X2,…,X定理3

設(shè)X1,X2,…,Xm與Y1,Y2,…,Yn是來自

與

的兩獨(dú)立樣本，則當(dāng)n趨于無窮m趨于無窮時有127定理3設(shè)X1,X2,…,Xm與Y1,Y2,…,Yn是定義2設(shè)統(tǒng)計(jì)量Tn為某個待估函數(shù)

的估計(jì)量,則稱Tn是

的漸近正態(tài)估計(jì)。若對于每個128定義2設(shè)統(tǒng)計(jì)量Tn為某個待估函數(shù)的§3充分統(tǒng)計(jì)量與完備統(tǒng)計(jì)量統(tǒng)計(jì)量既然是對樣本的加工或壓縮，在這個過程中可能有損失有關(guān)參數(shù)的一部分信息，現(xiàn)在問題是在這個過程中是否存在某些統(tǒng)計(jì)量，既起