概率與數(shù)理統(tǒng)計基礎(chǔ).ppt

計量經(jīng)濟(jì)學(xué)數(shù)學(xué)基礎(chǔ),概率論與數(shù)理統(tǒng)計,概率論與數(shù)理統(tǒng)計是研究和揭示隨機(jī)現(xiàn)象統(tǒng)計規(guī)律性的數(shù)學(xué)分支。主要包括：隨機(jī)事件和概率、隨機(jī)變量的分布和數(shù)字特征、中心極限定理和大數(shù)定理、抽樣分布、統(tǒng)計估計、假設(shè)檢驗、回歸分析等。,主要內(nèi)容,1.基本概念 2.對總體的描述隨機(jī)變量的數(shù)字特征 3.對樣本的描述樣本分布的數(shù)字特征 4.隨機(jī)變量的分布 5.通過樣本，估計總體估計量的特征 6.通過樣本，估計總體估計方法 7.通過樣本，估計總體假設(shè)檢驗,第一節(jié) 基本概念,總體和個體 樣本和樣本容量 隨機(jī)變量 統(tǒng)計量,1.1總體、個體、樣本和樣本容量,研究對象的全體稱為總體或母體，通常指研究對象的某項數(shù)量指標(biāo)；組成總體的每個基本單位稱為個體。 從總體X中抽出若干個個體稱為樣本，一般記為(X1,X2,Xn)。n稱為樣本容量。而對這n個個體的一次具體的觀察結(jié)果(x1,x2,xn)是完全確定的一組數(shù)值，但它又隨著每次抽樣觀察而改變。(x1,x2,xn)稱為樣本觀察值。 注意：抽樣是按隨機(jī)原則選取的，即總體中每個 個體有同樣的機(jī)會被選入樣本。,當(dāng)人們在一定條件下對某一現(xiàn)象加以觀察時，觀察到的結(jié)果是多個可能結(jié)果中的某一個，且在每次觀察前都無法預(yù)知觀測結(jié)果到底是哪一個，即結(jié)果的出現(xiàn)呈現(xiàn)出偶然性，但是所有可能出現(xiàn)的結(jié)果是知道的。 隨機(jī)現(xiàn)象具有偶然性一面，也有必然性一面。偶然性一面表現(xiàn)在“對隨機(jī)現(xiàn)象做一次觀測時，觀測結(jié)果具有偶然性(不可預(yù)知性)” ；必然性一面表現(xiàn)在“對隨機(jī)現(xiàn)象進(jìn)行大量重復(fù)觀測，觀測結(jié)果有一定的規(guī)律性，亦即統(tǒng)計規(guī)律性”。,具有不確定性(或隨機(jī)性、偶然性)的現(xiàn)象稱為隨機(jī)現(xiàn)象。,特點：,隨機(jī)現(xiàn)象,定義：,隨機(jī)試驗舉例： E1: 擲一顆骰子，觀察所擲的點數(shù)是幾； E2: 觀察某城市某個月內(nèi)交通事故發(fā)生的次數(shù)； E3: 對某只燈泡做試驗,觀察其使用壽命； E4: 對某只燈泡做試驗,觀察其使用壽命是否小 于200小時。,在實際問題中，隨機(jī)試驗的結(jié)果可以用數(shù)量來表示，由此就產(chǎn)生了隨機(jī)變量的概念,有些試驗結(jié)果本身與數(shù)值有關(guān)（本身就是一個數(shù)）.,例如，擲一顆骰子面上出現(xiàn)的點數(shù)；,七月份濟(jì)南的最高溫度；,每天從濟(jì)南下火車的人數(shù)；,昆蟲的產(chǎn)卵數(shù)；,它隨試驗結(jié)果的不同而取不同的值，因而在試驗之前只知道它可能 取值的范圍，而不能預(yù)先肯定它將取哪個值。由于試驗結(jié)果的出現(xiàn) 具有一定的概率，于是這種實值函數(shù)取每個值和每個確定范圍內(nèi)的 值也有一定的概率。,1.2 隨機(jī)變量,根據(jù)概率不同而取不同數(shù)值的變量稱為隨機(jī)變量。 一個隨機(jī)變量具有這樣的特性：可以取許多不同的數(shù)值，取每一個數(shù)值都有相應(yīng)的概率p,0 p1。,總體、隨機(jī)變量、樣本間的聯(lián)系,樣本就是一個隨機(jī)變量，所謂“樣本容量為n的樣本”就是n個相互獨立且與總體有相同分布的隨機(jī)變量X1,X2,Xn 每一次具體抽樣所得的數(shù)據(jù)，就是n元隨機(jī)變量的一個觀察值，記為X1,X2,Xn 樣本是總體的一部分?？傮w一般是未知的。一般要通過樣本才能部分地推知總體的情況。,1.3 統(tǒng)計量,由樣本值去推斷總體情況，需要對樣本值進(jìn)行“加工”，這就要構(gòu)造一些樣本的函數(shù)，它把樣本中所含的（某一方面）的信息集中起來。設(shè)(x1,x2,xn)為一組樣本觀察值，函數(shù)y=f (x1,x2,xn)若不含有未知參數(shù)，這種不含任何未知參數(shù)的樣本的函數(shù)稱為統(tǒng)計量。它是完全由樣本決定的量。 統(tǒng)計量既然是依賴于樣本的，而后者又是隨機(jī)變量，故統(tǒng)計量也是隨機(jī)變量。 幾個常見統(tǒng)計量,樣本均值：,樣本方差：,第二節(jié) 對總體的描述 隨機(jī)變量的數(shù)字特征,2.1 數(shù)學(xué)期望 2.2 方差 2.3協(xié)方差,2.1.1 數(shù)學(xué)期望：實際上就是一個加權(quán)平均值，描述隨機(jī)變量的集中程度。,數(shù)學(xué)期望描述隨機(jī)變量（總體）的一般水平。 定義1離散型隨機(jī)變量數(shù)學(xué)期望的定義 假定有一個離散型隨機(jī)變量X有n個不同的可能取值x1,x2,xn，而p1,p2,pn是X取這些值相應(yīng)的概率，則這個隨機(jī)變量X的數(shù)學(xué)期望定義如下：,定義2連續(xù)型隨機(jī)變量數(shù)學(xué)期望的定義,2.1.2數(shù)學(xué)期望的性質(zhì)：,（1）如果a、b為常數(shù)，則 E(aX+b)=aE(X)+b （2）如果X、Y為兩個隨機(jī)變量，則 E(X+Y)=E(X)+E(Y) （3）如果g(x)和f(x)分別為X的兩個函數(shù)，則 Eg(X)+f(X)=Eg(X)+Ef(X) （4）如果X、Y是兩個獨立的隨機(jī)變量，則 E(X.Y)=E(X).E(Y),2.2.1方差的定義,離均差的定義 若隨機(jī)變量X的數(shù)學(xué)期望E(X)存在，稱X- E(X)為隨機(jī)變量X的離均差。 方差的定義 離均差的平方的數(shù)學(xué)期望。設(shè)X是隨機(jī)變量，若EX-EX2存在，則稱EX-EX2為隨機(jī)變量X的方差，記為D(X)或Var(X)，即 D(X)=EX-EX2 方差的算術(shù)平方根稱為隨機(jī)變量X的均方差或標(biāo)準(zhǔn)差。,2.2.2方差的意義,離均差和方差都是用來描述隨機(jī)變量離散程度的，即描述x對于它的數(shù)學(xué)期望的偏離程度，這種偏差越大，表明變量的取值越分散。 一般情況下，常用方差來描述離散程度。因為離均差的和為零，無法體現(xiàn)隨機(jī)變量的總離散程度。事實上正偏差大或負(fù)偏差大，同樣是離散程度大。方差中由于有了平方，從而消除了正負(fù)號的影響，并易于加總，也易于強(qiáng)調(diào)大的偏離程度的突出作用。,2.2.3方差的性質(zhì)：,（1）Var(c )=0 （2）Var(c+x)=Var(x ) （3）Var(cx)=c2Var(x) （4） Var(x-y)= Var(x )+Var(y )-2cov(x,y) Var(x+y)= Var(x )+Var(y )+2cov(x,y) （5）Var(a+bx)=b2Var(x) （6）a,b為常數(shù)，x,y為兩個相互獨立的隨機(jī)變量，則Var(ax+by)=a2Var(x)+b2Var(y) （7）Var(x)=E(x2)-(E(x)2,2.3協(xié)方差 Cov(X,Y)=E(X-EX)(Y-EY) Cov(X,Y)=E(XY)- E(X) E(Y) （積的期望減期望的積）,第三節(jié) 對樣本的描述 樣本分布的數(shù)字特征,樣本均值 反映樣本集中程度 樣本方差 樣本標(biāo)準(zhǔn)差,描述樣本離散程度,第四節(jié) 隨機(jī)變量的分布,4.1 正態(tài)分布 4.2 t分布 4.3 卡方分布 4.4 F分布,4.1 正態(tài)分布,正態(tài)分布圖形,標(biāo)準(zhǔn)正態(tài)分布,根據(jù)以上定理，可以將任何一個正態(tài)分布化為標(biāo)準(zhǔn)正態(tài)分布，即將其標(biāo)準(zhǔn)化。,標(biāo)準(zhǔn)正態(tài)分布圖形,標(biāo)準(zhǔn)正態(tài)分布的分位數(shù)(臨界值),在實際問題中， 常取0.1、0.05、0.01.,z0.05 =1.645 z0.01 =2.326 z0.01/2=2.575 z0.05/2=1.96,4.2t分布,定理1：若XN(0, 1)，Y2(n)，X與Y獨立，則,定理2：設(shè)(X1,X2,Xn)是正態(tài)總體N(,2)的簡單隨機(jī)樣本，則,性質(zhì): (1) f(x)關(guān)于x=0(縱軸)對稱。 (2) f(x)的極限為N(0，1)的密度函數(shù)，即,當(dāng)n較大時， t分布近似于標(biāo)準(zhǔn)正態(tài)分布.,若隨機(jī)變量X的概率密度為,那么稱X服從自由度為n的 分布 記作：,4.3 分布,2分布的密度函數(shù)的圖形如右圖.,應(yīng)用中心極限定理可得，,的分布近似正態(tài)分布N(0,1).,則可以求得， E(X)=n, Var(X)=2n,若,若X1,X2,Xn相互獨立，且XiN(0,1) ，則,性質(zhì)1：,性質(zhì)2：,則稱X服從自由度為n1和n2的F分布。 n1稱第一自由度， n2稱第二自由度。,定義：若隨機(jī)變量 X的密度函數(shù)為,4.4 F分布,定理1 若X2(n1)，Y2(n2) ，X,Y獨立，則,*定理2：設(shè)(X1,X2,Xn1)是N(1,12)的樣本，(Y1,Y2,Yn2)是N(2,22)的樣本，且相互獨立，S12，S22是樣本方差，則,分位數(shù)問題：,第五節(jié) 通過樣本，估計總體（一） 估計量的特征,5.1 無偏性 5.2 有效性 5.3 一致性,所謂估計量的特性指的是衡量一個統(tǒng)計量 用以估計總體參數(shù)的好壞標(biāo)準(zhǔn)。,5.1 無偏性,估計量,的觀察或試驗的結(jié)果，估計值可能較真實的參數(shù)值偏大或偏小，而一個好的估計量不應(yīng)總是偏大或偏小，在多次試驗中所得的估計量的平均值應(yīng)與真實參數(shù)吻合，這就是無偏性所要求的。,是一個隨機(jī)變量，對一次具體,定義,是的一個估計量，如果,則稱,是的一個無偏估計。,如果,不是無偏的， ，就稱該估計是有偏的。,稱,為,的偏差。,5.2 有效性（最小方差性、最優(yōu)性）,總體某個參數(shù) 的無偏估計量往往不只 一個，而且無偏性僅僅表明 的所有可能的取值按概率平均（均值）等于 ， 它的可能取值可能大部分與 相差很大。為保證 的取值能集中于 附近，必須 要求 的方差越小越好。所以，提出有效性標(biāo)準(zhǔn)。,有效性（最小方差性、最優(yōu)性）定義,對于參數(shù)的無偏估計量，其取值應(yīng)在真值附近波動，我們希望它與真值之間的偏差越小越好。,定義 設(shè),均為未知參數(shù)的無偏估計量，若,則稱,比,有效。,在的所有無偏估計量中，若,估計量，則稱,是具有最小方差的無偏,顯然也是最有效的無偏估計量，簡稱有效估計量。,為最小方差無偏估計量。,無偏有效估計量的意義,一個無偏有效估計量的取值在可能范圍內(nèi)最密集于真值附近。換言之，它以最大的概率保證估計量的取值在真值附近擺動。,第六節(jié) 通過樣本，估計總體（二） 估計方法,點估計普通最小二乘法 所謂點估計就是給出被估計參數(shù)的一個特定的估計值。 區(qū)間估計,區(qū)間估計的概念,所謂區(qū)間估計就是以一定的可靠性給出被估計參數(shù)的一個可能的取值范圍。 具體做法是找出兩個統(tǒng)計量 與 ，使 稱為置信區(qū)間， 稱為置信系數(shù)（置信度）， 稱為冒險率（測不準(zhǔn)的概率），一般取5% 或1%。,對區(qū)間估計的形象比喻,我們經(jīng)常說某甲的成績“大概80分左右”，可以看成一個區(qū)間估計問題。（某甲的成績 為被估計的參數(shù)）,下限,上限,大概80分左右,置信系數(shù)（大概準(zhǔn)確的程度）,冒險率（顯著性水平）,（）,區(qū)間估計的步驟,找一個含有該參數(shù)的統(tǒng)計量； 構(gòu)造一個概率為 的事件； 通過該事件的概率解出該參數(shù)的區(qū)間估計,關(guān)于區(qū)間估計的說明,在進(jìn)行區(qū)間估計時，應(yīng)針對不同的情況，采用不同的方法。例如分清分布的形式是已知還是未知；是大樣本還是小樣本；小樣本又得分清是已知方差還是未知方差。充分利用分布信息可以得到較精確的估計。 一般地， 越大置信度越低，反之則反。,第六節(jié) 通過樣本，估計總體（三） 假設(shè)檢驗,1.假設(shè)檢驗的定義,設(shè)總體X的分布函數(shù)F(x, )的形式已知，但是其中的參數(shù) 未知?，F(xiàn)在對參數(shù)提出假設(shè)： ，然后利用樣本值對這個假設(shè)作出檢驗，判斷其真?zhèn)危@就是參數(shù)的假設(shè)檢驗。 設(shè)總體X的分布函數(shù)形式未知，現(xiàn)在假設(shè)它的分布函數(shù)為某個指定函數(shù) ，然后利用樣本信息進(jìn)行檢驗，判斷其真?zhèn)?，這就是非參數(shù)的假設(shè)檢驗。 一般研究參數(shù)的假設(shè)檢驗問題。,2.原假設(shè)與備擇假設(shè),原假設(shè)：是我們進(jìn)行統(tǒng)計假設(shè)檢驗欲確定其是否成立的假設(shè)體現(xiàn)進(jìn)行假設(shè)檢驗的目的，而且往往是希望否定這個假設(shè)，一般用H0表示。 備擇假設(shè)：是原假設(shè)的對立面，統(tǒng)計假設(shè)檢驗是二擇一的判斷，當(dāng)原假設(shè)不成立時，不得不接受它，一般用H1 表示。,3.顯著性水平,：顯著性水平 可以理解為事件顯著不可能發(fā)生的水平； 可以理解為原假設(shè)的數(shù)值與真實值顯著差異大小的水平； 是小概率事件； 是指犯“第一類錯誤”（原假設(shè)）的可能性； 一般取值很小，0.1，0.05，0.01，0.005,4.基本思想：“小概率原理”,數(shù)理統(tǒng)計學(xué)中的“小概率原理”認(rèn)為：概率很小的事件在一次抽樣試驗中幾乎是不可能發(fā)生的。 小概率事件的構(gòu)造：找到在原假設(shè)成立的條件下，統(tǒng)計量的分布特征，然后根據(jù)分位數(shù)可以構(gòu)造一個小概率事件（如后面的圖示）。 如果小概率事件發(fā)生了。說明出錯了，那么，錯在那里呢？ 因為，在整個假設(shè)檢驗過程中，抽樣是正確的、統(tǒng)計量的選擇是正確的、根據(jù)顯著水平確定的臨界值是正確的、統(tǒng)計量的計算是正確的，統(tǒng)計量與臨界值的比較也是正確的。因而，只能是原假設(shè)發(fā)生了錯誤，所以必須拒絕H0。 思想：在假設(shè)檢驗中，首先提出原假設(shè)、備擇假設(shè)，然后構(gòu)造一個小概率事件，把求得的統(tǒng)計量與查表得到的臨界值比較，看看小概率事件是不是發(fā)生，如果發(fā)生，拒絕原假設(shè)，否則接受。,