參數(shù)統(tǒng)計(jì)推斷方法

參數(shù)統(tǒng)計(jì)與概率論相比，統(tǒng)計(jì)的重要特點(diǎn)在于分布的不確定性。實(shí)際中，在得到樣本以后，我們最關(guān)心的問題之一便是想知道是分布族中的哪一個分布產(chǎn)生此樣本，即要從樣本推斷總體分布或其各種特征數(shù)。英國著名統(tǒng)計(jì)學(xué)家R.A.Fisher

把統(tǒng)計(jì)推斷歸納為三個方面：抽樣分布、參數(shù)估計(jì)、假設(shè)檢驗(yàn)。什么是參數(shù)估計(jì)問題X~P(λ),X~E(λ),X~N(μ,σ2)用所獲得的樣本值去估計(jì)參數(shù)取值稱為參數(shù)估計(jì).參數(shù)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)用某一數(shù)值作為參數(shù)的近似值在要求的精度范圍內(nèi)指出參數(shù)所在的區(qū)間

參數(shù)估計(jì)的基本思想?yún)?shù)的點(diǎn)估計(jì)估計(jì)的優(yōu)良性估計(jì)的概念相當(dāng)廣泛，任何人都可以給出估計(jì)，如果不對估計(jì)的好壞加以明確，估計(jì)是沒有意義的。下面介紹估計(jì)的好壞標(biāo)準(zhǔn)。估計(jì)量的評選標(biāo)準(zhǔn)對于總體的同一個未知參數(shù)，由于采用的估計(jì)方法不同，可能會產(chǎn)生多個不同的估計(jì)量。這就提出了一個問題，當(dāng)總體的同一個參數(shù)存在不同的估計(jì)量時，究竟采用哪一個更好？這涉及到用什么樣的標(biāo)準(zhǔn)來評價估計(jì)量的好壞問題，對此，我們介紹幾個常用的評價標(biāo)準(zhǔn)：無偏性、有效性和一致性。無偏性在評價一個估計(jì)量的好壞時,我們當(dāng)然希望估計(jì)量與被估參數(shù)越接近越好.但估計(jì)量是一個隨機(jī)變量,它的取值隨樣本的觀測值而變,有時與被估參數(shù)的真值近些,有時遠(yuǎn)些,我們只能從平均意義上看估計(jì)量是否與被估參數(shù)盡量接近,最好是等于被估參數(shù).于是有無偏估計(jì)量的概念.無偏性體現(xiàn)了一種頻率思想。只有在大量重復(fù)使用時，無偏性才有意義。如估計(jì)某批產(chǎn)品的合格率p，從中抽取n個產(chǎn)品進(jìn)行檢查，發(fā)現(xiàn)有X個合格。容易驗(yàn)證，在假定X服從二項(xiàng)分布下，X/n是p的無偏估計(jì)。然而對一次具體觀測值x來說，x/n要么等于p,要么不等于p,此時無偏性顯得沒有意義。若問題改為某一工廠每天都對其生產(chǎn)的產(chǎn)品進(jìn)行抽檢，假定生產(chǎn)過程相對穩(wěn)定，則估計(jì)的無偏性要求便是合理的。比如用X/n估計(jì)p,對每一天而言，該估計(jì)可能偏大也可能偏小，但在一段較長的時期內(nèi)，x/n平均來說在p的周圍，有效性一個參數(shù)的無偏估計(jì)量不是唯一的,假若參數(shù)θ有兩個無偏估計(jì)量,我們認(rèn)為其觀測值更密集在參數(shù)θ真值附近的一個較為理想.由于方差是隨機(jī)變量取值與其數(shù)學(xué)期望的偏離程度的度量,所以無偏估計(jì)以方差小者為好.這就引出了估計(jì)量的有效性這一概念.一致性估計(jì)量的無偏性和有效性都是在樣本容量固定的前提下提出的.我們自然希望隨著樣本容量的增大,一個估計(jì)量的值穩(wěn)定于待估參數(shù)的真值.這就對估計(jì)量提出了一致性的要求.如何找出參數(shù)的估計(jì)方法矩法、極大似然方法和最小二乘法是尋找參數(shù)點(diǎn)估計(jì)的三種主要方法。矩是基于一種簡單的“替換”思想建立起來的一種估計(jì)方法，它由K.Pearson在20世紀(jì)初提出，其基本思想是用樣本矩估計(jì)總體矩。理論依據(jù)：大數(shù)定律矩估計(jì)法的具體步驟設(shè)總體X的分布函數(shù)中含有個未知參數(shù)，假定總體X的前階矩存在，則可通過下列步驟求未知參數(shù)的矩估計(jì)量:(1)求總體X的前階矩若總體X是離散型隨機(jī)變量，其分布律為：則：則：總之，是參數(shù)的函數(shù)，記為：若總體X是連續(xù)型隨機(jī)變量，其密度函數(shù)為：(2)由（*）式解出為：(3)用的估計(jì)量分別代替（**）中的則得的矩估計(jì)量

注:▲上述計(jì)算步驟對階中心矩也是成立的。

因?yàn)殡A中心矩總可以通過展開的方法展開為不超過總體階原點(diǎn)矩的函數(shù)。▲矩估計(jì)法的優(yōu)缺點(diǎn)：矩估計(jì)法并不要求知道總體分布的具體形式就能對總體的數(shù)字特征作出估計(jì)矩估計(jì)法要求總體的矩存在，若總體的矩不存在則矩估計(jì)法失效；優(yōu)點(diǎn)：

缺點(diǎn)：對某些總體的參數(shù)矩估計(jì)量不唯一，這在應(yīng)用時會帶來不利；對某些總體的參數(shù)矩估計(jì)量有時不合理;矩估計(jì)法只是利用了矩的信息而沒有充分利用總體分布函數(shù)的信息

極大似然估計(jì)

極大似然估計(jì)是在母體類型已知條件下使用的一種參數(shù)估計(jì)方法.

它首先是由德國數(shù)學(xué)家高斯在1821年提出的,費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).

先通過一個簡單的例子來說明極大似然估計(jì)的基本思想一只野兔從前方竄過，是誰打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測，你會如何想呢?只聽一聲槍響，野兔應(yīng)聲倒下.

下面我們再看一個例子,進(jìn)一步體會極大似然法的基本思想.

你就會想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來這一槍是獵人射中的.

這個例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.例1

一個箱子里裝有黑、白球共9個,我們從中隨機(jī)地?zé)o放回地抽取三個球，發(fā)現(xiàn)恰有2個黑球，請猜一下(估計(jì))箱子里有幾個黑球，幾個白球.

這是典型的“黑箱”問題.可以這樣來分析、推斷：隨機(jī)所以能取得“二個黑球一個白球”這是由箱中球的狀況決定的.我們就從這個“信息”出發(fā).

箱中球的狀況能取得二個黑球一個白球的(所有可能情形)可能性大小

黑球數(shù)白球數(shù)P1.1802.273.364.455.546.637.728.819.90010.090

比較這些概率的大小，我們可以推斷箱中黑球數(shù)最有可能是6個(顯然，這個推斷不是絕對正確的).

這是一種新的邏輯推理方法：根據(jù)概率最大，推斷“事情”發(fā)生的原因是什么.最小二乘估計(jì)---常見于線性模型1801年，意大利天文學(xué)家朱賽普·皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星。經(jīng)過40天的跟蹤觀測后，由于谷神星運(yùn)行至太陽背后，使得皮亞齊失去了谷神星的位置。隨后全世界的科學(xué)家利用皮亞齊的觀測數(shù)據(jù)開始尋找谷神星，但是根據(jù)大多數(shù)人計(jì)算的結(jié)果來尋找谷神星都沒有結(jié)果。時年24歲的高斯也計(jì)算了谷神星的軌道。奧地利天文學(xué)家海因里希·奧爾伯斯根據(jù)高斯計(jì)算出來的軌道重新發(fā)現(xiàn)了谷神星。高斯使用的最小二乘法的方法發(fā)表于1809年他的著作《天體運(yùn)動論》中。法國科學(xué)家勒讓德于1806年獨(dú)立發(fā)現(xiàn)最小二乘法，但因不為時人所知而默默無聞。勒讓德曾與高斯為誰最早創(chuàng)立最小二乘法原理發(fā)生爭執(zhí)。1829年，高斯提供了最小二乘法的優(yōu)化效果強(qiáng)于其他方法的證明，因此被稱為高斯-莫卡夫定理。最小二乘的思想就是要使得觀測點(diǎn)和估計(jì)