第2講估計理論基礎(chǔ)

1、第二講：估計理論基礎(chǔ)§2.1 基本經(jīng)典估計問題有一組觀察數(shù)據(jù), 估計一個未知的確定性參數(shù)q, 估計器記為:.a. 是一個隨機(jī)變量。b. 估計器設(shè)計依賴于觀察數(shù)據(jù)的概率密度函數(shù)(PDF)的假設(shè)。例1：, n=0,1,2,N-1是零均值白噪聲，估計A，一個直觀的估計器為：a. 這個估計器怎樣接近于真實值A(chǔ).b. 有沒有更好的估計器，怎樣設(shè)計好的估計器？·無偏估計若估計器滿足: 則稱為無偏估計, 上例是無偏的。·有偏估計對于不滿足無偏估計的估計器, 定義:為估計的偏。·最小方差準(zhǔn)則在假設(shè)待估計量是確定性變量時, 在很多情況下，最小方差估計是不可實現(xiàn)例2：假設(shè)在

2、例1的問題中,有一個更好的估計器為:確定a值, 使該估計器是最小方差估計, 容易求得令得估計器表達(dá)式中，包含要估計的值，因此該估計器是不可實現(xiàn)。·最小方差無偏估計器（MVU）設(shè)計一個無偏估計器，令估計方差最小§2.1Cramer-Rao下界對于一個最小方差無偏估計器（MVU）, 如下定理確定了它的最好估計性能.定理一：假設(shè)PDF滿足規(guī)則性條件：對所有這里期望是針對取的，則任意無偏估計器的方差滿足：這里導(dǎo)數(shù)是在的真實值處取值的，期望相對于取得。進(jìn)一步，當(dāng)且僅當(dāng)下式成立時，一個估計器可以達(dá)到下界值這里，g是一個函數(shù), 估計器是MVU估計器，且滿足稱為Fisher信息函數(shù)。例：由

3、一組觀察值 n=0,1,2,N-0, 是WGN且方差為，均值為0，估計未知量A.由于w(n)是WGN (高斯白噪聲), 故有:再由故由定理1得 定理一證明：首先看 意味著什么（1）只要積分和求導(dǎo)次序是可交換的，此式成立，因此,規(guī)則性條件是很松的.再由無偏性假設(shè)：得：兩邊求導(dǎo)且交換次序：或等價為：利用（1）式，且注意到與積分變量是無關(guān)的, 則利用Canchy-schwarz不等式：這里取：代入不等式得注意到左側(cè)第一項就是估計器的方差定義, 得：容易證明(留做練習(xí)):(注意利用兩邊求導(dǎo)，交換次序)得證：不等式成為等式的條件是：即：這里, 為要求的估計器, 上式兩邊求導(dǎo)得：兩邊取期望：#利用定理一,

4、 容易證明如下特殊的結(jié)論：（留做練習(xí)）通過觀察序列是WGN,零均值,方差, 是的函數(shù)并可導(dǎo), 的無偏估計器滿足：定理一可以推廣到如下的矢量情況.定理二: 克拉美羅下界（Cramer-Rao）：矢量情況假設(shè)PDF滿足規(guī)則條件：無偏估計器的協(xié)方差矩陣滿足：這里的“”是指矩陣為半正定的，F(xiàn)isher信息矩陣定義為：進(jìn)一步，如果下式滿足：最小無偏估計器達(dá)到最小下界，估計器為：。當(dāng)下界可達(dá)時，估計器每個分量的方差為：由定理二可以證明在線性模型下的特例（留做練習(xí)）：如果觀察數(shù)據(jù)能夠表示為線性模型且滿足，則MVU估計器為：下界可達(dá)且為：（提示：）進(jìn)一步, 如果WN(0,R)，上述結(jié)論變化為：(提示利用)&#

5、167;2.3 充分統(tǒng)計利用 得到MVU估計器的方法并不總是可行的，另一種方法是利用充分統(tǒng)計的方法。充分統(tǒng)計：對于觀察矢量x，和PDF:，如果說是充分統(tǒng)計，也就是說對于估計它是充分的，這時，條件PDF:不依賴于，也就是說，對的依賴關(guān)系完全隱藏在中。定理3: Neyman-Fisher分解定理如果我們能夠分解PDF如下：這里g是僅通過與x建立聯(lián)系的函數(shù)，則是充分統(tǒng)計，相反，如果是充分統(tǒng)計，必可以分解成以上形式。Neyman-Fisher分解定理證明：僅證明前一部分，即若，則是充分統(tǒng)計由（2）目的是證明上式與無關(guān)。注意到，由于規(guī)定了的取值曲線，因此，聯(lián)合分布：因為上式規(guī)定了x不可能在處存在，因此，

6、x只能在的曲線上取值，這樣，將兩維分布降為一維分布，這引出函數(shù)。又注意到，若，則有：因此，由（2）式得：再帶入分解式到上式，得：（因為積分只在處進(jìn)行）#Rao-Blackwell-Lehmann-Scheffe定理：如果是的一個無偏估計器，是一個充分統(tǒng)計，則是:1) 一個有效估計器(不依賴于)2) 無偏3) 小于或等于的方差，即：并且，若充分統(tǒng)計是完備的，是MVU估計器。(充分統(tǒng)計是完備的：僅存在一個充分統(tǒng)計的函數(shù)，它是無偏的。)例：，n=0,1,2,N-1, 是WGN，估計A設(shè)可以計算得(計算細(xì)節(jié)略)§2.3 最大似然估計（MLE）最實用的估計器，有良好的漸近特性。將PDF中的固定

7、，考慮變化的影響，這時將稱為似然函數(shù)（Likelihood）。或?qū)⒎Q為對數(shù)似然函數(shù)，當(dāng)時，似然函數(shù)最大，得到估計器或似然函數(shù)是一個直觀概念，當(dāng)取值為時，當(dāng)前這組觀測數(shù)據(jù)出現(xiàn)的概率最大。例：, n=0,1,2,N-1. 為WGN，方差為，估計A。得 #當(dāng)下界可達(dá)時，MLE得到MVU估計器。由，就是MLE。例：為WGN，方差也為A, 估計A.整理得：求得：例：，n=0,1,2,N-1, 為WGN，估計#MLE漸正特性：如果PDF滿足規(guī)則性條件，未知參數(shù)的MLE估計漸近于如下分布：這里是Fisher信息矩陣，且在的真值處取值，也就是說，MLE逼近于一個無偏的，最小方差可達(dá)的MVU估計器。對于一般的P

8、DF, MLE可以通過迭代計算.§2.4Bayesian估計與經(jīng)典估計不同，Bayesian估計假設(shè)所估計的參數(shù)是一個隨機(jī)變量，我們估計的是它的一次實現(xiàn)。=與經(jīng)典估計不同，在那里最小約束一般得不到可實現(xiàn)的估計器，因為q是確定量時, 它不參與慨率空間的運(yùn)算, 即解如上方程, 一般得到：，估計器中包含待確定量, 所以是不可實現(xiàn)?，F(xiàn)在討論Bayesian估計問題, 現(xiàn)在, q是隨機(jī)量, 它是概率空間的一個分量,對求導(dǎo)且令為0，得到：具體計算如下：因為對所有，故欲使最小，令最小，即：=得到：這是最小MSE Bayesian 估計器, 在計算時，經(jīng)常利用關(guān)系式：·矢量情況：·

9、;高斯情況：如果和是聯(lián)合高斯，是k×1，是矢量，均值矢量為，分塊協(xié)方差矩陣則條件PDF：也是高斯的，且有：（3）（4）這里若y是待估計參數(shù)，是數(shù)據(jù)矢量，（3）式就是Baysian估計，（4）式就是估計方差的表達(dá)式。·一般Bayesian估計設(shè)表示估計誤差, 令為消耗函數(shù)，定義：為Beyes風(fēng)險函數(shù)。令Beyes風(fēng)險函數(shù)最小，得到各種貝葉斯估計。1Bayesian MSE這就是前面討論的方差最小準(zhǔn)則的Bayesian估計.2絕對誤差準(zhǔn)則3“命中或錯過”準(zhǔn)則“Hit-or-Miss”2的解是后驗中值估計, 滿足：3的解是最大后驗概率（MAP）估計器再由：或·Bayes

10、ian估計的性能：設(shè) 如果是高斯的，2.5 線性貝葉斯估計器由數(shù)據(jù)集估計標(biāo)量參數(shù)，是隨機(jī)變量的一個實現(xiàn)，如果將估計限制在一個線性估計器：(5)選擇系數(shù)集，使Bayesian MSE最小，即：先求解得將表達(dá)式代入中為使其最小，令：得：將和代入(5)：將a代入Bmse表達(dá)式，得最小Bmse為：若有，則上面各式簡化為：(6)·這組關(guān)系式可以直接聯(lián)系到Wiener濾波問題。·線性Bayesian估計與高斯分布下的一般Bayesian估計是一致的，在高斯分布下，線性估計可達(dá)最優(yōu)。注：在以上推導(dǎo)和討論中，（N×1矩陣或列矢量）（1×N矩陣或行矢量）2.6最小二乘估計（LS）這里只考慮線性最小二乘估計. 首先從解方程觀點(diǎn)來分析最小二乘問題，沒有一線性方程組設(shè)方程組數(shù)目m不等于變量個數(shù)n。（1）m>n，方程可能無解，對這個問題，找到一個x，使如下二乘誤差最小令=0得如果A滿秩，存在，稱為A的偽逆，這是最小二乘的過確定問題。（2）m<n方程可能有無窮解，求使最小的解。也可以得到同樣，稱為A的偽逆，這是最小二乘的欠確定問題。以下從參數(shù)估計角度分析最小二乘問題, 設(shè)信號矢量，這里是待估計參數(shù)，A稱為觀測矩陣，A