第二章參數(shù)估計理論ppt課件

1、 N參數(shù)估計理論的主要研究內(nèi)容：（1）估計子是如何接近真實參數(shù) 的?(接近度評價)（2）參數(shù)估計方法n估計子的定義11,()(,)NpNNxxNppNN 映射已知 個數(shù)據(jù)估計真實參數(shù)即 維樣本空間維參數(shù)空間（ 維）小樣本性能 個數(shù)據(jù)得到的估計子性能 ：計算機仿真大樣本性能 漸近性能：理論分析*11*21( )( ) ()( ):1 ( )()( )1 ( )()( ) () ( () : xN knN knNNNNx nR kE x nk x nR kx nk x nNkR kx nk x nNbEE的自相關(guān)函數(shù)兩個估計子 具有相關(guān)函數(shù)矩陣的 半正定性估計誤差 隨機變量，不便使用） 偏差 （固

2、定量，有用） 無偏估計0 NE 12N ( )( ) ( )( ) (): lim xxNE R kR xNkE R kR xNE兩個估計子的性能：無偏估計有偏估計 漸近無偏估計漸近無偏估計無偏估計一定是漸近無偏估計，反之一般不成立“好”的估計：應該是漸近無偏估計n兩個無偏估計(或其中一個漸進無偏估計)的性能比較：22222221212:()() : () ()() () () 2 () ()()()()(), NNNNNNNNNNNNNNNNVarEEMEEEEEEEEEEEVarbVarVar估計方差 均方誤差無偏估計的評價：若則稱比好有偏221212()(), :MM估計的評價：若則稱優(yōu)

3、于注 比較估計子性能時，用均方誤差比只用方差或偏差更合理111,( | )( )ln( | )( | )( | ) ( )( | )( | ) ( )0,( | )NNNxxf xV xf xf xf xE V xf xdxdxf xE V xf xdxdx中隱含真實參數(shù) 的信息估計子引入品質(zhì)函數(shù)22222( )( )( )ln( |)ln( |)1( )() ( )ln( |)( )()1 ( )V xFisherJE VEf xEf xVarEJf xKCramerRaoJ 定義：品質(zhì)函數(shù)的方差稱為信息：定理：假設(shè)是 的無偏估計，則 取等號的充要條件：此時稱為下界n損失函數(shù)(代價函數(shù))n絕

4、對損失函數(shù)n二次型損失函數(shù)(, ) ()() ()NNNNCC ,標量參數(shù)向量參數(shù)22( , ) ()() ()CC ,標量參數(shù)向量參數(shù)n均勻損失函數(shù)0, (, ) ()1, 0, () ()1, NNNNNNCC ,標量參數(shù)向量參數(shù)n風險函數(shù): 損失函數(shù)的數(shù)學期望nBayes估計：使風險函數(shù)最小化的參數(shù)估計(, ) (, )NNRE C2, (, )() min MMSE(minimum mean square error)NNRE若對二次型111,( ,| ),ln( ,| ) argmaxln( ,| )NNNMLNxxf xxf xxf xx1給定 ,似然函數(shù)為但多用對數(shù)似然函數(shù)。的最

5、大似然估計是對數(shù)似然函數(shù)最大化時的估計:缺點：必須知道似然函數(shù)的形式n線性均方LMS (linear mean square)11221221111, minmin 20 NNLMSnnnNnnnNNnnnnknnkkNNiikkiikkiixxw xEw xE eE eEw xEw xxwwwE x xExwRg 準則：11221221111, minmin 20 NNLMSnnnNnnnNNnnnnknnkkNNiikkiikkiiN Niki kxxw xEw xE eE eEw xEw xxwwwE x xExwRgRR 準則： 111 , , TTNNwwggwgRw = gw =

6、R gn正交性原理n線性均方估計是典型的Bayes估計10 0 1,NnnkknEw xxE exkN即估計誤差與已知數(shù)據(jù)正交2121 min LMSMMSEBayesNnnnNnnnx wEx w代價函數(shù)（二次型損失函數(shù)）風險函數(shù)估計估計（估計）n問題(well-determined equation)(over-determined equation) () (under-determined e1Ax = bAbxAx = A bA矩陣方程，在 和 已知情況下估計 適定方程： 方陣可逆，則 超定方程：非方陣且行數(shù) 列數(shù) 方程個數(shù)多于未知參數(shù)個數(shù) ，無準確解，但有惟一的最小二乘解。在信號處

7、理中多用超定方程。超定意味著使用更多的信息。 欠定方程quation) ： 有無窮多個解，但有惟一的最小范數(shù)解。欠定意味著信息不夠多。n超定方程Ax = b*1() ()min() ()0(0 (,)1() (identHHHHHHHHHHHHHHHHLSAbAxbxbAxbAxbAxbxx A Axb bx A bb AxA AxA bxxxA AxA bIOxxA AxA AA bx沒有誤差， 有誤差，誤差向量為誤差平方和為標量共軛梯度）注意情況 ：可逆，稱 是唯一可辨識的，可辨識性ificability)2HA Ax情況 ：奇異，稱 是不可辨識的nGaussian-Markov定理n加權(quán)最小二乘估計eAxb若誤差向量的每個元素都具有零均值和相同的方差，則最小二乘估計一定是最優(yōu)估計（方差最?。?11minmin ( )()()( )0 0 ()var( ) HHHHHHHHHHHHHHHHHoptQQEe ee weebAW bAb Wb A WAb WA A WbA WAA WbA WAA WbWA WAA WAA WbVee eWV最小二乘加權(quán)最小二乘若 各元素方差不同,則用加權(quán)最小二乘法)總可以選擇，使可逆，則可以證明最佳的n評價參數(shù)估計好壞的問題：n采用均方誤差來衡量參數(shù)估計的優(yōu)劣n判別無偏估計能否最好：運用Fisher信息，滿足Cramer-Ra