現(xiàn)代信處理最新課件

1、現(xiàn)代信號處理最新參數(shù)估計理論現(xiàn)代信號處理最新2.1 估計子的性能估計子的性能2.2 Fisher信息與信息與Cramer-Rao不等式不等式2.3 Bayes估計估計2.4 最大似然估計最大似然估計2.5 線性均方估計線性均方估計2.6 最小二乘估計最小二乘估計現(xiàn)代信號處理最新參數(shù)估計理論的兩個核心內(nèi)容：參數(shù)估計理論的兩個核心內(nèi)容：對估計子與真實參數(shù)的接近度進行量化定義；對估計子與真實參數(shù)的接近度進行量化定義；研究不同的估計方法以及它們的性能比較。研究不同的估計方法以及它們的性能比較?，F(xiàn)代信號處理最新2.1 估計子的性能估計子的性能n無偏估計與漸近無偏估計無偏估計與漸近無偏估計估計子定義：由估

2、計子定義：由N個樣本獲得的真實參數(shù)個樣本獲得的真實參數(shù) 的估計子是一個將的估計子是一個將N維樣本空間維樣本空間 映射為映射為p維維參數(shù)空間的函數(shù)參數(shù)空間的函數(shù)T，記作：，記作： 。估計子偏差估計子偏差:該估計子誤差的期望值，即該估計子誤差的期望值，即無偏估計無偏估計子：估計子的偏差等于零子：估計子的偏差等于零p ,1N NT : )(EEb例例. 均值和方差估計的偏差均值和方差估計的偏差現(xiàn)代信號處理最新現(xiàn)代信號處理最新現(xiàn)代信號處理最新因為因為有有和和現(xiàn)代信號處理最新現(xiàn)代信號處理最新有偏的是否就不好？有偏的是否就不好？漸近無偏估計子：若當樣本長度漸近無偏估計子：若當樣本長度 N 時，偏時，偏差差

3、 0，即，即注注1：一個無偏的估計子一定是漸近無偏的，但漸近：一個無偏的估計子一定是漸近無偏的，但漸近無偏的估計子不一定是無偏的。無偏的估計子不一定是無偏的。注注2：漸近無偏的估計子是半正定的，而無偏估計子：漸近無偏的估計子是半正定的，而無偏估計子不一定是半正定的。不一定是半正定的。注注3：偏差是誤差的期望值，但是偏差為零并不保證：偏差是誤差的期望值，但是偏差為零并不保證估計子誤差取低值的概率就高。估計子誤差取低值的概率就高。 lim ENNo例例.自相關(guān)函數(shù)的估計子自相關(guān)函數(shù)的估計子一致性一致性現(xiàn)代信號處理最新現(xiàn)代信號處理最新一致性一致性：若：若N 時，估計子以概率收斂于真時，估計子以概率收

4、斂于真實參數(shù)，則該估計子稱為以概率與真實參數(shù)一實參數(shù)，則該估計子稱為以概率與真實參數(shù)一致。致。1lim PN）（對對所所有有0 現(xiàn)代信號處理最新n估計子的有效性估計子的有效性兩個無偏估計子的比較兩個無偏估計子的比較n方差較小的方差較小的相對有效性相對有效性無偏與漸近無偏估計子的比較無偏與漸近無偏估計子的比較n估計子的均方誤差：該估計子與真實參數(shù)誤估計子的均方誤差：該估計子與真實參數(shù)誤差平方的期望值差平方的期望值n估計子估計子 優(yōu)于估計子優(yōu)于估計子 ：對所有：對所有 ，恒有，恒有)()(22 EM)()var(2 b 1 2 )()(2221 EE%100)var()var(21 RE現(xiàn)代信號處

5、理最新2.2 Fisher信息與信息與Cramer-Rao不等式不等式n品質(zhì)函數(shù)：真實參數(shù)品質(zhì)函數(shù)：真實參數(shù) 給定的條件下，條件給定的條件下，條件分布密度函數(shù)的對數(shù)相對于真實參數(shù)的偏分布密度函數(shù)的對數(shù)相對于真實參數(shù)的偏導(dǎo)數(shù)。導(dǎo)數(shù)。品質(zhì)函數(shù)均值為零品質(zhì)函數(shù)均值為零nFisher信息：品質(zhì)函數(shù)的方差信息：品質(zhì)函數(shù)的方差)()()(ln)( xfxfxfxV )(ln)(ln)(222 xfExfEJ 現(xiàn)代信號處理最新nCramer-Rao不等式：令不等式：令 為樣本為樣本向量。若參數(shù)估計向量。若參數(shù)估計 是真實參數(shù)是真實參數(shù) 的無偏估的無偏估計，且計，且 和和存在，則存在，則 的均方的均方誤差所能

6、達到的下界（誤差所能達到的下界（ Cramer-Rao下界）下界）等于等于Fisher信息的倒數(shù)信息的倒數(shù)其等號成立的條件其等號成立的條件 是的是的 某個正函數(shù)，與樣本某個正函數(shù)，與樣本 無關(guān)。無關(guān)。 )(xf22)( xf)(1)()var(2 JE )()(ln Kxf)( K Nxx,1 ),(1Nxxx 現(xiàn)代信號處理最新n優(yōu)效估計子：無偏估計子的方差達到優(yōu)效估計子：無偏估計子的方差達到Cramer-Rao下界下界現(xiàn)代信號處理最新2.3 Bayes估計n損失（代價）函數(shù)：損失（代價）函數(shù)：令令是屬于參數(shù)空間是屬于參數(shù)空間的某個參數(shù)，的某個參數(shù)，是在決策或判定空間是在決策或判定空間A中取中

7、取值的一個估計，稱值的一個估計，稱為損失函數(shù)或代價為損失函數(shù)或代價函數(shù)，若它是函數(shù)，若它是 和和二者的實值函數(shù)，且滿二者的實值函數(shù)，且滿足條件：足條件：（1）對所有）對所有 和和 ，恒有，恒有；（2）對每個）對每個 至少在決策空間至少在決策空間A內(nèi)存在一內(nèi)存在一個個 ，使得，使得。),( C A 0),( C 0),( C現(xiàn)代信號處理最新n三種常用損失函數(shù)三種常用損失函數(shù)絕對損失函數(shù)絕對損失函數(shù)二次型損失函數(shù)二次型損失函數(shù)均勻損失函數(shù)均勻損失函數(shù)n風險函數(shù)：損失函數(shù)的數(shù)學(xué)期望風險函數(shù)：損失函數(shù)的數(shù)學(xué)期望nBayes估計：使風險函數(shù)最小的參數(shù)估計估計：使風險函數(shù)最小的參數(shù)估計),(),( CER

8、 現(xiàn)代信號處理最新n二次型損失函數(shù)的二次型損失函數(shù)的Bayes估計估計使二次型風險函數(shù)最小的估計稱為最小均方誤使二次型風險函數(shù)最小的估計稱為最小均方誤差（差（MMSE）估計。）估計。風險函數(shù)風險函數(shù)二次型損失函數(shù)的二次型損失函數(shù)的Bayes估計估計 ddxdxxxfERNNMMSE1122),()()(),(),(11NNMMSExxEdxxf 現(xiàn)代信號處理最新n均勻損失函數(shù)的均勻損失函數(shù)的Bayes估計估計均勻損失函數(shù)最小化的條件等價為均勻損失函數(shù)最小化的條件等價為稱為后驗概率密度的最大化，所求得的參數(shù)估計稱為后驗概率密度的最大化，所求得的參數(shù)估計常簡稱為最大后驗概率估計常簡稱為最大后驗概率

9、估計還可等價為還可等價為 故求得的參數(shù)估計也稱最大似然估計故求得的參數(shù)估計也稱最大似然估計0),(1 Nxxf 0),(ln1 Nxxf現(xiàn)代信號處理最新2.4 最大似然估計n基本思想基本思想在對被估計的參數(shù)沒有任何先驗知識的情況下，利在對被估計的參數(shù)沒有任何先驗知識的情況下，利用已知的若干觀測值估計該參數(shù)。用已知的若干觀測值估計該參數(shù)。n似然函數(shù)似然函數(shù)視為真實參數(shù)視為真實參數(shù) 的聯(lián)合條件概率密度函數(shù)的聯(lián)合條件概率密度函數(shù) 即包含未知參數(shù)信息的可能性函數(shù)即包含未知參數(shù)信息的可能性函數(shù)n最大似然估計最大似然估計使似然函數(shù)最大化的估計值使似然函數(shù)最大化的估計值 ，記為，記為),(1 Nxxf ),

10、(maxarg1 NMLxxf 現(xiàn)代信號處理最新n似然函數(shù)的另一表示（似然函數(shù)的另一表示（對數(shù)似然函數(shù)對數(shù)似然函數(shù))n最大似然估計的求解最大似然估計的求解),(ln)(1 NxxfL 0)( L現(xiàn)代信號處理最新n最大似然估計的性質(zhì)：最大似然估計的性質(zhì)：最大似然估計一般不是無偏的，但其偏差可以通最大似然估計一般不是無偏的，但其偏差可以通過對估計值某個合適的常數(shù)加以消除；過對估計值某個合適的常數(shù)加以消除；最大似然估計是一致估計；最大似然估計是一致估計；最大似然估計給出優(yōu)效估計，如果它存在的話；最大似然估計給出優(yōu)效估計，如果它存在的話；對于大的對于大的N，最大似然估計，最大似然估計 為高斯分布，并且

11、為高斯分布，并且其均值為其均值為，方差為，方差為ML 121),(1 NxxfEN現(xiàn)代信號處理最新n例例. 令令是從一個具有概率密度函數(shù)是從一個具有概率密度函數(shù)的正態(tài)分布得到的隨機觀測樣本，試確定均值和方的正態(tài)分布得到的隨機觀測樣本，試確定均值和方差的最大似然估計。差的最大似然估計。Nxx,1)2/()(22221),( xexf似然函數(shù)似然函數(shù)現(xiàn)代信號處理最新均值最大似然估計均值最大似然估計方差最大似然估計方差最大似然估計現(xiàn)代信號處理最新n例例.令接收信號由下式給出：令接收信號由下式給出：若若是一高斯白噪聲，求估計值是一高斯白噪聲，求估計值的方差的的方差的Cramer-Rao下界，并評估是下

12、界，并評估是否是優(yōu)效估計子。否是優(yōu)效估計子。Niwsyii, 1, ), 0(2 iws 現(xiàn)代信號處理最新其對數(shù)似然函數(shù)其對數(shù)似然函數(shù)現(xiàn)代信號處理最新最大似然估計最大似然估計是無偏的是無偏的其其Fisher信息信息其其Cramer-Rao不等式不等式其等號成立的條件其等號成立的條件現(xiàn)代信號處理最新2.5 線性均方估計線性均方估計n問題問題Bayes估計需要已知后驗分布函數(shù)估計需要已知后驗分布函數(shù)最大似然估計需要已知似然函數(shù)最大似然估計需要已知似然函數(shù)會導(dǎo)致非線性估計問題，不易求解會導(dǎo)致非線性估計問題，不易求解n線性均方（線性均方（LMS）的參數(shù)估計子）的參數(shù)估計子式中，式中， 為待定的權(quán)系數(shù)為

13、待定的權(quán)系數(shù)n原理原理使均方誤差函數(shù)使均方誤差函數(shù) 最小最小 NiiiLMSxw1 Nww,1)(2 E現(xiàn)代信號處理最新n正交性原理正交性原理均方誤差最小，當且僅當估計誤差均方誤差最小，當且僅當估計誤差 正交于正交于每一個給定的觀測數(shù)據(jù)每一個給定的觀測數(shù)據(jù)n權(quán)系數(shù)的公式權(quán)系數(shù)的公式其中其中相關(guān)矩陣非奇異的條件：觀測樣本相互獨立相關(guān)矩陣非奇異的條件：觀測樣本相互獨立n線性均方估計是一種線性均方估計是一種MMSE估計子估計子 egRw1 ,11,1,iiTNTNjiijNNjiijxEggggwwwxxERRR 現(xiàn)代信號處理最新2.6 最小二乘估計n建模的三種情況建模的三種情況式中，式中，為未知的

14、參數(shù)向量，為未知的參數(shù)向量，A和和b分別是與觀測數(shù)據(jù)有關(guān)的系數(shù)矩陣和向量分別是與觀測數(shù)據(jù)有關(guān)的系數(shù)矩陣和向量適定方程：未知參數(shù)個數(shù)與方程個數(shù)相等，矩陣適定方程：未知參數(shù)個數(shù)與方程個數(shù)相等，矩陣A非奇異，解為非奇異，解為超定方程：方程個數(shù)多于未知參數(shù)個數(shù)，矩陣超定方程：方程個數(shù)多于未知參數(shù)個數(shù)，矩陣A的行數(shù)多于列數(shù)（的行數(shù)多于列數(shù)（“高矩陣高矩陣”）；）；欠定方程：方程個數(shù)少于未知參數(shù)個數(shù)，矩陣欠定方程：方程個數(shù)少于未知參數(shù)個數(shù)，矩陣A的行數(shù)少于列數(shù)（的行數(shù)少于列數(shù)（“扁矩陣扁矩陣”）；）；bA TN,1 bA1 現(xiàn)代信號處理最新n最小二乘估計最小二乘估計：使其損失函數(shù)（誤差的平方和）使其損失函數(shù)（誤差的平方和） 最小，即解方最小，即解方程程A列滿秩，參數(shù)向量惟一可辨識列滿秩，參數(shù)向量惟一可辨識A秩虧缺，參數(shù)向量不可辨識秩虧缺，參數(shù)向量不可辨識nGauss Markov定理：當誤差向量的各個分量定理：當誤差向量的各個分量具有相同的方差，且個分量不相關(guān)時，最小二乘具有相同的方差，且個分量不相關(guān)時，最小二乘估計在方差最小的意義上最優(yōu)。估計在方差最小的意義上最優(yōu)。LS Niie12bAAATT bAAA