演示文稿貝葉斯估計(jì)理論和小結(jié)

目前一頁\總數(shù)六十三頁\編于十六點(diǎn)貝葉斯估計(jì)理論和小結(jié)目前二頁\總數(shù)六十三頁\編于十六點(diǎn)貝葉斯估計(jì)理論——內(nèi)容安排主要內(nèi)容引言線性貝葉斯估計(jì)量（LMMSE）估計(jì)量總結(jié)目前三頁\總數(shù)六十三頁\編于十六點(diǎn)一般貝葉斯估計(jì)量選擇估計(jì)量使得平均代價(jià)（貝葉斯風(fēng)險(xiǎn)）最小對給定代價(jià)函數(shù)，可得最優(yōu)估計(jì)量的形式目前四頁\總數(shù)六十三頁\編于十六點(diǎn)三種代價(jià)函數(shù)圖11.2不同代價(jià)函數(shù)的估計(jì)量最小均方誤差（MMSE）估計(jì)最大后驗(yàn)概率（MAP）估計(jì)條件中位數(shù)估計(jì)目前五頁\總數(shù)六十三頁\編于十六點(diǎn)LMMSE的引入MMSE含有多重積分，MAP含有多維最大值求解問題。聯(lián)合高斯假設(shè)條件下容易得到，一般情況下難以求得不能做出高斯假定時(shí)，選擇保留MMSE準(zhǔn)則限定估計(jì)量線性LMMSE估計(jì)類似于BLUE估計(jì)量的顯式可由前兩階矩來確定卡爾曼濾波器是維納濾波器的重要推廣目前六頁\總數(shù)六十三頁\編于十六點(diǎn)貝葉斯估計(jì)理論——內(nèi)容安排主要內(nèi)容引言線性貝葉斯估計(jì)量（LMMSE）估計(jì)量總結(jié)目前七頁\總數(shù)六十三頁\編于十六點(diǎn)線性MMSE估計(jì)假定標(biāo)量參數(shù)給定數(shù)據(jù)矢量假定：聯(lián)合PDF未知；已知前兩階矩；

X與θ統(tǒng)計(jì)相關(guān)目標(biāo)：求滿足如下形式的最佳估計(jì)量選擇加權(quán)系數(shù)使貝葉斯MSE最小，導(dǎo)出的估計(jì)量稱為LMMSE估計(jì)量目前八頁\總數(shù)六十三頁\編于十六點(diǎn)最佳加權(quán)系數(shù)的推導(dǎo)代入得對求偏導(dǎo)數(shù)，目前九頁\總數(shù)六十三頁\編于十六點(diǎn)代入可得這里標(biāo)量！目前十頁\總數(shù)六十三頁\編于十六點(diǎn)展開可得目前十一頁\總數(shù)六十三頁\編于十六點(diǎn)對加權(quán)系數(shù)求偏導(dǎo)可得注意：LMMSE估計(jì)僅需1階和2階矩，不需PDF目前十二頁\總數(shù)六十三頁\編于十六點(diǎn)代入并化簡可得若和統(tǒng)計(jì)獨(dú)立，則完全基于先驗(yàn)信息，數(shù)據(jù)無用目前十三頁\總數(shù)六十三頁\編于十六點(diǎn)例12.1WGN中具有均勻先驗(yàn)PDF的DC電平若，需要積分而無法得到閉合形式的解因此，采用LMMSE回顧例10.11×N目前十四頁\總數(shù)六十三頁\編于十六點(diǎn)幾何解釋內(nèi)積空間(IPSpaces)目前十五頁\總數(shù)六十三頁\編于十六點(diǎn)矢量：全部隨機(jī)變量集合/0均值、有限方差（ZMFV）標(biāo)量：全部實(shí)數(shù)集合內(nèi)積：<X,Y>=E{XY}構(gòu)成內(nèi)積空間首先：是矢量空間目前十六頁\總數(shù)六十三頁\編于十六點(diǎn)用于估計(jì)標(biāo)量隨機(jī)變量由N個(gè)隨機(jī)變量的線性組合進(jìn)行估計(jì)目前十七頁\總數(shù)六十三頁\編于十六點(diǎn)應(yīng)用正交原理假定可逆目前十八頁\總數(shù)六十三頁\編于十六點(diǎn)矢量LMMSE估計(jì)待估參數(shù)線性估計(jì)量目標(biāo)：對每個(gè)元素，使最小可將矩陣A的第i行和矢量a第i個(gè)元素，看成的標(biāo)量LMMSE估計(jì)量的形式已知每個(gè)待估參數(shù)的標(biāo)量LMMSE形式得出相應(yīng)的解組合為矢量形式

目前十九頁\總數(shù)六十三頁\編于十六點(diǎn)矢量LMMSE的解矢量LMMSE估計(jì)若相似地，可得矩陣目前二十頁\總數(shù)六十三頁\編于十六點(diǎn)LMMSE估計(jì)量的兩個(gè)性質(zhì)1.在線性變換上是可以轉(zhuǎn)換的若且為LMMSE估計(jì)量，則為的LMMSE估計(jì)量2.未知參數(shù)之和的LMMSE估計(jì)量是每個(gè)估計(jì)量之和若則目前二十一頁\總數(shù)六十三頁\編于十六點(diǎn)貝葉斯高斯-馬爾可夫定理令數(shù)據(jù)為應(yīng)用前面的結(jié)果，可得與貝葉斯線性估計(jì)（已包含高斯假定）形式相同除非最佳估計(jì)線性，通常為次佳估計(jì)LMMSE只需得到均值和協(xié)方差矩陣目前二十二頁\總數(shù)六十三頁\編于十六點(diǎn)則若定理4.2一般線性模型的MVUE定理11.1貝葉斯線性模型下MMSE估計(jì)目前二十三頁\總數(shù)六十三頁\編于十六點(diǎn)目前二十四頁\總數(shù)六十三頁\編于十六點(diǎn)序貫LMMSE估計(jì)與序貫LS方法相同固定參數(shù)個(gè)數(shù)（在此為隨機(jī)的），增加數(shù)據(jù)樣本數(shù)目數(shù)據(jù)模型目標(biāo)：給定基于的估計(jì)，當(dāng)新的數(shù)據(jù)樣本到達(dá)時(shí)，更新估計(jì)到目前二十五頁\總數(shù)六十三頁\編于十六點(diǎn)求序貫LMMSE在此，我們利用矢量空間得到“白噪聲中的直流電平”的解，再推廣到一般情況假定和均為0均值，給定，其LMMSE估計(jì)再由尋求該估計(jì)的序貫更新目前二十六頁\總數(shù)六十三頁\編于十六點(diǎn)看作矢量空間首先估計(jì)新數(shù)據(jù)，即求利用正交原理由提供的新的非冗余信息，稱為“新息”由舊數(shù)據(jù)，估計(jì)新數(shù)據(jù)預(yù)測目前二十七頁\總數(shù)六十三頁\編于十六點(diǎn)A在誤差矢量上的投影正是所求的修正項(xiàng)回顧特性：目前二十八頁\總數(shù)六十三頁\編于十六點(diǎn)新息序列新息序列是：推導(dǎo)和應(yīng)用序貫LMMSE的關(guān)鍵正交的（即不相關(guān)的）矢量序列在信號(hào)處理和控制中非常重要目前二十九頁\總數(shù)六十三頁\編于十六點(diǎn)一般序貫LMMSE估計(jì)

初始化：無數(shù)據(jù)，利用先驗(yàn)信息估計(jì)量更新：目前三十頁\總數(shù)六十三頁\編于十六點(diǎn)序貫LMMSE框圖框圖與序貫LS相同目前三十一頁\總數(shù)六十三頁\編于十六點(diǎn)目前三十二頁\總數(shù)六十三頁\編于十六點(diǎn)回顧貝葉斯MSE最小的估計(jì)量稱為LMMSE估計(jì)量注意：LMMSE估計(jì)僅需1階和2階矩，不需PDF目前三十三頁\總數(shù)六十三頁\編于十六點(diǎn)矢量：全部隨機(jī)變量集合/0均值、有限方差（ZMFV）標(biāo)量：全部實(shí)數(shù)集合內(nèi)積：<X,Y>=E{XY}構(gòu)成內(nèi)積空間上節(jié)課回顧目前三十四頁\總數(shù)六十三頁\編于十六點(diǎn)上節(jié)課回顧矢量LMMSE估計(jì)若矩陣目前三十五頁\總數(shù)六十三頁\編于十六點(diǎn)上節(jié)課回顧

初始化：無數(shù)據(jù)，利用先驗(yàn)信息估計(jì)量更新：一般序貫LMMSE估計(jì)目前三十六頁\總數(shù)六十三頁\編于十六點(diǎn)信號(hào)處理的例子——維納濾波器信號(hào)模型：問題表述：用線性濾波器處理，得到去噪的信號(hào)，使得所求信號(hào)相關(guān)的最小WSS廣義平穩(wěn)目前三十七頁\總數(shù)六十三頁\編于十六點(diǎn)濾波、平滑、預(yù)測目前三十八頁\總數(shù)六十三頁\編于十六點(diǎn)目前三十九頁\總數(shù)六十三頁\編于十六點(diǎn)FIR維納濾波原理上：實(shí)際中：目前四十頁\總數(shù)六十三頁\編于十六點(diǎn)IIR維納濾波可看作，此時(shí)維納濾波為時(shí)不變的則維納-霍夫等式為可采用“譜因式分解”求得維納濾波為IIR時(shí)不變的目前四十一頁\總數(shù)六十三頁\編于十六點(diǎn)定長FIR維納濾波數(shù)據(jù)：目前四十二頁\總數(shù)六十三頁\編于十六點(diǎn)FIR平滑器為便于解釋，考慮N=1的情況：目前四十三頁\總數(shù)六十三頁\編于十六點(diǎn)IIR平滑器基于數(shù)據(jù)估計(jì)維納-霍夫方程為：IIR維納濾波目前四十四頁\總數(shù)六十三頁\編于十六點(diǎn)1步預(yù)測的結(jié)果：對于自回歸AR（3）目前四十五頁\總數(shù)六十三頁\編于十六點(diǎn)貝葉斯估計(jì)理論——內(nèi)容安排主要內(nèi)容引言線性貝葉斯估計(jì)量（LMMSE）估計(jì)量總結(jié)目前四十六頁\總數(shù)六十三頁\編于十六點(diǎn)估計(jì)方法在經(jīng)典方法中，數(shù)據(jù)信息總結(jié)在概率密度函數(shù)p(x;θ)中，其中PDF是θ的函數(shù)。在貝葉斯方法中，由于先驗(yàn)PDFp(θ)描述了有關(guān)θ的知識(shí)而增加了數(shù)據(jù)的信息。數(shù)據(jù)信息總結(jié)在聯(lián)合PDFp(x,θ)中。目前四十七頁\總數(shù)六十三頁\編于十六點(diǎn)CRLB目前四十八頁\總數(shù)六十三頁\編于十六點(diǎn)CRLB目前四十九頁\總數(shù)六十三頁\編于十六點(diǎn)BLUE目前五十頁\總數(shù)六十三頁\編于十六點(diǎn)BLUE目前五十一頁\總數(shù)六十三頁\編于十六點(diǎn)MLE目前五十二頁\總數(shù)六十三頁\編于十六點(diǎn)MLE目前五十三頁\總數(shù)六十三頁\編于十六點(diǎn)LSE目前五十四頁\總數(shù)六十三頁\編于十六點(diǎn)LSE目前五十五頁\總數(shù)六