隨機(jī)信號(hào)分析-估計(jì)理論幻燈片

一、統(tǒng)計(jì)信號(hào)處理概述統(tǒng)計(jì)信號(hào)處理的根本任務(wù)是要提取有用的信息，有用信息是通過(guò)檢測(cè)、估計(jì)、濾波的方法對(duì)信號(hào)進(jìn)行處理后提取出來(lái)的，所以、檢測(cè)、估計(jì)、濾波的統(tǒng)計(jì)信號(hào)處理方法是信號(hào)處理技術(shù)的理論基礎(chǔ)，它的應(yīng)用領(lǐng)域十分廣泛。統(tǒng)計(jì)信號(hào)處理的應(yīng)用領(lǐng)域包括雷達(dá)聲納通信自動(dòng)控制語(yǔ)音圖象分析生物醫(yī)學(xué)地震學(xué)這些應(yīng)用都有一個(gè)共同的目標(biāo)：要能夠確定感興趣的事件在什么時(shí)候發(fā)生，以及該事件中更多的一些信息，前者是一個(gè)檢測(cè)問(wèn)題，或者稱為統(tǒng)計(jì)判決問(wèn)題，后者是參數(shù)的估計(jì)問(wèn)題。數(shù)字源調(diào)制器信道解調(diào)器檢測(cè)器0或1

聲納系統(tǒng)----利用聲波信號(hào)確定船只的位置圖象處理----使用紅外檢測(cè)是否有飛機(jī)出現(xiàn)圖象分析----根據(jù)照相機(jī)的圖象估計(jì)目標(biāo)的位置和方向，用機(jī)器人抓目標(biāo)時(shí)是必須的生物醫(yī)學(xué)----估計(jì)胎兒的心率控制----估計(jì)汽艇的位置，以便采用正確的導(dǎo)航行為，如Loran系統(tǒng)地震學(xué)----檢測(cè)地下是否有油田，并根據(jù)油層和巖層的密度，根據(jù)聲反射來(lái)估計(jì)油田的地下距離。本章學(xué)習(xí)內(nèi)容參數(shù)估計(jì)的基本概念最大似然估計(jì)貝葉斯估計(jì)估計(jì)的性能線性最小均方估計(jì)最小二乘估計(jì)大家可能會(huì)問(wèn)，什么叫參數(shù)估計(jì)？參數(shù)估計(jì)理論是干什么的？它的基本任務(wù)是什么？如何構(gòu)造一個(gè)參數(shù)估計(jì)？所謂參數(shù)估計(jì)就是從含有噪聲的數(shù)據(jù)中去估計(jì)信號(hào)的某些參數(shù)，用數(shù)學(xué)的觀點(diǎn)來(lái)看就是給定一組觀測(cè)數(shù)據(jù)去求未知參量。8.1參數(shù)估計(jì)的基本概念測(cè)量電阻兩端的電壓z1=+v1如果你有N個(gè)觀測(cè)數(shù)據(jù)，zi=+vii=1,2,...,N電壓值是所有試驗(yàn)數(shù)據(jù)的平均值是對(duì)電壓值的兩個(gè)估計(jì)，這兩個(gè)估計(jì)的性能誰(shuí)好呢？這需要用一些性能指標(biāo)來(lái)評(píng)價(jià)評(píng)價(jià)估計(jì)量好壞的性能指標(biāo)估計(jì)量的均值：希望估計(jì)的均值等于真值，即具有無(wú)偏性。為確定性參量（非隨機(jī)參量）為隨機(jī)參量估計(jì)量的方差：方差越小，估計(jì)量的取值越集中，性能也越好無(wú)偏估計(jì)有偏估計(jì)對(duì)于無(wú)偏估計(jì)，如果估計(jì)的方差越小，表明估計(jì)量的取值越集中于真值附近，估計(jì)的性能越好對(duì)于有偏估計(jì)，盡管估計(jì)的方差很小，但估計(jì)的誤差可能仍然很大。因此，用估計(jì)的方差還不能準(zhǔn)確地描述估計(jì)的性能，而如果用均方誤差來(lái)描述，顯然，均方誤差很小，估計(jì)的誤差也肯定是很小的。所以我們可以用均方誤差作為評(píng)價(jià)估計(jì)量性能的一個(gè)指標(biāo)。均方誤差常用的估計(jì)準(zhǔn)則有最大后驗(yàn)概率準(zhǔn)則使后驗(yàn)概率密度最大最小均方誤差準(zhǔn)則均方誤差最小條件中位數(shù)估計(jì)條件概率密度的中位數(shù)線性最小均方誤差準(zhǔn)則線性類估計(jì)中均方誤差最小最大似然準(zhǔn)則似然函數(shù)最大最小二乘準(zhǔn)則測(cè)量誤差平方和最小前面三種估計(jì)需要利用被估計(jì)量的先驗(yàn)信息，如被估計(jì)量的概率密度，稱為貝葉斯估計(jì)，線性最小均方估計(jì)需要已知被估計(jì)量的一、二階矩，稱為線性貝葉斯估計(jì)。后面兩種估計(jì)無(wú)需被估計(jì)量的先驗(yàn)信息，稱為非貝葉斯估計(jì)。從這些估計(jì)準(zhǔn)則我們可以看出，按照一定的準(zhǔn)則求估計(jì)量實(shí)際上就是數(shù)學(xué)上求函數(shù)的極值問(wèn)題。8.2貝葉斯準(zhǔn)則估計(jì)是有誤差的，這個(gè)誤差是要付出代價(jià)的，貝葉斯估計(jì)就是使平均代價(jià)最小的估計(jì)。貝葉斯估計(jì)的基本思想估計(jì)的誤差為與誤差有關(guān)的代價(jià)函數(shù)為典型的代價(jià)函數(shù)有：平方代價(jià)函數(shù)可得到最小均方估計(jì)絕對(duì)值代價(jià)函數(shù)可得到條件中位數(shù)估計(jì)均勻代價(jià)函數(shù)可得到最大后驗(yàn)概率估計(jì)平均代價(jià)為貝葉斯估計(jì)就是使上式的平均代價(jià)最小的估計(jì)?；虻葍r(jià)于使平均代價(jià)最小不同的代價(jià)函數(shù)得到不同的估計(jì)1最小均方估計(jì)采用平方代價(jià)函數(shù)的貝葉斯估計(jì)采用平方代價(jià)函數(shù)時(shí)的平均代價(jià)為:平均代價(jià)<====>均方誤差使平均代價(jià)最小等價(jià)于使均方誤差最小----最小均方估計(jì)很容易驗(yàn)證最小均方估計(jì)是被估計(jì)量的條件均值2條件中位數(shù)估計(jì)（ConditionalMedianEstimate)采用絕對(duì)值代價(jià)函數(shù)的貝葉斯估計(jì)由于所以最小均方估計(jì)具有無(wú)偏性上式對(duì)估計(jì)求導(dǎo)，并令導(dǎo)數(shù)等于零，得采用絕對(duì)值代價(jià)函數(shù)的貝葉斯估計(jì)剛好是條件概率密度的中位數(shù)，所以也稱為條件中位數(shù)估計(jì)。3最大后驗(yàn)概率估計(jì)采用均勻代價(jià)函數(shù)的貝葉斯估計(jì)0圖后驗(yàn)概率密度最大后驗(yàn)方程例:設(shè)z=A+vA~U(-A0,A0)噪聲為高斯的A0A0-A0-A0估計(jì)量估計(jì)圖形舉例：高斯白噪聲中的DC電平估計(jì)vi是獨(dú)立同分布的高斯隨機(jī)變量，均值為零，方差為v2令8.3最大似然估計(jì)（MaximumLikelihoodEstimate)z=+v為待估計(jì)量，v為零均值高斯白噪聲，方差為2f(z|)叫做最大似然估計(jì)MaximumLikelihoodEstimateTheestimatecanbeinterpretedasthatthevalueofwhichmostprobablygaverisetoobservedquantityz

lnf(z|)<--對(duì)數(shù)似然函數(shù)

最大似然方程例高斯白噪聲中DC電平的估計(jì)zi=A+vii=1,2,....,N觀測(cè)是相互獨(dú)立的z=[z1,z2,.....,zN]T

令上式等于零，可解得由于所以求得的A0為極大值即最大似然估計(jì)為：例:設(shè)有N次獨(dú)立觀測(cè)zi=vi，i=1,2,….N，其中v~N(0,2)，求噪聲方差2的最大似然估計(jì)。例:高斯白噪聲中的恒定電平估計(jì)--A已知而方差未知。設(shè)有N次獨(dú)立觀測(cè)zi=A+vi，i=1,2,….N，其中vi~N(0,2)，2為未知參數(shù)，求2的最大似然估計(jì)。例:高斯白噪聲中的恒定電平估計(jì)-未知參數(shù)與未知方差。設(shè)有N次獨(dú)立觀測(cè)zi=A+vi，i=1,2,….N，其中vi~N(0,2)，2、A均為未知參數(shù)，求A和2的最大似然估計(jì)。(多參數(shù)同時(shí)估計(jì))8.4估計(jì)的性能1估計(jì)的性能指標(biāo)無(wú)偏性為確定性參量（非隨機(jī)參量）為隨機(jī)參量當(dāng)觀測(cè)是多次測(cè)量時(shí)，這時(shí)估計(jì)量可表示為其中觀測(cè)矢量為：一般說(shuō)來(lái)，觀測(cè)數(shù)據(jù)越多，估計(jì)的性能越好對(duì)于有偏估計(jì)，如果稱為漸近無(wú)偏估計(jì)有效性對(duì)于無(wú)偏估計(jì)，方差越小，估計(jì)越有效達(dá)到最小方差的估計(jì)稱為有效估計(jì)隨著觀測(cè)數(shù)據(jù)的增加，估計(jì)依概率收斂于真值一致性充分性估計(jì)量包含了觀測(cè)中所有有關(guān)的信息NeymanFisher因子分解定理2無(wú)偏估計(jì)量的性能邊界不同的估計(jì)方法可以得到不同的估計(jì)量，估計(jì)量的性能可以通過(guò)前面介紹的無(wú)偏性、有效性和一致性來(lái)評(píng)價(jià)，但實(shí)際中，估計(jì)量可能比較復(fù)雜，很難評(píng)價(jià)估計(jì)量的有效性和一致性。此外，在得到一個(gè)估計(jì)量以后，它的性能是否已經(jīng)達(dá)到最佳？是否還有更好的估計(jì)量？克拉美-羅下限告訴了我們無(wú)偏估計(jì)量的估計(jì)方差的最小值，稱此最小值為克拉美-羅下限(CRLB,Cramer-RaoLowBound)。8.3估計(jì)的性能(1)非隨機(jī)參數(shù)估計(jì)的CRLB任何無(wú)偏估計(jì)量的方差滿足8.3估計(jì)的性能等號(hào)成立的條件：J-1稱為無(wú)偏估計(jì)量的CRLB，達(dá)到CRLB的估計(jì)，其估計(jì)的方差是最小的，估計(jì)方差最小的估計(jì)是有效估計(jì)量。如果一個(gè)無(wú)偏估計(jì)，它的方差達(dá)到CRLB，那么，這個(gè)估計(jì)必定是最大似然估計(jì)。這時(shí)最大似然估計(jì)是最好的。但如果不存在達(dá)到CRLB的估計(jì)，最大似然估計(jì)就不一定是最好的估計(jì)。這是因?yàn)?，如果達(dá)到CRLB下限，則滿足等號(hào)成立的條件，即又由于最大似然估計(jì)滿足所以舉例：高斯白噪聲中未知常數(shù)的估計(jì)無(wú)偏估計(jì)滿足等號(hào)成立的條件(2)隨機(jī)參數(shù)估計(jì)的CRLB無(wú)偏估計(jì)的均方誤差滿足等號(hào)成立的條件如果有某個(gè)無(wú)偏估計(jì)達(dá)到CRLB,那么該估計(jì)必定是最大后驗(yàn)概率估計(jì).而最小均方估計(jì)的均方誤差也是最小的,所以這時(shí)最小均方估計(jì)與最大后驗(yàn)概率估計(jì)等價(jià).舉例：高斯白噪聲中的DC電平估計(jì)vi是獨(dú)立同分布的高斯隨機(jī)變量，均值為零，方差為v28.5線性最小均方估計(jì)正交條件線性最小均方估計(jì)是無(wú)偏估計(jì)例:設(shè)觀測(cè)模型為zi=s+vi，i=1,2,..，其中隨機(jī)參量s以等概率取{-2,-1,0,1,2}諸值，噪聲干擾vi以等概率取{-1,0,1}諸值，且E[svi]=0，ij，試根據(jù)一次、二次、三次觀測(cè)數(shù)據(jù)求參量s的線性最小均方估計(jì)。單次觀測(cè)二次觀測(cè)三次觀測(cè)矢量情況例:高斯白噪聲中具有均勻概率密度的恒定電平估計(jì)。設(shè)觀測(cè)模型為zi=A+vi，i=1,2,....,N其中A是在(-A0,A0)上均勻分布的隨機(jī)變量，vi是零均值、方差為2的高斯白噪聲序列，且A與vi相互獨(dú)立，求A的線性最小均方估計(jì).8.6最小二乘估計(jì)最小二乘估計(jì)的性質(zhì)(1)無(wú)偏性當(dāng)測(cè)量噪聲的均值為零時(shí)，即E(vi)=0時(shí)，(2)估計(jì)的方差陣(3)對(duì)于加權(quán)最小二乘估計(jì)，如果有一些模型的知識(shí)，如E(v)=0，E[vvT]=R，當(dāng)W=R-1時(shí)，估計(jì)誤差的方差陣達(dá)到最小，這個(gè)最小的方差陣為信號(hào)處理實(shí)例目標(biāo)的跟蹤問(wèn)題可等效看成為一個(gè)曲線擬合問(wèn)題，對(duì)于勻速直線運(yùn)動(dòng)目標(biāo)的跟蹤可以等效成一階多項(xiàng)式擬合一個(gè)噪聲測(cè)量的問(wèn)題，而對(duì)于勻加速運(yùn)動(dòng)目標(biāo)的跟蹤可以等效成二階多項(xiàng)式擬合一個(gè)噪聲測(cè)量的問(wèn)題。首先考慮勻速直線運(yùn)動(dòng)目標(biāo)的跟蹤問(wèn)題，勻速直線運(yùn)動(dòng)目標(biāo)模型(只考慮x方向)2．實(shí)驗(yàn)內(nèi)容（1）勻速運(yùn)動(dòng)目標(biāo)假定有一個(gè)兩座標(biāo)雷達(dá)對(duì)一平面上運(yùn)動(dòng)的目標(biāo)進(jìn)行觀測(cè)，目標(biāo)在t=0400s沿y軸作恒速直線運(yùn)動(dòng)，運(yùn)動(dòng)速度為-15m/s，目標(biāo)的起始點(diǎn)為(2000m,10000m)，雷達(dá)掃描周期t=2s，x和y獨(dú)立地進(jìn)行觀測(cè)，觀測(cè)噪聲的標(biāo)準(zhǔn)差均為100m。試建立雷達(dá)對(duì)目標(biāo)的跟蹤算法，并進(jìn)行仿真分析，畫出目標(biāo)的真實(shí)軌跡、對(duì)目標(biāo)的觀測(cè)軌跡、濾波軌跡以及濾波的誤差曲線。實(shí)驗(yàn):參數(shù)估計(jì)方法在目標(biāo)跟蹤中的應(yīng)用1．實(shí)驗(yàn)?zāi)康尼槍?duì)一個(gè)勻速直線運(yùn)動(dòng)目標(biāo)的跟蹤設(shè)計(jì)最小二乘濾波器，了解跟蹤濾波的基本方法，以及參數(shù)估計(jì)方法的應(yīng)用。（2）勻速+勻加速運(yùn)動(dòng)目標(biāo)假定有一個(gè)兩座標(biāo)雷達(dá)對(duì)一平面上運(yùn)動(dòng)的目標(biāo)進(jìn)行觀測(cè)，目標(biāo)在t=0400s沿y軸作恒速直線運(yùn)動(dòng)，運(yùn)動(dòng)速度為-15m/s，目標(biāo)的起始點(diǎn)為(2000m,10000m)，在t=400600s向x軸方向做900的慢轉(zhuǎn)彎，加速度為ux=uy=0.075m/s，完成慢轉(zhuǎn)彎后加速度將降為零，加速度降至零后目標(biāo)保持勻速直線運(yùn)動(dòng)至t=1000s。雷達(dá)掃描周期T=2s，x和y獨(dú)立地進(jìn)行觀測(cè)，觀測(cè)噪聲的標(biāo)準(zhǔn)差均為100m。試建立雷達(dá)對(duì)目標(biāo)的跟蹤算法，并進(jìn)行仿真分析，畫出目標(biāo)的真實(shí)軌跡、對(duì)目標(biāo)的觀測(cè)軌跡、濾波軌跡以及濾波的誤差曲線。7.7波形估計(jì)一、一般概念波形估計(jì)有三種類型：(1)濾波：根據(jù)當(dāng)前和過(guò)去的觀測(cè)值{z(k),k=n0,n0+1,...,n}對(duì)信號(hào)s(n)進(jìn)行估計(jì)(2)預(yù)測(cè):根據(jù)當(dāng)前和過(guò)去的觀測(cè)值{z(k),k=n0,n0+1,...,nf}對(duì)未來(lái)時(shí)刻n(n>nf)的信號(hào)s(n)進(jìn)行估計(jì)，預(yù)測(cè)也稱為外推。(3)內(nèi)插:根據(jù)某一區(qū)間的觀測(cè)數(shù)據(jù){z(k),k=n0,n0+1,...,nf}對(duì)區(qū)間內(nèi)的某一個(gè)時(shí)刻n(n0<n<nf)的信號(hào)進(jìn)行估計(jì)，內(nèi)插也稱為平滑。Wiener-holf方程維納濾波器假定信號(hào)和觀測(cè)過(guò)程是平穩(wěn)隨機(jī)序列，并且是聯(lián)合平穩(wěn)隨機(jī)序列，系統(tǒng)為因果的線性時(shí)不變離散時(shí)間線性系統(tǒng)，n0=-，即觀測(cè)數(shù)據(jù)為{z(k),-<kn}，當(dāng)信號(hào)s(n)與觀測(cè)噪聲統(tǒng)計(jì)獨(dú)立時(shí)當(dāng)觀測(cè)為白噪聲的時(shí)候，h(n)=Rsz(n)，n0如果z(n)不是白噪聲，那么可