信號(hào)檢測(cè)與估計(jì)

Chapter6ParameterEstimation成員：董春波馬和峰李聘婷目前一頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)目錄6.1最大似然估計(jì)6.2廣義似然比檢驗(yàn)6.3優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)6.4貝葉斯估計(jì)6.5Cramer-Rao不等式6.6多參數(shù)估計(jì)6.7最佳線性無(wú)偏估計(jì)6.8最小二乘估計(jì)6.9遞歸最小二乘估計(jì)目前二頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)序言在第5章中，我們學(xué)習(xí)了關(guān)于檢測(cè)理論的問題，主要是解決在M個(gè)可能的假設(shè)中來確定哪個(gè)假設(shè)是正確。本章主要介紹假設(shè)接受的信號(hào)是正確的，但是有些相關(guān)聯(lián)的參數(shù)是未知的，主要的目的就是利用有限的樣本參數(shù)用最佳的方式估計(jì)這些參數(shù)。令Y1，Y2，...，YK為K個(gè)獨(dú)立同分布的隨機(jī)變量Y的樣本，其密度函數(shù)取決于未知參數(shù)θ。y1，y2，...，yK為樣本Y1，Y2，...，YK所對(duì)應(yīng)的值，函數(shù)g（Y1，Y2，...，YK）用來估計(jì)參數(shù)θ。表示為稱為參數(shù)θ的估計(jì)。通常，估計(jì)的參數(shù)可以是隨機(jī)的或非隨機(jī)的。隨機(jī)參數(shù)的估計(jì)被稱為貝葉斯估計(jì)，而非隨機(jī)參數(shù)的估計(jì)被稱為最大似然估計(jì)（MLE）。目前三頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.1最大似然估計(jì)如在前面的函數(shù)中所提到的，通常用最大似然（ML）估計(jì)來估計(jì)非隨機(jī)參數(shù)。令Y1，Y2，...，YK具有樣本值y1，y2，...，yK的隨機(jī)變量Y的K個(gè)觀測(cè)值，并且這些隨機(jī)變量是獨(dú)立同分布的。令表示隨機(jī)變量Y的條件密度函數(shù)。Y的密度函數(shù)取決于需要估計(jì)的參數(shù)θ，記最大似然函數(shù)為L(zhǎng)(θ)，式

(6.1.1)似然函數(shù)最大的值稱為θ的最大似然估計(jì)量。為求最大似然估計(jì)量，我們利用數(shù)學(xué)中所學(xué)的微積分。為了計(jì)算簡(jiǎn)單，利用對(duì)數(shù)函數(shù)，由于對(duì)數(shù)函數(shù)lnx是關(guān)于變量x的遞增函數(shù)，由第五章可知最大化L(θ)與ln(L(θ))等價(jià)。可以用最大似然函數(shù)的對(duì)數(shù)函數(shù)式求解，對(duì)參數(shù)θ求導(dǎo)數(shù)可以求的最大似然估計(jì)量。如式

(6.1.2)不變性：令L(θ)是θ的似然函數(shù),并且g(θ)是參數(shù)θ一一對(duì)應(yīng)的函數(shù)，即g(θ1)=g(θ2)θ1=θ2如果是參數(shù)θ的最大似然估計(jì)量，則是g(θ)最大似然估計(jì)量。目前四頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.1最大似然估計(jì)Examle6.1thereceivedsignalunderhypothesesH1andH0was(a)Assumingtheconstantmisnotknown,obtaintheMLestimateofthemean.(b)Supposenowthatthemeanmisknown,butthevarianceσ2isunknown.ObtaintheMLEofθ=σ2.在第五章中，是確定假設(shè)中的那個(gè)假設(shè)是真的。而在本章中，假設(shè)H1是真的，參數(shù)是未知的需要用最大似然估計(jì)來估計(jì)。(a)在例題中需要確定的參數(shù)對(duì)應(yīng)為，m∈M,由于樣本參數(shù)是獨(dú)立同分布的，由式得似然函數(shù)：目前五頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.1最大似然估計(jì)等式兩邊同取對(duì)數(shù)得利用式6.1.2解似然方程得到似然估計(jì)得得到。Thus,theMLestimatoris目前六頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.1最大似然估計(jì)(b)最大似然估計(jì)式為方程兩邊取對(duì)數(shù)得其中對(duì)lnL(σ2)最大化等價(jià)于對(duì)σ2最小化由似然函數(shù)的不變性得目前七頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.1最大似然估計(jì)因此，σ2的最大似然估計(jì)為目前八頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.2廣義似然比檢驗(yàn)在例5.9中，我們解決了復(fù)合假設(shè)檢驗(yàn)問題。參數(shù)m在假設(shè)H1下雖然已知m是正或負(fù)，但是值是未知。當(dāng)m僅為正值（僅為負(fù)值）時(shí)，在UMP測(cè)試，判決規(guī)則為m>0時(shí)m<0時(shí)由于設(shè)置參數(shù)m的正負(fù)致使實(shí)驗(yàn)結(jié)果不同，因此，對(duì)所有的參數(shù)m，UMP測(cè)試是不行的。因此運(yùn)用了上節(jié)所講的最大似然估計(jì)。也就是說，假設(shè)H1是真，要用已有的樣本來估計(jì)θ。如果假設(shè)是正確的，我們可以用最大似然比檢驗(yàn)。目前九頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.2廣義似然比檢驗(yàn)如果所使用的估計(jì)是最大似然估計(jì)，則稱為廣義似然比檢驗(yàn)，并且由下式給出

(6.2.1)θ0和θ1是在假設(shè)H0和H1估計(jì)的未知參數(shù)。Example6.2ConsidertheproblemofExample5.9,wheremisanunknownparameter.ObtainthegeneralizedlikelihoodratiotestandcompareittotheoptimumNeyman-Pearsontest.目前十頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.2廣義似然比檢驗(yàn)Example5.9ConsiderthesituationwheretheobservationsundereachhypothesisaregivenbywhereNdenotesawhiteGaussiannoiseofzeromeanandvarianceσ2,andmisunknown.Then,wesaythatH0isasimplehypothesis,andH1acompositehypothesis.由于K個(gè)觀測(cè)值是獨(dú)立的，所以在假設(shè)H1和H0下的條件密度函數(shù)是目前十一頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.2廣義似然比檢驗(yàn)其中m是未知參數(shù)。由于假設(shè)H0不包含m，所以估計(jì)過程僅適用于假設(shè)H1。根據(jù)（6.1.2）給出的似然方程，假設(shè)H1下的m的似然估計(jì)由下式給出代入式得或者則似然比檢驗(yàn)為目前十二頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.2廣義似然比檢驗(yàn)

代入在上述表達(dá)式中獲得的的值，并在取對(duì)數(shù)之后進(jìn)行簡(jiǎn)化得由于是非負(fù)的，如果η小于等于1（lnη負(fù)），則判定H1總是真的。因此，η可以設(shè)置為大于等于1的數(shù)。因此，不等式變換得目前十三頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.2廣義似然比檢驗(yàn)其中γ1>0。因此，上式等價(jià)于下式判決門限圖如圖Figure6.2.1Decisionregionsofthegeneralizedlikelihoodratiotest設(shè)定期望的失警概率，可以確定γ1的值。在得到失警概率PF的表達(dá)式之前，我們需要確定Z的密度函數(shù)。目前十四頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.2廣義似然比檢測(cè)在假設(shè)H0下Y的均值為零和方差σ2，所有的觀察數(shù)據(jù)都是統(tǒng)計(jì)獨(dú)立的高斯過程。因此，的密度函數(shù)均是均值為零和方差Kσ2的高斯過程。因此，Z也是具有均值為零和方差σ2的高斯過程。失警的概率為，如圖所示Figure6.2.2DensityfunctionofZunderH0.目前十五頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.2廣義似然比檢驗(yàn)

從上面可以在沒有m的失警概率中確定γ1的值。然而，檢測(cè)的概率不能在沒有m的情況下確定，但可以對(duì)m做參數(shù)估計(jì)。在假設(shè)H1下，是具有均值為Km和方差Kσ2的高斯過程。因此，Z的密度函數(shù)是具有均√Km和方差σ2。給定m的檢測(cè)概率為，概率密度圖如圖所示目前十六頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.2廣義似然比檢驗(yàn)通過比較，廣義似然比檢驗(yàn)和奈曼-皮爾遜檢驗(yàn)效果一樣好。Figure6.2.3DensityfunctionofZunderH1.目前十七頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.3優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)由于估計(jì)參量是隨機(jī)變量，所對(duì)應(yīng)的值不止一個(gè)。因此需要確定最優(yōu)估計(jì)。無(wú)偏估計(jì)：是無(wú)偏估計(jì)，滿足式（）有偏估計(jì)：如式（）1.如果b(θ)不依賴于θ(b(θ)=b)，就認(rèn)為估計(jì)量具有已知的偏差，也就是說(-b)是無(wú)偏估計(jì)。2.當(dāng)b(θ)≠b，由于θ是未知的，所以不能獲得無(wú)偏估計(jì)。在這種情況下，就認(rèn)為估計(jì)量具有未知的偏差。當(dāng)參數(shù)θ既滿足式（）并且不是隨機(jī)的（沒有θ的先驗(yàn)概率分布），這有時(shí)稱為絕對(duì)無(wú)偏估計(jì)。目前十八頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.3優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)如果估計(jì)是無(wú)偏的，其意味著估計(jì)值與真實(shí)值接近，但是不一定是最優(yōu)估計(jì)。可以通過圖6.3.1中所示的估計(jì)的條件密度函數(shù)容易地看出。從圖中觀察到，即使是無(wú)偏估計(jì)，因估計(jì)的方差很大也可能發(fā)生相當(dāng)大的誤差。然而如果方差小，估計(jì)量和期望值的相差也很小。因此，可以認(rèn)為估計(jì)的優(yōu)良性可以有方差大小判斷。Figure6.3.1Densityfunctionoftheunbiasedestimatorθ?.目前十九頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.3優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)無(wú)偏最小方差：是θ的最小方差和無(wú)偏估計(jì)，對(duì)所有的參數(shù)θ'都有E(θ')=θ,則對(duì)所有var()≤var(θ')

也就是說，對(duì)于所有θ無(wú)偏估計(jì)，具有最小的方差。一致估計(jì)：是基于K個(gè)觀察樣本的參數(shù)θ的一致估計(jì)，如果滿足式(6.3.3)P(.)代表概率。應(yīng)用上述定義并不能驗(yàn)證估計(jì)的一致性。可以用以下定理定理：是基于K個(gè)觀察樣本的參數(shù)θ的無(wú)偏估計(jì)，如果滿足式（）（）

是參數(shù)θ的一致估計(jì)量。如果滿足式目前二十頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.3優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)

Example6.3(a)VerifyiftheestimatorofExample6.1isanunbiasedestimateofm.(b)Istheestimatorunbiased?Solution(a)

TheestimatorisunbiasedifE[]=m.Aftersubstitution,weobtainHence,isunbiased.(b)

TheestimatorisunbiasedifE[]=σ2.Thatis,Hence,isunbiased.目前二十一頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.4貝葉斯估計(jì)在貝葉斯估計(jì)中，引入了代價(jià)(損失)函數(shù)，對(duì)所有的定義為。代價(jià)函數(shù)是兩個(gè)隨機(jī)變量θ和的非負(fù)實(shí)函數(shù)。在貝葉斯檢測(cè)中，代價(jià)函數(shù)的平均代價(jià)定義為風(fēng)險(xiǎn)函數(shù)，如式。（）

貝葉斯估計(jì)就是尋找使得風(fēng)險(xiǎn)函數(shù)（即平均代價(jià)）達(dá)到最小的判決準(zhǔn)則。一般情況是估計(jì)單變量，所以利用估計(jì)誤差來進(jìn)行估計(jì)。估計(jì)誤差如式（）下面有三種常用的代價(jià)函數(shù)，其圖形如圖所示。1.平方代價(jià)函數(shù)2.絕對(duì)值代價(jià)函數(shù)（）（）目前二十二頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.4貝葉斯估計(jì)3.均勻代價(jià)函數(shù)（）△表示一個(gè)很小的量，可見所謂的均勻代價(jià)函數(shù)是指當(dāng)誤差超過某一門限值時(shí)，代價(jià)是相同的，而當(dāng)誤差小于該門限值時(shí)，代價(jià)為零。Figure6.4.1Costfunctions:(a)squarederror,(b)absolutevalueoferror,and(c)uniform.目前二十三頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.4貝葉斯估計(jì)未知參數(shù)假定為密度函數(shù)為的連續(xù)隨機(jī)變量，風(fēng)險(xiǎn)函數(shù)可以用是表示。（）可以取所有θ和Y的平均代價(jià)，Y可以由向量[Y1

,Y2,...,YK]T表示。6.4.1最小均方誤差估計(jì)

式（6.4.2）中給出的代價(jià)函數(shù)使風(fēng)險(xiǎn)函數(shù)最小的估計(jì)稱為最小均方估計(jì)（MMSE）。相應(yīng)的風(fēng)險(xiǎn)函數(shù)用?ms表示。得式（）由式1.91，風(fēng)險(xiǎn)函數(shù)可以化為式（）目前二十四頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.4貝葉斯估計(jì)由于密度函數(shù)fY(y)是非負(fù)的，最小化?ms就等價(jià)于最小化括號(hào)中的方程。因此對(duì)括號(hào)中的方程對(duì)參數(shù)求導(dǎo)，得式(6.4.9)用式（1.38）給出的萊布尼茨準(zhǔn)則，得式（）目前二十五頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.4貝葉斯估計(jì)也就是說，的最小均方估計(jì)是在Y的條件下參數(shù)θ的均值（θ的后驗(yàn)均值）。可以得出，關(guān)于的二階導(dǎo)數(shù)是正定的，所以是對(duì)應(yīng)于?ms唯一的最小值，并且由式給出（）

給定Y的條件下θ的方差為式（）因此，?ms是給定所有可能Y的值條件下θ的方差。平方誤差準(zhǔn)則的該估計(jì)過程有時(shí)稱為誤差估計(jì)的最小方差（MV）。目前二十六頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.4貝葉斯估計(jì)6.4.2條件中位數(shù)估計(jì)這種情況下，把式代入風(fēng)險(xiǎn)函數(shù)得式（）使用與上節(jié)相同的方法，可以通過最小化括號(hào)中的積分來最小化風(fēng)險(xiǎn)函數(shù)，括號(hào)中的方程由式給出（）相對(duì)于式6.4.14的微分，并且設(shè)結(jié)果等于零，得式（）目前二十七頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.4貝葉斯估計(jì)也就是說，估計(jì)是密度函數(shù)條件的中值，該估計(jì)稱為誤差的最小平均絕對(duì)值（MAVE）估計(jì)，因此。6.4.3最大后驗(yàn)概率對(duì)于式給出的代價(jià)函數(shù)，貝葉斯風(fēng)險(xiǎn)函數(shù)變?yōu)槭剑ǎ┠壳岸隧?yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.4貝葉斯估計(jì)然而（）P(.)表示概率。因此，通過最大化式（6.4.17）對(duì)?unf最小化。的后驗(yàn)密度函數(shù)為，尋求的使其滿足條件最大，則稱的最大后驗(yàn)估計(jì)量。定義為式（）對(duì)式兩邊取對(duì)數(shù)得式（）目前二十九頁(yè)\總數(shù)三十五頁(yè)\編于十七點(diǎn)6.4貝葉斯估計(jì)方程（6.4.19）稱為MAP方程。但是要注意這是必要不充分條件，因?yàn)榭梢跃哂袔讉€(gè)局部最大值。由貝葉斯準(zhǔn)則得式（）兩邊取對(duì)數(shù)變換得式（）由最大后驗(yàn)估計(jì)準(zhǔn)則得式（）總是假設(shè)Δ足夠小，使得估計(jì)由最大后驗(yàn)概率方程給出。也就是說，圖6.