西安工業(yè)信號檢測與估計SDE-10b ch7 最大似然估計Review

MLE:問題的引出MotivationforMLEProblem:MVUEoftendoesnotexistorcan’tbefound.BLUEmaynotbeapplicableifPDFisknown,thenMLEcanbeused。Solution:If

thePDFisknown,thenMLEcanalways

beused!!!Oneofmostpopularpracticalmethods.通用的工程方法Advantages:1.“turn-the-crank”methodtofindit.”轉(zhuǎn)動搖把”總能得到結(jié)果2.Optionalforenoughdatasize.當(dāng)觀測數(shù)據(jù)足夠多時，其性能最優(yōu)。Disadvantages:Notoptimalforsmalldatasize.小數(shù)據(jù)量時性能差Canbecomputationallycomplex計算復(fù)雜mayrequirenumerical“search”methods.用到搜索方法2023/2/51SDE_09MLE似然函數(shù)LF概率密度函數(shù)PDFp(x)=………………？p(x;A)=………………？p(x,y)=………………？p(x|y)=………………？2023/2/52SDE_09MLEMLE基本原理

RationaleforMLE

Choosetheparametervaluethat:選擇待估參數(shù)makesthedatayoudidobserve…使得所觀測數(shù)據(jù)themostlikelydatatohavebeenobserved!!!

與那個參數(shù)所決定的分布間是最相似的。Consider2possibleparametervalues:θ1&θ2考慮Askthefollowing:

Ifθi

werereallythetruevalue,whatistheprobabilityPithatIwouldgetthedatasetIreallygot?

如果θi是真實值，那么我所得到的數(shù)據(jù)集的概率是怎樣的？SoifPiissmall…itsaysyouactuallygotadatasetthatwasunlikelytooccur!Notagoodguessforθi

!!!p2=p(x;θ2)dx?Butp1=p(x;θ1)dx

選擇使得達(dá)到最大picksothatislargest2023/2/53SDE_09MLEGeneralProceduremaximizesthelikelihoodfunctionlikelihoodfunctionNote:BecauseLn(z)isamonotonicallyincreasingfunction，

alsomaximizesLnp(x;θ)1Findlog-likelihoodfunction;ln

p(x;θ)2對θ求偏導(dǎo)Differentiatew.r.t.θ:3Settozero:=04soleforvalue一般程序GeneralProcedure2023/2/54SDE_09MLE7.5MLE的性質(zhì)PropertiesofMLETheMLEisasymptotically漸近1unbiased無偏的2efficient有效的3GaussianPDF服從高斯分布的一般而言，如果真的有一個有效估計方法存在，MLE一定能夠找到它！

Also,ifatrulyefficientestimatorexist,thentheMLprocedurefindsit!a漸近分布于TheasymptoticpropertiesarecapturedinTheorem7.1:Ifp(x;θ)satisfiessome“regularity”conditions,thentheMLEisasymptoticallydistributedaccordingtowhereI(θ)=FisherInformationMatrix2023/2/55SDE_09MLE蒙特卡洛仿真MonteCarloSimulationIllustratefordeterministicsignals[n;θ]inAWGNDataCollection:1.Selectaparticulartrueparametervalue,挑選一個真值θtrue-youareofteninterestedindoingthisforavarietyofvaluesofθ多個估計值

soyouwouldrunoneMCsimulationforeachθvalueofinterest每個進(jìn)行一次2.Generatesignalhavingtrueθ:s[n;θt](callitsinmatlab)產(chǎn)生信號值

s[n;θt]

3.GenerateWGNhavingunitvariance產(chǎn)生噪聲ww=randn(size(s));4.Formmeasureddata構(gòu)造觀測值

:x=s+sigma*w;-chooseσtogetthedesiredSNR-usuallywanttorunatmanySNRvalues→dooneMCsimulationforeachSNRvalue5.Computeestimatefromdatax

從數(shù)據(jù)X中計算估計值

6.Repeatsteps3-5Mtimes

重復(fù)3～5步M次-(callM“#ofMCruns”orjust“#ofruns”)7.StoreallMestimatesinavectorEST(assumesscalarθ)

保存M個估計值A(chǔ)methodologyfordoingcomputersimulationstoevaluateperformanceofanyestimationmethod，對于估計質(zhì)量進(jìn)行計算機(jī)仿真的通用方法NotjustfortheMLE!!!2023/2/56SDE_09MLE蒙特卡洛仿真MonteCarloSimulationcon.StatisticalEvaluation統(tǒng)計計算:1.Computebias計算偏差2.ComputeerrorRMS計算標(biāo)準(zhǔn)差3.ComputetheerrorVariance4.PlotHistogramorScatterPlot(ifdesired)Nowexplore(viaplots)how:Bias,RMS,andVARvarywith:θvalue,SNRvalue,Nvalue,Etc.Today：MonteCarloResultsforMLPhaseEstimation2023/2/57SDE_09MLE7.7:MLE數(shù)值的確定NumericalDeterminationofMLE有時無法獲得閉合形式的估計公式；采用以下網(wǎng)格搜索法迭代法Newton-Raphson方法、得分法、數(shù)學(xué)期望最大算法If–1<r<0thenthissignalisadecayingoscillation衰落震動thatmightbeusedtomodel:?AShip’s“HullPing”?AVibratingString,Etc.So…wecan’talwaysfindaclosed-formMLE!找不到閉合形式的解ButamainadvantageofMLEis:Wecanalwaysfinditnumerically!!!(Notalwayscomputationallyefficiently,though)但總可以計算出來而非推導(dǎo)通常情況下，推導(dǎo)出MLE的PDF函數(shù)形式是不可能的。2023/2/58SDE_09MLEx(n)=A+w(n)=PDF

X=3.0………估計A假設(shè)A為3.4,則p(X;3.4)=p3.4由此求得p3.0p3.1p3.2p3.2p3.3p3.5找到最大的一個px.x,所對應(yīng)的A，即為MLEBruteForceMethod暴力求解：網(wǎng)格搜索法2023/2/59SDE_09MLEIterativeMethod:Newton-RaphsonMLE2023/2/510SDE_09MLEConvergenceIssuesofNewton-Raphson:1.Maynotconverge可能不收斂2.Mayconverge,buttolocalmaximum可能收斂，但只是局部最佳 -goodinitialguessisneeded!! -canuseroughgridsearchtoinitialize -canusemultipleinitializationsSomeOtherIterativeMLEMethods1.ScoringMethod ?Replacessecond-partialtermbyI(θ)2.Expectation-Maximization(EM)Method ?Guaranteesconvergencetoatleastalocalmaximum ?Goodforcomplicatedmulti-parametercases2023/2/511SDE_09MLE矢量參數(shù)MLE的性質(zhì)PropertiesofVectorMLETheorem7.3:漸近特性

asymptoticpropertiesarea漸近分布于Theorem7.4:MLE的不變性

InvariancepropertyofMLETheorem7.5:MLEforLinearModel

線性模型的MLEx=Hθ+w2023/2/512SDE_09MLE課后大作業(yè)：Matlab編程實現(xiàn)對于x(n)=r^n+w(n)；w~N(0,1);已知一組觀測值1，0.9，0.81，0.71，0.62；①求r的估計，要求精度達(dá)到0.005；②若要求精度達(dá)到0.0001，需要多少觀測數(shù)據(jù)？作業(yè)發(fā)郵箱gropemind@163.com發(fā)現(xiàn)抄襲，一律0分，不辨源2023/2/513SDE_09MLE7.10MLEExamples1.距離估計RangeEstimation–sonar,radar,robotics,emitterlocation2.正弦參數(shù)估計SinusoidalParameterEstimation(Amp.,Frequency,Phase)–sonar,radar,communicationreceivers(recallDSBExample),etc.3.方位估計BearingEstimation–sonar,radar,emitterlocation2023/2/514SDE_09MLEEx.3.13距離估計RangeEstimationProblem發(fā)送脈沖TransmitPulse:s(t)nonzeroovert∈[0,Ts]接收信號ReceiveReflection:s(t.τo)測量延時MeasureTimeDelay:τo聲納、雷達(dá)、機(jī)器人學(xué)、發(fā)射區(qū)定位sonar,radar,robotics,emitterlocationC-TSignalModel從發(fā)射機(jī)到目標(biāo)再返回的雙程延遲τo聲納與距離R有關(guān)，即τo＝2R/c2023/2/515SDE_09MLE設(shè)x(t)是時間t的非周期實函數(shù)，且x(t)

滿足在范圍內(nèi)滿足狄利赫利條件

絕對可積，即

信號的總能量有限，即有限個極值有限個斷點斷點為有限值譜分析：傅立葉變換則的傅里葉變換為：

其反變換為：

稱為的頻譜密度，也簡稱為頻譜。包含：振幅譜相位譜2023/2/516SDE_09MLE即能量譜密度帕塞瓦等式2023/2/517SDE_09MLE應(yīng)用截取函數(shù)

隨機(jī)過程的功率譜密度PSD當(dāng)x(t)為有限值時，的傅里葉變換存在

應(yīng)用帕塞瓦等式

除以2T取集合平均2023/2/518SDE_09MLE令，再取極限，交換求數(shù)學(xué)期望和積分的次序

功率Q

非負(fù)存在（1）Q為確定性值，不是隨機(jī)變量（2）為確定性實函數(shù)。注意：PSD性質(zhì)2023/2/519SDE_09MLE兩個結(jié)論：

1表示時間平均

若平穩(wěn)2PSD結(jié)論2023/2/520SDE_09MLE功率譜密度：描述了隨機(jī)過程X(t)的功率在各個不同頻率上的分布——稱為隨機(jī)過程X(t)的功率譜密度。

對在X(t)的整個頻率范圍內(nèi)積分，便可得到X(t)的功率。

對于平穩(wěn)隨機(jī)過程，有：

功率譜密度PSDpowerspectraldensity2023/2/521SDE_09MLE例：設(shè)隨機(jī)過程，其中皆是實常數(shù)，是服從上均勻分布的隨機(jī)變量，求隨機(jī)過程的平均功率。

解：不是寬平穩(wěn)的求功率譜2023/2/522SDE_09MLE（只是記號相同，函數(shù)形式不同）例：功率譜密度和復(fù)頻率面2023/2/523SDE_09MLE確定信號：隨機(jī)信號：平穩(wěn)隨機(jī)過程的自相關(guān)函數(shù)功率譜密度。

維納—辛欽定理

若隨機(jī)過程X(t)是平穩(wěn)的，自相關(guān)函數(shù)絕對可積，則自相關(guān)函數(shù)與功率譜密度構(gòu)成一對付氏變換，即：功率譜密度與自相關(guān)函數(shù)之間的關(guān)系2023/2/524SDE_09MLE

維納—辛欽定理的證明2023/2/525SDE_09MLE設(shè)則所以：維納—辛欽定理的證明con2023/2/526SDE_09MLE則

(注意，

且，。因此，通常情況下，第二項為0)

維納—辛欽定理的證明con2023/2/527SDE_09MLE推論：對于一般的隨機(jī)過程X(t)，有：

平均功率為：

利用自相關(guān)函數(shù)和功率譜密度皆為偶函數(shù)的性質(zhì)，又可將維納—辛欽定理表示成：

維納—辛欽定理的推論2023/2/528SDE_09MLE

由于實平穩(wěn)過程x(t)的自相關(guān)函數(shù)是實偶函數(shù)，功率譜密度也一定是實偶函數(shù)。有時我們經(jīng)常利用只有正頻率部分的單邊功率譜。

單邊功率譜2023/2/529SDE_09MLE例：平穩(wěn)隨機(jī)過程的自相關(guān)函數(shù)為，A>0，，求過程的功率譜密度。

解：應(yīng)將積分按＋和－分成兩部分進(jìn)行

求過程的功率譜密度2023/2/530SDE_09MLE例：設(shè)為隨機(jī)相位隨機(jī)過程其中，為實常數(shù)為隨機(jī)相位，在均勻分布?？梢酝茖?dǎo)出這個過程為廣義平穩(wěn)隨機(jī)過程，自相關(guān)函數(shù)為求的功率譜密度。求過程的功率譜密度2023/2/531SDE_09MLE解：注意此時不是有限值，即不可積，因此的付氏變換不存在，需要引入函數(shù)。求過程的功率譜密度2023/2/532SDE_09MLE例：設(shè)隨機(jī)過程，其中皆為常數(shù)，為具有功率譜密度的平穩(wěn)隨機(jī)過程。求過程的功率譜密度。

解：

求過程的功率譜密度2023/2/533SDE_09MLE1功率譜密度為非負(fù)的,即

證明：2功率譜密度是的實函數(shù)

平穩(wěn)隨機(jī)過程功率譜密度的性質(zhì)3

對于實隨機(jī)過程來說，功率譜密度是的偶函數(shù)，即4

功率譜密度可積，即

2023/2/534SDE_09MLE3

對于實隨機(jī)過程來說，功率譜密度是的偶函數(shù)，即證明：是實函數(shù)又2023/2/535SDE_09MLE4

功率譜密度可積，即

證明：對于平穩(wěn)隨機(jī)過程，有：

平穩(wěn)隨機(jī)過程的均方值有限2023/2/536SDE_09MLE二譜分解定理

1譜分解

在平穩(wěn)隨機(jī)過程中有一大類過程，它們的功率譜密度為的有理函數(shù)。在實際中，許多隨機(jī)過程的功率譜密度都滿足這一條件。即使不滿足，也常?？梢杂糜欣砗瘮?shù)來逼近。這時可以表示為兩個多項式之比，即

2023/2/537SDE_09MLE若用復(fù)頻率s來表示功率譜密度，那么，對于一個有理函數(shù)，總能把它表示成如下的因式分解形式：

2023/2/538SDE_09MLE據(jù)平穩(wěn)隨機(jī)過程的功率譜密度的性質(zhì)，可以導(dǎo)出關(guān)于的零、極點的如下性質(zhì)：（1）

為實數(shù)。

（2）

的所有虛部不為0的零點和極點都成復(fù)共軛出現(xiàn)。

（3）的所有零、極點皆為偶重的。

（4）M＜N。

2023/2/539SDE_09MLE2譜分解定理根據(jù)上面的性質(zhì)，可將

分解成兩項之積，即：

其中（零極點在s上半平面）（零極點在s下半平面）且譜分解定理

此時2023/2/540SDE_09MLE3為有理函數(shù)時的均方值求法（1）利用

（2）直接利用積分公式

（3）查表法（4）留數(shù)法2023/2/541SDE_09MLE預(yù)備知識：留數(shù)定理設(shè)為復(fù)變量s的函數(shù)，且其繞原點的簡單閉曲線C反時針方向上和曲線C內(nèi)部只有幾個極點

則：

一階留數(shù)

二階留數(shù)

2023/2/542SDE_09MLE上式積分路徑是沿著軸，應(yīng)用留數(shù)法時，要求積分沿著一個閉合圍線進(jìn)行。為此，考慮沿著左半平面上的一個半徑為無窮大的半園積分。根據(jù)留數(shù)定理，不難得出2023/2/543SDE_09MLE例:

考慮一個廣義平穩(wěn)隨機(jī)過程X(t)，具有功率譜密度

求過程的均方值解:用復(fù)頻率的方法來求解。用代入上式得用復(fù)頻率s表示得功率譜密度：2023/2/544SDE_09MLE因式分解：

在左半平面內(nèi)有兩個極點：-1和-3。于是可以分別計算這兩個極點的留數(shù)為：

故：2023/2/545SDE_09MLE2.2聯(lián)合平穩(wěn)隨機(jī)過程的互譜密度一、互譜密度考慮兩個平穩(wěn)實隨機(jī)過程X(t)、Y(t)，它們的樣本函數(shù)分別為和，定義兩個截取函數(shù)、為：2023/2/546SDE_09MLE因為、都滿足絕對可積的條件，所以它們的傅里葉變換存在。在時間范圍(-T，T)內(nèi)，兩個隨機(jī)過程的互功率為:（注意、為確定性函數(shù)，所以求平均功率只需取時間平均）

由于、的傅里葉變換存在，故帕塞瓦定理對它們也適用，即:2023/2/547SDE_09MLE注意到上式中，和是任一樣本函數(shù)，因此具有隨機(jī)性，取數(shù)學(xué)期望，并令得：

2023/2/548SDE_09MLE

定義互功率譜密度為：則2023/2/549SDE_09MLE同理，有：且2023/2/550SDE_09MLE二、互譜密度和互相關(guān)函數(shù)的關(guān)系自相關(guān)函數(shù)功率譜密度

F互相關(guān)函數(shù)互譜密度

F定義：對于兩個實隨機(jī)過程X(t)、Y(t)，其互譜密度與互相關(guān)函數(shù)之間的關(guān)系為

即2023/2/551SDE_09MLE若X(t)、Y(t)各自平穩(wěn)且聯(lián)合平穩(wěn)，則有即結(jié)論：對于兩個聯(lián)合平穩(wěn)(至少是廣義聯(lián)合平穩(wěn))的實隨機(jī)過程，它們的互譜密度與其互相關(guān)函數(shù)互為傅里葉變換。2023/2/552SDE_09MLE三、互譜密度的性質(zhì)性質(zhì)1：證明：

＝

（令）2023/2/553SDE_09MLE性質(zhì)2：

證明：

（令）

同理可證2023/2/554SDE_09MLE性質(zhì)3：

證明：類似性質(zhì)2證明。性質(zhì)4：

若X(t)與Y(t)正交，則有

證明：若X(t)與Y(t)正交，則所以2023/2/555SDE_09MLE性質(zhì)5：

若X(t)與Y(t)不相關(guān)，X(t)、Y(t)分別具有常數(shù)均值和，則

證明：

因為X(t)與Y(t)不相關(guān)，所以（）2023/2/556SDE_09MLE性質(zhì)6：

例：設(shè)兩個隨機(jī)過程X(t)和Y(t)聯(lián)合平穩(wěn)，其互相關(guān)函數(shù)為:

求互譜密度，。2023/2/557SDE_09MLE解：

2023/2/558SDE_09MLE2.3離散時間隨機(jī)過程的功率譜密度一離散時間隨機(jī)過程的功率譜密度1平穩(wěn)離散時間隨機(jī)過程的相關(guān)函數(shù)

設(shè)X(n)為廣義平穩(wěn)離散時間隨機(jī)過程，或簡稱為廣義平穩(wěn)隨機(jī)序列，具有零均值，其自相關(guān)函數(shù)為:簡寫為：

2023/2/559SDE_09MLE2平穩(wěn)離散時間隨機(jī)過程的功率譜密度

當(dāng)滿足條件式時，我們定義的功率譜密度為的離散傅里葉變換，并記為

T是隨機(jī)序列相鄰各值的時間間隔。

是頻率為的周期性連續(xù)函數(shù)，其周期為

奈奎斯特頻率

2023/2/560SDE_09MLE因為為周期函數(shù)，周期為，

在時2023/2/561SDE_09MLE3譜分解①z變換定義

在離散時間系統(tǒng)的分析中，常把廣義平穩(wěn)離散時間隨機(jī)過程的功率譜密度定義為的z變換，并記為，即

式中式中，D為在的收斂域內(nèi)環(huán)繞z平面原點反時針旋轉(zhuǎn)的一條閉合圍線。2023/2/562SDE_09MLE②性質(zhì)

（因為）③譜分解定理

設(shè)X(n)是廣義平穩(wěn)實離散隨機(jī)過程，具有有理功率譜密度函數(shù)。則可分解為：

其中包含了單位圓之內(nèi)的全部零點和極點包含了單位圓之外的全部零點和極點2023/2/563SDE_09MLE例：設(shè)，求和解：將z=代人上式，即可求得2023/2/564SDE_09MLE連續(xù)時間平穩(wěn)隨機(jī)過程離散時間平穩(wěn)隨機(jī)過程自相關(guān)函數(shù)功率譜密度功率譜密度自相關(guān)函數(shù)FTDFT2023/2/565SDE_09MLE連續(xù)時間確知信號離散時間確知信號采樣香農(nóng)采樣定理2023/2/566SDE_09MLE連續(xù)時間平穩(wěn)隨機(jī)過程離散時間平穩(wěn)隨機(jī)過程采樣2023/2/567SDE_09MLE其中，T為采樣周期，

為在時對的采樣。1確知信號的采樣定理(香農(nóng)采樣定理)設(shè)為一確知、連續(xù)、限帶、實信號，其頻帶范圍，當(dāng)采樣周期T小于或等于時，可將展開為二平穩(wěn)隨機(jī)過程的采樣定理2023/2/568SDE_09MLE連續(xù)時間確知信號離散時間確知信號采樣香農(nóng)采樣定理2023/2/569SDE_09MLE連續(xù)時間平穩(wěn)隨機(jī)過程離散時間平穩(wěn)隨機(jī)過程采樣2023/2/570SDE_09MLE若為平穩(wěn)隨機(jī)過程，具有零均值，其功率譜密度為

，則當(dāng)滿足條件時，可將按它的振幅采樣展開為二平穩(wěn)隨機(jī)過程的采樣定理2023/2/571SDE_09MLE證明:帶寬有限，第一步：(1)的帶寬也是有限(2)令，則(3)是確知函數(shù)，根據(jù)維納-辛欽定理，對，

對應(yīng)用香農(nóng)采樣定理的，對應(yīng)用香農(nóng)采樣定理2023/2/572SDE_09MLE第二步：令，則=0(2)這說明，正交又是的線性組合，因此正交2023/2/573SDE_09MLE即

(4)又

(5)(3)第三步：=0即2023/2/574SDE_09MLE第一步第二步第三步(1)(2)(3)(4)(5)=02023/2/575SDE_09MLE連續(xù)時間平穩(wěn)隨機(jī)過程離散時間平穩(wěn)隨機(jī)過程采樣=自相關(guān)函數(shù)功率譜密度功率譜密度自相關(guān)函數(shù)FTDFT2023/2/576SDE_09MLE

若平穩(wěn)連續(xù)時間實隨機(jī)過程，其自相關(guān)函數(shù)和功率譜密度分別記為和，對采樣后所得離散時間隨機(jī)過程，的自相關(guān)函數(shù)和功率譜密度分別記為和，則有

三功率譜密度的采樣定理2023/2/577SDE_09MLE證明:(1)

根據(jù)定義===由可見，，即樣可得==(2)進(jìn)行等間隔的采對2023/2/578SDE_09MLE連續(xù)時間平穩(wěn)隨機(jī)過程離散時間平穩(wěn)隨機(jī)過程采樣自相關(guān)函數(shù)功率譜密度功率譜密度自相關(guān)函數(shù)FTDFT平穩(wěn)隨機(jī)過程的采樣定理功率譜密度的采樣定理2023/2/579SDE_09MLE2.4白噪聲一、理想白噪聲定義：若N(t)為一個具有零均值的平穩(wěn)隨機(jī)過程，其功率譜密度均勻分布在

的整個頻率區(qū)間，即

其中為一正實常數(shù)，則稱N(t)為白噪聲過程或簡稱為白噪聲。2023/2/580SDE_09MLE自相關(guān)函數(shù)為

自相關(guān)系數(shù)為

2023/2/581SDE_09MLE總結(jié)：（1）白噪聲只是一種理想化的模型，是不存在的。（2）白噪聲的均方值為無限大而物理上存在的隨機(jī)過程，其均方值總是有限的。（3）白噪聲在數(shù)學(xué)處理上具有簡單、方便等優(yōu)點。2023/2/582SDE_09MLE二、限帶白噪聲1．低通型定義：若過程的功率譜密度滿足

則稱此過程為低通型限帶白噪聲。將白噪聲通過一個理想低通濾波器，便可產(chǎn)生出低通型限帶白噪聲。2023/2/583SDE_09MLE低通型限帶白噪聲的自相關(guān)函數(shù)為2023/2/584SDE_09MLE圖3.11示出了低通型限帶白噪聲的和的圖形，注意，時間間隔為整數(shù)倍的那些隨機(jī)變量，彼此是不相關(guān)的（均值為0，相關(guān)函數(shù)值為0）。2023/2/585SDE_09MLE2.帶通型帶通型限帶白噪聲的功率譜密度為

由維納—辛欽定理，得到相應(yīng)的自相關(guān)函數(shù)為

2023/2/586SDE_09MLE

帶通型限帶白噪聲的和的圖形

2023/2/587SDE_09MLE三、色噪聲按功率譜度函數(shù)形式來區(qū)別隨機(jī)過程，我們將把除了白噪聲以外的所有噪聲都稱為有色噪聲或簡稱色噪聲。2023/2/588SDE_09MLE小結(jié)

1.隨機(jī)過程的時間無限性，導(dǎo)致能量無限，因而隨機(jī)過程的付氏變換不存在，但其功率存在。所以，不能對隨機(jī)過程直接求付氏變換，即：

×但相關(guān)函數(shù)與功率譜密度構(gòu)成一對付氏變換，即若隨機(jī)過程X(t)平穩(wěn)，則

2023/2/589SDE_09MLE2.平均功率的四種求法：查表；留數(shù)；對功率譜密度求積分（有個系數(shù)）；求相關(guān)函數(shù)后令.

一般過程：3.隨機(jī)過程的平均功率：即集合平均＋統(tǒng)計平均。4.特定函數(shù)的付氏變換需記憶。2023/2/590SDE_09MLEEx.7.15RangeEstimationProblem2023/2/591SDE_09MLERangeEstimationD-TSignal2023/2/592SDE_09MLERangeEstimationLikelihoodFunctionWhiteandGaussian?Independent?ProductofPDFs3differentPDFs–oneforeachsubinterval2023/2/593SDE_09MLE2023/2/594SDE_09MLE時域和復(fù)頻域2023/2/595SDE_09MLERangeEstimationMLE2023/2/596SDE_09MLEEx.2正弦信號參數(shù)估計

SinusoidParameterEstimationProblemGivenDTsignalsamplesofasinusoidinnoise….Estimateitsamplitude,frequency,andphase1Ωo

isDTfrequencyincycles/sample:0<Ωo

<πDTWhiteGaussianNoiseZeroMean&Varianceofσ2θ=[AΩo

Φ

]

TMinimizeThisDefineanequivalentparameterset:一對一的變換---不影響變換有效性

α1=Acos(φ)α2=–Asin(φ)2023/2/597SDE_09MLE定義c(Ωo)=[1cos(Ωo)cos(Ωo2)…cos(Ωo(N-1))]Ts(Ωo)=[0sin(Ωo)sin(Ωo2)…sin(Ωo(N-1))]TH(Ωo)=[c(Ωo)s(Ωo)]anNx2matrixJ'(α1,α2,Ωo)=[x–H(Ωo)α]T

[x–H(Ωo)α]則有2023/2/598SDE_09MLESinusoidParms.ExactMLEProcedure2023/2/599SDE_09MLESinusoidParms.Approx.MLEProcedureFirstwelookataspecificstructure:Then…ifΩoisnotnear0orπ,thenapproximately近似?離散時間傅立葉變換DTFTofDatax[n]andSteps2&3become2023/2/5100SDE_09MLETheprocessingisimplementedasfollows:Giventhedata:x[n],n=0,1,2,…,N-11.ComputetheDFTX[m],m=0,1,2,…,M-1ofthedataZero-padtolengthM=4NtoensuredensegridoffrequencypointsUsetheFFTalgorithmforcomputationalefficiency2.FindlocationofpeakUsequadraticinterpolationof|X[m]|3.FindheightatpeakUsequadraticinterpolationof|X[m]|4.FindangleatpeakUselinearinterpolationof∠X[m]2023/2/5101SDE_09MLEEx.3BearingEstimationMLEGrabone“snapshot”ofallMsensorsatasingleinstantts:抓住在某一瞬間ts所有M個傳感器的測量值“快照”：SameasSinusoidalEstimation!!與正弦估計相同So…ComputeDFTandFindLocationofPeak!!峰值的位置Ifemittedsignalisnotasinusoid…thenyougetadifferentMLE!!若待估信號不是正弦波，將得到另一種的最大似然估計2023/2/5102SDE_09MLEEstimatingTDOA/FDOASIGNALMODELWillProcessEquivalentLowpasssignal,BW=BHzRepresentingRFsignalwithRFBW=BHzSampledatFs>Bcomplexsamples/secCollectionTimeTsecAteachreceiver:2023/2/5103SDE_09MLEDOPPLER&DELAYMODELUselinearapproximation–assumessmallchangeinvelocityoverobservationintervalForRealBPSignals:TimeScalingTimeDelay:τd2023/2/5104SDE_09MLEDOPPLER&DELAYMODEL(continued)AnalyticSignalsModelNowwhat?Noticethatv<<c=>(1–v/c)≈1Sayv=–300m/s(–670mph)thenv/c=–300/3x108=–10-6=>(1–v/c)=1.000001NowassumeE(t)&φ(t)varyslowlyenoughthatCalledNarrowbandApproximationFortherangeofvofinterest2023/2/5105SDE_09MLEDOPPLER&DELAYMODEL(continued)NarrowbandAnalyticSignalModelConstantPhaseTermα=–ωcτdDopplerShiftTermωd=ωc

v/cCarrierTermTransmittedSignal’sLPESignalTime-ShiftedbyτdNarrowbandLowpassEquivalentSignalModelThisisthesignalthatactuallygetsprocesseddigitally2023/2/5106SDE_09MLECRLBforTDOAWealreadyshowedthattheCRLBfortheactivesensorcaseis:whereBrms

isaneffectivebandwidthofthesignalcomputedfromtheDFTvaluesS[k].Buthereweneedtoestimatethedelaybetweentwonoisysignalsratherthanbetweenanoisyoneandacleanone.Theonlydifferenceintheresultis:replaceSNRbyaneffectiveSNRgivenby2023/2/5107SDE_09MLECRLBforTDOA(cont.)S.Stein,“AlgorithmsforAmbiguityFunctionProcessing,”IEEETrans.onASSP,June1981AmorefamiliarformforthisisintermsoftheC-Tversionoftheproblem:BT=Time-BandwidthProduct(≈N,numberofsamplesinDT)B=NoiseBandwidthofReceiver(Hz)T=CollectionTime(sec)BT

iscalled“CoherentProcessingGain”相干處理增益(SameeffectastheDFTProcessingGainonasinusoid)Forasignalwithrectangularspectrum矩形頻譜

ofRFwidthofBs,thentheboundbecomes:2023/2/5108SDE_09MLECRLBforFDOAHerewetakeadvantageofthetime-frequencydualityiftheFT:

whereTrmsisaneffectivedurationofthesignalcomputedfromthesignalsampless[k].Again…weusethesameeffectiveSNR:2023/2/5109SDE_09MLECRLBforFDOA(cont.)S.Stein,“AlgorithmsforAmbiguityFunctionProcessing,”IEEETrans.onASSP,June1981AmorefamiliarformforthisisintermsoftheC-Tversionoftheproblem:ForasignalwithconstantenvelopeofdurationTs,thentheboundbecomes:2023/2/5110SDE_09MLEInterpretingCRLBsforTDOA/FDOAAmorefamiliarformforthisisintermsoftheC-Tversionoftheproblem:

BTpullsthesignalupoutofthenoiseLargeBrmsimprovesTDOAaccuracy提高TDOA精度LargeTrmsimprovesFDOAaccuracy提高FDOA精度TwoExamplesofAccuracyBounds:精度定界2023/2/5111SDE_09MLEMLEforTDOA/FDOAS.Stein,“DifferentialDelay/DopplerMLEstimationwithUnknownSignals,”IEEETrans.onSP,August1993WealreadyshowedthattheMLEstimateofdelayfortheactivesensorcaseistheCross-Correlationofthetimesignals.Bythetime-frequencydualitytheMLestimatefordopplershiftshouldbeCross-CorrelationoftheFT,whichismathematicallyequivalenttoTheMLestimateoftheTDOA/FDOAhasbeenshowntobe:2023/2/5112SDE_09MLEMLEstimatorforTDOA/FDOA(cont.)2023/2/5113SDE_09MLEMLEstimatorforTDOA/FDOA(cont.)HowwelldoweexpecttheCross-CorrelationProcessingtoperform?Well…itistheMLestimatorsoitisnotnecessarilyoptimum.But…weknowthatanMLestimateisasymptotically?Unbiased&Efficient(thatmeansitachievestheCRLB)?GaussianThosearesomeVERYnicepropertiesthatwecanmakeuseofinourlocationaccuracyanalysis!!!2023/2/5114SDE_09MLEPropertiesoftheCAF2023/2/5115SDE_09MLETDOAACCURACYREVISITEDTDOAAccuracydependson:?EffectiveSNR:SNReff?RMSWidths:Brms=RMSBandwidthLowEffectiveSNRCausesSpuriousPeaksOnXcorrFunctionNarrowXcorrFunctionLessSusceptibletoSpuriousPeaks2023/2/5116SDE_09MLEFDOAACCURACYREVISITEDFDOAAccuracydependson:?EffectiveSNR:SNReff?RMSWidths:Drms=RMSDurationLowEffectiveSNRCausesSpuriousPeaksOnXcorrFunctionNarrowXcorrFunctionLessSusceptibletoSpuriousPeaks2023/2/5117SDE_09MLECOMPUTINGTHEAMBIGUITYFUNCTIONDirectcomputationbasedontheequationfortheambiguityfunctionleadstocomputationallyinefficientmethods.Incoursenotesweshowedhowtousedecimationtoefficientlycomputetheambiguityfunction2023/2/5118SDE_09MLEEstimatingGeo-Location2023/2/5119SDE_09MLETDOA/FDOALOCATIONCentralizedNetworkofP?“P-Choose-2”Pairs#“P-Choose-2”TDOAMeasurements#“P-Choose-2”FDOAMeasurements?Warning:WatchoutforCorrelation

EffectDuetoSignal-Data-In-Common2023/2/5120SDE_09MLETDOA/FDOALOCATIONPair-WiseNetworkofP?P/2Pairs#P/2TDOAMeasurements#P/2FDOAMeasurements?ManywaystoselectP/2pairs?Warning:Notallpairingsareequallygood!!!TheDashedPairsareBetter2023/2/5121SDE_09MLETDOA/FDOAMeasurementModelGivenNTDOA/FDOAmeasurementswithcorresponding2×2Cov.MatricesAssumepair-wisenetwork,so…TDOA/FDOApairsareuncorrelatedFornotationalpurposes…definethe2Nmeasurementsr(n)n=1,2,…,2NDataVectorNow,thosearetheTDOA/FDOAestimates…sothetruevaluesarenotatedas:“Signal”Vector2023/2/5122SDE_09MLETDOA/FDOAMeasurementModel(cont.)Eachofthesemeasurementsr(n)hasanerrorε(n)associatedwithit,so…r=s+εBecausethesemeasurementswereestimatedusinganMLestimator(withsufficientlylargenumberofsignalsamples)weknowthaterrorvectorεisazero-meanGaussianvectorwithcov.matrixCgivenby:AssumesthatTDOA/FDOApairsareuncorrelated!!!andtransmitfrequencyThetrueTDOA/FDOAvaluesdependon:EmitterParms:2023/2/5123SDE_09MLETDOA/FDOAMeasurementModel(cont.)Here