第二十四講：最小二乘估計、波形估計課件

7.6最小二乘估計（LeastSquareEstimate）最小二乘估計是一種對數據的概率分布未做任何假定的一種估計方法，僅對數據模型進行假定。SignalModelPerturbationnoiseModelinaccuraciesSignalModel-+7.6最小二乘估計（LeastSquareEstim1選擇一種的最佳估計,使s(n)最接近z(n)例如：DC電平信號選擇一種的最佳估計,使s(n)最接近z(n)2例：正弦信號頻率的估計最小化難以得到閉合性形式的解，原因是信號與未知參數f0之間存在高度的非線性關系。例：正弦信號頻率的估計最小化難以得到閉合性形式的解，原因是信3第二十四講：最小二乘估計、波形估計課件4加權最小二乘估計加權最小二乘估計5討論：（1）當觀測噪聲的均值為零時，最小二乘與加權最小二乘是無偏估計。討論：（1）當觀測噪聲的均值為零時，最小二乘與加權最小二乘6（2）估計的方差陣（2）估計的方差陣7(3)對于加權最小二乘估計，如果有一些模型的知識，如E(v)=0，E[vvT]=R，當W=R-1時，估計誤差的方差陣達到最小，這個最小的方差陣為這時的估計稱為馬爾可夫估計(3)對于加權最小二乘估計，如果有一些模型的知識，如E(v8例：信號幅度的估計設N次獨立觀測為方法一：例：信號幅度的估計設N次獨立觀測為方法一：9方法2：方法2：10信號處理實例：最小二乘在目標跟蹤中的應用目標的跟蹤問題可等效成一個曲線擬合問題假定目標做勻速直線運動運動模型（只考慮x方向）：信號處理實例：最小二乘在目標跟蹤中的應用目標的跟蹤問題可等效11觀測模型：令觀測模型：令12遞推算法：批處理算法，運算量太大。遞推算法：批處理算法，運算量太大。13遞推算法：遞推算法：147.7波形估計(WaveformEstimation)根據{z(n),n[n0,nf]}估計s(n)波形估計的應用圖像恢復語音恢復目標跟蹤彈道數據處理7.7波形估計(WaveformEstimation)151.波形估計的三種類型(1)濾波：根據當前和過去的觀測值{z(k),k=n0,n0+1,...,n}對信號s(n)進行估計(2)預測:根據當前和過去的觀測值{z(k),k=n0,n0+1,...,nf

}對未來時刻n(n>nf)的信號s(n)進行估計，預測也稱為外推。數據數據1.波形估計的三種類型(1)濾波：根據當前和過去的觀測值16(3)內插:根據某一區(qū)間的觀測數據{z(k),k=n0,n0+1,...,nf

}對區(qū)間內的某一個時刻n(n0<n<nf)的信號進行估計，內插也稱為平滑。數據(3)內插:根據某一區(qū)間的觀測數據數據17波形估計宜采用可建立遞推算法的線性最小均方估計或最小二乘估計。v(n)相互獨立，且若采用最大似然估計波形估計宜采用可建立遞推算法的線性最小均方估計或最小二乘估計18這個估計量是沒有意義的，因為沒有對觀測做任何處理。這個估計量是沒有意義的，因為沒有對觀測做任何處理。19最小均方估計：線性最小均方估計：濾波最小均方估計：線性最小均方估計：濾波20由正交原理：Wiener-Holf方程波形估計的關鍵是如何求解Wiener-Holf方程由正交原理：Wiener-Holf方程波形估計的關鍵是如何21維納濾波器假定信號和觀測過程是平穩(wěn)隨機序列，并且是聯合平穩(wěn)隨機序列，系統(tǒng)為線性時不變離散時間線性系統(tǒng)，n0=-，即觀測數據為{z(k),-<k}，維納濾波器假定信號和觀測過程是平穩(wěn)隨機序列，并且是聯合平穩(wěn)隨22維納濾波器維納濾波器23當信號s(n)與觀測噪聲統(tǒng)計獨立時當信號s(n)與觀測噪聲統(tǒng)計獨立時24如果假定{z(k),-<k}，系統(tǒng)為因果的線性時不變系統(tǒng)如果假定{z(k),-<k}，系統(tǒng)為因果的線性25第二十四講：最小二乘估計、波形估計課件26當觀測為白噪聲的時候，當觀測為白噪聲的時候，27如果不是白噪聲，那么可以先白化Hw(z)H2(z)如果不是白噪聲，那么可以先白化Hw(z)H2(z)28例7.13設觀測過程為z(n)=s(n)+v(n)，其中假定觀測噪聲v(n)為零均值白噪聲，方差為1，s(n)是具有有理譜的平穩(wěn)隨機序列，功率譜密度為信號s(n)與v(n)統(tǒng)計獨立，求估計s(n)的維納濾波器例7.13設觀測過程為z(n)=s(n)+v(n)，其中假29解：解：30第二十四講：最小二乘估計、波形估計課件31第二十四講：最小二乘估計、波形估計課件32連續(xù)時間的維納濾波器離散時間濾波連續(xù)時間濾波物理可實現物理可實現連續(xù)時間的維納濾波器離散時間濾波連續(xù)時間濾波物理可實現物理可33例7.13設觀測過程為z(t)=s(t)+v(t)，-<t<其中假定觀測噪聲v(n)為零均值白噪聲，功率譜密度為1，s(n)是具有有理譜的平穩(wěn)隨機過陳，功率譜密度為求估計s(t)的維納濾波器。例7.13設觀測過程為z(t)=s(t)+v(t)，-<34第二十四講：最小二乘估計、波形估計課件35第七章小結貝葉斯估計非貝葉斯估計最小均方估計條件中位數估計最大后驗概率估計線性最小均方估計最大似然估計最小二乘估計都需要計算后驗概率密度需要計算似然函數只對數據模型進行假定第七章小結貝葉斯估計非貝葉斯估計最小均方估計最大似然估計都需361.最小均方估計平方代價函數的貝葉斯估計最小均方估計是無偏估計2.條件中位數估計絕對值代價函數的貝葉斯估計1.最小均方估計平方代價函數的貝葉斯估計最小均方估計是無偏373.最大后驗概率估計采用絕對值代價函數的貝葉斯估計最大后驗概率方程3.最大后驗概率估計采用絕對值代價函數的貝葉斯估計最大后驗38貝葉斯估計都需要計算后驗概率密度，需要已知被估計量的分布特性。先驗信息的應用，有利于提高估計的性能。貝葉斯估計都需要計算后驗概率密度，需要已知被估計量的分布特性39Mean=Median=Mode高斯后驗分布Mean=Median=Mode高斯后驗分布404.最大似然估計最大似然方程：4.最大似然估計最大似然方程：41常用信號參數的估計（1）高斯白噪聲中恒定電平的估計（2）高斯白噪聲的方差估計均值為零均值已知均值未知常用信號參數的估計（1）高斯白噪聲中恒定電平的估計（2）42（3）信號幅度的估計z[n]=As[n]+v[n]，n=0,1,….N-1正弦信號幅度估計:（3）信號幅度的估計z[n]=As[n]+v[n]，n=043(4)正弦信號相位的估計(4)正弦信號相位的估計445.估計的性能0DesirePDF概率密度越尖越好均值要等于真值方差越小越好對于有偏估計，均方誤差越小越好性能指標：無偏性有效性一致性5.估計的性能0DesirePDF概率密度越尖越好對于有45估計量的CRLB當且僅當任何無偏估計的方差滿足估計量的CRLB當且僅當任何無偏估計的方差滿足46達到CRLB的估計稱為效估計量如果有效估計量存在，則該有效估計量一定是最大似然估計如果有效估計量不存在，則最大似然估計的方差不一定是最小的。最大似然估計是漸近有效估計量，即達到CRLB的估計稱為效估計量如果有效估計量存在，則該有效估47隨機參量的CRLB任何無偏估計的均方誤差滿足等號成立的條件隨機參量的CRLB任何無偏估計的均方誤差滿足等號成立的條件48如果有某個無偏估計達到CRLB,那么該估計必定是最大后驗概率估計.而最小均方估計的均方誤差也是最小的,所以這時最小均方估計與最大后驗概率估計等價.如果有某個無偏估計達到CRLB,那么該估計必定是最大后驗概率496.線性最小均方估計6.線性最小均方估計50線性最小均方估計是無偏的。當觀測與被估計量是聯合高斯分布式，線性最小均方估計與最小均方估計等價。矢量形式：線性最小均方估計是無偏的。當觀測與被估計量是聯合高斯分布式517.最小二乘估計7.最小二乘估計52第二十四講：最小二乘估計、波形估計課件53性質：當觀測噪聲的均值為零時，最小二乘與加權最小二乘是無偏估計。W=R-1時稱為馬爾可夫估計性質：W=R-1時稱為馬爾可夫估計548.波形估計濾波、預測、平滑的概念運用正交原理獲得Wiener-Holf方程8.波形估計濾波、預測、平滑的概念運用正交原理獲得Wien55離散時間濾波連續(xù)時間濾波物理可實現物理可實現離散時間濾波連續(xù)時間濾波物理可實現物理可實現56習題：7.237.247.25習題：7.237.247.25577.6最小二乘估計（LeastSquareEstimate）最小二乘估計是一種對數據的概率分布未做任何假定的一種估計方法，僅對數據模型進行假定。SignalModelPerturbationnoiseModelinaccuraciesSignalModel-+7.6最小二乘估計（LeastSquareEstim58選擇一種的最佳估計,使s(n)最接近z(n)例如：DC電平信號選擇一種的最佳估計,使s(n)最接近z(n)59例：正弦信號頻率的估計最小化難以得到閉合性形式的解，原因是信號與未知參數f0之間存在高度的非線性關系。例：正弦信號頻率的估計最小化難以得到閉合性形式的解，原因是信60第二十四講：最小二乘估計、波形估計課件61加權最小二乘估計加權最小二乘估計62討論：（1）當觀測噪聲的均值為零時，最小二乘與加權最小二乘是無偏估計。討論：（1）當觀測噪聲的均值為零時，最小二乘與加權最小二乘63（2）估計的方差陣（2）估計的方差陣64(3)對于加權最小二乘估計，如果有一些模型的知識，如E(v)=0，E[vvT]=R，當W=R-1時，估計誤差的方差陣達到最小，這個最小的方差陣為這時的估計稱為馬爾可夫估計(3)對于加權最小二乘估計，如果有一些模型的知識，如E(v65例：信號幅度的估計設N次獨立觀測為方法一：例：信號幅度的估計設N次獨立觀測為方法一：66方法2：方法2：67信號處理實例：最小二乘在目標跟蹤中的應用目標的跟蹤問題可等效成一個曲線擬合問題假定目標做勻速直線運動運動模型（只考慮x方向）：信號處理實例：最小二乘在目標跟蹤中的應用目標的跟蹤問題可等效68觀測模型：令觀測模型：令69遞推算法：批處理算法，運算量太大。遞推算法：批處理算法，運算量太大。70遞推算法：遞推算法：717.7波形估計(WaveformEstimation)根據{z(n),n[n0,nf]}估計s(n)波形估計的應用圖像恢復語音恢復目標跟蹤彈道數據處理7.7波形估計(WaveformEstimation)721.波形估計的三種類型(1)濾波：根據當前和過去的觀測值{z(k),k=n0,n0+1,...,n}對信號s(n)進行估計(2)預測:根據當前和過去的觀測值{z(k),k=n0,n0+1,...,nf

}對未來時刻n(n>nf)的信號s(n)進行估計，預測也稱為外推。數據數據1.波形估計的三種類型(1)濾波：根據當前和過去的觀測值73(3)內插:根據某一區(qū)間的觀測數據{z(k),k=n0,n0+1,...,nf

}對區(qū)間內的某一個時刻n(n0<n<nf)的信號進行估計，內插也稱為平滑。數據(3)內插:根據某一區(qū)間的觀測數據數據74波形估計宜采用可建立遞推算法的線性最小均方估計或最小二乘估計。v(n)相互獨立，且若采用最大似然估計波形估計宜采用可建立遞推算法的線性最小均方估計或最小二乘估計75這個估計量是沒有意義的，因為沒有對觀測做任何處理。這個估計量是沒有意義的，因為沒有對觀測做任何處理。76最小均方估計：線性最小均方估計：濾波最小均方估計：線性最小均方估計：濾波77由正交原理：Wiener-Holf方程波形估計的關鍵是如何求解Wiener-Holf方程由正交原理：Wiener-Holf方程波形估計的關鍵是如何78維納濾波器假定信號和觀測過程是平穩(wěn)隨機序列，并且是聯合平穩(wěn)隨機序列，系統(tǒng)為線性時不變離散時間線性系統(tǒng)，n0=-，即觀測數據為{z(k),-<k}，維納濾波器假定信號和觀測過程是平穩(wěn)隨機序列，并且是聯合平穩(wěn)隨79維納濾波器維納濾波器80當信號s(n)與觀測噪聲統(tǒng)計獨立時當信號s(n)與觀測噪聲統(tǒng)計獨立時81如果假定{z(k),-<k}，系統(tǒng)為因果的線性時不變系統(tǒng)如果假定{z(k),-<k}，系統(tǒng)為因果的線性82第二十四講：最小二乘估計、波形估計課件83當觀測為白噪聲的時候，當觀測為白噪聲的時候，84如果不是白噪聲，那么可以先白化Hw(z)H2(z)如果不是白噪聲，那么可以先白化Hw(z)H2(z)85例7.13設觀測過程為z(n)=s(n)+v(n)，其中假定觀測噪聲v(n)為零均值白噪聲，方差為1，s(n)是具有有理譜的平穩(wěn)隨機序列，功率譜密度為信號s(n)與v(n)統(tǒng)計獨立，求估計s(n)的維納濾波器例7.13設觀測過程為z(n)=s(n)+v(n)，其中假86解：解：87第二十四講：最小二乘估計、波形估計課件88第二十四講：最小二乘估計、波形估計課件89連續(xù)時間的維納濾波器離散時間濾波連續(xù)時間濾波物理可實現物理可實現連續(xù)時間的維納濾波器離散時間濾波連續(xù)時間濾波物理可實現物理可90例7.13設觀測過程為z(t)=s(t)+v(t)，-<t<其中假定觀測噪聲v(n)為零均值白噪聲，功率譜密度為1，s(n)是具有有理譜的平穩(wěn)隨機過陳，功率譜密度為求估計s(t)的維納濾波器。例7.13設觀測過程為z(t)=s(t)+v(t)，-<91第二十四講：最小二乘估計、波形估計課件92第七章小結貝葉斯估計非貝葉斯估計最小均方估計條件中位數估計最大后驗概率估計線性最小均方估計最大似然估計最小二乘估計都需要計算后驗概率密度需要計算似然函數只對數據模型進行假定第七章小結貝葉斯估計非貝葉斯估計最小均方估計最大似然估計都需931.最小均方估計平方代價函數的貝葉斯估計最小均方估計是無偏估計2.條件中位數估計絕對值代價函數的貝葉斯估計1.最小均方估計平方代價函數的貝葉斯估計最小均方估計是無偏943.最大后驗概率估計采用絕對值代價函數的貝葉斯估計最大后驗概率方程3.最大后驗概率估計采用絕對值代價函數的貝葉斯估計最大后驗95貝葉斯估計都需要計算后驗概率密度，需要已知被估計量的分布特性。先驗信息的應用，有利于提高估計的性能。貝葉斯估計都需要計算后驗概率密度，需要已知被估計量的分布特性96Mean=Median=Mode高斯后驗分布Mean=Median=Mode高斯后驗分布974.最大似然估計最大似然方程：4.最大似然估計最大似然方程：98常用信號參數的估計（1）高斯白噪聲中恒定電平的估計（2）高斯白噪聲的方差估計均值為零均值已知均值未知常用信號參數的估計（1）高斯白噪聲中恒定電平的估計（2）99（3）信號幅度的估計z[n]=As[n]+v[n]，n=0,1,….N-1正弦信號幅度估計:（3）信號幅度的估計z[n]=As[n]+v[n]，n=0100(4)正弦信號相位的估計(4)正弦信號相位的估計1015.估計的性能0DesirePDF概率密度越尖越好均值要等于真值方差越小越好對于有偏估計，均方誤差越小越好性能指標：無偏性