第1章隨機(jī)信號基礎(chǔ)

現(xiàn)代信號處理電子工程系張旭東zhangxd@一點思考和討論徹底告別應(yīng)試思維！學(xué)習(xí)和思考？質(zhì)疑？知識和興趣？研究生階段的學(xué)習(xí)？一門課程框架下的多樣化學(xué)習(xí)？從被動學(xué)習(xí)，到自主學(xué)習(xí)，到探求未知，研究生階段必要的角色轉(zhuǎn)變？本課程要討論的主要問題（1）對信號特性的了解隨機(jī)信號（隨機(jī)過程，時間序列––隨機(jī)過程的一個實現(xiàn)）信號模型→參數(shù)估計→現(xiàn)代譜估計：參數(shù)化譜估計討論信號模型及模型參數(shù)的估計問題，各種信號模型的作用（2）對統(tǒng)計意義下最優(yōu)濾波器設(shè)計的研究平穩(wěn)條件下：Wiener濾波器理論非平穩(wěn)條件下：Kalman濾波非線性非高斯：貝葉斯濾波，粒子濾波理論上的目標(biāo)，實際算法可達(dá)到的最佳結(jié)果（3）對環(huán)境的自適應(yīng)，有“學(xué)習(xí)能力”的濾波算法自適應(yīng)均衡、波束形成、線性自適應(yīng)濾波器、盲處理（4）信號的統(tǒng)計分析方法現(xiàn)代譜估計方法，信號模型方法的應(yīng)用，子空間方法更多信息的利用，挖掘（針對非高斯問題）非線性、多譜：高階量，循環(huán)平穩(wěn)信號的盲處理（5）對時間–頻率關(guān)系的適應(yīng)性、稀疏表示信號的時間-頻率聯(lián)合分析，反映信號更豐富特性全局特性與局域特性，小波變換，時頻分析，信號的稀疏表示和恢復(fù)，CS教材張旭東，陸明泉：離散隨機(jī)信號處理，2005年10月，清華大學(xué)出版社張旭東，現(xiàn)代信號分析和處理，2017年，清華大學(xué)出版社（目前老版教材售罄暫缺，新版教材于2017年出版，網(wǎng)絡(luò)學(xué)堂將提供新版教材的電子版，由于與出版社版權(quán)問題，電子版教材僅供選課同學(xué)參考，切勿外傳）

S.Haykin,AdaptiveFiltertheory,Prentice-Hall,FouthEdition2001(電子工業(yè)出版社影印本和中文譯本)S.M.Kay,ModernSpectralEstimation:Theory&Application,Prentice-Hall,1988S.M.Kay,FundamentalsofStatisticalSignalProcessing:EstimationTheory,PrenticeHallPTR,1993.（有中文譯本）S.Mallat,AWaveletTourofSignalProcessing,Academicpress,ThirdEdition2009Van

Tree，Optimum

Array

Processing，Wiley，2002（有中文譯本）J.G.Proakis,etal.AlgorithmsforStatisticalSignalProcessing, Prenticehall,2002（有中文譯本）D.SimonOptimalStateEstimation,Wiley,2006S.Foucart,H.Rauhut,AMathematicalIntroductiontoCompressiveSensing,Springer,2013主要參考書IEEE

Signal

Processing

MagazineIEEETrans.OnSignalProcessingSignalProcessingProceedingsofIEEEProceedingsofICASSP，DSP主要雜志和會議文集課程成績平時作業(yè)20％3個Matlab作業(yè)60％（布置后2周內(nèi)提交）期末課程報告20％（開放性選題）信號處理算法設(shè)計面向的幾個主要因素信噪比信噪比可能顯式或隱式地影響信號處理方法的性能先驗知識雷達(dá)通信系統(tǒng)電子對抗對先驗知識的利用：統(tǒng)計基礎(chǔ)上的假設(shè)、學(xué)習(xí)過程算法復(fù)雜性與性能要求的匹配性(問題的適宜性）Occam剃刀原理：除非必要，“實體”不應(yīng)該隨便增加，或：設(shè)計者不應(yīng)該選用比“必要”更加復(fù)雜的系統(tǒng)。學(xué)術(shù)研究和工程應(yīng)用信號處理的不同對象和方法高斯類信號和非高斯類信號平穩(wěn)信號與非平穩(wěn)信號線性系統(tǒng)和非線性系統(tǒng)時間處理、空間處理和時空處理有監(jiān)督系統(tǒng)和無監(jiān)督系統(tǒng)建立了系統(tǒng)的科學(xué)方法的巨人牛頓艾薩克·牛頓爵士，1643年~1727年(維基百科對他的定義是：英格蘭物理學(xué)家、數(shù)學(xué)家、天文學(xué)家、自然哲學(xué)家和煉金術(shù)士）；1687年發(fā)表《自然哲學(xué)的數(shù)學(xué)原理》；其他物理學(xué)上的貢獻(xiàn)；與萊布尼茨分享發(fā)展了“微積分學(xué)”的榮譽(yù)；證明了廣義二項式定理，提出了“牛頓法”以趨近函數(shù)的零點，并對冪級數(shù)的研究作出了貢獻(xiàn)。自然和自然律隱沒在黑暗中；

神說，讓牛頓去吧！萬物遂成光明--浦柏了解一點科學(xué)史隨機(jī)信號處理與貝葉斯ThomasBayes，貝葉斯(1702-1763)，英國數(shù)學(xué)家.貝葉斯決策理論方法（1763）是統(tǒng)計模型決策中的一個基本方法，其基本思想是：1、已知條件概率密度參數(shù)表達(dá)式和先驗概率；2、利用貝葉斯公式轉(zhuǎn)換成后驗概率；3、根據(jù)后驗概率大小進(jìn)行決策分類。Born:April30,1777,Brunswick,Germany

Died:February23,1855,G?ttingen,Germany

離散隨機(jī)信號處理與高斯(CarlFriedrichGauss)

AscientificbiographerswroteinNature(128[1931],341):"Hewasnotreallyaphysicistinthesenseofsearchingfornewphenomena,butratheralwaysamathematicianwhoattemptedtoformulateinexactmathematicaltermstheexperimentalresultsobtainedbyothers."正態(tài)分布（高斯分布）最小二乘LSFFT，…傅里葉

BaronJean-Baptiste-JosephFourier(1768-1830)*1807年12月21日，傅里葉提交了一篇關(guān)于熱學(xué)原理的論文，其中，揭示了：在一個有限區(qū)間上任意不規(guī)則圖形所定義的一個任意函數(shù)（連續(xù)或具有不連續(xù)點）總是能夠表示為正弦信號的和，這被后來稱為傅里葉級數(shù)。*5位法國數(shù)學(xué)家組成的評審委員會，評審這篇論文，其中包括拉格朗日，拉普拉斯、勒讓德等，最后以拉格朗日的激烈反對，而未能發(fā)表。*15年后（1823年），傅里葉在其努力失敗后，以“熱的解析理論”的書的形式發(fā)表了他的成果。*一些現(xiàn)在被廣泛接受的方法，在歷史上被不理解，甚至被認(rèn)為是荒謬的例子，在科學(xué)史上很多，科學(xué)的進(jìn)步之路，有時候需要打破權(quán)威，持之以恒地堅持。N.Wiener與信號處理的統(tǒng)計學(xué)方法NorbertWiener，1894-1964)1942年發(fā)表了在統(tǒng)計準(zhǔn)則下對時間序列進(jìn)行外推/濾波和預(yù)測的維納濾波理論1948年，出版《控制論》在純數(shù)學(xué)里的許多貢獻(xiàn)隨機(jī)信號處理/信號處理的統(tǒng)計方法盡管從貝葉斯和高斯等的工作中，找到了信號統(tǒng)計處理的一些基本思想，作為學(xué)科，隨機(jī)信號處理是一個“現(xiàn)代的科學(xué)分支”，并從現(xiàn)代統(tǒng)計學(xué)中吸收重要思想；Wiener濾波理論，對于推動信號處理的統(tǒng)計方法的發(fā)展，有顯著的作用，（李郁榮對于Wiener濾波理論在電子工程的應(yīng)用有實質(zhì)貢獻(xiàn)）；二次世界大戰(zhàn)后，雷達(dá)，通信，航空和地震勘探等的需求，推動了信號處理統(tǒng)計方法理論上的快速發(fā)展，大規(guī)模數(shù)字計算技術(shù)的飛躍，又為應(yīng)用提供了支持，兩者的推動，使該領(lǐng)域自50年代以來，一直非?；钴S，至今，新的問題不斷被提出。一些進(jìn)展中的課題盲信號處理（無監(jiān)督學(xué)習(xí)）序列貝葉斯估計、粒子濾波空時信號處理壓縮傳感和信號的稀疏化表示理論圖上信號采樣、重構(gòu)和處理等等與信號處理緊密關(guān)聯(lián)的領(lǐng)域人工神經(jīng)網(wǎng)絡(luò)統(tǒng)計機(jī)器學(xué)習(xí)（機(jī)器智能，大數(shù)據(jù)等）模式識別等等1隨機(jī)信號基礎(chǔ)被噪聲干擾的初相位是隨機(jī)值的正弦波

信號本質(zhì)上均是隨機(jī)的，但將信號作為隨機(jī)信號處理，還是做為確定信號處理，與我們的應(yīng)用目標(biāo)和我們的先驗知識有關(guān)，一般地，我們總是選擇對應(yīng)用有利的處理方式。

1.隨機(jī)過程(信號)復(fù)習(xí)隨機(jī)信號

簡記為均值自相關(guān)自協(xié)方差函數(shù)

平穩(wěn)隨機(jī)過程：聯(lián)合概率密度函數(shù)與起始時間無關(guān)

寬平穩(wěn)（二階）

相關(guān)函數(shù)的性質(zhì)

寬平穩(wěn)和嚴(yán)格平穩(wěn)的關(guān)系？

互相關(guān)

聯(lián)合寬平穩(wěn)有

互相關(guān)系數(shù)相關(guān)不相關(guān)正交等價性零均值條件下，不相關(guān)就一定是正交例設(shè)有兩個測量信號（零均值）

解：可見互相關(guān)的最大值發(fā)生在處，測量了延遲

2．自相關(guān)矩陣

定義：設(shè)M維信號矢量用隨機(jī)信號的自相關(guān)矩陣定義為信號矢量外積的期望值，即這是一個方陣。

表示，自協(xié)方差矩陣互相關(guān)矩陣、互協(xié)方差矩陣的定義類似，不再保證是方陣，自行練習(xí)自相關(guān)矩陣的幾個性質(zhì)

Toeplitz矩陣

半正定：對任意

一般情況下，R是正定的，只有當(dāng)觀察矢量是由K個正弦組成，且

是例外的

特征分解

自相關(guān)矩陣的特征值總是大于或等于零

不同的兩個特征值對應(yīng)的特征矢量是正交的

令：則：增廣性質(zhì)

高1階自相關(guān)矩陣必包含一個完整的低1階的自相關(guān)陣。反之，由低1階自相關(guān)陣，按一定方式可增廣出高1階自相關(guān)陣3．常見信號正弦波加噪聲:

噪聲與正弦波是統(tǒng)計獨(dú)立的，噪聲是白噪聲

的自相關(guān)函數(shù)為由正弦波加噪聲構(gòu)成的信號矢量

M×M的自相關(guān)矩陣R

其中實高斯過程聯(lián)合高斯分布的邊際分布和條件分布前提條件4．功率譜密度

復(fù)功率譜

功率譜

反變換

維納–––辛欽定理（Wiener-KhinchinTheorem）

5.隨機(jī)信號通過線性系統(tǒng)

輸入和輸出的互相關(guān)及輸出的自相關(guān)序列為:

復(fù)功率譜關(guān)系

功率譜密度關(guān)系

若輸入是白噪聲，方差為,則

6.連續(xù)信號與離散信號功率譜的關(guān)系

1.2隨機(jī)信號模型有理傳遞函數(shù)模型

稱做ARMA模型：自回歸滑動平均模型例：AR(1)分析.

一個極點對應(yīng)左序列，一個極點對應(yīng)右序列

反變換得

功率譜密度PSD：

a．取a(1)=-0.8,自相關(guān)序列和功率譜密度如圖所示

b．取a(1)=0.8,自相關(guān)序列和功率譜密度

1.3

自相關(guān)與模型參數(shù)的關(guān)系：

Yule-Walker方程AR過程

重寫差分方程為

兩邊同乘

并取期望值

時

即

(1)

噪聲功率方程模型系數(shù)方程矩陣形式

(2)

(1)式和(2)式結(jié)合,利用自相關(guān)矩陣的增廣特性,得增廣Yule_Walker方程

若知模型階P，P×P相關(guān)矩陣R，由Yule-Walker方程，可求得模型參數(shù)

進(jìn)而可以得到PSD

實際中，R是未知的，我們只有一組觀測值，構(gòu)成觀測矢量，由它估計r(k)或直接估計模型參數(shù)。由隨機(jī)過程的一組觀測值估計它的有關(guān)參數(shù)，這個問題是估計理論討論的主要內(nèi)容。

對于ARMA(p,q)模型

對于MA(q)模型

1.4概率分布模型正態(tài)分布模型（高斯分布）可通過采集的樣本進(jìn)行估計（第二章）其他：超高斯，亞高斯指數(shù)類，…混合高斯分布模型且參數(shù)估計？附注1在現(xiàn)代信號處理系統(tǒng)和通信系統(tǒng)仿真中，利用ARMA方法，產(chǎn)生規(guī)定功率譜性質(zhì)的隨機(jī)信號，是常用的方法之一。ARMA方法可以有效的產(chǎn)生具有規(guī)定功率譜的高斯隨機(jī)信號，和瑞利隨機(jī)信號。用ARMA方法產(chǎn)生平穩(wěn)隨機(jī)信號，要丟棄初始的瞬態(tài)值，取進(jìn)入穩(wěn)態(tài)的序列。同時規(guī)定任意譜與任意PDF的隨機(jī)信號產(chǎn)生過程可參考文獻(xiàn)：M.M.Sondhi,BellsystemTechnicalJournay,Vol.62,1983,679-700附注2ARMA模型是“時間序列分析”中的重要組成部分。時間序列分析是一個應(yīng)用范圍很廣泛的學(xué)科，屬于統(tǒng)計學(xué)中的一個分支，在信息科學(xué)和金融學(xué)中的應(yīng)用尤為受到關(guān)注。除