概率論及隨機過程考點總結(jié)

1、第一章 隨機過程的基本概念與基本類型一隨機變量及其分布1隨機變量， 分布函數(shù)離散型隨機變量的概率分布用分布列 分布函數(shù)連續(xù)型隨機變量的概率分布用概率密度 分布函數(shù)2n維隨機變量其聯(lián)合分布函數(shù)離散型 聯(lián)合分布列 連續(xù)型 聯(lián)合概率密度隨機變量的數(shù)字特征數(shù)學(xué)期望：離散型隨機變量連續(xù)型隨機變量方差：反映隨機變量取值的離散程度協(xié)方差（兩個隨機變量）：相關(guān)系數(shù)（兩個隨機變量）：若，則稱不相關(guān)。獨立不相關(guān)特征函數(shù)離散連續(xù)重要性質(zhì)：，母函數(shù)： 常見隨機變量的分布列或概率密度、期望、方差分布二項分布泊松分布均勻分布略正態(tài)分布指數(shù)分布維正態(tài)隨機變量的聯(lián)合概率密度，正定協(xié)方差陣3. 隨機向量的變換二隨機過程的基本概

2、念隨機過程的一般定義設(shè)是概率空間，是給定的參數(shù)集，若對每個，都有一個隨機變量與之對應(yīng)，則稱隨機變量族是上的隨機過程。簡記為。含義：隨機過程是隨機現(xiàn)象的變化過程，用一族隨機變量才能刻畫出這種隨機現(xiàn)象的全部統(tǒng)計規(guī)律性。另一方面，它是某種隨機實驗的結(jié)果，而實驗出現(xiàn)的樣本函數(shù)是隨機的。當(dāng)固定時，是隨機變量。當(dāng)固定時，時普通函數(shù)，稱為隨機過程的一個樣本函數(shù)或軌道。分類：根據(jù)參數(shù)集和狀態(tài)空間是否可列，分四類。也可以根據(jù)之間的概率關(guān)系分類，如獨立增量過程，馬爾可夫過程，平穩(wěn)過程等。隨機過程的分布律和數(shù)字特征用有限維分布函數(shù)族來刻劃隨機過程的統(tǒng)計規(guī)律性。隨機過程的一維分布，二維分布，維分布的全體稱為有限維分布

3、函數(shù)族。隨機過程的有限維分布函數(shù)族是隨機過程概率特征的完整描述。在實際中，要知道隨機過程的全部有限維分布函數(shù)族是不可能的，因此用某些統(tǒng)計特征來取代。（）均值函數(shù)表示隨機過程在時刻的平均值。（）方差函數(shù)表示隨機過程在時刻對均值的偏離程度。（）協(xié)方差函數(shù)且有（）相關(guān)函數(shù)(3)和(4)表示隨機過程在時刻，時的線性相關(guān)程度。（）互相關(guān)函數(shù)：，是兩個二階距過程，則下式稱為它們的互協(xié)方差函數(shù)。，那么，稱為互相關(guān)函數(shù)。若，則稱兩個隨機過程不相關(guān)。復(fù)隨機過程均值函數(shù)方差函數(shù)協(xié)方差函數(shù)相關(guān)函數(shù)常用的隨機過程（）二階距過程：實（或復(fù)）隨機過程，若對每一個，都有（二階距存在），則稱該隨機過程為二階距過程。（2）正交

4、增量過程：設(shè)是零均值的二階距過程，對任意的，有，則稱該隨機過程為正交增量過程。 其協(xié)方差函數(shù)（3）獨立增量過程：隨機過程，若對任意正整數(shù)，以及任意的，隨機變量是相互獨立的，則稱是獨立增量過程。 進一步，如是獨立增量過程，對任意，隨機變量的分布僅依賴于，則稱是平穩(wěn)獨立增量過程。（4）馬爾可夫過程：如果隨機過程具有馬爾可夫性，即對任意正整數(shù)及，都有，則則稱是馬爾可夫過程。（5）正態(tài)過程：隨機過程，若對任意正整數(shù)及，（）是n維正態(tài)隨機變量，其聯(lián)合分布函數(shù)是n維正態(tài)分布函數(shù)，則稱是正態(tài)過程或高斯過程。（6）維納過程：是正態(tài)過程的一種特殊情形。設(shè)為實隨機過程，如果，；是平穩(wěn)獨立增量過程；對任意增量服從正

5、態(tài)分布，即。則稱為維納過程，或布朗運動過程。另外：它是一個Markov過程。因此該過程的當(dāng)前值就是做出其未來預(yù)測中所需的全部信息。 維納過程具有獨立增量。該過程在任一時間區(qū)間上變化的概率分布獨立于其在任一的其他時間區(qū)間上變化的概率。它在任何有限時間上的變化服從正態(tài)分布，其方差隨時間區(qū)間的長度呈線性增加。（7）平穩(wěn)過程：嚴(yán)（狹義）平穩(wěn)過程：，如果對任意常數(shù)和正整數(shù)及，（）與（）有相同的聯(lián)合分布，則稱是嚴(yán)（狹義）平穩(wěn)過程。廣義平穩(wěn)過程：隨機過程，如果是二階距過程；對任意的， ；對任意，或僅與時間差有關(guān)。則滿足這三個條件的隨機過程就稱為廣義平穩(wěn)過程，或?qū)捚椒€(wěn)過程，簡稱平穩(wěn)過程。第三章 泊松過程一泊松

6、過程的定義（兩種定義方法），設(shè)隨機計數(shù)過程，其狀態(tài)僅取非負(fù)整數(shù)值，若滿足以下三個條件，則稱：是具有參數(shù)的泊松過程。；獨立增量過程，對任意正整數(shù)，以及任意的相互獨立，即不同時間間隔的計數(shù)相互獨立；在任一長度為的區(qū)間中，事件發(fā)生的次數(shù)服從參數(shù)的的泊松分布，即對任意，有，表示單位時間內(nèi)時間發(fā)生的平均個數(shù)，也稱速率或強度。，設(shè)隨機計數(shù)過程，其狀態(tài)僅取非負(fù)整數(shù)值，若滿足以下三個條件，則稱：是具有參數(shù)的泊松過程。；獨立、平穩(wěn)增量過程；。第三個條件說明，在充分小的時間間隔內(nèi)，最多有一個事件發(fā)生，而不可能有兩個或兩個以上事件同時發(fā)生，也稱為單跳性。二基本性質(zhì)，數(shù)字特征推導(dǎo)過程要非常熟悉，表示第事件發(fā)生到第次事

7、件發(fā)生的時間間隔，是時間序列，隨機變量服從參數(shù)為的指數(shù)分布。概率密度為，分布函數(shù)均值為證明過程也要很熟悉到達時間的分布略三非齊次泊松過程到達強度是的函數(shù)；獨立增量過程；。不具有平穩(wěn)增量性。均值函數(shù)定理：是具有均值為的非齊次泊松過程，則有四復(fù)合泊松過程設(shè)是強度為的泊松過程，是一列獨立同分布的隨機變量，且與獨立，令則稱為復(fù)合泊松過程。重要結(jié)論：是獨立增量過程；若，則，第四章馬爾可夫鏈泊松過程是時間連續(xù)狀態(tài)離散的馬氏過程，維納過程是時間狀態(tài)都連續(xù)的馬氏過程。時間和狀態(tài)都離散的馬爾可夫過程稱為馬爾可夫鏈。馬爾可夫過程的特性：馬爾可夫性或無后效性。即：在過程時刻所處的狀態(tài)為已知的條件下，過程在時刻所處狀

8、態(tài)的條件分布與過程在時刻之前所處的狀態(tài)無關(guān)。也就是說，將來只與現(xiàn)在有關(guān)，而與過去無關(guān)。表示為 一馬爾可夫鏈的概念及轉(zhuǎn)移概率1定義：設(shè)隨機過程，對任意的整數(shù)和任意的，條件概率滿足，則稱為馬爾可夫鏈。馬爾可夫鏈的統(tǒng)計特性完全由條件概率所決定。2轉(zhuǎn)移概率 相當(dāng)于隨機游動的質(zhì)點在時刻處于狀態(tài)的條件下，下一步轉(zhuǎn)移到的概率。記為。則稱為馬爾可夫鏈在時刻的一步轉(zhuǎn)移概率。若齊次馬爾可夫鏈，則與無關(guān)，記為。 稱為系統(tǒng)的一步轉(zhuǎn)移矩陣。性質(zhì)：每個元素，每行的和為1。3步轉(zhuǎn)移概率= ；稱為步轉(zhuǎn)移矩陣。重要性質(zhì)： 稱為方程，證明中用到條件概率的乘法公式、馬爾可夫性、齊次性。掌握證明方法： 說明步轉(zhuǎn)移概率矩陣是一步轉(zhuǎn)移概

9、率矩陣的次乘方。4是馬爾可夫鏈，稱為初始概率，即0時刻狀態(tài)為的概率；稱為絕對概率，即時刻狀態(tài)為的概率。為初始概率向量，為絕對概率向量。定理：矩陣形式： 定理： 說明馬氏鏈的有限維分布完全由它的初始概率和一步轉(zhuǎn)移概率所決定。二馬爾可夫鏈的狀態(tài)分類1周期：自某狀態(tài)出發(fā)，再返回某狀態(tài)的所有可能步數(shù)最大公約數(shù)，即。若，則稱該狀態(tài)是周期的；若，則稱該狀態(tài)是非周期的。2首中概率：表示由出發(fā)經(jīng)步首次到達的概率。3表示由出發(fā)經(jīng)終于（遲早要）到達的概率。4如果，則狀態(tài)是常返態(tài)；如果，狀態(tài)是非常返（滑過）態(tài)。5表示由出發(fā)再返回到的平均返回時間。若，則稱是正常返態(tài)；若，則稱是零常返態(tài)。非周期的正常返態(tài)是遍歷狀態(tài)。6

10、狀態(tài)是常返充要條件是；狀態(tài)是非常返充要條件是。7稱狀態(tài)與互通，。如果，則他們同為常返態(tài)或非常返態(tài)，；若，同為常返態(tài)，則他們同為正常返態(tài)或零常返態(tài)，且，有相同的周期。8狀態(tài)是遍歷狀態(tài)的充要條件是。一個不可約的、非周期的、有限狀態(tài)的馬爾可夫鏈?zhǔn)潜闅v的。9要求：熟悉定義定理，能由一步轉(zhuǎn)移概率矩陣畫出狀態(tài)轉(zhuǎn)移圖，從而識別各狀態(tài)。三狀態(tài)空間的分解1設(shè)是狀態(tài)空間的一個閉集，如果對任意的狀態(tài)，狀態(tài)，都有（即從出發(fā)經(jīng)一步轉(zhuǎn)移不能到達），則稱為閉集。如果的狀態(tài)互通，則稱是不可約的。如果狀態(tài)空間不可約，則馬爾可夫鏈不可約。或者說除了之外沒有其他閉集，則稱馬爾可夫鏈不可約。2為閉集的充要條件是：對任意的狀態(tài)，狀態(tài)，

11、都有。所以閉集的意思是自的內(nèi)部不能到達的外部。意味著一旦質(zhì)點進入閉集中，它將永遠(yuǎn)留在中運動。 如果，則狀態(tài)為吸收的。等價于單點為閉集。3馬爾可夫鏈的分解定理：任一馬爾可夫鏈的狀態(tài)空間，必可唯一地分解成有限個互不相交的子集的和，每一個都是常返態(tài)組成的不可約閉集；中的狀態(tài)同類，或全是正常返態(tài)，或全是零常返態(tài)，有相同的周期，且。是由全體非常返態(tài)組成。 分解定理說明：狀態(tài)空間的狀態(tài)可按常返與非常返分為兩類，非常返態(tài)組成集合，常返態(tài)組成一個閉集。閉集又可按互通關(guān)系分為若干個互不相交的基本常返閉集。 含義：一個馬爾可夫鏈如果從中某個非常返態(tài)出發(fā)，它或者一直停留在中，或某一時刻進入某個基本常返閉集，一旦進入

12、就永不離開。一個馬爾可夫鏈如果從某一常返態(tài)出發(fā)，必屬于某個基本常返閉集，永遠(yuǎn)在該閉集中運動。4有限馬爾可夫鏈：一個馬爾可夫鏈的狀態(tài)空間是一個有限集合。性質(zhì)：所有非常返態(tài)組成的集合不是閉集；沒有零常返態(tài)；必有正常返態(tài)；狀態(tài)空間，是非常返集合，是正常返集合。不可約有限馬爾可夫鏈只有正常返態(tài)。四的漸近性質(zhì)與平穩(wěn)分布1為什么要研究轉(zhuǎn)移概率的遍歷性？ 研究當(dāng)時的極限性質(zhì)，即的極限分布，包含兩個問題：一是是否存在；二是如果存在，是否與初始狀態(tài)有關(guān)。這一類問題稱作遍歷性定理。如果對，存在不依賴于的極限，則稱馬爾可夫鏈具有遍歷性。 一個不可約的馬爾可夫鏈，如果它的狀態(tài)是非周期的正常返態(tài)，則它就是一個遍歷鏈。

13、具有遍歷性的馬爾可夫鏈，無論系統(tǒng)從哪個狀態(tài)出發(fā)，當(dāng)轉(zhuǎn)移步數(shù)充分大時，轉(zhuǎn)移到狀態(tài)的概率都近似等于，這時可以用作為的近似值。2研究平穩(wěn)分布有什么意義？判別一個不可約的、非周期的、常返態(tài)的馬爾可夫鏈?zhǔn)欠駷楸闅v的，可以通過討論來解決，但求極限時困難的。所以，我們通過研究平穩(wěn)分布是否存在來判別齊次馬爾可夫鏈?zhǔn)欠駷楸闅v鏈。一個不可約非周期常返態(tài)的馬爾可夫鏈?zhǔn)潜闅v的充要條件是存在平穩(wěn)分布，且平穩(wěn)分布即極限分布=。3是齊次馬爾可夫鏈，狀態(tài)空間為，一步轉(zhuǎn)移概率為，概率分布稱為馬爾可夫鏈的平穩(wěn)分布，滿足4定理：不可約非周期馬爾可夫鏈?zhǔn)钦７档某湟獥l件是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布。 推論：有限狀態(tài)的不可

14、約非周期馬爾可夫鏈必存在平穩(wěn)分布。5在工程技術(shù)中，當(dāng)馬爾可夫鏈極限分布存在，它的遍歷性表示一個系統(tǒng)經(jīng)過相當(dāng)長時間后達到平衡狀態(tài)，此時系統(tǒng)各狀態(tài)的概率分布不隨時間而變，也不依賴于初始狀態(tài)。6對有限馬爾可夫鏈，如果存在正整數(shù)，使，即k步轉(zhuǎn)移矩陣中沒有零元素，則該鏈?zhǔn)潜闅v的。第六章 平穩(wěn)隨機過程一定義（第一章）嚴(yán)平穩(wěn)過程：有限維分布函數(shù)沿時間軸平移時不發(fā)生變化。寬平穩(wěn)過程：滿足三個條件：二階矩過程；均值為常數(shù)常數(shù)；相關(guān)函數(shù)只與時間差有關(guān)，即。寬平穩(wěn)過程不一定是嚴(yán)平穩(wěn)過程，而嚴(yán)平穩(wěn)過程一定是寬平穩(wěn)過程。二聯(lián)合平穩(wěn)過程及相關(guān)函數(shù)的性質(zhì)1定義：設(shè)和是兩個平穩(wěn)過程，若它們的互相關(guān)函數(shù)及僅與時間差有關(guān)，而與起

15、點無關(guān)，則稱和是聯(lián)合平穩(wěn)隨機過程。 即， 當(dāng)然，當(dāng)兩個平穩(wěn)過程聯(lián)合平穩(wěn)時，其和也是平穩(wěn)過程。相關(guān)函數(shù)的性質(zhì)：；，對于實平穩(wěn)過程，是偶函數(shù)。非負(fù)定。若是周期的，則相關(guān)函數(shù)也是周期的，且周期相同。如果是不含周期分量的非周期過程，與相互獨立，則。聯(lián)合平穩(wěn)過程和的互相關(guān)函數(shù)，；。和是實聯(lián)合平穩(wěn)過程時，則，。三隨機分析略四平穩(wěn)過程的各態(tài)歷經(jīng)性時間均值時間相關(guān)函數(shù)如果以概率成立，則稱均方連續(xù)的平穩(wěn)過程的均值有各態(tài)歷經(jīng)性。如果以概率成立，則稱均方連續(xù)的平穩(wěn)過程的相關(guān)函數(shù)有各態(tài)歷經(jīng)性。如果均方連續(xù)的平穩(wěn)過程的均值和相關(guān)函數(shù)都有各態(tài)歷經(jīng)性，則稱該平穩(wěn)過程是各態(tài)歷經(jīng)的或遍歷的。一方面表明各態(tài)歷經(jīng)過程各樣本函數(shù)的時

16、間平均實際上可以認(rèn)為是相同的；另一方面也表明與必定與無關(guān)，即各態(tài)歷經(jīng)過程必是平穩(wěn)過程。討論平穩(wěn)過程的歷經(jīng)性，就是討論能否在較寬松的條件下，用一個樣本函數(shù)去近似計算平穩(wěn)過程的均值、協(xié)方差函數(shù)等數(shù)字特征，即用時間平均代替統(tǒng)計平均。只在一定條件下的平穩(wěn)過程，才具有各態(tài)歷經(jīng)性。均值各態(tài)歷經(jīng)性定理：均方連續(xù)的平穩(wěn)過程的均值具有各態(tài)歷經(jīng)的充要條件是相關(guān)函數(shù)各態(tài)歷經(jīng)性定理：均方連續(xù)的平穩(wěn)過程的相關(guān)函數(shù)具有各態(tài)歷經(jīng)的充要條件是第七章平穩(wěn)過程的譜分析一平穩(wěn)過程的譜密度推導(dǎo)過程：隨機過程為均方連續(xù)過程，作截尾處理，由于均方可積，所以存在FT，得，利用paserval定理及IFT定義得該式兩邊都是隨機變量，取平均值

17、，這時不僅要對時間區(qū)間取，還要取概率意義下的統(tǒng)計平均，即定義為平均功率。為功率譜密度，簡稱譜密度?？梢酝瞥霎?dāng)是均方連續(xù)平穩(wěn)過程時，有說明平穩(wěn)過程的平均功率等于過程的均方值，或等于譜密度在頻域上的積分。平穩(wěn)過程的譜密度和相關(guān)函數(shù)構(gòu)成FT對。若平穩(wěn)隨機序列，則其譜密度和相關(guān)函數(shù)構(gòu)成FT對二譜密度的性質(zhì)是的FT。如果是均方連續(xù)的實平穩(wěn)過程，有，是也實的非負(fù)偶函數(shù)，則是的有理分式，分母無實根。譜密度的物理含義，是一個頻率函數(shù)，從頻率域來描繪統(tǒng)計規(guī)律的數(shù)字特征，而是各種頻率簡諧波的疊加，就反映了各種頻率成分所具有的能量大小。計算可以按照定義計算，也可以利用常用的變換對等三窄帶過程及白噪聲過程的功率譜密度

18、窄帶隨機過程：隨機過程的譜密度限制在很窄的一段頻率范圍內(nèi)。白噪聲過程：設(shè)為實值平穩(wěn)過程，若它的均值為零，且譜密度在所有的頻率范圍內(nèi)為非零的常數(shù)，即，則稱為白噪聲過程。是平穩(wěn)過程。其相關(guān)函數(shù)為。表明在任意兩個時刻和，和不相關(guān)，即白噪聲隨時間的變換起伏極快，而過程的功率譜極寬，對不同輸入頻率的信號都有可能產(chǎn)生干擾。四聯(lián)合平穩(wěn)過程的互譜密度互譜密度沒有明確的物理意義，引入它主要是為了能在頻率域上描述兩個平穩(wěn)過程的相關(guān)性?；プV密度與互相關(guān)函數(shù)成對關(guān)系性質(zhì)的實部是的偶函數(shù)，虛部是的奇函數(shù)，也是。；若和相互正交，有，則。五平穩(wěn)過程通過線性系統(tǒng)系統(tǒng)的頻率響應(yīng)函數(shù)（也可以寫成）一般是一個復(fù)值函數(shù)，是系統(tǒng)單位脈

19、沖響應(yīng)的FT。系統(tǒng)輸入為實平穩(wěn)隨機過程，則輸出也是實平穩(wěn)隨機過程。即輸出過程的均值為常數(shù)，相關(guān)函數(shù)是時間差的函數(shù)。且有說明輸出過程的相關(guān)函數(shù)可以通過兩次卷積產(chǎn)生。的應(yīng)用：給系統(tǒng)一個白噪聲過程，可以從實測的互相關(guān)資料估計線性系統(tǒng)的未知脈沖響應(yīng)。因為，從而輸入輸出譜密度之間的關(guān)系稱為系統(tǒng)的頻率增益因子或頻率傳輸函數(shù)。有時，采用時域卷積的方法計算輸出的相關(guān)函數(shù)比較煩瑣，可以先計算輸出過程的譜密度，然后反FT計算出相關(guān)函數(shù)。另外，所以，補充：排隊輪 平均間隔時間=總時間/到達顧客總數(shù) 平均服務(wù)時間=服務(wù)時間總和/顧客總數(shù) 平均到達率=到達顧客總數(shù)/總時間 平均服務(wù)率=顧客總數(shù)/服務(wù)時間總和一當(dāng)顧客到達符合泊松過程時，顧客相繼到達的間隔時間必服從負(fù)指數(shù)分布。對于泊松分布，表示單位時間平均到達的顧客數(shù)，所以表示顧客相繼到達的平均間隔時間。服務(wù)時間符合負(fù)指數(shù)分布時，設(shè)它的概率密度函數(shù)和分布函數(shù)分別為 其中表示單位時間能夠服務(wù)完的顧客數(shù)，為服務(wù)率；而表示一個顧客的平均服務(wù)時間。二排隊模型的求解把系統(tǒng)中的顧客數(shù)稱為系統(tǒng)的狀態(tài)。若系統(tǒng)中有個顧客，則稱系統(tǒng)的狀態(tài)是。瞬態(tài)和穩(wěn)態(tài)：考慮在t時刻系統(tǒng)的狀態(tài)為的概率，它是隨時刻t而變化的，用表示，稱為系統(tǒng)的