系統(tǒng)辨識前期數(shù)學(xué)必備知識

Conditionalprobability：P(AIB)—P(B)'*乘法公式:P(AB)二P(A)P(BIA)二P(B)P(AIB).Totalprobability:P(A)=丫P(B)P(AIB).jjj=1Bayesformula:P(BIA)=.其中P(B.)為先驗概率，P(BIA)為后驗概_njjYP(B)P(AIB)jjj=1率。Independenceevent：P(AB)=P(A)P(B).設(shè)隨機試驗的樣本空間為S={e}，若X=X(e)為定義在樣本空間S上的實值單值函數(shù)，則稱X=X(e)為randomvariable。Discreterandomvariable：兩點分布X~B(1,p)?binomial分布：X~B(n,p)?P(X=k)=Ckpk(1—p)n-k?whenpisenoughsmallandnnisenoughbig,thenwehaveX~兀(np)?e-九九k③Poisson分布：X?兀(九).P(X=k)=-^T，k=CkCn-kP(X=k)=―a_N—a,k=°丄….④hypergeometricdistribution:CnDistributionfunction:AssumeXbearandomvariableandxisarealvalue,thenthefunctionF(x)=P(X<x)wascalledtheprobabilitydistributionfunctionofX,shortly,distributionfunction.Properties:⑴單調(diào)不減；⑵右連續(xù)，F(xiàn)(x+0)=F(x).Asforcontinuousrandomvariable，wehaveF(x)=Jxf(t)dt*wheref(x)isprobability—gdensityfunction.

Andf(x)isnonnegativerealvaluefunction。,xg(a,b)<b-a0,others②normaldistribution:X?N(PQ2),f(x),xg(a,b)<b-a0,others②normaldistribution:X?N(PQ2),f(x)二1e\.；2兀(x—1)22a2.③exponentialdistribution:x?E(九)f(x)二九e-心,x>00,x<0④gammadistribution:X?r(a,卩),f(x)=Pe-Px(卩x)a-l、o,x>0r(a)-where0,x<0r(a)=J+8e-xxa-idx,r(a)=(a-1)r(a一1).0隨機變量函數(shù)的分布函數(shù)已知X的分布，求Y二g(X)的分布。F(y)=P(Y<y)=P(g((x)<y)=if(x)dx.Yg((x)<y二元隨機變量(X,Y)，分布函數(shù)F(x,y)二P{X<x,Y<y}.條件分布函數(shù)：F(yIx)二P{Y<yIX=x}.YIXii亠F(yIx)=limP{Y<yIx<X<x+6}.或YIX6—0+邊緣分布f(x)=卜f(x,y)dy,f(y)=卜f(x,y)dx.XY—g—g條件分布F(yIx)=Jyf(%：：)dv.YIX-gf(x)X若X,X,,X.且X?N(P,a).則工aX?N(工a卩，工a2a2).12niiiiiiiiii=1i=1i=1最值分布M=max(X,Y),N=min(X,Y).F(t)=P{max(X,Y)<t}=P{X<t,X<t}=F(t,t).M當(dāng)X,Y獨立時，F(xiàn)(t)=F(t)-F(t).MXYF(t)=1-P{min(X,Y)>t}=1—(1—F(t))-(1-F(t)).NXYE(X)=J+8xf(x)dx.E(g(X))=J+8g(x)f(x)dx.E(h(X,Y))=f+Mh(x,y)f(x,y)dxdy.—g—8—8若X,Y獨立，則有E(XY)=E(X)-E(Y).條件數(shù)學(xué)期望E(YIX=x)=J+8yf(yIx)dy.—8YIXTotalexpectationformula：E(Y)=E[E(Y|X)]=J+8E(Y丨X=x)f(x)dx=J+8J+8yf(x,y)dydx.X—8—8—8方差D(X)=Var(X)=J+8(x-E(X))2f(x)dx.—8Var(X)=E(X2)-(E(X))2.協(xié)方差cov(X,Y)=E(XY)—E(X)E(Y).定義：設(shè)S是樣本空間，P是概率，TuR，如果對任意twT,X(t)是S上的隨機變量，則{x(t),teT}是S上的隨機過程。X(t,e)：TxSTR固定t，X(t,?)是隨機變量，固定e，X(t,?)T的函數(shù)而已，稱為隨機過程的樣本函數(shù)或樣本軌跡，或隨機過程的一個實現(xiàn)。取遍T,組成狀態(tài)空間。對任何teT,定義卩(t)=E(X(t)),屮2(t)=E(X2(t))Q2(t)=D(X(t))Q(t)=\；D(X(t)).XXXX'分別稱為均值函數(shù)、均方值函數(shù)、方差函數(shù)和標準差函數(shù)。對任何t,seT，定義R(t,s)=E(X(t)X(s)),C(t,s)=Cov(X(t),X(s)).XX分別稱為自相關(guān)函數(shù)和自協(xié)方差函數(shù)。顯然有R,C都是對稱二元函數(shù)，XX屮2(t)=R(t,t)Q2(t)=C(t,t),C(t,s)=R(t,s)—p(t)p(s).XXXXXXXX馬爾科夫鏈定義1：設(shè)隨機過程{X;n=0,1-}的狀態(tài)空間I有限或可數(shù)，若其具有馬爾科夫性，即n對任何i,???,，,i,jeI有0n—1P{X=j|X=i，?…,X=i}=P{X=j|X=i}n+100nn+1nP{X二i，…，X二i}二P{X二iIX二i}P{X二iIX二i}???P{X二iIX二i}P{X二i}00nnnnn-1n-1n-1n-1n—2n-2110000則稱&;n=0,1-}是馬爾科夫(Markovchain)鏈。n若以n代表現(xiàn)在的時刻，記A={X=i，…,X=i},B={X=i},C={X=j}00n-1n-1nn+1則A表示過去，B代表現(xiàn)在，C代表將來。則上式為P(CIAB)=P(CIB)oP(ACIB)=P(AIB)P(CIB)即在知道現(xiàn)在的情況下，將來與過去是獨立的。也等價于對任何k>1,n<n<…n和任何i，…,i,i,jeI有TOC\o"1-5"\h\z01k+10k-1P{X=jIX=i，…,X=i}=P{X=jIX=i}nk+1n00nknk+1nk記p(m,m+n)=P{X=jIX=i}為m時處于狀態(tài)i的條件下，經(jīng)過n步轉(zhuǎn)移到狀態(tài)jm+nm/、c工p(m,m+n)=P{Xe11X=i}=1j的轉(zhuǎn)移概率。則P..(m,m+n)>0且jm+nm集，每jj行之和為1?若P=P{X=jIX=i}不依賴于n，則稱&}是時間齊次的馬爾科夫鏈,jn+1nnPj稱為從i到j(luò)的一步轉(zhuǎn)移概率(one-steptransitionprobability)，可用狀態(tài)轉(zhuǎn)移圖來表示步轉(zhuǎn)移概率，P(n)=P{X=jIX=i}為馬爾科夫鏈的n步轉(zhuǎn)移概率。jn+mmn步轉(zhuǎn)移概率性質(zhì)p(n)=工p(l)p(n-l).jikkjkel設(shè){X,neT}是馬爾科夫鏈，稱np=P{X=j},p(n)=P{X=j}.jeIj0jn為{X,neT}的初始概率和絕對概率，并分別稱{p,jeI},{p(n),jeI}為{X,neT}njjn的初始分布和絕對分布，簡記為{p},{p(n)}，稱概率向量jjPt(n)=(p1(n),pjn),...)(n>0)為n時刻的絕對概率向量，而稱PT(n)=(匕,〃2,…)為初始概率向量。例：設(shè){X,n>0}是具有三個狀態(tài)0，1，2的齊次馬氏鏈，一步轉(zhuǎn)移概率矩陣如右所示：n例，設(shè)例，設(shè)I二{1,2,3,4}，轉(zhuǎn)移概率如圖:1/21考慮圖中的狀態(tài)2和3,101034140412341414，初始分布p(0)二P｛X二i｝二3,i二0,1,234140412341414，初始分布p(0)二P｛X二i｝二3,i二0,1,2，試求(1)

03P{X二0,X02二1}；(2)P{X2=1}.0解：先求出二步轉(zhuǎn)移概率矩陣：P2=125851631651612916116316140220二p⑵p(0)二；01048(2)耳⑵=P｛X2=1｝全概率公式P{X二IIX二0}P{X二0}+P{X二IIX二1}P{X二1}+P{X二IIX二2}P{X二2}20020020011二p(2)p(0)+p(2)p(0)+p(2)p(0)二-01011121224馬爾科夫鏈的絕對概率具有下列性質(zhì)：(2)p(n)二P{X(2)p(n)二P{X二j}=Yp(0)p(n)，全概率公式得。jniijp(n)二P{X二j}=￡p(n—1)p.jnijie!(3)Pt(n)二Pt(0)P(n);(4)Pt(n)二Pt(n—1)P.定理設(shè)｛X,neT｝為馬氏鏈，則對任意i，…,in1P｛X二i，…,X二i｝二工pp…pp.11nniii/i1n—1nieI由上述定理知，有限維分布函數(shù)由它的初始分布和一步轉(zhuǎn)移概率唯一確定。若集合｛nIn>1,p(n)>0｝非空，則稱該集合的最大公約數(shù)d二d⑴為狀態(tài)i的周期，若iid>1，則稱i是周期的，若d二1，則稱狀態(tài)i為非周期的。由定義知，如果i有周期d，則對一切非零的n豐0(modd)，都有p(n)=0.ii

易見狀態(tài)2與3有相同的周期d二2，但是，從狀態(tài)3出發(fā)，經(jīng)兩步必定返回到3；而狀態(tài)2則不然：當(dāng)2轉(zhuǎn)移到3后，便再也不能返回到2.定義：記f(n)=P{X豐j,1<v<n-1,X=jlX=i},n>1且f(°)=0.表示質(zhì)點由iTOC\o"1-5"\h\zijm+vm+nmij出發(fā)，經(jīng)n步首次到達j的概率，稱為首達概率。記ff(n)，標識質(zhì)點由i出發(fā)遲早轉(zhuǎn)移到丿的概率。ijijn=1若f=1，則稱狀態(tài)i為常返的；否則為非常返的。對于常返態(tài)，我們有以下定義:ii則稱常返態(tài)i為正常返R=藝nf(n).表示由狀態(tài)i再返回到i的平均返回時間。若卩<g,iii則稱常返態(tài)i為正常返n=1的；若卩=8，則稱為零常返的；非周期的正常返狀態(tài)稱為遍歷態(tài)。i定理p(n)=ij藝f(n定理p(n)=ijijjjk=0例設(shè)I={123,4},其一步轉(zhuǎn)移概率矩陣如右所示，試對其狀態(tài)進行分類，確定哪些狀態(tài)是常返態(tài)，并確定其周期。111-1oooOO0231-21-2O13111-1oooOO0231-21-2O13O1-21o1-2

丫a=P從圖中易見，對一切從圖中易見，對一切nni,f(n)=o,即f44=0<1.又，f⑴二,f(”)二°,n工2，所以44442111

f=廳<1-f二f