




下載本文檔
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
本課件包括演示文稿、示例、代碼、題庫(kù)、和在課程范圍外向任何第散播。任何其他人或機(jī)構(gòu)不得盜版、、仿造其中的創(chuàng)意及內(nèi)容,我們 課 咨
主要內(nèi) 細(xì)致平穩(wěn)條
思考:LDA的迭代為何如此設(shè)
為什么要研究采樣根據(jù)采樣結(jié)果估算分布的參數(shù),完成參數(shù)學(xué)hpnNnp 1
附:Bernoulli版本的大數(shù)定一次試驗(yàn)中事件A發(fā)生的概率為p;重復(fù)n次對(duì)于任意整數(shù)lim pnn
應(yīng)用Bernoulli版本的大數(shù)定一般的說,上述結(jié)論可以直接推廣:頻率的極限 將上述二項(xiàng)分布擴(kuò)展成多項(xiàng)分布,如K項(xiàng)分布:pi 從而得到K
,
nk p N
N 在主體模型LDA中,每個(gè)文檔的分布和每個(gè)主分布和詞分布的參數(shù),即可完成參數(shù)學(xué)
采樣算若離散分布,則f(x)為概率分布律
Matropolis-Hastings算假定t時(shí)刻X(t)x(t)X(tx(t)的條件分布g(x|x(t計(jì)算M-H率:Rx(t,x*
f(x*)g(x(t)|
f
(t
)g(x*
|x(t)
|xt則t+1時(shí)刻的X值x(t1)X(t1)X(t1)
分析MH率
(t),x*
f(x*)g(x(t)|f(x(t))g(x(t)|x*)
x,X(t
xpX(t
x,X(t
x
fxgx|xRx,x
fxgx|x
fxgx|x
給定區(qū)域的二維隨機(jī)給定區(qū)間[ax,bx]×[ay,by],使得二維隨機(jī)點(diǎn)(x,y)落
產(chǎn)生二維隨機(jī)數(shù)代碼與
圓內(nèi)均勻取給定定點(diǎn)O(x0,y0)和半徑r,使得二維隨機(jī)直接使用
有選擇的取顯然上述做法是不對(duì)的。但可以使用二維隨
分的區(qū)域g(x,y)≤0,G為F的上界。當(dāng)采樣 注:區(qū)域f(x,y)≤0的可行解集合記做F;區(qū)g(x,y)≤0的可行解集合記做G;顯然
附:產(chǎn)生圓內(nèi)隨機(jī)數(shù)的其他方
附:產(chǎn)生三角形內(nèi)隨機(jī)
進(jìn)一步思考:Rejection上述方法能夠一定程度的估算圓周率——雖上述抽樣問題能否用來解決一般概率分布函
重述采方法 鏈模
舉 0.28父代0.15
概率轉(zhuǎn)移矩顯然,第n+1代中處于第jnXn1jXniPXn1j|Xnn 第i行元素表示:在上一個(gè)狀態(tài)為i時(shí)的分布概率,
初始概率π=[0.21,0.68,0.1]
初始概率π=[0.75,0.15,0.1]
隨機(jī)過程的平穩(wěn)定收斂在某個(gè)分布上。 的,則limPn存在,記做limPn
隨機(jī)過程的平 limPn
12
2 該多項(xiàng)分布π是狀態(tài)轉(zhuǎn)移矩陣P的平穩(wěn)分線性方程xP=x的非負(fù)解為π,而Pn唯一,因此π
隨機(jī)過程與采 來很大的啟發(fā):對(duì)于某概率分布π,生成一 該方法可使用MonteCarlo模擬來完成,稱之為MCMC(MarkovChainMonteCarlo)。
細(xì)致平穩(wěn)條從穩(wěn)定分布滿足πP=π可以抽象出如下定如果非周 過程的轉(zhuǎn)移矩陣P和分布π(x) i,j,iPi,j則π(x)是 細(xì)致平穩(wěn)條件(detailedbalancecondition)。P(i,j)為矩陣P的第i行第j列,其意思為前一個(gè)狀態(tài)為i時(shí),細(xì)致平穩(wěn)的理解:根據(jù)定義,對(duì)于任意兩個(gè)狀態(tài)i,j,從
細(xì)致平穩(wěn)條件和平穩(wěn)分布的關(guān)n n
jjPj,nn
設(shè)定接受 以取:ijpjqj,i,j,ipiqij
MCMC:Metropolis-Hastings算
i,j
Metropolis-Hastings算初始 過程初始狀態(tài)第t時(shí) 過程初始狀態(tài)it,采樣從均勻分布中采樣
則接受狀態(tài)j,即
否則,不接受狀態(tài)j,即
改造MCMC算 率若需要采樣二維聯(lián)合分布p(x,y),固定x11
11111111
x1y1,y2x1
|x1,x
y2,y1py1|x1
ycur,yother
|x1,x
yother,ycur
若固定y,可得到對(duì)偶的結(jié)
二維Gibbs采樣算由ycuryotherpyother|x11yxcur,xotherpxother|y11隨機(jī)初始化對(duì)t=0,1,2…,循環(huán)采樣xxt
px|yt1
將二維Gibbs采樣推廣隨機(jī)初始化
1,X
Xx0,x0!,x0 對(duì)t=1,2…,循環(huán)采樣直 xt1px|xt,xt,!,xt
xt1px|xt1,xt,!,xt2
ii
!!
| !,
,xi1,!,xn |xt1,xt1,!,xt1,xt
xt1px|xt1,xt1,!,很顯然
用采樣改造EM算
用采樣改造EM算在EM算法中,E-Step求出隱變量的條件概率,從而為:Q,pZ|X,lnpZX|dZ顯然,這仍然可以使用采樣的方式近似得
1L
lnpZl,X|這種EM算法稱為MC-EM算法(MonteCarlo極限情況:若MC-EM算法的期望Q的估計(jì),僅采樣一個(gè)樣本,則稱之為隨機(jī)EM算法(stochasticEM
變分預(yù)備知散度的兩種形
兩個(gè)KL散度的區(qū) qxKLq||px
pxEqx
如果p(x)=0,q(x)>0,則KL為無(wú)窮大。因此,當(dāng)p(x)=0時(shí)KLp||q
px px
免”(zeroavoiding)的。從而,q往往被高估
兩個(gè)KL散度的區(qū)是使用近似p(z1,z2)=p(z1)p(z2)左:KL(p||q):zero右:KL(q||p):zero
兩個(gè)KL散度的區(qū)左:KL(p||q):q趨向于覆蓋中、右:KL(q||p):q能夠鎖定某一個(gè)峰
兩個(gè)KL散度之間的聯(lián)給定分布p和qDp||q
1
px
dxKLp||q
px dxpx1
qx
p
兩個(gè)KL散度之間的聯(lián)
1
log
為
ingerDp||q
1
dx px
溫馨提示
- 1. 本站所有資源如無(wú)特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 班級(jí)活動(dòng)青團(tuán)活動(dòng)方案
- 愛國(guó)尊師活動(dòng)方案
- 球類大班活動(dòng)方案
- 球場(chǎng)開場(chǎng)活動(dòng)方案
- 生鮮年節(jié)活動(dòng)方案
- 愛心志愿者小組活動(dòng)方案
- 愛家關(guān)愛老人活動(dòng)方案
- 煙草表彰活動(dòng)方案
- 愛心救援活動(dòng)方案
- 班前慰問活動(dòng)方案
- 人教版五年級(jí)3《長(zhǎng)方體和正方體》 單元整體作業(yè)設(shè)計(jì)
- 機(jī)械設(shè)備賠償協(xié)議
- 2024年全國(guó)財(cái)會(huì)知識(shí)競(jìng)賽考試題庫(kù)(濃縮500題)
- 穿越華裾-中華服飾之美智慧樹知到期末考試答案章節(jié)答案2024年青島職業(yè)技術(shù)學(xué)院
- 2024年廣東省中考物理試卷(含答案逐題解析)
- LD水電站智慧工程建設(shè)方案研究
- DB37-T 4384-2021 混凝土橋梁有效預(yù)應(yīng)力無(wú)損檢測(cè)技術(shù)規(guī)程
- 竣工財(cái)務(wù)決算報(bào)表模板
- 2021利達(dá)JB-QG-LD988EL JB-QT-LD988EL 火災(zāi)報(bào)警控制器 消防聯(lián)動(dòng)控制器調(diào)試手冊(cè)
- 2024年中鐵(天津)軌道交通投資建設(shè)限公司運(yùn)營(yíng)管理人員招聘5人高頻考題難、易錯(cuò)點(diǎn)模擬試題(共500題)附帶答案詳解
- 創(chuàng)傷中心匯報(bào)
評(píng)論
0/150
提交評(píng)論