先驗(yàn)分布的確定 教育學(xué)習(xí)

1,優(yōu)質(zhì)材料,第三章先驗(yàn)分布的確定,3.1主觀概率3.2利用先驗(yàn)信息確定先驗(yàn)分布3.3利用邊緣分布m(x)確定先驗(yàn)密度3.4無(wú)信息先驗(yàn)分布3.5多層先驗(yàn),2,優(yōu)質(zhì)材料,一、主觀概率,1.貝葉斯學(xué)派要研究的問(wèn)題：如何用人們的經(jīng)驗(yàn)和過(guò)去的歷史資料確定概率和先驗(yàn)分布。2.經(jīng)典統(tǒng)計(jì)確定概率的兩種方法：（1）古典方法；（2）頻率方法。3.主觀概率的定義：一個(gè)事件的概率是人們根據(jù)經(jīng)驗(yàn)對(duì)該事件發(fā)生可能性所給出的個(gè)人信念。,3.1主觀概率,3,優(yōu)質(zhì)材料,二、確定主觀概率的方法,1.利用對(duì)立事件的比較確定主觀概率(例3.1)；2.利用專家意見(jiàn)確定主觀概率(例3.2)；3.向多位專家咨詢確定主觀概率(例3.3)；4.充分利用歷史資料，考慮現(xiàn)有信息加以修正,才能得到比較切合實(shí)際的主觀概率(例3.4)。,4,優(yōu)質(zhì)材料,1.利用對(duì)立事件的比較確定主觀概率,5,優(yōu)質(zhì)材料,2.利用專家意見(jiàn)確定主觀概率,6,優(yōu)質(zhì)材料,3.向多位專家咨詢確定主觀概率,7,優(yōu)質(zhì)材料,在座人員根據(jù)自己的經(jīng)驗(yàn)各寫了兩個(gè)數(shù)，經(jīng)理在計(jì)算了兩個(gè)平均值后，稍加修改，提出自己看法：在上述兩種情況下，本公司新產(chǎn)品暢銷率各為0.9和0.4，這是經(jīng)理在征求多位專家意見(jiàn)后所獲得的主觀概率。另?yè)?jù)本公司情報(bào)部門報(bào)告，外廠正忙于另一項(xiàng)產(chǎn)品開(kāi)發(fā)，很可能無(wú)暇顧及生產(chǎn)此新產(chǎn)品。經(jīng)理?yè)?jù)此認(rèn)為，外廠將生產(chǎn)此新產(chǎn)品的概率為0.3，不生產(chǎn)此產(chǎn)品的概率為0.7.利用上述四個(gè)主觀概率，由全概率公式可得本公司生產(chǎn)此新產(chǎn)品獲暢銷的概率為0.9*0.7+0.4*0.3=0.75,8,優(yōu)質(zhì)材料,4.充分利用歷史資料，考慮現(xiàn)有信息加以修正,9,優(yōu)質(zhì)材料,注意事項(xiàng)：（1）不管按照什么方法確定的主觀概率必須滿足概率的三條公理：非負(fù)性公理：對(duì)任意事件A，0P(A)1。正則性公理：必然事件的概率為1可列可加性公理：對(duì)可列個(gè)互不相容的事件A1，A2，有（2）如果發(fā)現(xiàn)所確定的主觀概率與上述三個(gè)公理及其推出的性質(zhì)相悖，必須立即修正。直到兩者一致為止。（例3.5）,10,優(yōu)質(zhì)材料,11,優(yōu)質(zhì)材料,3.2利用先驗(yàn)信息確定先驗(yàn)分布,一、直方圖法二、選定先驗(yàn)密度函數(shù)形式再估計(jì)其超參數(shù)三、定分度法與變分度法,12,優(yōu)質(zhì)材料,一、直方圖法,基本步驟：1.把參數(shù)空間分成一些小區(qū)間；2.在每個(gè)小區(qū)間上決定主觀概率或依據(jù)歷史數(shù)據(jù)確定其頻率；3.繪制頻率直方圖；4.在直方圖上作一條光滑曲線，此曲線即為先驗(yàn)分布()。例3.6某藥材店記錄了吉林人參的每周銷售量,現(xiàn)要尋求每周平均銷售量的概率分布。,13,優(yōu)質(zhì)材料,二、選定先驗(yàn)密度函數(shù)形式再估計(jì)其超參數(shù),該方法的要點(diǎn)：（1）根據(jù)先驗(yàn)信息選定的先驗(yàn)密度函數(shù)()的形式，如選其共軛先驗(yàn)分布。（2）當(dāng)先驗(yàn)分布中含有未知參數(shù)（稱為超參數(shù)）時(shí)，譬如()=(；,)，給出超參數(shù),的估計(jì)值，使(；，)最接近先驗(yàn)信息。,14,優(yōu)質(zhì)材料,15,優(yōu)質(zhì)材料,16,優(yōu)質(zhì)材料,說(shuō)明：如果有兩個(gè)甚至多個(gè)先驗(yàn)分布都滿足給定的先驗(yàn)信息，則要看情況選擇：假如這兩個(gè)先驗(yàn)分布差異不大，對(duì)后驗(yàn)分布影響也不大，則可任選一個(gè)；如果我們面臨著兩個(gè)差異極大的先驗(yàn)分布可供選擇時(shí)，一定要根據(jù)實(shí)際情況慎重選擇。,17,優(yōu)質(zhì)材料,三、定分度法與變分度法,基本概念:(1)定分度法:把參數(shù)可能取值的區(qū)間逐次分為長(zhǎng)度相等的小區(qū)間,每次在每個(gè)小區(qū)間上請(qǐng)專家給出主觀概率.(2)變分度法:該法是把參數(shù)可能取值的區(qū)間逐次分為機(jī)會(huì)相等的兩個(gè)小區(qū)間,這里的分點(diǎn)由專家確定.例3.2.3(自學(xué)),18,優(yōu)質(zhì)材料,3.3利用邊緣分布m(x)確定先驗(yàn)密度,一、邊緣分布m(x)二、混合分布三、先驗(yàn)選擇的ML-II方法四、先驗(yàn)選擇的矩方法,19,優(yōu)質(zhì)材料,一、邊緣分布m(x)設(shè)總體X的密度函數(shù)為p(x|),它含有未知參數(shù)，若的先驗(yàn)分布選用形式已知的密度函數(shù)(),則可算得X的邊緣分布（即無(wú)條件分布）：,當(dāng)先驗(yàn)分布含有未知參數(shù)，譬如()=(|)，那么邊緣分布m(x)依賴于，可記為m(x|)，這種邊緣分布在尋求后驗(yàn)分布時(shí)常遇到。,20,優(yōu)質(zhì)材料,21,優(yōu)質(zhì)材料,22,優(yōu)質(zhì)材料,二、混合分布,(1)混合分布的概念：設(shè)隨機(jī)變量X以概率在總體F1中取值，以概率1-在總體F2中取值。若F(x|1)和F(x|2)分別是這兩個(gè)總體的分布函數(shù)，則X的分布函數(shù)為：F(x)=F(x|1)+(1-)F(x|2)或用密度函數(shù)（或概率密度）表示：p(x)=p(x|1)+(1-)p(x|2)這個(gè)分布F(x)稱為F(x|1)和F(x|2)的混合分布。這里的和1-可以看作一個(gè)新隨機(jī)變量的分布，即：P(=1)=(1)，P(=2)=1-=(2),23,優(yōu)質(zhì)材料,(2)混合樣本的概念：從混合分布中抽出的樣本稱為混合樣本。注：從混合分布F(x)中抽取一個(gè)樣品x1，相當(dāng)于如下的二次抽樣：第一次:從()中抽取一個(gè)樣品。第二次：若=1，則從F(x|1)中再抽一個(gè)樣品，這個(gè)樣品就是x1；若=2，則從F(x|2)中再抽一個(gè)樣品，這個(gè)樣品就是x1,24,優(yōu)質(zhì)材料,若從混合分布抽取一個(gè)容量為n的樣本x1,x2,xn,則約有n(1)個(gè)來(lái)自F(x|1)，約有n(2)個(gè)來(lái)自F(x|2)。(3)實(shí)例分析:,25,優(yōu)質(zhì)材料,26,優(yōu)質(zhì)材料,三、先驗(yàn)選擇的ML-方法,定義：設(shè)為所考慮的先驗(yàn)類，且x=(x1,x2,xn)是來(lái)自邊緣分布中的樣本，若存在滿足（對(duì)觀測(cè)數(shù)據(jù)x）：則被稱為型極大似然先驗(yàn)，或簡(jiǎn)稱為ML-先驗(yàn)。說(shuō)明：這里將m(x)看成似然函數(shù),27,優(yōu)質(zhì)材料,28,優(yōu)質(zhì)材料,29,優(yōu)質(zhì)材料,四、先驗(yàn)選擇的矩方法,在選擇時(shí)，可用矩方法代替極大似然方法。矩方法應(yīng)用于當(dāng)有“已知函數(shù)形式”。即可利用先驗(yàn)矩與邊緣分布矩之間的關(guān)系尋求超參數(shù)的估計(jì)。這種方法稱為先驗(yàn)選擇的矩方法。該方法的具體步驟是：1.計(jì)算總體分布p(x|)的期望()和方差2()，即()=Ex|(X)，2()=Ex|X-()2Ex|表示用給定下的條件分布p(x|)求期望。,30,優(yōu)質(zhì)材料,2.計(jì)算邊緣密度m(x|)的期望m()和方差，其中:,31,優(yōu)質(zhì)材料,其中：,代入上式得：,32,優(yōu)質(zhì)材料,3.特殊情形:當(dāng)先驗(yàn)分布中僅含二個(gè)超參數(shù)時(shí)，即,可用混合樣本,計(jì)算其樣本均值和樣本方差，即：,再用樣本矩代替邊際分布的矩，列出如下方程,解此方程組，可得超參數(shù),的估計(jì),從而獲得先驗(yàn)分布,33,優(yōu)質(zhì)材料,解：,34,優(yōu)質(zhì)材料,35,優(yōu)質(zhì)材料,36,優(yōu)質(zhì)材料,37,優(yōu)質(zhì)材料,例3.14設(shè)總體XN(，1)，其中參數(shù)的先驗(yàn)分布取共軛先驗(yàn)。試估計(jì)兩個(gè)參數(shù)的值。,解：,38,優(yōu)質(zhì)材料,3.4無(wú)信息先驗(yàn)分布,一、貝葉斯假設(shè)二、位置尺度參數(shù)族的無(wú)信息先驗(yàn)三、用Fisher信息陣確定無(wú)信息先驗(yàn),39,優(yōu)質(zhì)材料,一、貝葉斯假設(shè),1.貝葉斯假設(shè)的基本含義無(wú)信息先驗(yàn)分布應(yīng)選取在(同等無(wú)知，無(wú)偏愛(ài)）取值范圍內(nèi)的均勻分布，即：這種看法被稱為貝葉斯假設(shè)。說(shuō)明：貝葉斯假設(shè)在很多情況下都是合理的。,40,優(yōu)質(zhì)材料,2.應(yīng)用貝葉斯假設(shè)時(shí)所出現(xiàn)的問(wèn)題,(1)當(dāng)?shù)娜≈捣秶鸀闊o(wú)限區(qū)間時(shí)，就無(wú)法在上定義一個(gè)正常的均勻分布。定義3.1設(shè)總體Xf(x|)，。若的先驗(yàn)分布()滿足下列條件：()0，且由此決定的后驗(yàn)密度(|x)是正常的密度函數(shù)，則稱()為的廣義先驗(yàn)密度。(2)貝葉斯假設(shè)不滿足變換下的不變性。,41,優(yōu)質(zhì)材料,二、位置-尺度參數(shù)族的無(wú)信息先驗(yàn),定義：設(shè)密度函數(shù)中有兩個(gè)參數(shù)與，且密度具有下述形式：其中f(x)是一個(gè)完全確定的函數(shù)，它相應(yīng)于=0，=1時(shí)的密度，稱為位置參數(shù)，稱為尺度參數(shù)，這類分布族稱為位置-尺度參數(shù)族。如正態(tài)分布、指數(shù)分布、均勻分布等都屬于這一類。特別=1時(shí)稱為位置參數(shù)族，而=0時(shí)稱為尺度參數(shù)族。,42,優(yōu)質(zhì)材料,(一)位置參數(shù)的無(wú)信息先驗(yàn),定理：位置參數(shù)族的先驗(yàn)分布可用貝葉斯假設(shè)作為無(wú)信息先驗(yàn)分布。證明：設(shè)總體X的密度具有形式p(x-)，其樣本空間與參數(shù)空間均為實(shí)數(shù)集。對(duì)X作一個(gè)平移Y=X+c，則Y的密度具有形式：p(y-c-)，這相當(dāng)于對(duì)參數(shù)作一個(gè)平移=+c，即Y的密度形式為p(y-)，它仍然是位置參數(shù)族的成員，且其樣本空間與參數(shù)空間沒(méi)有發(fā)生改變。因此與應(yīng)具有相同的無(wú)信息先驗(yàn)分布。即()=*()其中*()為的無(wú)信息先驗(yàn)分布。同時(shí)，由變換=+c可算得的無(wú)信息先驗(yàn)分布為比較上述兩式就可知道的無(wú)信息先驗(yàn)分布是常數(shù)。,43,優(yōu)質(zhì)材料,44,優(yōu)質(zhì)材料,例3.18設(shè)x是從正態(tài)總體N(,2)抽取的容量為1的樣本，其中2已知，未知，但知其為正，試求參數(shù)的估計(jì)。,解：這是一種帶約束條件的估計(jì)問(wèn)題，用貝葉斯方法解決這類問(wèn)題比較容易。取參數(shù)的無(wú)信息先驗(yàn)分布為（0，）上的均勻分布，即：（）=I（0，）（）由此可得后驗(yàn)密度：若取后驗(yàn)均值作為的估計(jì)，則:,45,優(yōu)質(zhì)材料,46,優(yōu)質(zhì)材料,(二)尺度參數(shù)的無(wú)信息先驗(yàn),定理設(shè)總體X的密度函數(shù)具有形式：則參數(shù)的無(wú)信息先驗(yàn)分布為：()=1/，0證明：令Y=cX(c0),同時(shí)讓參數(shù)也作同比例變化，即定義=c，不難算出Y的密度函數(shù)為仍然屬于尺度參數(shù)族。且X與Y的樣本空間相同，此時(shí)的無(wú)信息先驗(yàn)()與的無(wú)信息先驗(yàn)*()應(yīng)相同，即：()=*()另一方面，由變換=c可以得的無(wú)信息先驗(yàn)為：,47,優(yōu)質(zhì)材料,若令(1)=1，則()=1/，0它還是一個(gè)非正常先驗(yàn)。,比較上述兩式得：,48,優(yōu)質(zhì)材料,49,優(yōu)質(zhì)材料,三、使用杰弗萊原則確定先驗(yàn)分布,貝葉斯假設(shè)中的一個(gè)矛盾是：如果對(duì)參數(shù)選用均勻分布，那么當(dāng)?shù)暮瘮?shù)作為參數(shù)時(shí)，也應(yīng)該選用均勻分布作為先驗(yàn)分布。然而由服從均勻分布這一前提，往往導(dǎo)出不是均勻分布，反之也一樣。杰弗萊為了克服這一矛盾提出了選取先驗(yàn)的不變?cè)?。并被稱為杰弗萊原則或杰弗萊準(zhǔn)則。,50,優(yōu)質(zhì)材料,1.確定無(wú)信息先驗(yàn)的更一般方法(Jeffreys(1961):設(shè)x=(x1,x2,xn)是來(lái)自密度函數(shù)p(x|)的一個(gè)樣本，為p維參數(shù)向量，則可用費(fèi)希爾信息陣的平方根作為的無(wú)信息先驗(yàn)分布。2.尋求分布的一般步驟：(1)寫出樣本的對(duì)數(shù)似然函數(shù)：,51,優(yōu)質(zhì)材料,(2)求樣本的信息陣：特別在單參數(shù)的情形：(3)的無(wú)信息先驗(yàn)密度為：其中detI()表示pp階信息陣I()的行列式。,52,優(yōu)質(zhì)材料,例1設(shè)x=(x1,x2,xn)服從多項(xiàng)分