先驗(yàn)分布的確定-文檔資料

1、12第三章第三章 先驗(yàn)分布的確定先驗(yàn)分布的確定3.1 主觀概率主觀概率3.2 利用先驗(yàn)信息確定先驗(yàn)分布利用先驗(yàn)信息確定先驗(yàn)分布3.3 利用邊緣分布利用邊緣分布m(x)m(x)確定先驗(yàn)密度確定先驗(yàn)密度3.4 無(wú)信息先驗(yàn)分布無(wú)信息先驗(yàn)分布3.5 多層先驗(yàn)多層先驗(yàn)3一、主觀概率一、主觀概率1.貝葉斯學(xué)派要研究的問(wèn)題：如何用人們的經(jīng)驗(yàn)和過(guò)去的歷史資料確定概率和先驗(yàn)分布。2.經(jīng)典統(tǒng)計(jì)確定概率的兩種方法： （1）古典方法； （2）頻率方法。3.主觀概率的定義：一個(gè)事件的概率是人們根據(jù)經(jīng)驗(yàn)對(duì)該事件發(fā)生可能性所給出的個(gè)人信念。3.1 主觀概率主觀概率4二、確定主觀概率的方法二、確定主觀概率的方法n1. 1.利

2、用對(duì)立事件的比較確定主觀概率利用對(duì)立事件的比較確定主觀概率( (例例3.13.1) )；n2. 2.利用專(zhuān)家意見(jiàn)確定主觀概率利用專(zhuān)家意見(jiàn)確定主觀概率( (例例3.23.2) ) ；n3. 3.向多位專(zhuān)家咨詢(xún)確定主觀概率向多位專(zhuān)家咨詢(xún)確定主觀概率( (例例3.33.3) ) ；n4. 4.充分利用歷史資料，考慮現(xiàn)有信息加以修正充分利用歷史資料，考慮現(xiàn)有信息加以修正, ,才才能得到比較切合實(shí)際的主觀概率能得到比較切合實(shí)際的主觀概率( (例例3.43.4) ) 。51. 1.利用對(duì)立事件的比較確定主觀概率利用對(duì)立事件的比較確定主觀概率62. 2.利用專(zhuān)家意見(jiàn)確定主觀概率利用專(zhuān)家意見(jiàn)確定主觀概率73.

3、 3.向多位專(zhuān)家咨詢(xún)確定主觀概率向多位專(zhuān)家咨詢(xún)確定主觀概率8 在座人員根據(jù)自己的經(jīng)驗(yàn)各寫(xiě)了兩個(gè)數(shù)，經(jīng)理在計(jì)算了兩個(gè)平均值后，稍加修改，提出自己看法：在上述兩種情況下，本公司新產(chǎn)品暢銷(xiāo)率各為0.9和0.4，這是經(jīng)理在征求多位專(zhuān)家意見(jiàn)后所獲得的主觀概率。另?yè)?jù)本公司情報(bào)部門(mén)報(bào)告，外廠正忙于另一項(xiàng)產(chǎn)品開(kāi)發(fā)，很可能無(wú)暇顧及生產(chǎn)此新產(chǎn)品。經(jīng)理?yè)?jù)此認(rèn)為，外廠將生產(chǎn)此新產(chǎn)品的概率為0.3，不生產(chǎn)此產(chǎn)品的概率為0.7. 利用上述四個(gè)主觀概率，由全概率公式可得本公司生產(chǎn)此新產(chǎn)品獲暢銷(xiāo)的概率為 0.9*0.7+0.4*0.3=0.7594. 4.充分利用歷史資料，考慮現(xiàn)有信息加以修正充分利用歷史資料，考慮現(xiàn)有信息加

4、以修正10 注意事項(xiàng)：（1）不管按照什么方法確定的主觀概率必須滿(mǎn)足概率的三條公理：非負(fù)性公理：對(duì)任意事件A，0P(A)1。正則性公理：必然事件的概率為1可列可加性公理：對(duì)可列個(gè)互不相容的事件A1，A2，有（2）如果發(fā)現(xiàn)所確定的主觀概率與上述三個(gè)公理及其推出的性質(zhì)相悖，必須立即修正。直到兩者一致為止。（例3.5）11)()(iiiiAPAP11123.2 利用先驗(yàn)信息確定先驗(yàn)分布利用先驗(yàn)信息確定先驗(yàn)分布一、直方圖法一、直方圖法二、選定先驗(yàn)密度函數(shù)形式再估計(jì)其超參數(shù)二、選定先驗(yàn)密度函數(shù)形式再估計(jì)其超參數(shù)三、定分度法與變分度法三、定分度法與變分度法13一、直方圖法一、直方圖法基本步驟：1.把參數(shù)空間

5、分成一些小區(qū)間；2.在每個(gè)小區(qū)間上決定主觀概率或依據(jù)歷史數(shù)據(jù)確定其頻率；3.繪制頻率直方圖；4.在直方圖上作一條光滑曲線，此曲線即為先驗(yàn)分布()。例3.6 某藥材店記錄了吉林人參的每周銷(xiāo)售量,現(xiàn)要尋求每周平均銷(xiāo)售量的概率分布。14二、選定先驗(yàn)密度函數(shù)形式再估計(jì)其超參數(shù)二、選定先驗(yàn)密度函數(shù)形式再估計(jì)其超參數(shù)該方法的要點(diǎn)：（1）根據(jù)先驗(yàn)信息選定的先驗(yàn)密度函數(shù)()的形式，如選其共軛先驗(yàn)分布。（2）當(dāng)先驗(yàn)分布中含有未知參數(shù)（稱(chēng)為超參數(shù)）時(shí)，譬如()= (；,)，給出超參數(shù),的估計(jì)值 ， 使(； ， )最接近先驗(yàn)信息。 151617n說(shuō)明說(shuō)明：如果有兩個(gè)甚至多個(gè)先驗(yàn)分布都滿(mǎn)足給定的先驗(yàn)信息，則要看情況選

6、擇：假如這兩個(gè)先驗(yàn)分布差異不大，對(duì)后驗(yàn)分布影響也不大，則可任選一個(gè)；如果我們面臨著兩個(gè)差異極大的先驗(yàn)分布可供選擇時(shí)，一定要根據(jù)實(shí)際情況慎重選擇。18三、定分度法與變分度法基本概念:(1)定分度法:把參數(shù)可能取值的區(qū)間逐次分為長(zhǎng)度相等的小區(qū)間,每次在每個(gè)小區(qū)間上請(qǐng)專(zhuān)家給出主觀概率.(2)變分度法:該法是把參數(shù)可能取值的區(qū)間逐次分為機(jī)會(huì)相等的兩個(gè)小區(qū)間,這里的分點(diǎn)由專(zhuān)家確定.例3.2.3(自學(xué))193.33.3 利用邊緣分布利用邊緣分布m(x)m(x)確定先驗(yàn)密度確定先驗(yàn)密度一、邊緣分布m(x)m(x)二、混合分布三、先驗(yàn)選擇的ML-II方法四、先驗(yàn)選擇的矩方法20一、邊緣分布m(x) 設(shè)總體X的

7、密度函數(shù)為p(x|),它含有未知參數(shù) ，若的先驗(yàn)分布選用形式已知的密度函數(shù)(),則可算得X的邊緣分布（即無(wú)條件分布）：為離散時(shí)當(dāng)，為連續(xù)時(shí)當(dāng))()|(,)()|()(xpdxpxm當(dāng)先驗(yàn)分布含有未知參數(shù)，譬如()= (|)，那么邊緣分布m(x)依賴(lài)于，可記為m(x|)，這種邊緣分布在尋求后驗(yàn)分布時(shí)常遇到。212223二、混合分布(1)混合分布的概念混合分布的概念：設(shè)隨機(jī)變量X以概率在總體F1中取值，以概率1-在總體F2中取值。若F(x|1)和F(x|2)分別是這兩個(gè)總體的分布函數(shù)，則X的分布函數(shù)為：F(x)= F(x |1)+(1-)F(x|2)或用密度函數(shù)（或概率密度）表示： p(x)= p

8、(x |1)+ (1-)p(x|2)這個(gè)分布F(x)稱(chēng)為F(x |1)和F(x|2)的混合分布。這里的和1-可以看作一個(gè)新隨機(jī)變量的分布， 即： P(=1)=(1)， P(=2)=1-=(2)24(2)混合樣本的概念混合樣本的概念：從混合分布中抽出的樣本稱(chēng)為混合樣本。 注：從混合分布F(x)中抽取一個(gè)樣品x1，相當(dāng)于 如下的二次抽樣： 第一次:從()中抽取一個(gè)樣品。 第二次：若=1，則從F(x |1)中再抽一個(gè)樣品，這個(gè)樣品就是x1； 若=2，則從F(x |2)中再抽一個(gè)樣品，這個(gè)樣品就是x125若從混合分布抽取一個(gè)容量為n的樣本x1,x2,xn,則約有n(1)個(gè)來(lái)自F(x |1)，約有n(2

9、)個(gè)來(lái)自F(x |2)。(3)實(shí)例分析:2627三、先驗(yàn)選擇的ML-方法 定義：設(shè) 為所考慮的先驗(yàn)類(lèi)，且x x=(x1,x2,xn)是來(lái)自邊緣分布中的樣本，若存在 滿(mǎn)足（對(duì)觀測(cè)數(shù)據(jù)x）：則 被稱(chēng)為型極大似然先驗(yàn)，或簡(jiǎn)稱(chēng)為ML-先驗(yàn)。 說(shuō)明：這里將說(shuō)明：這里將m(x)m(x)看成似然函數(shù)看成似然函數(shù), )|()(niixmm1)|(sup)|(x282930四、先驗(yàn)選擇的矩方法 在選擇時(shí)，可用矩方法代替極大似然方法。矩方法應(yīng)用于當(dāng)有“已知函數(shù)形式”。即可利用先驗(yàn)矩與邊緣分布矩之間的關(guān)系尋求超參數(shù)的估計(jì)。這種方法稱(chēng)為先驗(yàn)選擇的矩方法。該方法的具體步驟是：1.計(jì)算總體分布p(x|)的期望()和方差2

10、()，即 ()=Ex|(X)， 2()= Ex|X-()2 Ex|表示用給定下的條件分布p(x|)求期望。312.計(jì)算邊緣密度m(x|) 的期望m()和方差 ，其中:)()|()()|()|()|()|()|()()(|EdddxxxpdxdxpxdxxxmXExxxxm )(2m32其中： dxEddxxpxdxdxpxXEmxxmxmmxm)|()()|()|()()|()|()()()(2|222|2222|2|2|2|)()()()()()()()()()(mmxxmxmxExExExE2|2|2)()()()(mmEE代入上式得： 33),(21),(21nxxxx221111,()

11、nnmimiiixxxxnn2|2|2|)()()()()(mmmEEE),(21),(21)|(3.特殊情形:當(dāng)先驗(yàn)分布中僅含二個(gè)超參數(shù)時(shí)，即,可用混合樣本計(jì)算其樣本均值和樣本方差，即：再用樣本矩代替邊際分布的矩，列出如下方程 解此方程組，可得超參數(shù)的估計(jì)從而獲得先驗(yàn)分布34的矩估計(jì)。，試求超參數(shù)和方差現(xiàn)有混合樣本的均值，其密度函數(shù)的先驗(yàn)分布取伽瑪分布參數(shù)，其密度函數(shù)為設(shè)總體例 210,)(),|(),(0,)|()Exp(X 3.13mmxeGaxexp解：35363738例3.14 設(shè)總體XN(，1)，其中參數(shù)的先驗(yàn)分布取共軛先驗(yàn) 。試估計(jì)兩個(gè)參數(shù)的值。),(2N解：393.4 無(wú)信息先

12、驗(yàn)分布無(wú)信息先驗(yàn)分布一、貝葉斯假設(shè)二、位置尺度參數(shù)族的無(wú)信息先驗(yàn)三、用Fisher信息陣確定無(wú)信息先驗(yàn)40一、貝葉斯假設(shè)1.貝葉斯假設(shè)的基本含義 無(wú)信息先驗(yàn)分布應(yīng)選取在(同等無(wú)知，無(wú)偏愛(ài)）取值范圍內(nèi)的均勻分布，即： 這種看法被稱(chēng)為貝葉斯假設(shè)。說(shuō)明：貝葉斯假設(shè)在很多情況下都是合理的。, 0,)(c412.應(yīng)用貝葉斯假設(shè)時(shí)所出現(xiàn)的問(wèn)題(1)當(dāng)?shù)娜≈捣秶鸀闊o(wú)限區(qū)間時(shí)，就無(wú)法在上定義一個(gè)正常的均勻分布。定義3.1 設(shè)總體Xf(x|)，。若的先驗(yàn)分布()滿(mǎn)足下列條件：()0，且由此決定的后驗(yàn)密度(|x)是正常的密度函數(shù)，則稱(chēng)()為的廣義先驗(yàn)密度。(2)貝葉斯假設(shè)不滿(mǎn)足變換下的不變性。d)(42二、位置-

13、尺度參數(shù)族的無(wú)信息先驗(yàn) 定義：設(shè)密度函數(shù)中有兩個(gè)參數(shù)與，且密度具有下述形式： 其中f(x)是一個(gè)完全確定的函數(shù)，它相應(yīng)于=0，=1時(shí)的密度，稱(chēng)為位置參數(shù)，稱(chēng)為尺度參數(shù)，這類(lèi)分布族稱(chēng)為位置-尺度參數(shù)族。如正態(tài)分布、指數(shù)分布、均勻分布等都屬于這一類(lèi)。 特別=1時(shí)稱(chēng)為位置參數(shù)族，而=0時(shí)稱(chēng)為尺度參數(shù)族。), 0(, ),(,1),(xfxp；43(一)位置參數(shù)的無(wú)信息先驗(yàn)定理：位置參數(shù)族的先驗(yàn)分布可用貝葉斯假設(shè)作為無(wú)信息先驗(yàn)分布。證明：設(shè)總體X的密度具有形式p(x-)，其樣本空間與參數(shù)空間均為實(shí)數(shù)集。對(duì)X作一個(gè)平移Y=X+c，則Y的密度具有形式：p(y-c-)，這相當(dāng)于對(duì)參數(shù)作一個(gè)平移=+c，即Y的

14、密度形式為p(y-)，它仍然是位置參數(shù)族的成員，且其樣本空間與參數(shù)空間沒(méi)有發(fā)生改變。因此與應(yīng)具有相同的無(wú)信息先驗(yàn)分布。即 ()=*()其中*()為的無(wú)信息先驗(yàn)分布。同時(shí)，由變換=+c可算得的無(wú)信息先驗(yàn)分布為n 比較上述兩式就可知道的無(wú)信息先驗(yàn)分布是常數(shù)。)()()(*ccdd4445例3.18 設(shè)x是從正態(tài)總體N(,2)抽取的容量為1的樣本，其中2已知，未知，但知其為正，試求參數(shù)的估計(jì)。解：這是一種帶約束條件的估計(jì)問(wèn)題，用貝葉斯方法解決這類(lèi)問(wèn)題比較容易。取參數(shù)的無(wú)信息先驗(yàn)分布為（0，）上的均勻分布，即： （）=I（0，）（）由此可得后驗(yàn)密度：若取后驗(yàn)均值作為的估計(jì)，則:022), 0(222/

15、)(exp)(2/)(exp)|(dxIxx46)/(12/exp)2()(2/)(exp2/)(exp)|()|(222/12/2/ )(022022022xxxdedexdxdxdxxExxxE47(二)尺度參數(shù)的無(wú)信息先驗(yàn)定理 設(shè)總體X的密度函數(shù)具有形式： 則參數(shù)的無(wú)信息先驗(yàn)分布為： ()=1/，0 證明：令Y=cX(c0),同時(shí)讓參數(shù)也作同比例變化，即定義=c，不難算出Y的密度函數(shù)為 仍然屬于尺度參數(shù)族。且X與Y的樣本空間相同，此時(shí)的無(wú)信息先驗(yàn)()與的無(wú)信息先驗(yàn)*()應(yīng)相同，即： ()=*() 另一方面，由變換=c可以得的無(wú)信息先驗(yàn)為：), 0(,1)(xpxp；yp148若令(1)=

16、1，則()=1/，0它還是一個(gè)非正常先驗(yàn)。cc1)(* 11)(1)(ccccc 取比較上述兩式得： 4950三、使用杰弗萊原則確定先驗(yàn)分布 貝葉斯假設(shè)中的一個(gè)矛盾是：如果對(duì)參數(shù) 選用均勻分布，那么當(dāng) 的函數(shù) 作為參數(shù)時(shí)，也應(yīng)該選用均勻分布作為先驗(yàn)分布。然而由 服從均勻分布這一前提，往往導(dǎo)出 不是均勻分布，反之也一樣。 杰弗萊為了克服這一矛盾提出了選取先驗(yàn)的不變?cè)?。并被稱(chēng)為杰弗萊原則或杰弗萊準(zhǔn)則。( )g( )g51 1.確定無(wú)信息先驗(yàn)的更一般方法(Jeffreys(1961): 設(shè)x=(x1,x2,xn)是來(lái)自密度函數(shù)p(x|)的一個(gè) 樣本，為p維參數(shù)向量，則可用費(fèi)希爾信息陣的平方根作為的無(wú)信息先驗(yàn)分布。 2.尋求分布的一般步驟： (1)寫(xiě)出樣本的對(duì)數(shù)似然函數(shù)： niiniixpxpxl11)|(ln)|(ln)|(52(2)求樣本的信息陣：特別在單參數(shù)的情形： (3)的無(wú)信息先驗(yàn)密度為： 其中detI()表示pp階信息陣I()的行列式。22|)(lEIx2/1)(det)(IpjilEIjix, 2 , 1,)(2|53 例1 設(shè)