ch3先驗(yàn)分布的確定

1、12第三章第三章 先驗(yàn)分布的確定先驗(yàn)分布的確定3.1 主觀概率主觀概率3.2 利用先驗(yàn)信息確定先驗(yàn)分布利用先驗(yàn)信息確定先驗(yàn)分布3.3 利用邊緣分布利用邊緣分布m(x)m(x)確定先驗(yàn)密度確定先驗(yàn)密度3.4 無信息先驗(yàn)分布無信息先驗(yàn)分布3.5 多層先驗(yàn)多層先驗(yàn)3一、主觀概率一、主觀概率1.貝葉斯學(xué)派要研究的問題：如何用人們的經(jīng)驗(yàn)和過去的歷史資料確定概率和先驗(yàn)分布。2.經(jīng)典統(tǒng)計(jì)確定概率的兩種方法： （1）古典方法； （2）頻率方法。3.主觀概率的定義：一個(gè)事件的概率是人們根據(jù)經(jīng)驗(yàn)對(duì)該事件發(fā)生可能性所給出的個(gè)人信念。3.1 主觀概率主觀概率4二、確定主觀概率的方法二、確定主觀概率的方法n1. 1.利

2、用對(duì)立事件的比較確定主觀概率利用對(duì)立事件的比較確定主觀概率( (例例3.13.1) )；n2. 2.利用專家意見確定主觀概率利用專家意見確定主觀概率( (例例3.23.2) ) ；n3. 3.向多位專家咨詢確定主觀概率向多位專家咨詢確定主觀概率( (例例3.33.3) ) ；n4. 4.充分利用歷史資料，考慮現(xiàn)有信息加以修正充分利用歷史資料，考慮現(xiàn)有信息加以修正, ,才才能得到比較切合實(shí)際的主觀概率能得到比較切合實(shí)際的主觀概率( (例例3.43.4) ) 。51. 1.利用對(duì)立事件的比較確定利用對(duì)立事件的比較確定主觀概率主觀概率62. 2.利用專家意見確定利用專家意見確定主觀概率主觀概率73.

3、 3.向多位專家咨詢確定向多位專家咨詢確定主觀概率主觀概率84. 4.充分利用歷史資料，考慮現(xiàn)有信息加以修正充分利用歷史資料，考慮現(xiàn)有信息加以修正9 注意事項(xiàng)：（1）不管按照什么方法確定的主觀概率必須滿足概率的三條公理：非負(fù)性公理：對(duì)任意事件A，0P(A)1。正則性公理：必然事件的概率為1可列可加性公理：對(duì)可列個(gè)互不相容的事件A1，A2，有（2）如果發(fā)現(xiàn)所確定的主觀概率與上述三個(gè)公理及其推出的性質(zhì)相悖，必須立即修正。直到兩者一致為止。（例3.5）11)()(iiiiAPAP10113.2 利用先驗(yàn)信息確定先驗(yàn)分布利用先驗(yàn)信息確定先驗(yàn)分布一、直方圖法二、選定先驗(yàn)密度函數(shù)形式再估計(jì)其超參數(shù)三、定分

4、度法與變分度法12一、直方圖法一、直方圖法基本步驟：1.把參數(shù)空間分成一些小區(qū)間；2.在每個(gè)小區(qū)間上決定主觀概率或依據(jù)歷史數(shù)據(jù)確定其頻率；3.繪制頻率直方圖；4.在直方圖上作一條光滑曲線，此曲線即為先驗(yàn)分布()。例3.6 某藥材店記錄了吉林人參的每周銷售量,現(xiàn)要尋求每周平均銷售量的概率分布。13二、選定先驗(yàn)密度函數(shù)形式再估計(jì)其超參數(shù)二、選定先驗(yàn)密度函數(shù)形式再估計(jì)其超參數(shù)n該方法的要點(diǎn)：n（1）根據(jù)先驗(yàn)信息選定的先驗(yàn)密度函數(shù)()的形式，如選其共軛先驗(yàn)分布。n（2）當(dāng)先驗(yàn)分布中含有未知參數(shù)（稱為超n參數(shù)）時(shí)，譬如()= (；,)，n給出超參數(shù),的估計(jì)值 ， 使n(； ， )最接近先驗(yàn)信息。 141

5、516n說明說明：如果有兩個(gè)甚至多個(gè)先驗(yàn)分布都滿足給定的先驗(yàn)信息，則要看情況選擇：假如這兩個(gè)先驗(yàn)分布差異不大，對(duì)后驗(yàn)分布影響也不大，則可任選一個(gè)；如果我們面臨著兩個(gè)差異極大的先驗(yàn)分布可供選擇時(shí)，一定要根據(jù)實(shí)際情況慎重選擇。17三、定分度法與變分度法基本概念:(1)定分度法:把參數(shù)可能取值的區(qū)間逐次分為長(zhǎng)度相等的小區(qū)間,每次在每個(gè)小區(qū)間上請(qǐng)專家給出主觀概率.(2)變分度法:該法是把參數(shù)可能取值的區(qū)間逐次分為機(jī)會(huì)相等的兩個(gè)小區(qū)間,這里的分點(diǎn)由專家確定.183.33.3 利用邊緣分布利用邊緣分布m(x)m(x)確定先驗(yàn)密度確定先驗(yàn)密度一、邊緣分布m(x)m(x)二、混合分布三、先驗(yàn)選擇的ML-II方

6、法四、先驗(yàn)選擇的矩方法19一、邊緣分布m(x) 設(shè)總體X的密度函數(shù)為p(x|),它含有未知參數(shù) ，若的先驗(yàn)分布選用形式已知的密度函數(shù)(),則可算得X的邊緣分布（即無條件分布）：為離散時(shí)當(dāng)，為連續(xù)時(shí)當(dāng))()|(,)()|()(xpdxpxm當(dāng)先驗(yàn)分布含有未知參數(shù)，譬如()= (|)，那么邊緣分布m(x)依賴于，可記為m(x|)，這種邊緣分布在尋求后驗(yàn)分布時(shí)常遇到。202122二、混合分布(1)混合分布的概念混合分布的概念：設(shè)隨機(jī)變量X以概率在總體F1中取值，以概率1-在總體F2中取值。若F(x|1)和F(x|2)分別是這兩個(gè)總體的分布函數(shù)，則X的分布函數(shù)為：F(x)= F(x |1)+(1-)F

7、(x|2)或用密度函數(shù)（或概率密度）表示： p(x)= p(x |1)+ (1-)p(x|2)這個(gè)分布F(x)稱為F(x |1)和F(x|2)的混合分布。這里的和1-可以看作一個(gè)新隨機(jī)變量的分布， 即： P(=1)=(1)， P(=2)=1-=(2)23(2)混合樣本的概念混合樣本的概念：從混合分布中抽出的樣本稱為混合樣本。 注：從混合分布F(x)中抽取一個(gè)樣品x1，相當(dāng)于如下的二次抽樣： 第一次:從()中抽取一個(gè)樣品。 第二次：若=1，則從F(x |1)中再抽一個(gè)樣品，這個(gè)樣品就是x1； 若=2，則從F(x |2)中再抽一個(gè)樣品，這個(gè)樣品就是x1 若從混合分布抽取一個(gè)容量為n的樣本x1,x2

8、,xn,則約有n(1)個(gè)來自F(x |1)，約有n(2)個(gè)來自F(x |2)。(3)實(shí)例分析:2425三、先驗(yàn)選擇的ML-方法 定義：設(shè) 為所考慮的先驗(yàn)類，且x x=(x1,x2,xn)是來自中某一分布的樣本，若存在 滿足（對(duì)觀測(cè)數(shù)據(jù)x）：n則 被稱為型極大似然先驗(yàn)，或簡(jiǎn)稱為ML-先驗(yàn)。 說明：這里將說明：這里將m(x)m(x)看成似然函數(shù)看成似然函數(shù), )|()(niixmm1)|(sup)|(x262728四、先驗(yàn)選擇的矩方法n 在選擇時(shí)，可用矩方法代替極大似然方法。矩方法應(yīng)用于當(dāng)有“已知函數(shù)形式”。即可利用先驗(yàn)矩與邊緣分布矩之間的關(guān)系尋求超參數(shù)的估計(jì)。這種方法稱為先驗(yàn)選擇的矩方法。該方法

9、的具體步驟是：n1.計(jì)算總體分布p(x|)的期望()和方差n2()，即n ()=Ex|(X)， n 2()= Ex|X-()2 n*Ex|表示用給定下的條件分布p(x|)求期望。292.計(jì)算邊緣密度m(x|) 的期望m()和方差 ，其中:)()|()()|()|()|()|()|()()(|EdddxxxpdxdxpxdxxxmXExxxxm )(2m30其中： dxEddxxpxdxdxpxXEmxxmxmmxm)|()()|()|()()|()|()()()(2|222|2222|2|2|2|)()()()()()()()()()(mmxxmxmxExExExE2|2|2)()()()(m

10、mEE代入上式得： 31),(21),(21nxxxxniimniimxxnxnx1221)(11,12|2|2|)()()()()(mmmEEE),(21),(21)|(3.特殊情形:當(dāng)先驗(yàn)分布中僅含二個(gè)超參數(shù)時(shí)，即,可用混合樣本計(jì)算其樣本均值和樣本方差，即：再用樣本矩代替邊際分布的矩，列出如下方程解此方程組，可得超參數(shù)的估計(jì)從而獲得先驗(yàn)分布32的矩估計(jì)。，試求超參數(shù)和方差現(xiàn)有混合樣本的均值，其密度函數(shù)的先驗(yàn)分布取伽瑪分布參數(shù)，其密度函數(shù)為設(shè)總體例 210,)(),|(),(0,)|()Exp(X 3.13mmxeGaxexp解：33343536例3.14 設(shè)總體XN(，1)，其中參數(shù)的先驗(yàn)

11、分布取共軛先驗(yàn) 。試估計(jì)兩個(gè)參數(shù)的值。),(2N解：373.4無信息先驗(yàn)分布無信息先驗(yàn)分布一、貝葉斯假設(shè)二、位置尺度參數(shù)族的無信息先驗(yàn)三、用Fisher信息陣確定無信息先驗(yàn)38一、貝葉斯假設(shè)1.貝葉斯假設(shè)的基本含義 無信息先驗(yàn)分布應(yīng)選取在取值范圍內(nèi)的均勻分布，即： 這種看法被稱為貝葉斯假設(shè)。說明：貝葉斯假設(shè)在很多情況下都是合理的。, 0,)(c392.應(yīng)用貝葉斯假設(shè)時(shí)所出現(xiàn)的問題(1)當(dāng)?shù)娜≈捣秶鸀闊o限區(qū)間時(shí)，就無法在上定義一個(gè)正常的均勻分布。(例3.15)n定義3.1 設(shè)總體Xf(x|)，。若的先驗(yàn)分布()滿足下列條件：n()0，且n由此決定的后驗(yàn)密度(|x)是正常的密度函數(shù)，則稱()為的廣

12、義先驗(yàn)密度。(2)貝葉斯假設(shè)不滿足變換下的不變性。 (例3.16)d)(40二、位置-尺度參數(shù)族的無信息先驗(yàn) n 定義：設(shè)密度函數(shù)中有兩個(gè)參數(shù)與，且密度具有下述形式：n n其中f(x)是一個(gè)完全確定的函數(shù)，它相應(yīng)于=0，=1時(shí)的密度，稱為位置參數(shù)，稱為尺度參數(shù)，這類分布族稱為位置-尺度參數(shù)族。如正態(tài)分布、指數(shù)分布、均勻分布等都屬于這一類。n 特別=1時(shí)稱為位置參數(shù)族，而=0時(shí)稱為尺度參數(shù)族。), 0(, ),(,1),(xfxp；41(一)位置參數(shù)的無信息先驗(yàn)定理：位置參數(shù)族的先驗(yàn)分布可用貝葉斯假設(shè)作為無信息先驗(yàn)分布。證明：設(shè)總體X的密度具有形式p(x-)，其樣本空間與參數(shù)空間均為實(shí)數(shù)集。對(duì)X

13、作一個(gè)平移Y=X+c，則Y的密度具有形式：p(y-c-)，這相當(dāng)于對(duì)參數(shù)作一個(gè)平移=+c，即Y的密度形式為p(y-)，它仍然是位置參數(shù)族的成員，且其樣本空間與參數(shù)空間沒有發(fā)生改變。因此與應(yīng)具有相同的無信息先驗(yàn)分布。即 ()=*()其中*()為的無信息先驗(yàn)分布。同時(shí)，由變換=+c可算得的無信息先驗(yàn)分布為n 比較上述兩式就可知道的無信息先驗(yàn)分布是常數(shù)。)()()(*ccdd4243例3.18 設(shè)x是從正態(tài)總體N(,2)抽取的容量為1的樣本，其中2已知，未知，但知其為正，試求參數(shù)的估計(jì)。解：這是一種帶約束條件的估計(jì)問題，用貝葉斯方法解決這類問題比較容易。取參數(shù)的無信息先驗(yàn)分布為（0，）上的均勻分布，

14、即：n （）=I（0，）（）由此可得后驗(yàn)密度：若取后驗(yàn)均值作為的估計(jì)，則:022), 0(222/)(exp)(2/)(exp)|(dxIxx44)/(12/exp)2()(2/)(exp2/)(exp)|()|(222/12/2/ )(022022022xxxdedexdxdxdxxExxxE特例：p10045(二)尺度參數(shù)的無信息先驗(yàn)n定理 設(shè)總體X的密度函數(shù)具有形式：n n則參數(shù)的無信息先驗(yàn)分布為： ()=1/，0n n 證明：令Y=cX(c0),同時(shí)讓參數(shù)也作同比例變化，n即定義=c，不難算出Y的密度函數(shù)為 仍然屬n于尺度參數(shù)族。且X與Y的樣本空間相同，此時(shí)的無信息先驗(yàn)()與的無信息先

15、驗(yàn)*()應(yīng)相同，即： n ()=*() n 另一方面，由變換=c可以得的無信息先驗(yàn)為：), 0(,1)(xpxp；yp146若令(1)=1，則()=1/，0它還是一個(gè)非正常先驗(yàn)。例3.19(p101)cc1)(* 11)(1)(ccccc 取比較上述兩式得： 4748三、用Fisher信息陣確定無信息先驗(yàn) Cramer-Rao 正則分布族：（1）參數(shù)空間為開矩形；（2）分布的支撐與參數(shù)無關(guān)；（3）對(duì)數(shù)似然函數(shù)關(guān)于參數(shù)的偏導(dǎo)數(shù)存在；（4）似然函數(shù)的各種分析運(yùn)算（導(dǎo)數(shù)和積分）可以交換；（5）對(duì)任意i,j，滿足 稱 為Fisher信息陣（量）。|( ), ,1,2, .ijxllijIEi jp (

16、 )( )( ( )ijp pIII49三、用Fisher信息陣確定無信息先驗(yàn) 1.確定無信息先驗(yàn)的更一般方法(Jeffreys(1961): 設(shè)x=(x1,x2,xn)是來自密度函數(shù)p(x|)的一個(gè)樣本，為p維參數(shù)向量，則可用Fisher信息陣的平方根作為的無信息先驗(yàn)分布。 2.尋求分布的一般步驟： (1)樣本的對(duì)數(shù)似然函數(shù)： (2)求樣本的信息陣： 特別在單參數(shù)的情形： (3)的無信息先驗(yàn)密度為： 其中detI()表示pp階信息陣I()的行列式。niiniixpxpxl11)|(ln)|(ln)|(pjilEIjix, 2 , 1,)(2|2/1)(det)(I22|)(lEIx50例20 設(shè)x=(x1,x2,x