第6章統(tǒng)計(jì)決策與貝葉斯推斷.ppt

1、統(tǒng)計(jì)學(xué)家沃爾德總結(jié)了關(guān)于假設(shè)檢驗(yàn)和參數(shù)估計(jì)的經(jīng)典統(tǒng)計(jì)理論，并將不確定意義上的決策科學(xué)納入了統(tǒng)計(jì)范圍。1939年，他創(chuàng)立了統(tǒng)計(jì)決策理論，彌補(bǔ)了以往統(tǒng)計(jì)理論的缺陷。統(tǒng)計(jì)決策的顯著特征是統(tǒng)計(jì)決策以統(tǒng)計(jì)分析和統(tǒng)計(jì)預(yù)測(cè)為基礎(chǔ)，是一種定量決策。統(tǒng)計(jì)決策是一種概率決策，它利用概率來(lái)計(jì)算和分析不確定條件下的決策。6.1統(tǒng)計(jì)決策，決策問(wèn)題的三個(gè)基本要素，狀態(tài)集、動(dòng)作集、動(dòng)作空間、損失函數(shù)、根據(jù)統(tǒng)計(jì)決策理論的觀點(diǎn)，決策有用信息、先驗(yàn)信息、樣本信息、決策問(wèn)題的分類、無(wú)數(shù)據(jù)決策問(wèn)題(無(wú)樣本信息)、統(tǒng)計(jì)決策問(wèn)題、貝葉斯決策問(wèn)題、描述當(dāng)未知量處于一種狀態(tài)時(shí)，由于采取行動(dòng)而造成的損失，這種損失被寫(xiě)成線性損失函數(shù)，1?；靖?/p>

2、念，2。決策功能。從樣本空間到動(dòng)作空間的可測(cè)映射稱為決策函數(shù)。3.風(fēng)險(xiǎn)函數(shù)，即決策函數(shù)的風(fēng)險(xiǎn)函數(shù)。如果是決策函數(shù)，損失函數(shù)關(guān)于樣本分布的數(shù)學(xué)期望，平均損失越小，決策函數(shù)越好。風(fēng)險(xiǎn)函數(shù)描述的是當(dāng)未知量處于某種狀態(tài)并做出決策時(shí)所遭受的平均損失。2.通用決策標(biāo)準(zhǔn)；1.統(tǒng)一最優(yōu)決策準(zhǔn)則稱為決策函數(shù)類的統(tǒng)一最小風(fēng)險(xiǎn)決策函數(shù)，或統(tǒng)一最優(yōu)決策函數(shù)。定義是指在樣本空間中定義并在動(dòng)作空間中賦值的某個(gè)決策函數(shù)類。如果有一個(gè)決策函數(shù)對(duì)任何一個(gè)都有、和極大極小決策準(zhǔn)則，它就叫做統(tǒng)計(jì)決策問(wèn)題的極大極小決策函數(shù)，相應(yīng)的風(fēng)險(xiǎn)就叫做極大極小風(fēng)險(xiǎn)。對(duì)于一個(gè)統(tǒng)計(jì)決策問(wèn)題，讓它表示一個(gè)決策函數(shù)類，它的值在樣本空間的作用空間中。如果

3、有決策函數(shù)，3。在統(tǒng)計(jì)決策問(wèn)題和統(tǒng)計(jì)推斷問(wèn)題中，貝葉斯決策準(zhǔn)則、先驗(yàn)信息和先驗(yàn)分布總是包含未知數(shù)。為了做出統(tǒng)計(jì)決策或統(tǒng)計(jì)推斷，樣本信息是必不可少的，因?yàn)樗钚碌男畔ⅰ４送?，一些非樣本信息也可以用于統(tǒng)計(jì)決策和統(tǒng)計(jì)推斷。這些非樣本信息主要來(lái)自經(jīng)驗(yàn)或歷史數(shù)據(jù)。由于這類經(jīng)驗(yàn)或歷史數(shù)據(jù)大多存在于測(cè)試之前(用于獲取樣本)，因此這些非樣本信息被稱為先驗(yàn)信息。統(tǒng)計(jì)學(xué)有兩個(gè)主要流派：古典(頻率)學(xué)派和貝葉斯學(xué)派。古典學(xué)派認(rèn)為這是一個(gè)未知的參數(shù)；貝葉斯學(xué)派認(rèn)為它是一個(gè)隨機(jī)變量，應(yīng)該用概率分布來(lái)描述。這種概率分布存在于抽樣之前，它是關(guān)于先驗(yàn)信息的概率陳述。這種概率分布稱為先驗(yàn)分布，它由下式表示。貝葉斯公式和后驗(yàn)

4、分布，稱為后驗(yàn)分布。先驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則和后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則，定義1:在給定的統(tǒng)計(jì)決策問(wèn)題中，如果設(shè)定為決策函數(shù)的風(fēng)險(xiǎn)函數(shù)是先驗(yàn)分布的，那么平均風(fēng)險(xiǎn)稱為決策的貝葉斯風(fēng)險(xiǎn)。如果它存在于決策函數(shù)類中，則稱為貝葉斯(先驗(yàn))風(fēng)險(xiǎn)準(zhǔn)則下決策函數(shù)類的最優(yōu)決策函數(shù)，簡(jiǎn)稱貝葉斯決策函數(shù)或貝葉斯解。定義2:在給定的統(tǒng)計(jì)決策問(wèn)題中，如果決策函數(shù)的損失函數(shù)是后驗(yàn)分布，那么條件期望風(fēng)險(xiǎn)稱為決策函數(shù)的貝葉斯后驗(yàn)風(fēng)險(xiǎn)。如果它存在于決策函數(shù)類中，則稱為貝葉斯后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則下決策函數(shù)類的最優(yōu)決策函數(shù)，或者稱為貝葉斯后驗(yàn)決策函數(shù)。一位收藏家打算以5000元的價(jià)格買一幅名畫(huà)。如果這幅畫(huà)是真跡，它值一萬(wàn)元；如果它是假的，它就一文不值。另外，買假畫(huà)

5、或不買真畫(huà)都會(huì)損害收藏家的聲譽(yù)，收入如下。現(xiàn)在，收藏家需要決定是否購(gòu)買。(1)如果收藏家有以下三種選擇：(1)購(gòu)買概率為0.5的畫(huà)；請(qǐng)鑒賞家鑒定(據(jù)了解，鑒賞家鑒定真跡的概率為0.95，鑒定贗品的概率為0.7)。如果鑒賞家認(rèn)為它是真品，就買這幅畫(huà)；當(dāng)然不會(huì)。那么，收藏家的最小和最大決策是什么？(2)根據(jù)賣方過(guò)去的數(shù)據(jù)，如果發(fā)生的概率是0.75，發(fā)生的概率是0.25，收藏家應(yīng)該買這幅畫(huà)嗎？在(2)的條件下，為了安全起見(jiàn)，收藏家雇了一個(gè)鑒定家來(lái)作鑒定。眾所周知，鑒賞家鑒別真跡的概率為0.95，鑒別贗品的概率為0.7。如果鑒賞家說(shuō)這幅畫(huà)是真跡，收藏家應(yīng)該買嗎？這是一個(gè)決策問(wèn)題，狀態(tài)集是真的還是假的，

6、動(dòng)作集的意思是“買”和“不買”，損失函數(shù)可以用矩陣表示，統(tǒng)計(jì)決策中提到的損失可以理解為“該賺而不該賺的錢”、“不該丟的錢”或“不該付的錢”。解決方案：(1)計(jì)算結(jié)果表明，收藏家的最小和最大決策是如果鑒賞家認(rèn)為這幅畫(huà)是真跡，就購(gòu)買它，這個(gè)決策的最小和最大風(fēng)險(xiǎn)是1800元。(3)引入隨機(jī)變量，先驗(yàn)分布：是由貝葉斯公式得到的后驗(yàn)分布，所以樣本空間和作用空間，所以決策函數(shù)只有以下四個(gè)、當(dāng)給定該值時(shí)，這些決策函數(shù)的貝葉斯后驗(yàn)風(fēng)險(xiǎn)分別為：并且這些決策函數(shù)的貝葉斯后驗(yàn)風(fēng)險(xiǎn)分別為：這可以在貝葉斯風(fēng)險(xiǎn)準(zhǔn)則中看到。在(3)中這些決策函數(shù)的貝葉斯風(fēng)險(xiǎn)和邊緣分布計(jì)算如下：因此，可以看出，在貝葉斯風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函

7、數(shù)仍然是在兩個(gè)不同的風(fēng)險(xiǎn)準(zhǔn)則下獲得相同的最優(yōu)決策函數(shù)。理論基礎(chǔ)是定理6.1.1。定理6.1.1對(duì)于給定的統(tǒng)計(jì)決策問(wèn)題(包括給定的先驗(yàn)分布)和決策函數(shù)類，如果貝葉斯風(fēng)險(xiǎn)滿足，定理6.2貝葉斯推理，在經(jīng)典統(tǒng)計(jì)學(xué)中，總體的分布函數(shù)用表示未知參數(shù)和參數(shù)空間的。改寫(xiě)為，定義6.1如果函數(shù)只有一個(gè)常數(shù)因子比的差，則稱它為的核，這被記錄為，例如，貝葉斯學(xué)派認(rèn)為的后驗(yàn)分布集成了先驗(yàn)信息和樣本信息，并包含所有可用的信息，因此相關(guān)的統(tǒng)計(jì)推斷如點(diǎn)估計(jì)、區(qū)間估計(jì)和假設(shè)檢驗(yàn)應(yīng)該基于后驗(yàn)分布。樣本分布，其中是總體的條件概率密度。1.貝葉斯估計(jì)；1.點(diǎn)估計(jì)。貝葉斯估計(jì)器是貝葉斯決策函數(shù)(貝葉斯解)，所以它被稱為貝葉斯估計(jì)器

8、。定理如果損失函數(shù)是和，那么貝葉斯估計(jì)是，其中是的后驗(yàn)概率密度。注：根據(jù)定理，當(dāng)使用平方損失函數(shù)時(shí)，貝葉斯估計(jì)是(或)，即后驗(yàn)分布的期望，所以這種估計(jì)稱為后驗(yàn)期望估計(jì)。在示例1中，假設(shè)總體的分布為，其中未知量是隨機(jī)變量，并且是總體的樣本值，并獲得貝葉斯估計(jì)。解：由于后驗(yàn)概率密度的核是，貝葉斯估計(jì)的是，因此，在樣本條件下，條件分布是，條件(1)和(2)表明，D集合的點(diǎn)具有盡可能大的后驗(yàn)概率密度，所以最大后驗(yàn)密度置信區(qū)間是在相同置信概率下具有最短長(zhǎng)度的區(qū)間。，2，區(qū)間估計(jì)，參數(shù)的后驗(yàn)分布被定義為，對(duì)于給定的樣本和概率，如果存在區(qū)域D，它滿足以下條件：(1)，示例2被設(shè)置為來(lái)自正態(tài)分布的樣本，這是已

9、知的。此外，先驗(yàn)分布是正態(tài)分布，其中它是已知的和計(jì)算的置信區(qū)間。解決方案：由于的后驗(yàn)概率密度可以看作正態(tài)分布，對(duì)于給定的，找到了標(biāo)準(zhǔn)正態(tài)分布的上分位數(shù)，因此的最大后驗(yàn)置信區(qū)間為。利用后驗(yàn)分布，分別計(jì)算假設(shè)和假設(shè)的后驗(yàn)概率。3，貝葉斯假設(shè)檢驗(yàn)，當(dāng)后驗(yàn)概率比被接受時(shí)；必要時(shí)拒絕；當(dāng)時(shí)機(jī)成熟時(shí)，不宜倉(cāng)促做出判斷，需要進(jìn)一步采樣或收集更多的先驗(yàn)信息。在示例3中，假設(shè)從正態(tài)總體中隨機(jī)選擇容量為10的樣本，并且計(jì)算樣本平均值，并且先驗(yàn)分布是正態(tài)分布?，F(xiàn)在，檢驗(yàn)下面的假設(shè)，并且從示例2中可以知道，的后驗(yàn)分布仍然是正態(tài)分布，并且其中，假設(shè)和的后驗(yàn)概率分別是兩個(gè)后驗(yàn)概率的比率，因此它被拒絕，即，正態(tài)平均值大于1

10、。貝葉斯檢驗(yàn)的特點(diǎn)是：(1)選擇檢驗(yàn)統(tǒng)計(jì)量和確定抽樣分布簡(jiǎn)單易行；(2)不必預(yù)先給出顯著性水平來(lái)確定檢驗(yàn)問(wèn)題的拒絕域；(3)它可以很容易地?cái)U(kuò)展到多個(gè)假設(shè)檢驗(yàn)場(chǎng)合。第二，先驗(yàn)分布的選擇，從前面的介紹中，我們可以看出貝葉斯推斷是基于后驗(yàn)分布的，而根據(jù)貝葉斯公式，后驗(yàn)分布取決于先驗(yàn)分布的選擇。選擇不同的分布作為先驗(yàn)分布會(huì)影響后驗(yàn)分布，從而影響貝葉斯推理的結(jié)果，因此先驗(yàn)分布的選擇對(duì)貝葉斯推理非常重要。1.貝葉斯假設(shè)，貝葉斯學(xué)派認(rèn)為，如果沒(méi)有先驗(yàn)信息來(lái)確定未知量的先驗(yàn)分布，那么均勻分布就被用作其先驗(yàn)分布，而這種確定先驗(yàn)分布的原理稱為貝葉斯假設(shè)。根據(jù)這一原理選擇的先驗(yàn)分布也稱為無(wú)信息的先驗(yàn)分布。共軛先驗(yàn)分布和后驗(yàn)分布在貝葉斯推理中起著重要的作用，但有時(shí)后驗(yàn)分布的計(jì)算比