第五章統(tǒng)計(jì)決策與貝葉斯推斷

統(tǒng)計(jì)學(xué)家瓦爾德(A.Wald)把關(guān)于假設(shè)檢驗(yàn)和參數(shù)估計(jì)的經(jīng)典統(tǒng)計(jì)理論加以概括，將不確定意義下的決策科學(xué)也包括在統(tǒng)計(jì)學(xué)范圍之內(nèi)，于1939年創(chuàng)立了統(tǒng)計(jì)決策理論，該理論彌補(bǔ)了過去統(tǒng)計(jì)理論的缺陷。統(tǒng)計(jì)決策的顯著特點(diǎn)是：統(tǒng)計(jì)決策建立在統(tǒng)計(jì)分析和統(tǒng)計(jì)預(yù)測的基礎(chǔ)上，是一種定量決策。統(tǒng)計(jì)決策是在不確定情況下，應(yīng)用概率來進(jìn)行決策的計(jì)算和分析，是一種概率決策。

6.1統(tǒng)計(jì)決策決策問題的三個(gè)基本要素狀態(tài)集行動(dòng)集行動(dòng)空間損失函數(shù)依統(tǒng)計(jì)決策論的觀點(diǎn)，對(duì)決策有用的信息先驗(yàn)信息樣本信息決策問題的分類無數(shù)據(jù)（無樣本信息）決策問題統(tǒng)計(jì)決策問題貝葉斯決策問題一寄、挖基溫本市概捉念1、楊損須失園函拆數(shù)描述當(dāng)未知量處于狀態(tài)而采取行動(dòng)時(shí)所引起的損失，記為線性損失函數(shù)一邊、簽基似本棟概誘念2、罩決回策吩函紅數(shù)由樣本空間到行動(dòng)空間的可測映射稱為決策函數(shù)。3、侍風(fēng)魚險(xiǎn)板函盛數(shù)稱為決策函數(shù)的風(fēng)險(xiǎn)函數(shù)。設(shè)是一個(gè)決策函數(shù)，則損失函數(shù)關(guān)于樣本分布的數(shù)學(xué)期望平鞠均番損擾失數(shù)愈僻小癥，稼決賽策潤函泥數(shù)陰愈棒好恥。風(fēng)險(xiǎn)函數(shù)描述在未知量處于狀態(tài)而采取決策時(shí)所蒙受的平均損失。二砌、評(píng)常剃用益的蝕決烘策山準(zhǔn)謀則1嫌、牛一慌致獅最組優(yōu)條決笛策辜準(zhǔn)尋則則稱為決策函數(shù)類的一致最小風(fēng)險(xiǎn)決策函數(shù)，或稱為一致最優(yōu)決策函數(shù)。定義設(shè)表示定義在樣本空間上取值于行動(dòng)空間的某一決策函數(shù)類，若存在一個(gè)決策函數(shù)，使得對(duì)任意，都有2走、績最怪小遺最身大掌（唯M齡i循n繡i奸m怒a體x菌）軌決叼策迫準(zhǔn)宏則則稱為該統(tǒng)計(jì)決策問題的最小最大決策函數(shù)，相應(yīng)的風(fēng)險(xiǎn)稱為最小最大風(fēng)險(xiǎn)。定義對(duì)于一個(gè)統(tǒng)計(jì)決策問題，設(shè)表示定義在樣本空間上取值于行動(dòng)空間的某一決策函數(shù)類。若有決策函數(shù)，使得3決、杏貝昂葉汽斯珠決斗策俊準(zhǔn)缸則去先灘驗(yàn)灣信霞息唐與散先妙驗(yàn)緣瑞分屠布無論是在統(tǒng)計(jì)決策問題還是在統(tǒng)計(jì)推斷問題中總會(huì)包含未知量。為了對(duì)作統(tǒng)計(jì)決策或者作統(tǒng)計(jì)推斷，樣本信息是必不可少的，因?yàn)樗淖钚滦畔?。除此之外，一些非樣本信息也可用于統(tǒng)計(jì)決策和統(tǒng)計(jì)推斷。這些非樣本信息主要來源于經(jīng)驗(yàn)或歷史資料。由于此類經(jīng)驗(yàn)或歷史資料大多存在于（獲取樣本的）試驗(yàn)之前，故稱這些非樣本信息為先驗(yàn)信息。統(tǒng)計(jì)學(xué)中有兩個(gè)主要學(xué)派：經(jīng)典（頻率）學(xué)派與貝葉斯學(xué)派。經(jīng)典學(xué)派認(rèn)為是未知參數(shù)；貝葉斯學(xué)派認(rèn)為是隨機(jī)變量，應(yīng)該用一個(gè)概率分布去描述的未知狀況。這個(gè)概率分布在抽樣之前就已存在，它是關(guān)于的先驗(yàn)信息的概率陳述。這個(gè)概率分布就稱為先驗(yàn)分布，用來表示。氏貝善葉昆斯偽公醫(yī)式究與糧后促驗(yàn)豈分袍布稱為的后驗(yàn)分布。裝先攻驗(yàn)故風(fēng)盈險(xiǎn)目準(zhǔn)估則元與炎后示驗(yàn)箱風(fēng)萍險(xiǎn)厭準(zhǔn)暖則定義1：在給定的統(tǒng)計(jì)決策問題中，設(shè)為決策函數(shù)的風(fēng)險(xiǎn)函數(shù)，為的先驗(yàn)分布，則平均風(fēng)險(xiǎn)稱為決策的貝葉斯風(fēng)險(xiǎn)。若在決策函數(shù)類中存在，使得則稱為決策函數(shù)類在貝葉斯（先驗(yàn)）風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)，簡稱貝葉斯決策函數(shù)或貝葉斯解。定義2：在給定的統(tǒng)計(jì)決策問題中，設(shè)為決策函數(shù)的損失函數(shù)，為的后驗(yàn)分布，則條件期望風(fēng)險(xiǎn)稱為決策函數(shù)的貝葉斯后驗(yàn)風(fēng)險(xiǎn)。若在決策函數(shù)類中存在，使得則稱為決策函數(shù)類在貝葉斯后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)，或稱其為貝葉斯后驗(yàn)型決策函數(shù)。例6挑.峽1一巴位今收惑藏徹家燥擬撫收顆購勞一魚幅褲名寨畫擇，穿這潤幅愛畫腔標(biāo)嬸價(jià)農(nóng)為5報(bào)0家0遠(yuǎn)0元值。代若紙這壘幅憐畫避是總真背品戒，朽則聚值1野0臭0爭0現(xiàn)0元尖；咬若服是迎贗綱品絨，渴則軋一農(nóng)文束不禁值噸。僑此鍛外銹，師買奪下旱一袋幅辮假深畫御或謠者日沒程有巷買尊下蕉一賓幅赴真匯畫港都伯會(huì)議損鞋害隱這們位描收續(xù)藏忘家配的偽名獎(jiǎng)譽(yù)脅，驢其可收瓜益歐情秩況蘿如返下招表

采取的行動(dòng)畫的狀態(tài)買不買真品+5000-3000贗品-60000現(xiàn)水在尸，妄這皺位償收俊藏盯家退需擋要撿決國定造是籠買葡還轟是算不拔買束這挽幅錦畫檢？(乏1扎)如哄果辨收那藏勸家額有圾以欺下奶三擾種降決傘策水可撥供夠選霜擇赤：：撓以細(xì)概尋率0澇.永5買陜下堤這炭幅區(qū)畫涼；：漁請(qǐng)迫一仰位抬鑒偵賞舒家谷進(jìn)蹤蝶行塔鑒蛛定炭（煤已嫩知絕該循鑒珍賞挨家廳以冶概峽率0弄.咽9弄5識(shí)壞別弦一更幅傅真孕畫核，睛以鞏概他率0像.業(yè)7識(shí)鍛別除一漫幅超假孕畫膜）渠，捆如漂果斃鑒列賞張家永鑒四定攀為取真捕品谷就忘買拆下順這綢幅振畫猶；：統(tǒng)肯哪定伙不壁買那取么翼，倚什柜么致是甩這則位豪收部藏清家遍的膏最皆小統(tǒng)最泰大慘決立策險(xiǎn)？（2）矛如薦果洞根場據(jù)榨賣典畫紋者涌以測往祖的喉資裁料主得漲知皂，需發(fā)攤生乘的揉概徑率蜘為0叼.尺7權(quán)5，辮發(fā)駕生面的垃概牙率剝?yōu)?油.捏2抄5，圈那袖么閘這浙位篇收勁藏貸家賄是糊否望應(yīng)拜買姨下啦這肝幅邊畫材呢凈？（3）挎在憐（2）規(guī)的斬條鎮(zhèn)件鄭下葛，者這豬位片收幟藏逮家孩為句穩(wěn)約妥唯起伙見棉，獵聘革請(qǐng)格一伍位拍鑒盯賞肺家移做鐵鑒懇定拘。柳已段知存鑒份賞哲家凈以場概雙率0酸.安9夸5識(shí)監(jiān)別東一柴幅藏真腸畫甜，腔以倍概窗率0鐵.簽7識(shí)免別瓣一舍幅息假炭畫讀。宴如發(fā)果沉鑒饑賞溜家傘說撲這刮幅雖畫合是炎真畜品劣，墓那信么源這績位制收葛藏繁家饑是趙否弊應(yīng)安買厭下帳這這幅痰畫陡呢害？這井是午一澇個(gè)挖決晉策斥問譯題暴，汪狀喝態(tài)繪集貫，妄為陜真腹品汽，為丹贗鞠品,行膽動(dòng)廊集慚表枯示串“易買寶”東，嗓表駱示饅“瓣不原買解”煉，損君失闖函廚數(shù)顏用臭矩葡陣器可寫表匪示箱為統(tǒng)姐計(jì)端決云策巴中種所材說者的則損里失災(zāi)可玩以薯理凳解估為顆“采該壤賺盟到讓而育沒釣有鞋賺憲到舊的錢仇”荒，界“夜不撒該康虧退而裙虧大損沈的春錢階”仇或玻者潤“母不糧該兵支稿付怖而洽支峽付筋的億錢徑”秋。采用收益函數(shù)時(shí)，損失函數(shù)時(shí)，損失函數(shù)采用支付函數(shù)解：（1）對(duì)，對(duì)，對(duì)，計(jì)算結(jié)果表明，收藏家的最小最大決策為，即如果鑒賞家鑒定為真品就買下這幅畫，這一決策的最小最大風(fēng)險(xiǎn)為1800元。根據(jù)先驗(yàn)分布，可分別算出行動(dòng)，的平均損失，亦即，行動(dòng)，的平均風(fēng)險(xiǎn)，因?yàn)檫@是無數(shù)據(jù)決策問題，所以對(duì)比上述結(jié)果可知，采取行動(dòng)為上策，即，收藏家應(yīng)該買下這幅畫。（2）由題意知，的先驗(yàn)分布為：(覽3子)引宿入雜隨慢機(jī)傅變蕩量由止題墊意級(jí)知下：的槐先化驗(yàn)失分辜布?jí)臑榕e，清由予貝鞠葉號(hào)斯?jié)摴奘胶芸善鹊么┑脑夂竽蝌?yàn)旗分壟布這擴(kuò)樣蒼樣弓本殼空免間私，檢行擦動(dòng)易空僑間容，巡壽所蓄以姑決善策匠函勤數(shù)美只反有碑以梯下4個(gè)這租樣初本純值串時(shí)矮，更這助些遮決損策辨函剩數(shù)腐的跑貝信葉脫斯葡后曉驗(yàn)委風(fēng)京險(xiǎn)聚分辜別槐是怒：在野時(shí)想，脅這何些滲決率策意函輪數(shù)些的數(shù)貝仔葉暖斯滔后羨風(fēng)習(xí)險(xiǎn)混分銹別思是腹：可絕見銜在參貝諒葉型斯奇風(fēng)低險(xiǎn)定準(zhǔn)聰則覺下夾，聰是緞最恐優(yōu)芬決倍策補(bǔ)函趴數(shù)壯，衫換氏言肥之付，翠當(dāng)卡鑒弄定暑家跑說姨這重幅則畫繼是唱真渴品暈時(shí)趟，即這股位鞠收捆藏防家垮應(yīng)重買忽下諸這棵幅弦畫親。下瀉面襖計(jì)毛算謹(jǐn)（3）歉中劉那嶄些孫決屋策摩函獅數(shù)矛的鹿貝恥葉咳斯日風(fēng)攜險(xiǎn)桶，龍先漁算側(cè)的獵邊挪緣建分面布呀：從結(jié)而業(yè)，由棒此法可逐見濫，頌在織貝然葉盤斯蹦風(fēng)情險(xiǎn)漿準(zhǔn)反則摧下傷的康最欣優(yōu)木決度策煮函坐數(shù)失仍片是偶，夸在貴兩僚種蘇不運(yùn)同杠風(fēng)蜻險(xiǎn)疲準(zhǔn)佳則述下探得駐出礎(chǔ)相蟻同段的抽最幣優(yōu)飾決逮策斧函預(yù)數(shù)賄，儀其料理暮論鍋依舌據(jù)叢是蔬定磁理6剖.鮮1仁.視1像.定理6.1.1對(duì)給定的統(tǒng)計(jì)決策問題（含給定的先驗(yàn)分布）和決策函數(shù)類，若貝葉斯風(fēng)險(xiǎn)滿足條件則貝葉斯決策函數(shù)與貝葉斯后驗(yàn)型決策函數(shù)等價(jià)。6要.蓮2貝蓄葉耳斯章推舒斷在經(jīng)典統(tǒng)計(jì)學(xué)中，總體的分布函數(shù)用表示，其中表示未知參數(shù)，表示參數(shù)空間。改寫為經(jīng)典統(tǒng)計(jì)學(xué)并不產(chǎn)生任何實(shí)質(zhì)上的影響，僅僅是記號(hào)的變更。Bayes統(tǒng)計(jì)中意義就不同了，其表示條件分布。定義6.1

若函數(shù)和相比僅差一個(gè)常數(shù)因子，則稱為的核，記為例買如貝葉斯學(xué)派認(rèn)為，的后驗(yàn)分布集先驗(yàn)信息和樣本信息于一身，包含了的所有可供利用的信息，所以有關(guān)的點(diǎn)估計(jì)，區(qū)間估計(jì)和假設(shè)檢驗(yàn)等統(tǒng)計(jì)推斷都要基于后驗(yàn)分布來進(jìn)行。樣本分布其中為總體的條件概率密度。一栗、脾貝肉葉限斯佩估穴計(jì)1、救點(diǎn)經(jīng)估蹄計(jì)貝宵葉學(xué)斯手估餐計(jì)紡量革就似是繩貝箭葉嫁斯來決碑策鳥函奇數(shù)顫（拳貝污葉軋斯告解穴）則稱為的貝葉斯估計(jì)量定義設(shè)總體的分布函數(shù)為，其中參數(shù)為具有先驗(yàn)分布的隨機(jī)變量，又設(shè)為來自總體的樣本。若在決策函數(shù)類中有一個(gè)，使得定理若損失函數(shù)為，且，則的貝葉斯估計(jì)為其中為的后驗(yàn)概率密度。注：由定理可知，當(dāng)使用平方損失函數(shù)時(shí)，的貝葉斯估計(jì)為（或），即的后驗(yàn)分布的期望，故稱這種估計(jì)為后驗(yàn)期望估計(jì)。例1設(shè)總體的分布為，其中未知量為隨機(jī)變量，且，為來自總體的樣本值，求的貝葉斯估計(jì)。解：因?yàn)榈暮篁?yàn)概率密度的核是所以，的貝葉斯估計(jì)為可見，在樣本的條件下，的條件分布為

條件（1）、（2）表明，D集中了后驗(yàn)概率密度取值盡可能大的點(diǎn)，因此的最大后驗(yàn)密度可信區(qū)間就是在同一可信概率下長度最短的區(qū)間。2猛、屠區(qū)顯間毅估眾計(jì)定義設(shè)參數(shù)的后驗(yàn)分布為，對(duì)給定的樣本和概率，若存在區(qū)域D滿足下列條件：（1）（2）任給，總有則稱D是的可信水平為的最大后驗(yàn)密度可信域。當(dāng)是一維的且D是一個(gè)區(qū)間時(shí)，稱D為的最大后驗(yàn)密度可信區(qū)間。例2設(shè)為來自正態(tài)分布的樣本，其中已知。又設(shè)的先驗(yàn)分布為正態(tài)分布，其中為已知，求的可信區(qū)間。解：因?yàn)榈暮篁?yàn)概率密度其中可見是正態(tài)分布，因此對(duì)給定的，查得標(biāo)準(zhǔn)正態(tài)分布的上側(cè)分位數(shù)，使于是，的最大后驗(yàn)可信區(qū)間是。利用后驗(yàn)分布，分別計(jì)算假設(shè)與的后驗(yàn)概率。3伯、側(cè)貝芝葉店斯粱假議設(shè)靈檢竭驗(yàn)當(dāng)后驗(yàn)概率比時(shí)接受；當(dāng)時(shí)拒絕；當(dāng)時(shí)，則不宜匆忙做判斷，需進(jìn)一步抽樣或搜集更多的先驗(yàn)信息。例3設(shè)從正態(tài)總體中隨機(jī)地抽取了一個(gè)容量為10的樣本，算得樣本均值，又設(shè)的先驗(yàn)分布為正態(tài)分布，現(xiàn)在檢驗(yàn)如下假設(shè)解由例2可知，的后驗(yàn)分布仍為正態(tài)分布，且其中因而假設(shè)與的后驗(yàn)概率分別為兩紛后序驗(yàn)坦概彈率藏之美比故拒絕，即認(rèn)為正態(tài)均值大于1。貝泛葉減斯吵檢濾驗(yàn)夕的捉特勢點(diǎn)漢：（豆1楚）稱簡始單姑易葉行盤，稈無線需木選說擇厲檢搞驗(yàn)贈(zèng)統(tǒng)槽計(jì)雨量刊，蝕確抱定月抽儀樣很分贈(zèng)布止；（2）襯無好需里事逢先朋給愧定洋顯屠著察水軋平河，驚確燃定勵(lì)檢胞驗(yàn)肥問逝題異的遣拒兆絕鮮域可；（