第三章 信號檢測與估計(jì)(2)new

1、大家晚上好 3.4 3.4 派生貝葉斯準(zhǔn)則派生貝葉斯準(zhǔn)則 (Generalized Bayes Criterion)(Generalized Bayes Criterion) 基本要求：基本要求： 掌握最小平均錯(cuò)誤概率準(zhǔn)則和最大后驗(yàn)概掌握最小平均錯(cuò)誤概率準(zhǔn)則和最大后驗(yàn)概 率準(zhǔn)則率準(zhǔn)則 掌握極小化極大準(zhǔn)則和奈曼掌握極小化極大準(zhǔn)則和奈曼- -皮爾遜準(zhǔn)則的皮爾遜準(zhǔn)則的 應(yīng)用范圍和基本原理應(yīng)用范圍和基本原理 3.4.1 3.4.1 最小平均錯(cuò)誤概率準(zhǔn)則最小平均錯(cuò)誤概率準(zhǔn)則 (Minimum mean prob. of error criterion)(Minimum mean prob. of err

2、or criterion) 0 1100 cc 應(yīng)用范圍應(yīng)用范圍 1 1001 cc 11111001 01100000 , , HHPcHHPc HHPcHHPcC 10010110 ,HHPcHHPcC 101010 HHPHPHHPHP 平均錯(cuò)誤概率平均錯(cuò)誤概率 此時(shí)此時(shí), ,平均代價(jià)最小即轉(zhuǎn)化為平均錯(cuò)誤概率最小。平均代價(jià)最小即轉(zhuǎn)化為平均錯(cuò)誤概率最小。 3.4.1 最小平均錯(cuò)誤概率準(zhǔn)則最小平均錯(cuò)誤概率準(zhǔn)則 dxHxpccHPHxpccHPHPcHPcC R0 000100111011111010 0 1100 cc1 1001 cc dxHxpHPHxpHPHPC R0 00110 把使

3、被積函數(shù)取負(fù)值的觀察值把使被積函數(shù)取負(fù)值的觀察值x值劃分給值劃分給R0區(qū)域，而把其余的觀察值區(qū)域，而把其余的觀察值x值劃分給值劃分給R1， 即可保證平均代價(jià)最小。即可保證平均代價(jià)最小。 0011 HxpHPHxpHP判決判決H0假設(shè)成立假設(shè)成立 0011 HxpHPHxpHP 判決判決H1假設(shè)成立假設(shè)成立 3.4.1 3.4.1 最小平均錯(cuò)誤概率準(zhǔn)則最小平均錯(cuò)誤概率準(zhǔn)則 1 0 0 1 1 0 HP HP Hxp Hxp H H 最小平均錯(cuò)誤概率判決準(zhǔn)則最小平均錯(cuò)誤概率判決準(zhǔn)則 1 0 1 0 1 H H p x H p x H 最大似然準(zhǔn)則最大似然準(zhǔn)則 3.4.1 3.4.1 最小平均錯(cuò)誤概

4、率準(zhǔn)則最小平均錯(cuò)誤概率準(zhǔn)則 Ex3.7 Ex3.7 在閉啟鍵控通信系統(tǒng)中，兩個(gè)假設(shè)下的觀察在閉啟鍵控通信系統(tǒng)中，兩個(gè)假設(shè)下的觀察 信號模型為：信號模型為： 若兩個(gè)假設(shè)的先驗(yàn)概率相等，且若兩個(gè)假設(shè)的先驗(yàn)概率相等，且 采用最小平均錯(cuò)誤概率準(zhǔn)則，試確定判決表示式，采用最小平均錯(cuò)誤概率準(zhǔn)則，試確定判決表示式， 并求最小平均錯(cuò)誤概率并求最小平均錯(cuò)誤概率 上述情況下上述情況下, ,噪聲噪聲n n是均值為零是均值為零, ,方差為方差為 的高斯噪聲的高斯噪聲 2 nAxH nxH : : 1 0 0 1100 cc 1 1001 cc def H H N i i A NA x N 2 ln1 2 1 1 0

5、dl NlN HHP 2 2 2 01 2 exp 2 2 lnd d Q du u HHP AN 2 exp 2 1 2 10 2 ln 1 d d Q 由例由例3.53.5，知，知 由于由于1 010101 HHPHPHHPHPP e 22 1 2 1 2 1d Q d Q 2 d Q 2 2 2 NA d 3.4.2 3.4.2 最大后驗(yàn)概率準(zhǔn)則最大后驗(yàn)概率準(zhǔn)則 (Maximum a posteriori prob. criterion)(Maximum a posteriori prob. criterion) 11010010 cccc應(yīng)用范圍應(yīng)用范圍 11011 00100 0 1

6、 1 0 ccHP ccHP Hxp Hxp H H 貝葉斯判決準(zhǔn)則貝葉斯判決準(zhǔn)則 1 0 0 1 1 0 HP HP Hxp Hxp H H 1 0 0 1 1 0 HP HP Hxp Hxp H H 0011 1 0 HxpHPHPHxp H H dxxXxP HPHdxxXxP dxxXxHP 11 1 dxHxpHdxxXxP 11 dxxpdxxXxP 因此，當(dāng)因此，當(dāng)dxdx很小時(shí)，有很小時(shí)，有 xHPdxxXxHP 11 xp HPHxp dxxp dxHPHxp xHP 1111 1 1 0 0 1 1 0 HP HP Hxp Hxp H H 0011 1 0 HxpHPHPH

7、xp H H xp HPHxp dxxp dxHPHxp xHP 1111 1 1 1 1 HP xpxHP Hxp 0 0 0 HP xpxHP Hxp 0 0 0 1 1 1 1 0 Hxp HP xpxHP HP HP xpxHP H H xHPxHP H H 01 1 0 最大后驗(yàn)概率檢測準(zhǔn)則：最大后驗(yàn)概率檢測準(zhǔn)則： 貝葉斯檢測，給定各種判決代價(jià)因子，且已知各假設(shè)的先驗(yàn)概率條件下，貝葉斯檢測，給定各種判決代價(jià)因子，且已知各假設(shè)的先驗(yàn)概率條件下， 使使平均代價(jià)最小平均代價(jià)最小的檢測準(zhǔn)則。的檢測準(zhǔn)則。 11011 00100 0 1 1 0 ccHP ccHP Hxp Hxp H H 1

8、0 0 1 1 0 HP HP Hxp Hxp H H 最小平均最小平均 錯(cuò)誤概率錯(cuò)誤概率 判決準(zhǔn)則判決準(zhǔn)則 xHPxHP H H 01 1 0 最大后驗(yàn)最大后驗(yàn) 概率檢測概率檢測 準(zhǔn)則準(zhǔn)則 0 1100 cc 1 1001 cc 11010010 cccc 等概等概 01 1 0 HxpHxp H H 最大似然最大似然 判決準(zhǔn)則判決準(zhǔn)則 貝葉斯及派生檢測準(zhǔn)則貝葉斯及派生檢測準(zhǔn)則(1)(1) 貝葉斯檢測，給定各種判決代價(jià)因子，且已知各假設(shè)的先驗(yàn)概率條件下，貝葉斯檢測，給定各種判決代價(jià)因子，且已知各假設(shè)的先驗(yàn)概率條件下， 使使平均代價(jià)最小平均代價(jià)最小的檢測準(zhǔn)則。的檢測準(zhǔn)則。 11011 0010

9、0 0 1 1 0 ccHP ccHP Hxp Hxp H H 貝葉斯及派生檢測準(zhǔn)則貝葉斯及派生檢測準(zhǔn)則(2)(2) 信源先驗(yàn)信源先驗(yàn) 概率未知概率未知 信源先驗(yàn)概率及信源先驗(yàn)概率及 代價(jià)因子均未知代價(jià)因子均未知 極小化極大準(zhǔn)則極小化極大準(zhǔn)則 奈曼皮爾遜準(zhǔn)則奈曼皮爾遜準(zhǔn)則 3.4.3 3.4.3 極小化極大準(zhǔn)則極小化極大準(zhǔn)則(Minimax criterion)(Minimax criterion) 應(yīng)用范圍應(yīng)用范圍 假設(shè)的先驗(yàn)概率未知，判決代價(jià)因子給定假設(shè)的先驗(yàn)概率未知，判決代價(jià)因子給定 目的目的 盡可能避免產(chǎn)生過分大的代價(jià)，使極大可能代價(jià)最小化。盡可能避免產(chǎn)生過分大的代價(jià)，使極大可能代價(jià)最

10、小化。 3.4.3 3.4.3 極小化極大準(zhǔn)則極小化極大準(zhǔn)則 (Minimax criterion)(Minimax criterion) 在先驗(yàn)概率未知的情況下在先驗(yàn)概率未知的情況下, ,最小平均代價(jià)是先驗(yàn)概率的函數(shù)最小平均代價(jià)是先驗(yàn)概率的函數(shù). . 在先驗(yàn)概率未知的情況下在先驗(yàn)概率未知的情況下, ,進(jìn)行檢測的方法是進(jìn)行檢測的方法是: : 先假設(shè)一個(gè)先驗(yàn)概率先假設(shè)一個(gè)先驗(yàn)概率P P1g, ,然后按照貝葉斯準(zhǔn)則進(jìn)行檢測然后按照貝葉斯準(zhǔn)則進(jìn)行檢測 為盡可能降低代價(jià)為盡可能降低代價(jià), ,需設(shè)計(jì)一種先驗(yàn)概率的假設(shè)方法，使由此需設(shè)計(jì)一種先驗(yàn)概率的假設(shè)方法，使由此 得到的檢測準(zhǔn)則的代價(jià)值與先驗(yàn)概率無關(guān)得

11、到的檢測準(zhǔn)則的代價(jià)值與先驗(yàn)概率無關(guān). . 3.4.3 3.4.3 極小化極大準(zhǔn)則極小化極大準(zhǔn)則 1 1 幾種表示符號定義幾種表示符號定義 01 0001 1 RR def F dxHxpdxHxpHHPP 0 110 R def M dxHxpHHPP 0011 11PHPHPP defdef 虛警概率虛警概率 漏警概率漏警概率 3.4.3 3.4.3 極小化極大準(zhǔn)則極小化極大準(zhǔn)則 2 2 先驗(yàn)概率未知的情況下，平均代價(jià)的性質(zhì)先驗(yàn)概率未知的情況下，平均代價(jià)的性質(zhì) dxHxpccHPHxpccHPHPcHPcC R0 000100111011111010 1001011110111111101

12、111PPccPPPccPPcPcPC FM 平均代價(jià)平均代價(jià)C C( (P P1) )是先驗(yàn)概率是先驗(yàn)概率P P1 1的的嚴(yán)格上凸函數(shù)嚴(yán)格上凸函數(shù) 0010001111000111110001FMF cccPPPccccPPccPP 3.4.3 3.4.3 極小化極大準(zhǔn)則極小化極大準(zhǔn)則 3.4.3 3.4.3 極小化極大準(zhǔn)則極小化極大準(zhǔn)則 3.4.3 3.4.3 極小化極大準(zhǔn)則極小化極大準(zhǔn)則 3 3 先驗(yàn)概率未知的情況下，可以采用的檢測方法先驗(yàn)概率未知的情況下，可以采用的檢測方法 可猜測一個(gè)先驗(yàn)概率可猜測一個(gè)先驗(yàn)概率P P1g，然后利用貝葉斯準(zhǔn)則進(jìn)行檢測。，然后利用貝葉斯準(zhǔn)則進(jìn)行檢測。 gM

13、 def R M PPdxHxpP 11 0 判決門限是判決門限是P P1g 1g的函數(shù) 的函數(shù) 判決區(qū)域判決區(qū)域R R0 0是是P P1g 1g的函數(shù) 的函數(shù) 判決區(qū)域判決區(qū)域R R1 1是是P P1g 1g的函數(shù) 的函數(shù) gF def R F PPdxHxpP 10 1 如果猜測一個(gè)如果猜測一個(gè)P P1g, 1g,則 則C(PC(P1 1,P,P1g 1g) )變?yōu)榫€性函數(shù) 變?yōu)榫€性函數(shù) 3.4.3 極小化極大準(zhǔn)則極小化極大準(zhǔn)則 100101110100111 10010001 PPccPPccccP PPcccPC FM F gM def R M PPdxHxpP 11 0 gF def

14、 R F PPdxHxpP 10 1 gFgM gFg PPccPPccccP PPcccPPC 100101110100111 100100011, 給定給定 條件下，平均代價(jià)條件下，平均代價(jià) 是先驗(yàn)概率是先驗(yàn)概率P1的線性函數(shù)的線性函數(shù) g P 1 g PPC 11, 若若 ，平均代價(jià)，平均代價(jià) 大于最小平均代價(jià)大于最小平均代價(jià) 11 PP g g PPC 11, 為避免產(chǎn)生過分大的代價(jià)，需要猜測一種先驗(yàn)概率為避免產(chǎn)生過分大的代價(jià)，需要猜測一種先驗(yàn)概率 ,使得平均代價(jià)使得平均代價(jià) 不依賴于信源的先驗(yàn)概率不依賴于信源的先驗(yàn)概率P1 * 1g P * 11,g PPC 3.4.3 極小化極大準(zhǔn)

15、則極小化極大準(zhǔn)則 gFgM gFg PPccPPccccP PPcccPPC 100101110100111 100100011, 為避免產(chǎn)生過分大的代價(jià)，需要猜測一種先驗(yàn)概率為避免產(chǎn)生過分大的代價(jià)，需要猜測一種先驗(yàn)概率 ,使得平均代價(jià)使得平均代價(jià) 不依賴于信源的先驗(yàn)概率不依賴于信源的先驗(yàn)概率P1 * 1g P * 11,g PPC 3.4.3 極小化極大準(zhǔn)則極小化極大準(zhǔn)則 0 * 10010 * 111010011 gFgM PPccPPcccc * 10010001 ? gFg C PcccP P 3.4.3 極小化極大準(zhǔn)則極小化極大準(zhǔn)則 0 * 10010 * 111010011 gFg

16、M PPccPPcccc * 1001000 * 1gFg PPcccPC 0 0011 cc * 10010 * 11101gFgM PPccPPcc * 1 * 1gFgM PPPP 0 0011 cc 1 0110 cc 3.4.3 極小化極大準(zhǔn)則極小化極大準(zhǔn)則 利用極小化極大準(zhǔn)則進(jìn)行檢測的基本步驟：利用極小化極大準(zhǔn)則進(jìn)行檢測的基本步驟： 步驟步驟1：計(jì)算兩個(gè)似然函數(shù)，構(gòu)建似然比：計(jì)算兩個(gè)似然函數(shù)，構(gòu)建似然比 步驟步驟2：假設(shè)判決門限為：假設(shè)判決門限為 ，構(gòu)建貝葉斯檢測基本表達(dá)式，構(gòu)建貝葉斯檢測基本表達(dá)式 步驟步驟3：化簡成最簡形式：化簡成最簡形式 0 1 H H xl 步驟步驟4：利用

17、極小化極大準(zhǔn)則，確定最終判決門限。：利用極小化極大準(zhǔn)則，確定最終判決門限。 3.4.3 極小化極大準(zhǔn)則極小化極大準(zhǔn)則 (Minimax criterion) Ex3.8 Ex3.8 在閉啟鍵控通信系統(tǒng)中，兩個(gè)假設(shè)下的觀察在閉啟鍵控通信系統(tǒng)中，兩個(gè)假設(shè)下的觀察 信號模型為：信號模型為： 若兩個(gè)假設(shè)的先驗(yàn)概率未知，且若兩個(gè)假設(shè)的先驗(yàn)概率未知，且 采用極小化極大準(zhǔn)則采用極小化極大準(zhǔn)則, ,試確定檢測門限和平均錯(cuò)誤概率試確定檢測門限和平均錯(cuò)誤概率 上述情況下上述情況下, ,噪聲噪聲n n是均值為零是均值為零, ,方差為方差為 的高斯噪聲的高斯噪聲 2 nAxH nxH : : 1 0 0 1100 c

18、c1 1001 cc 解：解： 步驟步驟1：計(jì)算兩個(gè)似然函數(shù)，構(gòu)建似然比：計(jì)算兩個(gè)似然函數(shù)，構(gòu)建似然比 ,: 0 nxH ,: 1 nAxH 由于由于n是高斯分布隨機(jī)變量，因此在是高斯分布隨機(jī)變量，因此在H0假設(shè)下，假設(shè)下，x服從高斯分布，服從高斯分布， 且均值為零，方差為且均值為零，方差為 ,在在H1假設(shè)下，假設(shè)下，x服從均值為服從均值為A，方差為，方差為 的高斯分布。的高斯分布。 2 2 2 2 2 0 2 exp 2 1 x Hxp 2 2 2 1 2 exp 2 1 Ax Hxp 步驟步驟2：假設(shè)門限，構(gòu)建似然比檢測基本表達(dá)式：假設(shè)門限，構(gòu)建似然比檢測基本表達(dá)式 1 0 0 1 H H

19、 Hp Hp x x 1 0 2 2 2 2 2 2 2 exp 2 1 2 exp 2 1 H H x Ax 步驟步驟3：化簡：化簡 1 0 2 2 2 2 exp H H Axx ln22 22 1 0 H H AxA def H H A A x 2 ln 21 0 1 0 2 2 2 2 2 2 2 exp 2 1 2 exp 2 1 H H x Ax 步驟步驟4：計(jì)算判決門限化簡：計(jì)算判決門限化簡 def H H A A x 2 ln 21 0 * 1 * 1gFgM PPPP 0 0011 cc 1 0110 cc Qdx x dxHxpHHPP def F 2 2 2 001 2

20、exp 2 1 A QdxHxpdxHxpHHPP R def M 1 1110 0 * 1 * 1gFgM PPPP A QQ1 2 A 010101 HHPHPHHPHPP e * 01 FFM PPHPPHP 2 A Q 3.4.4 奈曼奈曼-皮爾遜準(zhǔn)則皮爾遜準(zhǔn)則 (Neyman-Pearson criterion) 應(yīng)用范圍應(yīng)用范圍 假設(shè)的先驗(yàn)概率未知，判決代價(jià)未知假設(shè)的先驗(yàn)概率未知，判決代價(jià)未知(雷達(dá)信號檢測雷達(dá)信號檢測) 奈曼奈曼-皮爾遜檢測皮爾遜檢測 01 HHP盡可能小，盡可能小， 11 HHP 盡可能大。盡可能大。 目標(biāo)目標(biāo) 實(shí)際情況實(shí)際情況 01 HHP減小時(shí)，減小時(shí)， 1

21、1 HHP 也相應(yīng)減?。灰蚕鄳?yīng)減??； 01 HHP也隨之增加。也隨之增加。 11 HHP 增加增加 在在 約束條件下約束條件下,使正確判決概率使正確判決概率 最大的準(zhǔn)則。最大的準(zhǔn)則。 01 HHP 11 HHP 1. 1. 奈曼奈曼皮爾遜準(zhǔn)則解的存在性概念說明皮爾遜準(zhǔn)則解的存在性概念說明 1 2 3 圖3.9奈曼皮爾遜準(zhǔn)則概念性說明示意圖 3.4.4 奈曼奈曼-皮爾遜準(zhǔn)則皮爾遜準(zhǔn)則 3.4.4 奈曼奈曼-皮爾遜準(zhǔn)則皮爾遜準(zhǔn)則 2 奈曼奈曼-皮爾遜準(zhǔn)則的推導(dǎo)皮爾遜準(zhǔn)則的推導(dǎo) 在在 約束條件下約束條件下,使正確判決概率使正確判決概率 最大的準(zhǔn)則。最大的準(zhǔn)則。 01 HHP 11 HHP 在在 約束

22、條件下約束條件下,使判決概率使判決概率 最小的準(zhǔn)則。最小的準(zhǔn)則。 01 HHP 10 HHP 等價(jià)于等價(jià)于 利用拉格朗日乘子利用拉格朗日乘子 ，構(gòu)建目標(biāo)函數(shù)，構(gòu)建目標(biāo)函數(shù)0 0110 HHPHHPJ 若若 ,J達(dá)到最小時(shí)，達(dá)到最小時(shí)， 也達(dá)到最小。也達(dá)到最小。 01 HHP 10 HHP 3.4.4 奈曼奈曼-皮爾遜準(zhǔn)則皮爾遜準(zhǔn)則 2 奈曼奈曼-皮爾遜準(zhǔn)則的推導(dǎo)皮爾遜準(zhǔn)則的推導(dǎo) 0110 HHPHHPJ dxHxpdxHxp RR 10 01 dxHxpdxHxp RR 00 01 1 0 10 1 R p x Hp x Hdx 把使被積函數(shù)取負(fù)值的觀察值把使被積函數(shù)取負(fù)值的觀察值x值劃分給值

23、劃分給R0區(qū)域，而把其余的觀察值區(qū)域，而把其余的觀察值x值劃分給值劃分給R1， 即可保證平均代價(jià)最小。即可保證平均代價(jià)最小。 01 HxpHxp判決判決H0假設(shè)成立假設(shè)成立 01 HxpHxp 判決判決H1假設(shè)成立假設(shè)成立 3.4.4 奈曼奈曼-皮爾遜準(zhǔn)則皮爾遜準(zhǔn)則 (Neyman-Pearson criterion) 判決表達(dá)式判決表達(dá)式 其中其中,判決門限由下式確定判決門限由下式確定 1 001 R dxHxpHHP 1 0 0 1 H H Hxp Hxp 100 P H HpHd 作用 作用 作用 作用 3.4.4 奈曼奈曼-皮爾遜準(zhǔn)則皮爾遜準(zhǔn)則 (Neyman-Pearson crit

24、erion) Ex3.9 在二元通信系統(tǒng)中，兩個(gè)假設(shè)下的觀察信號在二元通信系統(tǒng)中，兩個(gè)假設(shè)下的觀察信號 模型為：模型為： 試構(gòu)造一個(gè)在試構(gòu)造一個(gè)在 條件下的奈曼條件下的奈曼- -皮爾遜接收機(jī)皮爾遜接收機(jī). . nxH nxH 1: : 1 0 1 . 0 01 HHP 上述情況下上述情況下,噪聲噪聲n是均值為零是均值為零,方差為方差為1的高斯噪聲的高斯噪聲 解：解： 步驟步驟1：計(jì)算兩個(gè)似然函數(shù)，構(gòu)建似然比：計(jì)算兩個(gè)似然函數(shù)，構(gòu)建似然比 ,: 0 nxH ,1: 1 nxH 由于由于n是高斯分布隨機(jī)變量，因此在是高斯分布隨機(jī)變量，因此在H0假設(shè)下，假設(shè)下，x服從高斯分布，服從高斯分布， 且均值

25、為零，方差為且均值為零，方差為 ,在在H1假設(shè)下，假設(shè)下，x服從均值為服從均值為1，方差為，方差為 的高斯分布。的高斯分布。 2 2 2 2 2 0 2 exp 2 1 x Hxp 2 2 2 1 2 1 exp 2 1 x Hxp 步驟步驟2：假設(shè)門限，構(gòu)建似然比檢測基本表達(dá)式：假設(shè)門限，構(gòu)建似然比檢測基本表達(dá)式 1 0 0 1 H H Hp Hp x x 1 0 2 2 2 2 2 2 2 exp 2 1 2 1 exp 2 1 H H x x 步驟步驟3：化簡：化簡 1 0 2 2 2 2 1 exp H H xx ln221 2 1 0 H H x def H H x 2 1 ln 2 1 0 1 0 2 2 2 2 2 2 2 exp 2 1 2 1 exp 2 1 H H x x 步驟步驟4：計(jì)算判決門限：計(jì)算判決門限 def H H x 2 1 ln 2 1 0 1 . 0 2 exp 2 1 2 001 Qdx x dxHxpHHPP def F 1 . 0 01 HHPP def F 在在條件下確定判決門限條件下確定判決門限 29. 1解得解得2 . 2 111 2 1 2 1.29 |d 11 expd0.386 22 P HHp l Hl l l 3.10 圖例3.4.3的判決域及判決概率 貝