模式識(shí)別第五章統(tǒng)計(jì)決策中的訓(xùn)練學(xué)習(xí)與錯(cuò)誤率測試估計(jì)

模式識(shí)別第五章統(tǒng)計(jì)決策中的訓(xùn)練學(xué)習(xí)與錯(cuò)誤率測試估計(jì)第1頁，課件共91頁，創(chuàng)作于2023年2月5·1統(tǒng)計(jì)推斷概述第五章統(tǒng)計(jì)決策中的訓(xùn)練、學(xué)習(xí)

與錯(cuò)誤率測試、估計(jì)第2頁，課件共91頁，創(chuàng)作于2023年2月本章目的：已知類別的樣本（訓(xùn)練樣本）→學(xué)習(xí)或訓(xùn)練→獲得類概密在上一章的學(xué)習(xí)中,我們一直假設(shè)類的條件概率密度函數(shù)是已知的,然后去設(shè)計(jì)貝葉斯分類器。但在實(shí)際中，這些知識(shí)往往是不知道的，這就需要用已知的樣本進(jìn)行學(xué)習(xí)或訓(xùn)練。也就是說利用統(tǒng)計(jì)推斷理論中的估計(jì)方法，從樣本集數(shù)據(jù)中估計(jì)這些參數(shù)。5.1統(tǒng)計(jì)推斷概述第3頁，課件共91頁，創(chuàng)作于2023年2月如果已知iw類的概密)(ixpwr的函數(shù)類型，即知道iw

類的概型，但不知道其中的參數(shù)或參數(shù)集，可采用參數(shù)估計(jì)的方法，當(dāng)解得這些參數(shù)后)(ixpwr也就確定了。{}),,,(21￠qqq=qD

qmiLr確定未知參數(shù)參數(shù)估計(jì)參數(shù)估計(jì)有兩類方法:將參數(shù)作為非隨機(jī)量處理，如矩法估計(jì)、最大似然估計(jì)；將參數(shù)作為隨機(jī)變量，貝葉斯估計(jì)就屬此類。5.1統(tǒng)計(jì)推斷概述第4頁，課件共91頁，創(chuàng)作于2023年2月非參數(shù)估計(jì)5.1統(tǒng)計(jì)推斷概述當(dāng)不知道類的概型時(shí)，就要采用非參數(shù)估計(jì)的方法，這種方法也稱為總體推斷，這類方法有：1.p-窗法2.有限項(xiàng)正交函數(shù)級(jí)數(shù)逼近法3.隨機(jī)逼近法第5頁，課件共91頁，創(chuàng)作于2023年2月基本概念母體（總體）：一個(gè)模式類稱為一個(gè)總體或母體5.1統(tǒng)計(jì)推斷概述母體的子樣：一個(gè)模式類中某些模式(即母體中的一些元素)的集合稱為這個(gè)母體的子樣。母體的子樣含有母體的某些信息，可以通過構(gòu)造樣本的函數(shù)來獲得。統(tǒng)計(jì)量：一般來說，每一個(gè)樣本都包含著母體的某些信息，為了估計(jì)未知參數(shù)就要把有用的信息從樣本中抽取出來。為此，要構(gòu)造訓(xùn)練樣本的某種函數(shù)，這種函數(shù)在統(tǒng)計(jì)學(xué)中稱為統(tǒng)計(jì)量。第6頁，課件共91頁，創(chuàng)作于2023年2月基本概念經(jīng)驗(yàn)分布：由樣本推斷的分布稱為經(jīng)驗(yàn)分布。5.1統(tǒng)計(jì)推斷概述數(shù)學(xué)期望、方差等理論量（或理論分布）：參數(shù)空間：在統(tǒng)計(jì)學(xué)中，把未知參數(shù)q的可能值的集合稱為參數(shù)空間，記為Q。點(diǎn)估計(jì)、估計(jì)量：針對(duì)某未知參數(shù)q構(gòu)造一個(gè)統(tǒng)計(jì)量作為q的估計(jì)，這種估計(jì)稱為點(diǎn)估計(jì)。稱為q的估計(jì)量。第7頁，課件共91頁，創(chuàng)作于2023年2月基本概念5.1統(tǒng)計(jì)推斷概述為了準(zhǔn)確地對(duì)某一類的分布進(jìn)行參數(shù)估計(jì)或總體推斷，應(yīng)只使用該類的樣本。就是說在進(jìn)行參數(shù)估計(jì)時(shí)，應(yīng)對(duì)各類進(jìn)行獨(dú)立的參數(shù)估計(jì)或總體推斷。因此在以后的論述中，如無必要，不特別言明類別。區(qū)間估計(jì)：在一定置信度條件下估計(jì)某一未知參數(shù)q的取值范圍，稱之為置信區(qū)間，這類估計(jì)成為區(qū)間估計(jì)。第8頁，課件共91頁，創(chuàng)作于2023年2月第9頁，課件共91頁，創(chuàng)作于2023年2月基本概念5.1統(tǒng)計(jì)推斷概述漸近無偏估計(jì)：即。當(dāng)不能對(duì)所有

的都有

時(shí)，希望估計(jì)量是漸近無偏估計(jì)。第10頁，課件共91頁，創(chuàng)作于2023年2月基本概念5.1統(tǒng)計(jì)推斷概述均方收斂:均方逼近:均方收斂:又稱相合估計(jì)一致估計(jì):

當(dāng)樣本無限增多時(shí)，估計(jì)量依概率收斂于，第11頁，課件共91頁，創(chuàng)作于2023年2月

5·2參數(shù)估計(jì)第五章統(tǒng)計(jì)決策中的訓(xùn)練、學(xué)習(xí)

與錯(cuò)誤率測試、估計(jì)第12頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)5.2.1均值矢量和協(xié)方差陣的矩法估計(jì)5.2.2最大似然估計(jì)(MLE)5.2.3貝葉斯估計(jì)(BE)第13頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)均值矢量和協(xié)方差陣的矩法估計(jì)矩法估計(jì)是用樣本(的統(tǒng)計(jì))矩作為總體(理論)矩的估值。若類的概型為正態(tài)分布，我們用矩法估計(jì)出類的均值矢量和協(xié)方差陣后，類的概密也就完全確定了。均值矢量:均值無偏估計(jì):第14頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)均值矢量和協(xié)方差陣的矩法估計(jì)協(xié)方差陣:第15頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)均值矢量和協(xié)方差陣的矩法估計(jì)協(xié)方差陣

:協(xié)方差陣無偏估計(jì)

:或第16頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)設(shè)和是由個(gè)樣本算得的均矢和協(xié)方差陣，則可采用遞推公式進(jìn)行估算若再加入一個(gè)新的樣本初始值:))((11)(1NmxNNmNrrr-++=+均值矢量和協(xié)方差陣的矩法估計(jì)第17頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)協(xié)方差矩陣的遞推估計(jì)式:均值矢量和協(xié)方差陣的矩法估計(jì)?+=+++-=11)'1()1(1'1NjjjNmNmNNxxNrrrr'11')(12)'()(1'11111+++=+++-+-=?NNNjNjjxxNxNmNNmNmNNxxNrrrrrrrr))'())(((11)(111NmxNmxNNCNNNNrrrr--++-=++F=-=-='')'1()1(')1(111111xxxxmmxxCrrrrrrrr初始值:第18頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)均值矢量和協(xié)方差陣的矩法估計(jì)第19頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)最大似然估計(jì)(MLE)(MaximumLikelihoodEstimate)

如同矩法估計(jì)一樣，最大似然估計(jì)要求已知總體的概型，即概密的具體函數(shù)形式，它也將被估計(jì)量作為確定性的變量對(duì)待。但最大似然估計(jì)適用范圍比矩法估計(jì)更寬一些，可以用于不是正態(tài)分布的情況。最大似然估計(jì)是參數(shù)估計(jì)中最重要的方法。第20頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)最大似然估計(jì)(MLE)(MaximumLikelihoodEstimate)

似然函數(shù):當(dāng)個(gè)隨機(jī)樣本取定值時(shí)，稱為相對(duì)于的的似然函數(shù)。聯(lián)合概密設(shè)一個(gè)總體的概密為，其中是一個(gè)未知參數(shù)集，第21頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)最大似然估計(jì)(MLE)(MaximumLikelihoodEstimate)

由于是概密的一個(gè)確定性的參數(shù)集,因此實(shí)際上就是條件概密上式中不同的,將不同。如果各個(gè)是獨(dú)立抽取的，則進(jìn)一步有：第22頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)最大似然估計(jì)(MLE)(MaximumLikelihoodEstimate)最大似然估計(jì)：第23頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)最大似然估計(jì)(MLE)(MaximumLikelihoodEstimate)在實(shí)際中多是獨(dú)立取樣和經(jīng)常處理正態(tài)變量，而且對(duì)數(shù)函數(shù)是單值單調(diào)函數(shù)，對(duì)數(shù)似然函數(shù)與似然函數(shù)在相同的處取得最大值。第24頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)最大似然估計(jì)(MLE)(MaximumLikelihoodEstimate)

在似然函數(shù)可微的條件下，求下面微分方程組的解：或等價(jià)地求作為極值的必要條件。對(duì)數(shù)似然方程組第25頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)最大似然估計(jì)(MLE)(MaximumLikelihoodEstimate)

需要指出的是：對(duì)于具體問題，有時(shí)用上述方法不一定可行，原因之一是似然函數(shù)在最大值點(diǎn)處沒有零斜率。求出上面方程組中的一切解及邊界值，計(jì)算使最大的作為的最大似然估計(jì)。因此，最大似然的關(guān)鍵是必須知道概型。第26頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)最大似然估計(jì)(MLE)(MaximumLikelihoodEstimate)

下面我們以多維正態(tài)分布為例進(jìn)行說明。（1）假設(shè)Σ是已知的，未知的只是均值μ，則：第27頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)最大似然估計(jì)(MLE)(MaximumLikelihoodEstimate)

這說明，樣本總體的未知均值的最大似然估計(jì)就是訓(xùn)練樣本的平均值。它的幾何解釋就是：若把N個(gè)樣本看成是一群質(zhì)點(diǎn)，則樣本均值便是它們的質(zhì)心。第28頁，課件共91頁，創(chuàng)作于2023年2月第29頁，課件共91頁，創(chuàng)作于2023年2月可見，正態(tài)分布中的協(xié)方差陣Σ的最大似然估計(jì)量等于N個(gè)矩陣的算術(shù)平均值。第30頁，課件共91頁，創(chuàng)作于2023年2月（3）對(duì)于一般的多維正態(tài)密度的情況，計(jì)算方法完全是類似的。最后的結(jié)果是：可以證明上式的均值是無偏估計(jì)，但協(xié)方差陣并不是無偏估計(jì)，無偏估計(jì)是：第31頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)貝葉斯估計(jì)(BE)考慮到的各種取值，我們應(yīng)求在空間中的期望，即平均損失：

第32頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)貝葉斯估計(jì)(BE)第33頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)貝葉斯估計(jì)(BE)不同的具體定義，可得到不同的最佳貝葉斯估計(jì)。比如，可以用平方誤差作為代價(jià)，此時(shí)：上式中，對(duì)于于是：第34頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)貝葉斯估計(jì)(BE)由于是非負(fù)的，只出現(xiàn)在內(nèi)層積分中，關(guān)于使最小等價(jià)于：為求極小，令第35頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)貝葉斯估計(jì)(BE)從而可得：第36頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)貝葉斯估計(jì)(BE)下面介紹估計(jì)所涉及的其它公式或近似算式：由于各樣本是獨(dú)立抽取的，故它們條件獨(dú)立，即有由貝葉斯定理知：第37頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)貝葉斯估計(jì)(BE)第38頁，課件共91頁，創(chuàng)作于2023年2月5.2參數(shù)估計(jì)貝葉斯估計(jì)(BE)第39頁，課件共91頁，創(chuàng)作于2023年2月作業(yè)：P1705.1,5.2,5.3第40頁，課件共91頁，創(chuàng)作于2023年2月5·4概密的窗函數(shù)估計(jì)法

第五章統(tǒng)計(jì)決策中的訓(xùn)練、學(xué)習(xí)

與錯(cuò)誤率測試、估計(jì)第41頁，課件共91頁，創(chuàng)作于2023年2月設(shè)個(gè)樣本是從上述概密為的總體中獨(dú)立抽取的，個(gè)樣本中有個(gè)樣本落入?yún)^(qū)域中的概率服從離散隨機(jī)變量的二項(xiàng)分布第42頁，課件共91頁，創(chuàng)作于2023年2月令為眾數(shù)，如果不是整數(shù)，則:

即等于的整數(shù)部分；如果是整數(shù)，則:

和第43頁，課件共91頁，創(chuàng)作于2023年2月由于：所以：這里是的估計(jì)，當(dāng)較大較小時(shí)上式的近似程度是足夠的。第44頁，課件共91頁，創(chuàng)作于2023年2月5.4概密的窗函數(shù)估計(jì)法概率密度的基本估計(jì)式當(dāng)固定時(shí)，對(duì)的最大似然估計(jì)，由概率論知，的數(shù)學(xué)期望。第45頁，課件共91頁，創(chuàng)作于2023年2月5.4概密的窗函數(shù)估計(jì)法概率密度的基本估計(jì)式設(shè)區(qū)域R的體積為V，我們?nèi)足夠小，使ò?=RVxpxdxpP)()(rrr設(shè))(?xpr是)(xpr的估計(jì)，由上面二式有VxpxdxpPNkR)(?)(??rrr===ò于是可得第46頁，課件共91頁，創(chuàng)作于2023年2月5.4概密的窗函數(shù)估計(jì)法概率密度的基本估計(jì)式顯然是的基本估計(jì)式，它與有關(guān)，顯然和有一定的誤差。

理論上，要使

R0

V0，同時(shí)k，N。

而實(shí)際估計(jì)時(shí)體積不是任意的小，且樣本總數(shù)總是存在誤差。

也是有限的，所以第47頁，課件共91頁，創(chuàng)作于2023年2月5.4概密的窗函數(shù)估計(jì)法概率密度的基本估計(jì)式為了提高處的概密)(xpr的估計(jì)精度，我們根據(jù)理論，可以采用如下步驟以盡量滿足理論要求：極限⑴

構(gòu)造一包含的區(qū)域序列各區(qū)域的體積滿足⑵相對(duì)區(qū)域作估計(jì)實(shí)驗(yàn)，對(duì)取N個(gè)樣本進(jìn)行估計(jì)，設(shè)有個(gè)樣本落入樣本數(shù)目應(yīng)滿足中，第48頁，課件共91頁，創(chuàng)作于2023年2月第49頁，課件共91頁，創(chuàng)作于2023年2月第50頁，課件共91頁，創(chuàng)作于2023年2月第51頁，課件共91頁，創(chuàng)作于2023年2月5.4概密的窗函數(shù)估計(jì)法Parzen窗法為能用函數(shù)描述區(qū)域NR和對(duì)落入NR的樣本計(jì)數(shù)，定義窗函數(shù)),,,(21￠=nuuuuLr?íì=￡=j其它當(dāng),0,,2,1,21,1)(niuuiLr

這樣，)(urj以函數(shù)值1界定了一個(gè)以原點(diǎn)為中心、棱長為1的n維超立方體。第52頁，課件共91頁，創(chuàng)作于2023年2月5.4概密的窗函數(shù)估計(jì)法Parzen窗法

如果一個(gè)樣本jxr落入以xr為中心以Nh為棱長的超立方體NR內(nèi)時(shí)則計(jì)數(shù)為1，否則計(jì)數(shù)為0，我們可以利用窗函數(shù))(xrj實(shí)現(xiàn)這個(gè)約定，即落入該立方體NR的樣本數(shù)第53頁，課件共91頁，創(chuàng)作于2023年2月第54頁，課件共91頁，創(chuàng)作于2023年2月5.4概密的窗函數(shù)估計(jì)法Parzen窗法上面所講的是從構(gòu)造上導(dǎo)出了估計(jì)式，所取的窗函數(shù)即迭加基函數(shù)為維方窗(柱)函數(shù)。事實(shí)上只要窗函數(shù)滿足下面的兩個(gè)條件:由式構(gòu)造的估計(jì)式就是概密函數(shù)。第55頁，課件共91頁，創(chuàng)作于2023年2月5.4概密的窗函數(shù)估計(jì)法Parzen窗法

按照上面的條件，除了選擇方窗外，還可以選擇其它的滿足上述兩個(gè)條件的函數(shù)作窗函數(shù)。下面列出幾個(gè)一維窗函數(shù)的例子，n維的窗函數(shù)可用乘積的方法由一維函數(shù)構(gòu)造。⑶

指數(shù)窗函數(shù)

[]uu-=jexp)(⑴

方窗函數(shù)

?íì￡=j其它,021,1)(uu⑵

正態(tài)窗函數(shù)

ú?ùê?é-p=j221exp21)(uu⑷

三角窗函數(shù)

?íì>￡-=j1,01,1)(uuuu第56頁，課件共91頁，創(chuàng)作于2023年2月下面進(jìn)一步討論窗寬對(duì)估計(jì)的影響:5.4概密的窗函數(shù)估計(jì)法Parzen窗法定義:于是估計(jì)式表示成:影響的幅度和寬度。注意到:可看出第57頁，課件共91頁，創(chuàng)作于2023年2月5.4概密的窗函數(shù)估計(jì)法Parzen窗法若Nh較大，則)(jNxxrr-d幅度將較小，而寬度增大)(?xpNr是N個(gè)低幅緩變寬的函數(shù)迭加,)(?xpNr較平滑，不能跟上的變化，分辨率較低。)(xpr第58頁，課件共91頁，創(chuàng)作于2023年2月第59頁，課件共91頁，創(chuàng)作于2023年2月5.4概密的窗函數(shù)估計(jì)法Parzen窗法估計(jì)量是一隨機(jī)變量，它依賴于隨機(jī)的訓(xùn)練樣本，所以估計(jì)量的性能只能用統(tǒng)計(jì)性質(zhì)表示。在滿足下列條件下是漸近無偏估計(jì)、均方收斂、均方逼近、且是漸近正態(tài)分布。⑴

概密)(xpr在xr處連續(xù)⑵

窗函數(shù)滿足下列條件①0)(3jur②

ò=j1)(udurr③

￥<j)(supuurr④

0)(lim1=j?=￥?niiuuurr第60頁，課件共91頁，創(chuàng)作于2023年2月5.4概密的窗函數(shù)估計(jì)法Parzen窗法估計(jì)量是一隨機(jī)變量，它依賴于隨機(jī)的訓(xùn)練樣本，所以估計(jì)量的性能只能用統(tǒng)計(jì)性質(zhì)表示。在滿足下列條件下是漸近無偏估計(jì)、均方收斂、均方逼近、且是漸近正態(tài)分布。⑶窗寬限制⑤

⑥⑷對(duì)樣本的要求⑦⑧第61頁，課件共91頁，創(chuàng)作于2023年2月(1)是的漸近無偏估計(jì)證明：第62頁，課件共91頁，創(chuàng)作于2023年2月第63頁，課件共91頁，創(chuàng)作于2023年2月P—窗法的特點(diǎn)

適用范圍廣，無論概密是規(guī)則的或不規(guī)則的、單峰的或多峰的。但它要求樣本分布較好且數(shù)量要大，顯然這也是一個(gè)良好估計(jì)所必須的，但它的取樣過程的操作增加了取樣工作的復(fù)雜性。窗函數(shù)選取得當(dāng)有利于提高估計(jì)的精度和減少樣本的數(shù)量。第64頁，課件共91頁，創(chuàng)作于2023年2月（a）圖中，p(x)是均值為零、方差為1的一維正態(tài)分布，窗函數(shù)選擇為正態(tài)窗函數(shù)：h1為可調(diào)節(jié)參量。于是：第65頁，課件共91頁，創(chuàng)作于2023年2月（a）由結(jié)果曲線可以看出，樣本量越大，估計(jì)越精確；同時(shí)，也可以看出窗口選擇是否適當(dāng)對(duì)估計(jì)結(jié)果有一定影響。第66頁，課件共91頁，創(chuàng)作于2023年2月和

同上由圖中曲線可以看出，當(dāng)N較小時(shí)，窗函數(shù)對(duì)估計(jì)結(jié)果影響較大，其估計(jì)結(jié)果與真實(shí)分布相差較遠(yuǎn)；當(dāng)N增大時(shí)，估計(jì)結(jié)果與真實(shí)分布較為接近。第67頁，課件共91頁，創(chuàng)作于2023年2月5.4概密的窗函數(shù)估計(jì)法kN-近鄰估計(jì)法在P—窗法中，把體積作為的函數(shù)導(dǎo)致對(duì)估計(jì)結(jié)果影響很大。例如當(dāng)選得太小將導(dǎo)致大部分區(qū)域是空的，會(huì)使不穩(wěn)定；選得太大，則較平坦，將丟失的一些重要空間變化。當(dāng)—近鄰元估計(jì)法是克服這個(gè)問題的一個(gè)可能的方法。第68頁，課件共91頁，創(chuàng)作于2023年2月5.4概密的窗函數(shù)估計(jì)法kN-近鄰估計(jì)法基本思想：把含點(diǎn)的序列區(qū)域的體積作為落入中樣本數(shù)的函數(shù)，而不是直接作為的函數(shù)。我們可以預(yù)先確定是的某個(gè)函數(shù)，然后在點(diǎn)附近選擇一“緊湊”區(qū)域，個(gè)鄰近樣本。實(shí)驗(yàn)樣本數(shù)讓它只含點(diǎn)附近概密較大，則包含個(gè)樣本的區(qū)域如果體積自然就相對(duì)的小；點(diǎn)附近概密較小，則區(qū)域體積就較大。個(gè)鄰近樣本而擴(kuò)展到高密度如果顯然，當(dāng)區(qū)域?yàn)楹袇^(qū)時(shí)，擴(kuò)展過程必然會(huì)停止。第69頁，課件共91頁，創(chuàng)作于2023年2月5.4概密的窗函數(shù)估計(jì)法kN-近鄰估計(jì)法如果滿足條件

②③①第70頁，課件共91頁，創(chuàng)作于2023年2月5.4概密的窗函數(shù)估計(jì)法kN-近鄰估計(jì)法第71頁，課件共91頁，創(chuàng)作于2023年2月5.4概密的窗函數(shù)估計(jì)法kN-近鄰估計(jì)法-20210.01.00.10.010.001N=1,KN=1-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001N=16,KN=4N=256,KN=16N=,KN=第72頁，課件共91頁，創(chuàng)作于2023年2月作業(yè)P1705.75.8第73頁，課件共91頁，創(chuàng)作于2023年2月第74頁，課件共91頁，創(chuàng)作于2023年2月5·5有限項(xiàng)正交函數(shù)級(jí)數(shù)逼近法第五章統(tǒng)計(jì)決策中的訓(xùn)練、學(xué)習(xí)

與錯(cuò)誤率測試、估計(jì)第75頁，課件共91頁，創(chuàng)作于2023年2月5·5有限項(xiàng)正交函數(shù)級(jí)數(shù)逼近法—設(shè)有個(gè)抽自同一母體

的樣本用于估計(jì)總體概密，我們將概密的估計(jì)表示成有限項(xiàng)正交級(jí)數(shù)式中，是某一正交函數(shù)集的基函數(shù)，為待定系數(shù)。應(yīng)根據(jù)的特點(diǎn)適當(dāng)選擇以期在固定的項(xiàng)數(shù)下減小誤差，項(xiàng)數(shù)R取得越大近似得就越好。最小積分平方逼近方法第76頁，課件共91頁，創(chuàng)作于2023年2月5·5有限項(xiàng)正交函數(shù)級(jí)數(shù)逼近法—

估計(jì)與真值之間的誤差可用下式測度式中，是特征空間，是權(quán)函數(shù)，顯然越小，我們得到的估計(jì)從總體上講就越精確。將的具體表示代入上式得：最小積分平方逼近方法第77頁，課件共91頁，創(chuàng)作于2023年2月上式的是的二次函數(shù)，因此使達(dá)到最小值的必要且只要滿足：由此可得：從而有：第78頁，課件共91頁，創(chuàng)作于2023年2月

令是帶權(quán)函數(shù)的正交函數(shù)集，即

第79頁，課件共91頁，創(chuàng)作于2023年2月則有:若是在下的規(guī)范化的正交函數(shù)集，即則有:將所求