DL5.4估計、偏差和方差_第1頁
DL5.4估計、偏差和方差_第2頁
DL5.4估計、偏差和方差_第3頁
DL5.4估計、偏差和方差_第4頁
DL5.4估計、偏差和方差_第5頁
已閱讀5頁，還剩18頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進行舉報或認領(lǐng)

文檔簡介

5.4

估計，偏差和方差Deeplearning主講人：余金英估計偏差和方差

泛化誤差偏差-方差窘境欠擬合與過擬合主要內(nèi)容：2估計

3

4定義：

5定義：

實例：高斯分布6

高斯分布方差估計

78

實例：均勻分布

一致性與漸近無偏性：9泛化誤差泛化誤差是從哪里來的，什么原因造成了泛化誤差？“偏差-方差分解”符號涵義x測試樣本D訓練集x在數(shù)據(jù)集中的標記yx的真實標記f訓練集D學得的模型由訓練集D學得的模型f對x的預測輸出模型f對x的期望預測輸出10

以回歸任務為例：11泛化誤差的分解：

12

偏差的含義：偏差度量了學習算法的期望預測與真實結(jié)果的偏離程度，即刻畫了學習算法本身的擬合能力。方差的含義：方差度量了同樣大小的訓練集的變動所導致的學習性能的變化，即刻畫了數(shù)據(jù)擾動所造成的影響。噪聲的含義：噪聲則表達了在當前任務上任何學習算法所能達到的期望泛化誤差的下界，即刻畫了學習問題本身的難度。泛化性能是由學習算法的能力、數(shù)據(jù)的充分性以及學習任務本身的難度共同決定的。13圖解：1415偏差與方差

偏差方差圖解：偏差-方差窘境：1617給定一個學習任務,

在訓練初期,

由于訓練不足,

學習器的擬合能力不夠強，訓練數(shù)據(jù)擾動不足以使學習器產(chǎn)生顯著變化，此時偏差主導泛化錯誤率。隨著訓練程度的加深,

學習器的擬合能力逐漸增強,

訓練數(shù)據(jù)的擾動也能夠漸漸被學習器學到，方差逐漸主導泛化錯誤率。充分訓練后,

學習器的擬合能力已非常強,

訓練數(shù)據(jù)發(fā)生的輕微擾動都會導致學習器發(fā)生顯著變化,

當訓練數(shù)據(jù)自身的、非全局的特性被學習器學到了,

則將發(fā)生過擬合。

18欠擬合、過擬合過擬合：學習器把訓練樣本學習的太好了，把訓練樣本自身的一些特點當

做是所有潛在樣本會具有的一般性質(zhì)，導致泛化性能下降；欠擬合：對訓練樣本的一般性質(zhì)尚未學好。欠擬合、過擬合思考：為什么要分析誤差來源？偏差方差欠擬合過擬合19訓練誤差測試誤差偏差、方差和欠擬合、過擬合關(guān)系：模型越簡單，偏差越大；模型越復雜，方差越大。20例：貓咪圖片分類器

21泛化誤差由偏差、方差和噪聲引起。偏差很低，方差很高，模型發(fā)生過擬合；偏差很高，方差很低，模型發(fā)生欠擬合；偏差、方差都低，表示

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論