人工智能入門 課件 2.人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)

人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)AI:ANN2大綱什么是人工神經(jīng)網(wǎng)絡(luò)(ANN)?

多層感知器(MLP)-誤差反向傳播算法(B-P)機(jī)器學(xué)習(xí)的意義-學(xué)習(xí)策略監(jiān)督學(xué)習(xí)1、人工神經(jīng)網(wǎng)絡(luò)01AI:ANN4PartⅠ:什么是ANN?AI:ANN5一個(gè)讓汽車學(xué)習(xí)自動(dòng)駕駛的神經(jīng)網(wǎng)絡(luò)T.M.Mitchell,MachineLearning,2006隱藏單元的權(quán)值A(chǔ)I:ANN6汽車自動(dòng)駕駛的視頻AI:ANN71.1人工神經(jīng)網(wǎng)絡(luò)將相互獨(dú)立的單元之間連接起來形成一種圖的結(jié)構(gòu)，這樣的圖可能是有環(huán)的也可能是無環(huán)的，可能是有向圖也可能是無向圖.

自底向上AI

受生物神經(jīng)系統(tǒng)的啟發(fā)，從結(jié)構(gòu)上模擬仿真AI功能AI:ANN8生物神經(jīng)系統(tǒng)

時(shí)間和空間上的累積

興奮和抑制圖片來源：http://kvhs.nbed.nb.ca/gallant/biology/neuron_structure.jpgAI:ANN9人工神經(jīng)系統(tǒng)

M-P神經(jīng)元θx1x2xnyω1ω2ωn輸入輸出閾值McClloch與Pitts，《神經(jīng)活動(dòng)中固有的思想邏輯運(yùn)算》,1943f:激活函數(shù)g:整合函數(shù)AI:ANN10整合函數(shù)加權(quán)求和

徑向距離AI:ANN11激活函數(shù)

閾值型線性飽和線性S型函數(shù)雙曲正切函數(shù)高斯函數(shù)AI:ANN121.2人工神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)前饋型神經(jīng)網(wǎng)絡(luò)-沒有環(huán)-靜態(tài)結(jié)構(gòu)

反饋型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)-有環(huán)-動(dòng)態(tài)結(jié)構(gòu)(非線性動(dòng)力系統(tǒng))AI:ANN13前饋網(wǎng)絡(luò)的一般結(jié)構(gòu)反饋網(wǎng)絡(luò)的一般結(jié)構(gòu)AI:ANN141.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)根據(jù)所處環(huán)境對(duì)它的刺激自適應(yīng)的調(diào)整其網(wǎng)絡(luò)結(jié)構(gòu)中的自由參數(shù).學(xué)習(xí)模型

漸進(jìn)式vs.批處理兩類

監(jiān)督型vs.非監(jiān)督型AI:ANN15重要的神經(jīng)網(wǎng)絡(luò)模型模型結(jié)構(gòu)學(xué)習(xí)方法模型結(jié)構(gòu)學(xué)習(xí)方法多層感知器前饋型網(wǎng)絡(luò)結(jié)構(gòu)誤差修正玻爾茲曼機(jī)單層，反饋型網(wǎng)絡(luò)結(jié)構(gòu)隨機(jī)性徑向基函數(shù)網(wǎng)絡(luò)多層，前饋型網(wǎng)絡(luò)結(jié)構(gòu)誤差修正自適應(yīng)共振理論兩層，反饋型網(wǎng)絡(luò)結(jié)構(gòu)競(jìng)爭(zhēng)型學(xué)習(xí)霍普菲爾德網(wǎng)絡(luò)單層，反饋型網(wǎng)絡(luò)結(jié)構(gòu)外積Kohonen自組織特征映射網(wǎng)單層軟競(jìng)爭(zhēng)學(xué)習(xí)AI:ANN16PartⅡ:多層感知器(MLP)AI:ANN172.1B-P神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

一種多層感知機(jī),其中的激活函數(shù)采用S型函數(shù).AI:ANN18B-P學(xué)習(xí)算法學(xué)習(xí)方法

-輸入數(shù)據(jù)被前向輸入到隱含層,然后再輸入到輸出層

-誤差信息被反向傳播，從輸出層到隱含層再到輸入層Rumelhart&Meclelland,Nature,1986AI:ANN19B-P學(xué)習(xí)步驟Step1.在訓(xùn)練集中選擇一種模式并將其輸入到網(wǎng)絡(luò)中Step2.計(jì)算輸入序列中輸入層，隱含層，輸出層神經(jīng)元的激活情況.Step3.通過比較實(shí)際輸出與期望輸出，計(jì)算輸出神經(jīng)元的誤差.Step4.用計(jì)算出來的誤差更新網(wǎng)絡(luò)中的所有權(quán)重，從而使全局誤差度量變小.Step5.重復(fù)上述Step1-Step5直到全局誤差小于一個(gè)給定的閾值.AI:ANN20B-P求導(dǎo)全局誤差度量理想輸出實(shí)際輸出平方誤差目標(biāo)是最小化平方誤差,即達(dá)到最小均方誤差(MSE)2、機(jī)器學(xué)習(xí)02AI:MachineLearning22PartⅠ:機(jī)器學(xué)習(xí)的意義

AI:MachineLearning23機(jī)器學(xué)習(xí)什么？學(xué)習(xí)是系統(tǒng)中的變化，這種變化使系統(tǒng)在重復(fù)同樣工作或類似工作時(shí)，能夠做得更好。

西蒙機(jī)器學(xué)習(xí)研究如何使計(jì)算機(jī)程序自動(dòng)根據(jù)經(jīng)驗(yàn)提升其性能。應(yīng)用領(lǐng)域涵蓋從大量數(shù)據(jù)中發(fā)現(xiàn)一般規(guī)則的數(shù)據(jù)挖掘程序到自動(dòng)學(xué)習(xí)用戶興趣的信息過濾系統(tǒng)等。TomM.MitchellAI:MachineLearning24定義學(xué)習(xí)的任務(wù)基于經(jīng)驗(yàn)，根據(jù)性能準(zhǔn)則，提升完成相應(yīng)任務(wù)的性能任務(wù):下跳棋性能:對(duì)于任意對(duì)手，取勝的概率

經(jīng)驗(yàn):以自己為對(duì)手，進(jìn)行的練習(xí)任務(wù):識(shí)別手寫字性能:被正確分類的字所占的比例經(jīng)驗(yàn):經(jīng)過人工標(biāo)注的手寫字的數(shù)據(jù)庫任務(wù):視覺傳感器自動(dòng)駕駛性能:出錯(cuò)前行駛的平均距離經(jīng)驗(yàn):人類駕駛的時(shí)候記錄下來的一系列圖像和控制命令ExamplesAI:MachineLearning25為什么要進(jìn)行機(jī)器學(xué)習(xí)？在環(huán)境事先未知時(shí)，學(xué)習(xí)至關(guān)重要(可用于開發(fā)能夠自動(dòng)適應(yīng)環(huán)境的系統(tǒng)). 比如，當(dāng)設(shè)計(jì)者缺少關(guān)于環(huán)境的全部信息時(shí)學(xué)習(xí)是一個(gè)很有用的系統(tǒng)構(gòu)建方法(可用于構(gòu)建人工方式很難實(shí)現(xiàn)或者很昂貴的系統(tǒng)).比如,將系統(tǒng)暴露在真實(shí)的環(huán)境中自我提升而不是直接構(gòu)建該系統(tǒng)。AI:MachineLearning26為什么要進(jìn)行機(jī)器學(xué)習(xí)？（續(xù)）從龐大的數(shù)據(jù)庫里發(fā)掘新信息(數(shù)據(jù)挖掘)。商場(chǎng)購(gòu)物數(shù)據(jù)分析(如：尿布和啤酒)醫(yī)學(xué)文本挖掘(如：偏頭痛和鈣)對(duì)于機(jī)器學(xué)習(xí)的研究可以幫助我們理解人類以及其他生物的學(xué)習(xí)方式。AI:MachineLearning27學(xué)習(xí)系統(tǒng)的評(píng)價(jià)實(shí)驗(yàn)在不同的基準(zhǔn)數(shù)據(jù)集上，采用交叉驗(yàn)證試驗(yàn)來比較各種不同的方法。收集評(píng)價(jià)系統(tǒng)性能的數(shù)據(jù)，如測(cè)試準(zhǔn)確率、訓(xùn)練時(shí)間、測(cè)試時(shí)間等。分析方法在統(tǒng)計(jì)顯著性上的不同。理論從數(shù)學(xué)上分析算法，為以下幾點(diǎn)提供理論支持：計(jì)算復(fù)雜性擬合訓(xùn)練數(shù)據(jù)的能力樣本復(fù)雜性(得到一個(gè)準(zhǔn)確的函數(shù)所需要的訓(xùn)練數(shù)據(jù)的個(gè)數(shù))AI:MachineLearning28S.J.RusselllandP.Norvig,“artificialintelligence:amodernapproach”.具有學(xué)習(xí)能力的智能系統(tǒng)的架構(gòu)AI:MachineLearning29學(xué)習(xí)機(jī)構(gòu)學(xué)習(xí)機(jī)構(gòu)的設(shè)計(jì)需要考慮：學(xué)習(xí)性能組件中的什么部分可利用什么反饋方式來學(xué)習(xí)這些部分怎樣表示性能組件？反饋類型: 監(jiān)督學(xué)習(xí):每一個(gè)輸入數(shù)據(jù)都有對(duì)應(yīng)的期望輸出非監(jiān)督學(xué)習(xí):沒有輸入數(shù)據(jù)的期望輸出強(qiáng)化學(xué)習(xí):通過獎(jiǎng)懲學(xué)習(xí)AI:MachineLearning30學(xué)習(xí)策略機(jī)械式學(xué)習(xí)

基于存儲(chǔ)的學(xué)習(xí)指導(dǎo)式學(xué)習(xí)

將外部指導(dǎo)者提供的知識(shí)形式轉(zhuǎn)化為可供執(zhí)行機(jī)構(gòu)直接使用的知識(shí)形式類比學(xué)習(xí)

利用不同領(lǐng)域知識(shí)的相似性AI:MachineLearning31學(xué)習(xí)策略（續(xù)）解釋學(xué)習(xí)

演繹和歸納相結(jié)合歸納學(xué)習(xí)

1.人工神經(jīng)網(wǎng)絡(luò)

2.統(tǒng)計(jì)學(xué)習(xí)

3.決策樹

4.聚類

監(jiān)督非監(jiān)督AI:MachineLearning32機(jī)械式學(xué)習(xí)學(xué)習(xí)==存儲(chǔ)？存儲(chǔ)問題的解，當(dāng)遇到相同的問題時(shí)進(jìn)行檢索。存儲(chǔ)和計(jì)算的權(quán)衡AI:MachineLearning33PartⅡ:監(jiān)督學(xué)習(xí)AI:MachineLearning342.1什么是監(jiān)督學(xué)習(xí)？最簡(jiǎn)單的形式:根據(jù)輸入數(shù)據(jù)學(xué)習(xí)一個(gè)函數(shù)f

是目標(biāo)函數(shù)

一個(gè)數(shù)據(jù)是一個(gè)(x,f(x))對(duì)

問題:給定一個(gè)訓(xùn)練數(shù)據(jù)集，找到一個(gè)函數(shù)h，以使

h≈fAI:MachineLearning35監(jiān)督學(xué)習(xí)方法構(gòu)造

h，使h在訓(xùn)練數(shù)據(jù)集上與f

吻合(如果對(duì)于所有的數(shù)據(jù)，h都與f吻合，則h與f是一致的。)如：

曲線擬合:AI:MachineLearning36監(jiān)督學(xué)習(xí)方法構(gòu)造

h，使h在訓(xùn)練數(shù)據(jù)集上與f

吻合(如果對(duì)于所有的數(shù)據(jù)，h都與f吻合，則h與f是一致的。)如：

曲線擬合:AI:MachineLearning37監(jiān)督學(xué)習(xí)方法構(gòu)造

h，使h在訓(xùn)練數(shù)據(jù)集上與f

吻合(如果對(duì)于所有的數(shù)據(jù)，h都與f吻合，則h與f是一致的。)如：

曲線擬合:AI:MachineLearning38監(jiān)督學(xué)習(xí)方法構(gòu)造

h，使h在訓(xùn)練數(shù)據(jù)集上與f

吻合(如果對(duì)于所有的數(shù)據(jù)，h都與f吻合，則h與f是一致的。)如：

曲線擬合:AI:MachineLearning39監(jiān)督學(xué)習(xí)方法構(gòu)造

h，使h在訓(xùn)練數(shù)據(jù)集上與f

吻合(如果對(duì)于所有的數(shù)據(jù)，h都與f吻合，則h與f是一致的。)如：

曲線擬合:AI:MachineLearning40監(jiān)督學(xué)習(xí)方法構(gòu)造

h，使h在訓(xùn)練數(shù)據(jù)集上與f

吻合(如果對(duì)于所有的數(shù)據(jù)，h都與f吻合，則h與f是一致的。)如：

曲線擬合:奧坎木剃刀:優(yōu)先選擇符合數(shù)據(jù)的最簡(jiǎn)單模型AI:MachineLearning41PartⅢ:非監(jiān)督學(xué)習(xí)：聚類AI:MachineLearning424.1什么是聚類？典型的非監(jiān)督學(xué)習(xí)只給出輸入數(shù)據(jù)，不給出期待的輸出根據(jù)數(shù)據(jù)之間的相似性，將數(shù)據(jù)分成幾個(gè)簇的過程。發(fā)現(xiàn)數(shù)據(jù)組并鑒別出數(shù)據(jù)中令人感興趣的數(shù)據(jù)分布AI:MachineLearning434.2劃分聚類方法根據(jù)給定的標(biāo)準(zhǔn)，把數(shù)據(jù)集劃分成k個(gè)子集（簇）。在所有可能的劃分中搜索最優(yōu)的劃分。

盲目搜索

啟發(fā)式搜索

AI:MachineLearning44總結(jié)學(xué)習(xí)是一個(gè)系統(tǒng)通過經(jīng)驗(yàn)來提高性能的過程。有學(xué)習(xí)能力的智能系統(tǒng)的四個(gè)要素：

評(píng)價(jià)機(jī)構(gòu),環(huán)境機(jī)構(gòu),執(zhí)行機(jī)構(gòu),學(xué)習(xí)機(jī)構(gòu)AI:MachineLearning