人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件

人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第七講深度學(xué)習(xí)主講人:方濤人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用1第七講深度學(xué)習(xí)主講內(nèi)容§7.1研究背景§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)§7.3幾種典型的深度學(xué)習(xí)模型§7.4開源深度學(xué)習(xí)框架§7.5深度學(xué)習(xí)的未來第七講深度學(xué)習(xí)2571研究背景2019年--人工智能(AI)莫基60周年約翰·麥卡錫(1927-201)sP之父一不走尋常路的常識(shí)邏輯學(xué)家1956年,約翰麥卡錫召集了一次會(huì)議來討論人工智能末來的發(fā)展方向,開啟了A的發(fā)展21世紀(jì)初,深度學(xué)習(xí)”的出現(xiàn),A研究獲得了長足的進(jìn)步?jīng)]有大數(shù)據(jù),沒有“大計(jì)算”,就沒有人工智能的今天!571研究背景3571研究背景MarvinMinsky人工智能之父和框架理論的創(chuàng)立者M(jìn)ITALLab創(chuàng)始人之1970年獲得圖靈獎(jiǎng)美國工程院和美國科學(xué)院院士1969:Perceptron(感知器)--神經(jīng)網(wǎng)絡(luò)的局限性(深度學(xué)習(xí)的前身在近60年的人工智能歷史中,馬文明斯基一直是一位閃耀著耀眼光彩的杰出的人工智能權(quán)威,是當(dāng)之無愧的人工智能」父。(李德毅院士)1927-2019明斯基在1950年進(jìn)入普林斯頓大學(xué)攻讀數(shù)學(xué)系的博士硏究生學(xué)位,比我晚一年。我們很快意識(shí)到,我們兩人都對(duì)人王智能很感興趣。事實(shí)上,當(dāng)時(shí)明斯基已經(jīng)對(duì)如何實(shí)現(xiàn)人工智能頗有想法了,這一點(diǎn)在之后他設(shè)計(jì)和建造的世界上第一個(gè)神經(jīng)網(wǎng)絡(luò)模擬器Snare上得到了證實(shí)JohnMcCarthy人工智能先驅(qū),LISP語言之父,圖靈獎(jiǎng)獲得者)571研究背景457I研究背景2019年阿爾法狗(AlphaGo)4:1大勝圍棋9段李世石高手,AI重大歷史時(shí)刻主要設(shè)計(jì)者--位于倫敦Google旗下DeepMind公司大衛(wèi)·席爾瓦(DavidSilver)-劍橋大學(xué)計(jì)算:機(jī)科學(xué)學(xué)士,顧士,加拿大間爾伯塔大學(xué)計(jì)算機(jī)科「學(xué)博士黃士杰(Aiahuang),臺(tái)澚交通大學(xué)計(jì)算機(jī)科學(xué)學(xué)一士,臺(tái)灣師范大學(xué)計(jì)算機(jī)科學(xué)碩士和博士,加拿大可爾伯塔大學(xué)計(jì)算機(jī)科學(xué)博士后“監(jiān)督學(xué)習(xí)的策略網(wǎng)絡(luò)(PolicyNetwork)通過13層全連接網(wǎng)絡(luò),反復(fù)訓(xùn)練圍棋棋盤布局,調(diào)整參數(shù),以最佳概率預(yù)測落子選擇(Movepicker),如何下棋子“價(jià)值網(wǎng)絡(luò)(Valuenetwork)給定棋子位置,預(yù)測每一個(gè)棋手贏棋的可能,就是計(jì)算局面57I研究背景557I研究背景專注于神經(jīng)網(wǎng)絡(luò)幾十年1985年,提出Boltzmann機(jī)1986年,提出受限Bo|tzmann機(jī)、BP算法2019年,提出神經(jīng)網(wǎng)絡(luò)進(jìn)行降維開啟了深度學(xué)習(xí)時(shí)代,并在隨后的mageNet圖片識(shí)別的比賽,取得了非常有說服力的結(jié)果一Geoffrey-.Hinton(74%->85%),震撼了學(xué)術(shù)界加拿大多倫多大學(xué)教授QHinton,Gandsalakhutdinov,R(2019).Reducingthedimensionalityofdatawithneuralnetworks.Science,3B3(9Hinton,G.E(2019).TrainingproductsofexpertsbyminimizingcontrastivedivergenceNeuralComp.,14(8):1771-1800QHinton,G.E,Dayan,P,Frey,B.J.,andNeal,R.M.(2019).Thewake-sleep._algorithmforunsupervisedneural-networks.Science,268:1158-1160QHinton,G.EandSejnowski,T.E.(1986).LearningandrelearninginBoltzmannmachines.InParallelDistributedProcessing,volumeI,pages282-317.MITPressoRumelhart,Hinton,Williams,LearningRepresentationsbyBack-propagatingerrors,Nature,1986,323(6088):533-53657I研究背景657I研究背景2019年6月,《紐約時(shí)報(bào)》披露了AndrewnGooglebrain.項(xiàng)目斯坦福大學(xué)教授用16000個(gè)CPUCorel的并行計(jì)算平臺(tái)訓(xùn)練一種稱為“深度大規(guī)模計(jì)算機(jī)系統(tǒng)方神經(jīng)網(wǎng)絡(luò)”(DNN,DeepNeuralNetworks)的機(jī)器學(xué)面的世界頂尖專家習(xí)模型(內(nèi)部共有10億個(gè)節(jié)點(diǎn))-effDean在語音識(shí)別和圖像識(shí)別等領(lǐng)獲得了巨大的成功57I研究背景757I研究背景2019年11月,微軟公開演示全自動(dòng)同聲傳譯系統(tǒng)深度學(xué)習(xí)講演者用英文演講,后臺(tái)的計(jì)算機(jī)一氣呵成自動(dòng)完成語音識(shí)別、英中機(jī)器翻譯和中文語音合成,效果非常流暢—一57I研究背景857I研究背景百度2019年1月,百度創(chuàng)始人兼CEO李彥宏高調(diào)宣布成立“深度學(xué)習(xí)研究所(IDL,InstitueofDeepLearning57I研究背景957I研究背景機(jī)器學(xué)習(xí)解決目標(biāo)識(shí)別與分類問題的思路Low-levelPre-Featureterencesensingprocessingextract.-FeatureselectionEpredictionrecognition三個(gè)主要組成部分FeatureLearningRepresentationalgorithmInputE.g,SIFT,HoG,etc.中間的特征提取部分將很大程度上決定最終的效果,如何提取特征?“巧婦難為無米之炊57I研究背景10人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件11人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件12人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件13人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件14人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件15人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件16人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件17人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件18人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件19人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件20人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件21人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件22人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件23人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件24人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件25人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件26人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件27人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件28人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件29人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件30人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件31人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件32人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件33人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件34人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件35人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件36人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件37人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件38人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件39人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件40人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件41人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件42人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件43人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件44人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)54張課件45人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)