人工智能技術(shù)導(dǎo)論 課件 02 機(jī)器學(xué)習(xí)

第二章機(jī)器學(xué)習(xí)本章目標(biāo)了解機(jī)器學(xué)習(xí)的應(yīng)用領(lǐng)域掌握機(jī)器學(xué)習(xí)的分類掌握機(jī)器學(xué)習(xí)的流程掌握機(jī)器學(xué)習(xí)的算法理解機(jī)器學(xué)習(xí)的意義2.1機(jī)器學(xué)習(xí)簡介人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)三者之間的關(guān)系人工智能是目標(biāo)，機(jī)器學(xué)習(xí)是手段，深度學(xué)習(xí)是方法。2.1.1機(jī)器學(xué)習(xí)定義

機(jī)器學(xué)習(xí)就是一種通過計(jì)算機(jī)系統(tǒng)利用數(shù)據(jù)進(jìn)行自動(dòng)學(xué)習(xí)的方法。目標(biāo)就是要讓計(jì)算機(jī)系統(tǒng)通過不斷學(xué)習(xí)和優(yōu)化，從數(shù)據(jù)中發(fā)現(xiàn)規(guī)律、提取特征，并能夠在未來的數(shù)據(jù)中做出智能決策。定義一：湯姆·米切爾給出機(jī)器學(xué)習(xí)一個(gè)具象化定義假設(shè)用P（Performace）來評估計(jì)算機(jī)程序在某類任務(wù)T（Task）上的性能，若一個(gè)程序通過利用經(jīng)驗(yàn)E（Experience）在T中任務(wù)上獲得了性能改善，則我們就說關(guān)于T和P，該程序?qū)進(jìn)行了學(xué)習(xí)。定義二：Nvidia給出機(jī)器學(xué)習(xí)定義最基本的機(jī)器學(xué)習(xí)是使用算法解析數(shù)據(jù)，從中學(xué)習(xí)，然后對世界上某事做出決定或預(yù)測的做法。定義三：斯坦福給出機(jī)器學(xué)習(xí)定義機(jī)器學(xué)習(xí)是讓計(jì)算機(jī)在沒有明確編程的情況下采取行動(dòng)的科學(xué)。定義四：麥肯錫公司給出機(jī)器學(xué)習(xí)定義機(jī)器學(xué)習(xí)基于可以從數(shù)據(jù)中學(xué)習(xí)而不依賴于基于規(guī)則的編程的算法。定義五：卡內(nèi)基梅隆大學(xué)給出機(jī)器學(xué)習(xí)定義機(jī)器學(xué)習(xí)領(lǐng)域旨在回答這樣一個(gè)問題：”我們?nèi)绾谓⒛軌蚋鶕?jù)經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)系統(tǒng)，以及管理所有學(xué)習(xí)過程的基本法則是什么？“2.1.1機(jī)器學(xué)習(xí)定義

機(jī)器學(xué)習(xí)使用大量的數(shù)據(jù)來“訓(xùn)練”，通過各種算法從數(shù)據(jù)中學(xué)習(xí)如何完成任務(wù)。

機(jī)器學(xué)習(xí)通過算法，使得機(jī)器能夠從大量歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，并利用規(guī)律對新的樣本做智能識別或?qū)ξ磥碜鲱A(yù)測。2.1.1機(jī)器學(xué)習(xí)定義

機(jī)器學(xué)習(xí)與人類學(xué)習(xí)的對應(yīng)關(guān)系

“人類的經(jīng)驗(yàn)”對應(yīng)于“機(jī)器的歷史數(shù)據(jù)”，“人類通過經(jīng)驗(yàn)歸納出的規(guī)律”對應(yīng)于“機(jī)器通過歷史數(shù)據(jù)訓(xùn)練出來的模型”，“人類利用規(guī)律解決新問題并預(yù)測未來”對應(yīng)于“機(jī)器利用模型預(yù)測新數(shù)據(jù)對應(yīng)的結(jié)果”。通過這樣的對應(yīng)可以發(fā)現(xiàn)，機(jī)器學(xué)習(xí)的思想并不復(fù)雜，僅僅是對人類在生活中學(xué)習(xí)、成長過程的一種模擬。2.1.2機(jī)器學(xué)習(xí)發(fā)展史知識推理期始于20世紀(jì)50年代中期，這時(shí)的人工智能主要通過專家系統(tǒng)賦予計(jì)算機(jī)邏輯推理能力，赫伯特·西蒙和艾倫·紐厄爾實(shí)現(xiàn)的自動(dòng)定理證明了邏輯學(xué)家拉賽爾（Russell）和懷特黑德（Whitehead）編寫的《數(shù)學(xué)原理》中的52條定理。20世紀(jì)70年代開始，人工智能進(jìn)入知識工程期，費(fèi)根鮑姆作為“知識工程之父”在1994年獲得了圖靈獎(jiǎng)。2006年，辛頓發(fā)表了深度信念網(wǎng)絡(luò)論文，本希奧等人發(fā)表了論文“GreedyLayer-WiseTrainingofDeepNetworks”（深層網(wǎng)絡(luò)的貪婪層智慧訓(xùn)練），楊立昆團(tuán)隊(duì)發(fā)表了論文“EfficientLearningofSparseRepresentationswithanEnergy-BasedModel”（基于能量模型的稀疏表示的高效學(xué)習(xí)），標(biāo)志著人工智能進(jìn)入了深層網(wǎng)絡(luò)的實(shí)踐階段。

機(jī)器學(xué)習(xí)的發(fā)展可分為知識推理期、知識工程期、淺層學(xué)習(xí)和深度學(xué)習(xí)幾個(gè)階段。在20世紀(jì)50年代，機(jī)器學(xué)習(xí)的研究代表性工作主要是羅森布拉特《基于神經(jīng)感知科學(xué)提出的計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)（即感知機(jī)）》。在隨后的10年中，淺層學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)曾經(jīng)風(fēng)靡一時(shí)，特別是馬文·明斯基提出了著名的XOR問題和感知機(jī)線性不可分的問題。k近鄰（K-NearestNeighbor，KNN）等算法的相繼提出，淺層模型在模型理解、準(zhǔn)確率、模型訓(xùn)練等方面被超越。云計(jì)算和GPU（GraphicsProcessingUnit，圖形處理單元）并行計(jì)算為深度學(xué)習(xí)的發(fā)展提供了基礎(chǔ)保障。2.1.2機(jī)器學(xué)習(xí)發(fā)展史

機(jī)器學(xué)習(xí)算法理論大致演變過程機(jī)器學(xué)習(xí)階段年份主要成果代表人物人工智能起源1936自動(dòng)機(jī)模型理論阿蘭·圖靈（AlanTuring）1943MP(McCulloch-Pitts)模型（神經(jīng)元模型）沃倫·麥卡洛克（WarrenMcCulloch）、沃爾特·皮茨(WalterPitts)1951符號演算約翰·馮·諾依曼（JohnvonNeumann）1956人工智能約翰·麥卡錫（JohnMcCarthy）、馬文·明斯基（MarvinMinsky）、克勞德·香農(nóng)（ClaudeShannon）人工智能初期1958LISP約翰·麥卡錫1962感知機(jī)收斂理論弗蘭克·羅森布拉特（FrankRosenblatt）1972GPS(General-ProblemSolver,通用問題求解程序）艾倫·紐厄爾（AllenNewell）赫伯特·西蒙（HerbertSimon)1975框架知識表示馬文·明斯基進(jìn)化計(jì)算1965進(jìn)化策略英戈·雷興貝格（IngoRechenberg）1975遺傳算法約翰·霍蘭（JohnHolland）1992基因計(jì)算約翰·科扎（JohnKoza）

專家系統(tǒng)和知識工程1965模糊邏輯、模糊集盧特菲·扎德（LotfiZadeh）1969DENDRAL、MYCIN愛德華·費(fèi)根鮑姆（EdwardFeigenbaum）、布魯斯·布坎南（BruceBuchanan）、約書亞·萊德伯格（JoshuaLederberg)1979ROSPECTOR杜達(dá)（Duda）神經(jīng)網(wǎng)絡(luò)1982霍普菲爾德神經(jīng)網(wǎng)絡(luò)約翰·霍普菲爾德（JohnHopfield）1982自組織網(wǎng)絡(luò)圖沃·科霍寧（TeuvoKohonen）1986BP算法魯姆哈特（Rumelhart）、麥克萊蘭（McClelland）1989LeNet楊立昆（YannLeCun）1997RNN(RecurrentNeuralNetwork,循環(huán)神經(jīng)網(wǎng)絡(luò)）、LSTM（LongShort-TermMemory，長短期記憶）

澤普·霍赫賴特（SeppHochreiter）、尤爾根·施米德胡貝（JurgenSchmidhuber）1998CNN(ConvolutionalNeuralNetwork，卷積神經(jīng)網(wǎng)絡(luò)） 楊立昆機(jī)器學(xué)習(xí)階段年份主要成果代表人物分類算法1986ID3（IterativeDichotomiser3，迭代二叉樹3代）算法羅斯·昆蘭（RossQuinlan）1988Boosting算法約夫·弗雷德（YoavFreund）、邁克爾·卡恩斯（MichaelKearns)1993C4.5算法羅斯·昆蘭1995AdaBoost算法弗雷德、羅伯特·夏普（RobertSchapire）1995支持向量機(jī)科琳娜·科爾特斯（CorinnaCortes）、萬普尼克（Vapnik）2001隨機(jī)森林利奧·布賴曼（LeoBreiman）、阿黛爾·卡特勒（AdeleCutler）深度學(xué)習(xí)2006深度信念網(wǎng)絡(luò)杰弗里·辛頓（GeoffreyHinton）2012谷歌大腦吳恩達(dá)（AndrewNg）2014GAN(GenerativeAdversarialNetwork，生成對抗網(wǎng)絡(luò)）伊恩·古德費(fèi)洛（IanGoodfellow）2014注意力機(jī)制約書亞·本希奧（YoshuaBengio）2014VGG/GoolgleNet牛津大學(xué)和克里斯蒂安·塞格迪（ChristianSzegedy）2015ResNet何愷明等2017Transformer谷歌（Google）公司2018BERT(BidirectionalEncoderRepresentationsfromTransformers,基于轉(zhuǎn)換器的雙向編碼表征）谷歌公司2.1.3機(jī)器學(xué)習(xí)的應(yīng)用領(lǐng)域1.數(shù)據(jù)分析與挖掘2.計(jì)算機(jī)視覺3.自然語言處理4.語音識別

數(shù)據(jù)分析與挖掘技術(shù)是機(jī)器學(xué)習(xí)算法和數(shù)據(jù)存取技術(shù)的結(jié)合，是利用機(jī)器學(xué)習(xí)提供的統(tǒng)計(jì)分析、知識發(fā)現(xiàn)等手段分析，從大量的業(yè)務(wù)數(shù)據(jù)中挖掘隱藏、有用的、正確的知識促進(jìn)決策的執(zhí)行。計(jì)算機(jī)視覺的主要技術(shù)基礎(chǔ)是圖像處理和機(jī)器學(xué)習(xí)。自然語言處理是讓機(jī)器理解人類語言的一門技術(shù)。語音識別是利用自然語言處理、機(jī)器學(xué)習(xí)等相關(guān)技術(shù)識別人類語言的技術(shù)。1.1.3人工智能起源和發(fā)展

機(jī)器學(xué)習(xí)是人工智能的重要研究方向，它包含著豐富的知識體系，因此按照一定的規(guī)則對其進(jìn)行細(xì)分顯得尤為必要。60年代，星際迷航80年代，終結(jié)者21世紀(jì)，人工智能2.2.1機(jī)器學(xué)習(xí)分類?機(jī)器學(xué)習(xí)的主要分類有兩種：

基于學(xué)習(xí)方式的分類和基于學(xué)習(xí)任務(wù)的分類。?根據(jù)學(xué)習(xí)方式的不同可分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。?根據(jù)學(xué)習(xí)任務(wù)的不同可分為分類、回歸、聚類和降維。

機(jī)器學(xué)習(xí)

強(qiáng)化學(xué)習(xí)

無監(jiān)督學(xué)習(xí)

降維

聚類

回歸

分類

監(jiān)督學(xué)習(xí)

不同的分類方式彼此又存在著聯(lián)系，分類和回歸屬于監(jiān)督學(xué)習(xí)，而聚類和降維屬于無監(jiān)督學(xué)習(xí)。2.2.2機(jī)器學(xué)習(xí)基本術(shù)語1)模型

模型是機(jī)器學(xué)習(xí)中的核心概念。2)數(shù)據(jù)集

數(shù)據(jù)集就是樣本的集合。3)樣本&特征

樣本指的是數(shù)據(jù)集中的數(shù)據(jù)，一行數(shù)據(jù)被稱為“一個(gè)樣本”，一個(gè)樣本包含一個(gè)或多個(gè)特征。一行一樣本，一列一特征2.2.2機(jī)器學(xué)習(xí)基本術(shù)語4)向量“向量”是機(jī)器學(xué)習(xí)的關(guān)鍵術(shù)語。5）矩陣矩陣是一個(gè)常用的數(shù)學(xué)術(shù)語，可以把矩陣看成由向量組成的二維數(shù)組，數(shù)據(jù)集就是以二維矩陣的形式存儲(chǔ)數(shù)據(jù)的。6）假設(shè)函數(shù)和損失函數(shù)

假設(shè)函數(shù)和損失函數(shù)并非某個(gè)模塊下的函數(shù)方法，而是根據(jù)實(shí)際應(yīng)用場景確定的一種函數(shù)形式，就像解決數(shù)學(xué)的應(yīng)用題目一樣，根據(jù)題意寫出解決問題的方程組。2.2.2機(jī)器學(xué)習(xí)基本術(shù)語①假設(shè)函數(shù)

假設(shè)函數(shù)（HypothesisFunction）可表述為：

y=f(x)

其中x表示輸入數(shù)據(jù)，而y表示輸出的預(yù)測結(jié)果。2.2.2機(jī)器學(xué)習(xí)基本術(shù)語②損失函數(shù)

損失函數(shù)（LossFunction）又叫目標(biāo)函數(shù)，簡寫為L(x)，x是假設(shè)函數(shù)得出的預(yù)測結(jié)果“Y”。

?L(x)的返回值越大表示預(yù)測結(jié)果與實(shí)際偏差越大，越小則證明預(yù)測值越“逼近”真實(shí)值，這就是機(jī)器學(xué)習(xí)的最終目的。

損失函數(shù)就像一個(gè)度量尺，通過“假設(shè)函數(shù)”預(yù)測結(jié)果的優(yōu)劣，做出相應(yīng)的優(yōu)化策略。2.2.2機(jī)器學(xué)習(xí)基本術(shù)語③優(yōu)化方法“優(yōu)化方法”可以理解為假設(shè)函數(shù)和損失函數(shù)之間的溝通橋梁。

f(x)假設(shè)函數(shù)

L(x)損失函數(shù)

輸入數(shù)據(jù)通過L(x)可以得知假設(shè)函數(shù)輸出的預(yù)測結(jié)果與實(shí)際值的偏差值，當(dāng)該值較大時(shí)就需要對其做出相應(yīng)的調(diào)整，這個(gè)調(diào)整的過程叫做“參數(shù)優(yōu)化”。輸出預(yù)測結(jié)果輸出“偏差值”優(yōu)化方法2.2.2機(jī)器學(xué)習(xí)基本術(shù)語7）擬合、過擬合和欠擬合欠擬合過擬合擬合2.2.3機(jī)器學(xué)習(xí)流程問題定義數(shù)據(jù)準(zhǔn)備模型選擇與開發(fā)模型訓(xùn)練和調(diào)優(yōu)模型評估測試一個(gè)完整的機(jī)器學(xué)習(xí)流程包括：

問題定義、數(shù)據(jù)準(zhǔn)備、模型選擇與開發(fā)、模型訓(xùn)練和調(diào)優(yōu)、模型評估測試等5個(gè)步驟。

分析問題，確定問題的類型。分析它是監(jiān)督學(xué)習(xí)還是無監(jiān)督學(xué)習(xí)，是分類問題還是回歸問題等。

數(shù)據(jù)采集，數(shù)據(jù)預(yù)處理，特征提取，數(shù)據(jù)集拆分。

模型的作用是根據(jù)輸入的特征給出輸出的結(jié)果。選擇合適的機(jī)器學(xué)習(xí)算法模型，編寫對應(yīng)的模型代碼。

使用數(shù)據(jù)集對模型進(jìn)行訓(xùn)練，調(diào)整模型參數(shù)，得到一個(gè)最優(yōu)的函數(shù)，然后將待預(yù)測的特征自變量輸入模型即可得到預(yù)測的結(jié)果。

對訓(xùn)練好的模型進(jìn)行評估和測試，驗(yàn)證模型是否滿足業(yè)務(wù)需求。2.2.4機(jī)器學(xué)習(xí)常用算法這些算法可以使用Python中的scikit-learn中內(nèi)置的相應(yīng)函數(shù)實(shí)現(xiàn)。機(jī)器學(xué)習(xí)常用的算法有K近鄰、線性回歸、邏輯回歸、樸素貝葉斯、決策樹、支持向量機(jī)、K均值聚類等。2.2.4機(jī)器學(xué)習(xí)常用算法1.K近鄰（K-NearestNeighbor，KNN）

K近鄰算法的核心思想就是距離的比較，即離誰近，就和誰屬于同一分類。依據(jù)

K近鄰算法，假設(shè)K代表鄰居的個(gè)數(shù)：?如果K=3，圓點(diǎn)最鄰近的3個(gè)鄰居是2個(gè)小三角形和1個(gè)小正方形，少數(shù)從服多數(shù)，基于統(tǒng)計(jì)的方法，判定圓點(diǎn)屬于三角形一類。?如果K=5，圓點(diǎn)最鄰近的5個(gè)鄰居是2個(gè)三角形和3個(gè)正方形，少數(shù)服從多數(shù)，基于統(tǒng)計(jì)的方法，判定圓點(diǎn)屬于正方形一類。在KNN算法中，所選擇的鄰居都是已經(jīng)正確分類的對象，對于新來的待分樣本，只要找到離它最近的K個(gè)實(shí)例，按照少數(shù)服從多數(shù)原則，哪個(gè)類別多就把它歸為哪一類。2.2.4機(jī)器學(xué)習(xí)常用算法2.線性回歸（LinearRegression）

線性回歸是一種用于建立變量之間線性關(guān)系的監(jiān)督學(xué)習(xí)算法。它通過擬合一條直線來最小化預(yù)測值與實(shí)際值的差距。如果預(yù)測的變量是離散的，稱之為分類；如果預(yù)測的變量是連續(xù)的，稱之為回歸。線性回歸假設(shè)目標(biāo)值與特征之間線性相關(guān)，即滿足一個(gè)多元一次方程。在二維空間中，通過擬合一條直線建立自變量與因變量之間的關(guān)系，在三維空間中則擬合一個(gè)平面。

表示樣本，表示每個(gè)樣本都有個(gè)特征，其中是在第個(gè)特征上的取值。表示樣本，每個(gè)樣本都有個(gè)特征。2.2.4機(jī)器學(xué)習(xí)常用算法3.邏輯回歸（LogisticRegression）邏輯回歸是一種用于處理分類問題的監(jiān)督學(xué)習(xí)算法。盡管名字中帶有“回歸”，但實(shí)際上邏輯回歸是一種分類算法。二分類的邏輯回歸的本質(zhì)是用一個(gè)映射函數(shù)Sigmoid將一個(gè)線性模型得到的連續(xù)結(jié)果映射到離散模型上。邏輯回歸的目的就是尋找一個(gè)非線性函數(shù)Sigmoid的最佳擬合參數(shù)，求解過程可以由最優(yōu)化算法來完成。Sigmoid函數(shù)也稱邏輯函數(shù)，該函數(shù)公式：

由Sigmoid函數(shù)的圖像知：當(dāng)z趨近于無窮大時(shí)，

趨近于1；當(dāng)z趨近于無窮小時(shí)，

趨近于0。的值映射到（0，1）。當(dāng)z趨近于無窮大時(shí)，趨近于1；當(dāng)z趨近于無窮小時(shí)，趨近于0。2.2.4機(jī)器學(xué)習(xí)常用算法4.樸素貝葉斯（NaiveBayes）

樸素貝葉斯是一種基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類算法。它假設(shè)所有特征相互獨(dú)立、互不影響，每個(gè)特征同等重要。樸素貝葉斯算法是以貝葉斯定理為基礎(chǔ)并且假設(shè)特征條件之間相互獨(dú)立的方法，先通過已給定的訓(xùn)練集，以特征詞之間獨(dú)立作為前提假設(shè)，學(xué)習(xí)從輸入到輸出的聯(lián)合概率分布，再基于學(xué)習(xí)到的模型，輸入x求出使得后驗(yàn)概率最大的輸出y。貝葉斯定理是描述隨機(jī)事件A和B的條件概率（或邊緣概率）的一則定理：由于

的大小是固定不變的，因此在比較后驗(yàn)概率時(shí)，只比較上式的分子部分即可。因此可以得到一個(gè)樣本數(shù)據(jù)屬于類別

的樸素貝葉斯計(jì)算式：2.2.4機(jī)器學(xué)習(xí)常用算法5.決策樹（DecisionTree）決策樹是一種基于樹狀結(jié)構(gòu)進(jìn)行決策的算法，它是一種監(jiān)督學(xué)習(xí)，可用于分類和回歸問題。決策樹是在已知各種情況發(fā)生概率的基礎(chǔ)上，通過構(gòu)成決策樹來求取凈現(xiàn)值的期望值大于等于零的概率，評價(jià)項(xiàng)目風(fēng)險(xiǎn)，判斷其可行性的決策分析方法，是直觀運(yùn)用概率分析的一種圖解法。由于這種決策分支畫成圖形很像一棵樹的枝干，故稱決策樹。2.2.4機(jī)器學(xué)習(xí)常用算法6.支持向量機(jī)（SupportVectorMachine，SVM）支持向量機(jī)是一種監(jiān)督機(jī)器學(xué)習(xí)算法，可用于分類或回歸任務(wù)。支持向量機(jī)使用一種稱為內(nèi)核技巧的技術(shù)來轉(zhuǎn)換數(shù)據(jù)，然后基于這些轉(zhuǎn)換找到可能輸出之間的最佳邊界。也就是找到一個(gè)超平面，最大化樣本點(diǎn)到該超平面的間隔。如何將圓點(diǎn)數(shù)據(jù)與五角星數(shù)據(jù)進(jìn)行分割？SVM的核函數(shù)能夠?qū)?shù)據(jù)從二維空間投射至高維空間。?如果將二維空間變成三維空間，如果圓點(diǎn)泡泡上浮，五角星下沉，這樣就可以在浮起的圓點(diǎn)數(shù)據(jù)和沉下的五角星數(shù)據(jù)之間找到一個(gè)超平面將兩類數(shù)據(jù)進(jìn)行分割。2.2.4機(jī)器學(xué)習(xí)常用算法7.K均值聚類（K-MeansClustering）聚類算法是指將一堆沒有標(biāo)簽的數(shù)據(jù)自動(dòng)劃分成幾類的方法，屬于無監(jiān)督學(xué)習(xí)方法。1）k值如何確定？

采用“肘”方法（elbowmethod）確定k值。2）初始的k個(gè)質(zhì)心怎么選？

第一種方法是選擇彼此距離最遠(yuǎn)的點(diǎn)，先選第一個(gè)點(diǎn)；然后選離第一個(gè)點(diǎn)最遠(yuǎn)的點(diǎn)當(dāng)?shù)诙€(gè)點(diǎn)；再選第三個(gè)點(diǎn)，第三個(gè)點(diǎn)到第一、第二兩點(diǎn)的距離之和最大；以此類推，直到選出k個(gè)質(zhì)心。第二種方法是先根據(jù)其他聚類算法得到聚類結(jié)果，再從結(jié)果中的每個(gè)分類選一個(gè)點(diǎn)。K-Means算法關(guān)鍵：2.2.4機(jī)器學(xué)習(xí)常用算法8.隨機(jī)森林（RandomForest）隨機(jī)森林是一種集成學(xué)習(xí)方法，通過組合多個(gè)決策樹來進(jìn)行預(yù)測。每個(gè)決策樹都是在不同的數(shù)據(jù)子集上訓(xùn)練的，同時(shí)引入了隨機(jī)性，使得每棵樹都有差異。2.3深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)可以理解成用深度神經(jīng)網(wǎng)絡(luò)（DNN，DeepNeuralNetwork）來進(jìn)行機(jī)器學(xué)習(xí)。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，含多個(gè)隱藏層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。2.3.1深度學(xué)習(xí)（DL，DeepLearning）深度學(xué)習(xí)從字面理解包含兩個(gè)意思，“深度”和“學(xué)習(xí)”。為了模擬人腦中的“學(xué)習(xí)策略”和“學(xué)習(xí)方法”。學(xué)術(shù)界研究出使用計(jì)算機(jī)去模擬這一學(xué)習(xí)過程的方法，被稱為“神經(jīng)網(wǎng)絡(luò)”。1)學(xué)習(xí)學(xué)習(xí)就是一個(gè)認(rèn)知的過程，從學(xué)習(xí)未知開始，到對已知的總結(jié)、歸納、思考與探索。

“神經(jīng)網(wǎng)絡(luò)”這個(gè)詞從字面上看和人腦有著一點(diǎn)關(guān)系。在人腦中負(fù)責(zé)活動(dòng)的基本單元是“神經(jīng)元”，它以細(xì)胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細(xì)胞。人腦中含有上百億個(gè)神經(jīng)元，而這些神經(jīng)元互相連接成一個(gè)更龐大的結(jié)構(gòu)，稱為“神經(jīng)網(wǎng)絡(luò)”。2.3.1深度學(xué)習(xí)（DL，DeepLearning）深度學(xué)習(xí)從字面理解包含兩個(gè)意思，“深度”和“學(xué)習(xí)”。

深度學(xué)習(xí)是一個(gè)復(fù)雜的機(jī)器學(xué)習(xí)算法，其模型使用包含大量層的神經(jīng)網(wǎng)絡(luò)。它是人為地使用不同層次不同任務(wù)目標(biāo)的“分層”神經(jīng)元，去模擬整個(gè)輸入、輸出過程的一種手段。2)深度

input_layer是輸入層，hidden_layer_1到hidden_layer_n是隱藏層，output_layer是輸出層。深度指的是隱藏的層數(shù)。2.3.1深度學(xué)習(xí)（DL，DeepLearning）深度學(xué)習(xí)模型：主要的思想就是模擬人的神經(jīng)元，每個(gè)神經(jīng)元接收到信息，處理完后傳遞給與之相鄰的所有神經(jīng)元。?卷積神經(jīng)網(wǎng)絡(luò)（convolutionalneuralnetwork，CNN）?深度置信網(wǎng)絡(luò)（deepbelievenet，DBN）?堆棧自編碼網(wǎng)絡(luò)（stackedauto-encodernetwork，SAEN）模型2.3.2神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)技術(shù)起源于20世紀(jì)50年代到20世紀(jì)60年代，經(jīng)過許多科學(xué)家的努力，人腦神經(jīng)元的這種處理信息模式最終演化為神經(jīng)元模型，也叫感知機(jī)（perceptron）。它是一種多輸入、單輸出的非線性閾值器件，包含輸入層、輸出層和一個(gè)隱藏層。

在一個(gè)神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最小單元，如果一個(gè)神經(jīng)元的輸出等于n個(gè)輸入的加權(quán)和，則網(wǎng)絡(luò)模型是一個(gè)線性輸出。在每個(gè)神經(jīng)元加權(quán)求和后經(jīng)過一個(gè)激活函數(shù)（ActivationFunction），則引入了非線性因素，神經(jīng)網(wǎng)絡(luò)就可以應(yīng)用到任意非線性模型中。2.3.2神經(jīng)網(wǎng)絡(luò)1．神經(jīng)網(wǎng)絡(luò)的原理2.3.2神經(jīng)網(wǎng)絡(luò)1．神經(jīng)網(wǎng)絡(luò)的原理

神經(jīng)網(wǎng)絡(luò)中，每一層都有不同的神經(jīng)元，且每個(gè)神經(jīng)元都會(huì)接收來自上一層神經(jīng)元的信號，并且產(chǎn)生新的輸出信號傳到下一層神經(jīng)元中。神經(jīng)元接收上一層的輸入并輸出到下一層的方式被稱為前向傳播，這種神經(jīng)網(wǎng)絡(luò)被稱為前饋神經(jīng)網(wǎng)絡(luò)或多層感知器（multilayerperceptron，MLP）。1）神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)2.3.2神經(jīng)網(wǎng)絡(luò)2）激活函數(shù)

神經(jīng)網(wǎng)絡(luò)能解決復(fù)雜問題的能力主要取決于網(wǎng)絡(luò)所采用的激活函數(shù)。

激活函數(shù)決定該神經(jīng)元接收輸入與偏差信號以何種方式輸出，輸入通過激活函數(shù)轉(zhuǎn)換為輸出。

常用的3種激活函數(shù)：2.3.2神經(jīng)網(wǎng)絡(luò)2.神經(jīng)網(wǎng)絡(luò)的決策1）決策因素2）權(quán)重設(shè)置3）設(shè)定閾值4）加入偏置項(xiàng)b思政小課堂：向著建設(shè)世界科技強(qiáng)國的偉大目標(biāo)奮勇前進(jìn)“中國要強(qiáng)盛、要復(fù)興，就一定要大力發(fā)展科學(xué)技術(shù)，努力成為世界主要科學(xué)中心和創(chuàng)新高地?！敝泄仓醒肟倳?、國家主席、中央軍委主席習(xí)近平在中國科學(xué)院第十九次院士大會(huì)、中國工程院第十四次院士大會(huì)上的重要講話是新時(shí)代建設(shè)世界科技強(qiáng)國的新的“動(dòng)員令”。從“向科學(xué)進(jìn)軍”到“迎來創(chuàng)新的春天”，從“占有一席之地”到“成為具有重要影響力的科技大國”……中國創(chuàng)新的旋律越來越激越、昂揚(yáng)。“只有把關(guān)鍵核心技術(shù)掌握在自己手中，才能從根本上保障國家經(jīng)濟(jì)安全、國防安全和其他安全?！敝袊茀f(xié)黨組書記懷進(jìn)鵬院士說，要以關(guān)鍵共性技術(shù)、前沿引領(lǐng)技術(shù)、現(xiàn)代工程技術(shù)、顛覆性技術(shù)創(chuàng)新為突破口，敢于走前人沒走過的路，努力實(shí)現(xiàn)關(guān)鍵核心技術(shù)自主可控。參加大會(huì)的兩院院士和科技工作者表示，要認(rèn)真學(xué)習(xí)領(lǐng)會(huì)習(xí)近平總書記的重要講話精神，肩負(fù)起歷史賦予的重任，勇做新時(shí)代科技創(chuàng)新的排頭兵，努力建設(shè)世界科技強(qiáng)國。2.3.2神經(jīng)網(wǎng)絡(luò)思政小課堂：中國在機(jī)器學(xué)習(xí)領(lǐng)域的突破浙江大學(xué)控制學(xué)院智能駕駛與未來交通中心主任、教授劉勇在中國人工智能大會(huì)上強(qiáng)調(diào)，近年來，隨著傳感器技術(shù)和SLAM理論的突破，自主移動(dòng)機(jī)器人已經(jīng)從研究邁向市場應(yīng)用，涉及的領(lǐng)域包括無人駕駛、智慧城市、腿足機(jī)器人、火星車等等。谷歌、蘋果、Met