深度學(xué)習(xí)Deep-Learning【精品PPT文檔】

1、深度學(xué)習(xí)Deep Learning目錄深度學(xué)習(xí)簡(jiǎn)介數(shù)學(xué)基礎(chǔ)機(jī)器學(xué)習(xí)簡(jiǎn)介感知器前饋神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)應(yīng)用深度學(xué)習(xí)概念機(jī)器學(xué)習(xí)（Machine Learning，ML）主要是研究如何使計(jì)算機(jī)從給定的數(shù)據(jù)中學(xué)習(xí)規(guī)律，即從觀測(cè)數(shù)據(jù)（樣本）中尋找規(guī)律，并利用學(xué)習(xí)到的規(guī)律（模型）對(duì)未知或無(wú)法觀測(cè)的數(shù)據(jù)進(jìn)行預(yù)測(cè)。目前，主流的機(jī)器學(xué)習(xí)算法是基于統(tǒng)計(jì)的方法，也叫統(tǒng)計(jì)機(jī)器學(xué)習(xí)。人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN），也簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)，是眾多機(jī)器學(xué)習(xí)算法中比較接近生物神經(jīng)網(wǎng)絡(luò)特性的數(shù)學(xué)模型。人工神經(jīng)網(wǎng)絡(luò)通過(guò)模擬生物神經(jīng)網(wǎng)絡(luò)（大腦）的結(jié)構(gòu)和功能，由大量的節(jié)點(diǎn)（或

2、稱“神經(jīng)元”，或“單元”）和之間相互聯(lián)接構(gòu)成，可以用來(lái)對(duì)數(shù)據(jù)之間的復(fù)雜關(guān)系進(jìn)行建模。深度學(xué)習(xí)概念2006 年，Hinton and Salakhutdinov 發(fā)現(xiàn)多層前饋神經(jīng)網(wǎng)絡(luò)可以先通過(guò)逐層預(yù)訓(xùn)練，再用反向傳播算法進(jìn)行精調(diào)的方式進(jìn)行有效學(xué)習(xí)。并且近年來(lái)計(jì)算機(jī)計(jì)算能力的提高（大規(guī)模并行計(jì)算，GPU），計(jì)算機(jī)已經(jīng)可以訓(xùn)練大規(guī)模的人工神經(jīng)網(wǎng)絡(luò)。隨著深度的人工神經(jīng)網(wǎng)絡(luò)在語(yǔ)音識(shí)別和圖像分類等任務(wù)上的巨大成功，越來(lái)越多的人開(kāi)始關(guān)注這一個(gè)“嶄新”的研究領(lǐng)域：深度學(xué)習(xí)。深度學(xué)習(xí)（Deep Learning，DL）是從機(jī)器學(xué)習(xí)中的人工神經(jīng)網(wǎng)絡(luò)發(fā)展出來(lái)的新領(lǐng)域。早期所謂的“深度”是指超過(guò)一層的神經(jīng)網(wǎng)絡(luò)。但隨著

3、深度學(xué)習(xí)的快速發(fā)展，其內(nèi)涵已經(jīng)超出了傳統(tǒng)的多層神經(jīng)網(wǎng)絡(luò)，甚至機(jī)器學(xué)習(xí)的范疇，逐漸朝著人工智能的方向快速發(fā)展。深度學(xué)習(xí)歷史1958 年Rosenblatt 感知器1969 年Minsky XOR1986 年Hinton、LeCun 人工神經(jīng)網(wǎng)絡(luò)（BP算法）1998 年LeCun 卷積神經(jīng)網(wǎng)絡(luò)2006 Hinton在DBN中提出了一種逐層預(yù)訓(xùn)練方法, 解決了梯度彌散問(wèn)題2008 Vincent等提出了降噪自編碼器2011 Rafir等提出了收縮自編碼器2012 微軟研究員建立深度神經(jīng)網(wǎng)絡(luò)隱馬爾科夫混合模型, 在語(yǔ)音識(shí)別領(lǐng)域取得突深度學(xué)習(xí)歷史2012 Krizhevsky 等提出應(yīng)用于ImageNe

4、t的AlexNet, 在圖像分類領(lǐng)域取得突破2012 Ng在“GoogleBrain”項(xiàng)目中使用無(wú)監(jiān)督深度學(xué)習(xí)方法2015 Xu提出了結(jié)合注意力的場(chǎng)景識(shí)別2015 微軟研究員He等人提出了擁有152層的深度殘差網(wǎng)絡(luò)深度學(xué)習(xí)難點(diǎn)參數(shù)過(guò)多，影響訓(xùn)練非凸優(yōu)化問(wèn)題：即存在局部最優(yōu)而非全局最優(yōu)解，影響迭代下層參數(shù)比較難調(diào)參數(shù)解釋起來(lái)比較困難計(jì)算資源要大數(shù)據(jù)要多算法效率要好：即收斂快深度學(xué)習(xí)的局限性模型規(guī)模與訓(xùn)練速度、訓(xùn)練精度之間的權(quán)衡。 一般地，相同數(shù)據(jù)集下，模型規(guī)模越大，訓(xùn)練精度越高，訓(xùn)練速度會(huì)越慢。如何在保證一定的訓(xùn)練精度的前提下，提高訓(xùn)練速度，是深度學(xué)習(xí)方向研究的課題之一。深度學(xué)習(xí)網(wǎng)絡(luò)的架構(gòu)規(guī)模、

5、參數(shù)選擇等問(wèn)題都是由經(jīng)驗(yàn)來(lái)確定。深度學(xué)習(xí)由于缺乏邏輯推理能力, 在面對(duì)需要復(fù)雜推理的任務(wù)時(shí)受到一定限制。目前大多數(shù)的深度學(xué)習(xí)方法都基于有監(jiān)督學(xué)習(xí)。而在實(shí)際生活中, 大部分事物都是未知的、不帶標(biāo)記的, 這就增加了可以發(fā)現(xiàn)事物內(nèi)在結(jié)構(gòu)關(guān)系的無(wú)監(jiān)督學(xué)習(xí)算法的需求。深度學(xué)習(xí)的優(yōu)勢(shì)深度學(xué)習(xí)緩解了傳統(tǒng)訓(xùn)練算法的局部最小性。深度學(xué)習(xí)具有多層非線性映射的深層結(jié)構(gòu)，可以完成復(fù)雜的函數(shù)逼近。深度學(xué)習(xí)理論上可獲取分布式表示，即可通過(guò)逐層學(xué)習(xí)算法獲取輸入數(shù)據(jù)的主要驅(qū)動(dòng)變量。目錄深度學(xué)習(xí)簡(jiǎn)介數(shù)學(xué)基礎(chǔ)機(jī)器學(xué)習(xí)簡(jiǎn)介感知器前饋神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)應(yīng)用向量向量的模和范數(shù)常見(jiàn)的向量矩陣矩陣的基本運(yùn)算矩陣的基本

6、運(yùn)算常見(jiàn)的矩陣常見(jiàn)的矩陣導(dǎo)數(shù)向量導(dǎo)數(shù)導(dǎo)數(shù)法則導(dǎo)數(shù)法則導(dǎo)數(shù)法則常用函數(shù)及其導(dǎo)數(shù)常用函數(shù)及其導(dǎo)數(shù)向量函數(shù)及其導(dǎo)數(shù)按位計(jì)算的向量函數(shù)及其導(dǎo)數(shù)logistic函數(shù)softmax函數(shù)softmax函數(shù)softmax函數(shù)softmax函數(shù)目錄深度學(xué)習(xí)簡(jiǎn)介數(shù)學(xué)基礎(chǔ)機(jī)器學(xué)習(xí)簡(jiǎn)介感知器前饋神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)應(yīng)用機(jī)器學(xué)習(xí)中的一些概念數(shù)據(jù)：指所有能被計(jì)算機(jī)程序處理的對(duì)象的總稱，可以是數(shù)字、字母和符號(hào)等。在不同的任務(wù)中，表現(xiàn)形式不一樣，比如圖像、聲音、文字、傳感器數(shù)據(jù)等。特征：機(jī)器學(xué)習(xí)中很多算法的輸入要求是數(shù)學(xué)上可計(jì)算的。而在現(xiàn)實(shí)世界中，原始數(shù)據(jù)通常是并不都以連續(xù)變量或離散變量的形式存在的。我們

7、首先需要將抽取出一些可以表征這些數(shù)據(jù)的數(shù)值型特征。這些數(shù)值型特征一般可以表示為向量形式，也稱為特征向量。機(jī)器學(xué)習(xí)中的一些概念特征學(xué)習(xí)：原始數(shù)據(jù)的特征有很多，但是并不是所有的特征都是有用的。并且，很多特征通常是冗余并且易變的。我們需要抽取有效的、穩(wěn)定的特征。傳統(tǒng)的特征提取是通過(guò)人工方式進(jìn)行的，這需要大量的人工和專家知識(shí)。即使這樣，人工總結(jié)的特征在很多任務(wù)上也不能滿足需要。因此，如何自動(dòng)地學(xué)習(xí)有效的特征也成為機(jī)器學(xué)習(xí)中一個(gè)重要的研究?jī)?nèi)容，也就是特征學(xué)習(xí)，也叫表示學(xué)習(xí)。特征學(xué)習(xí)分成兩種，一種是特征選擇，是在很多特征集合選取有效的子集；另一種是特征提取，是構(gòu)造一個(gè)新的特征空間，并將原始特征投影在新的空

8、間中。機(jī)器學(xué)習(xí)中的一些概念樣本：是指按照一定的抽樣規(guī)則從全部數(shù)據(jù)中取出的一部分?jǐn)?shù)據(jù)，是指實(shí)際觀測(cè)得到的數(shù)據(jù)。在有監(jiān)督學(xué)習(xí)中，需要提供一組有輸出目標(biāo)的樣本用來(lái)學(xué)習(xí)模型以及檢驗(yàn)?zāi)Ｐ偷暮脡?。正例和?fù)例：對(duì)于兩類分類問(wèn)題，類別可以表示為+1,1，或者直接用正負(fù)號(hào)表示。因此，常用正例和負(fù)例來(lái)分別表示屬于不同類別的樣本。機(jī)器學(xué)習(xí)中的一些概念判別函數(shù)：經(jīng)過(guò)特征抽取后，一個(gè)樣本可以表示為k 維特征空間中的一個(gè)點(diǎn)。為了對(duì)這個(gè)特征空間中的點(diǎn)進(jìn)行區(qū)分，就需要尋找一些超平面來(lái)將這個(gè)特征空間分為一些互不重疊的子區(qū)域，使得不同類別的點(diǎn)分布在不同的子區(qū)域中，這些超平面就成為判別界面。為了定義這些用來(lái)進(jìn)行空間分割的超平面，就

9、需要引入判別函數(shù)的概念。假設(shè)變量 為特征空間中的點(diǎn)，這個(gè)超平面由所有滿足函數(shù)f(z) = 0 的點(diǎn)組成。這里的 f(z)就稱為判別函數(shù)。有了判別函數(shù)，分類就變得很簡(jiǎn)單，就是看一個(gè)樣本在特征空間中位于哪個(gè)區(qū)域，從而確定這個(gè)樣本的類別。判別函數(shù)的形式多種多樣，在自然語(yǔ)言處理中，最為常用的判別函數(shù)為線性函數(shù)。機(jī)器學(xué)習(xí)中的一些概念學(xué)習(xí)算法：就是如何從訓(xùn)練集的樣本中，自動(dòng)學(xué)習(xí)決策函數(shù)的參數(shù)。不同機(jī)器學(xué)習(xí)算法的區(qū)別在于決策函數(shù)和學(xué)習(xí)算法的差異。相同的決策函數(shù)可以有不同的學(xué)習(xí)算法。比如線性分類器，其參數(shù)的學(xué)習(xí)算法可以是感知器、支持向量機(jī)以及梯度下降法等。通過(guò)一個(gè)學(xué)習(xí)算法進(jìn)行自動(dòng)學(xué)習(xí)參數(shù)的過(guò)程也叫作訓(xùn)練過(guò)程。

10、機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)損失函數(shù)過(guò)擬合結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則損失函數(shù)損失函數(shù)損失函數(shù)損失函數(shù)機(jī)器學(xué)習(xí)算法類型：有監(jiān)督學(xué)習(xí)機(jī)器學(xué)習(xí)算法類型：無(wú)監(jiān)督學(xué)習(xí)參數(shù)估計(jì)梯度下降法Early-Stop學(xué)習(xí)率設(shè)置：動(dòng)量法學(xué)習(xí)率設(shè)置：AdaGrad學(xué)習(xí)率設(shè)置：AdaDelta學(xué)習(xí)率設(shè)置：AdaDelta線性回歸平方損失函數(shù)平方損失函數(shù)最小二乘法估計(jì)梯度下降法線性分類線性分類圖中給了一個(gè)兩維數(shù)據(jù)的判別函數(shù)以及對(duì)應(yīng)的判別界面。在二維空間中，分類界面為一個(gè)直線。在三維空間中，分類界面為一個(gè)平面。在高維空間中，分類界面為一個(gè)超平面。對(duì)于線性函數(shù)來(lái)說(shuō)，權(quán)重向量在線性空間中垂直于分類界面的向量。Logistic回歸Logistic回歸

11、梯度下降法多類線性分類多類線性分類SoftMax回歸SoftMax回歸SoftMax回歸梯度下降法梯度下降法梯度下降法評(píng)價(jià)方法評(píng)價(jià)方法F1值F1 值是根據(jù)正確率和召回率二者給出的一個(gè)綜合的評(píng)價(jià)指標(biāo)，具體定義如下：目錄深度學(xué)習(xí)簡(jiǎn)介數(shù)學(xué)基礎(chǔ)機(jī)器學(xué)習(xí)簡(jiǎn)介感知器前饋神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)應(yīng)用感知器生物神經(jīng)細(xì)胞生物神經(jīng)細(xì)胞感知器模型感知器兩類感知器算法目錄深度學(xué)習(xí)簡(jiǎn)介數(shù)學(xué)基礎(chǔ)機(jī)器學(xué)習(xí)簡(jiǎn)介感知器前饋神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元神經(jīng)元示例激活函數(shù)激活函數(shù)激活函數(shù)前饋神經(jīng)網(wǎng)絡(luò)前饋計(jì)算前饋計(jì)算將前饋網(wǎng)絡(luò)應(yīng)用于機(jī)器學(xué)習(xí)參數(shù)估計(jì)反向傳播算法反向傳播算法反向傳播算法

12、誤差項(xiàng)反向傳播反向傳播算法梯度消失問(wèn)題梯度消失問(wèn)題梯度消失問(wèn)題我們可以看到，sigmoid型函數(shù)的值域都小于1。這樣誤差經(jīng)過(guò)每一層傳遞都會(huì)不斷衰減。當(dāng)網(wǎng)絡(luò)層數(shù)很深時(shí)，梯度就會(huì)不停的衰減，甚至消失，使得整個(gè)網(wǎng)絡(luò)很難訓(xùn)練。這就是所謂的梯度消失問(wèn)題（Vanishing Gradient Problem），也叫梯度彌散。減輕梯度消失問(wèn)題的一個(gè)方法是使用線性激活函數(shù)（比如rectifier 函數(shù)）或近似線性函數(shù)（比如softplus 函數(shù)）。這樣，激活函數(shù)的導(dǎo)數(shù)為1，誤差可以很好地傳播，訓(xùn)練速度得到了很大的提高。目錄深度學(xué)習(xí)簡(jiǎn)介數(shù)學(xué)基礎(chǔ)機(jī)器學(xué)習(xí)簡(jiǎn)介感知器前饋神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)應(yīng)用卷

13、積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)由卷積層和下采樣層交替層疊而成。卷積層采用權(quán)重共享, 使得網(wǎng)絡(luò)的參數(shù)減少；下采樣層由于采用最大值或均值下采樣的方式, 使得圖像維度降低。通過(guò)卷積和下采樣學(xué)習(xí)到的特征具有平移、旋轉(zhuǎn)不變性。卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)非常適合處理圖像數(shù)據(jù), 隨著網(wǎng)絡(luò)層數(shù)的增加, 卷積神經(jīng)網(wǎng)絡(luò)能夠從原始數(shù)據(jù)中抽取更抽象的特征, 更加有利于圖像的識(shí)別。卷積兩維卷積卷積層：用卷積來(lái)代替全連接卷積層：用卷積來(lái)代替全連接全連接層和卷積層二維卷積層特征映射特征映射兩維卷積層的映射關(guān)系連接表兩維卷積層示例子采樣層子采樣層卷積神經(jīng)網(wǎng)絡(luò)示例：LeNet-5LeNet 示例LeNet 示例LeNet 示例梯度計(jì)

14、算卷積層的梯度卷積層的梯度卷積層的梯度卷積層的梯度子采樣層的梯度子采樣層的梯度目錄深度學(xué)習(xí)簡(jiǎn)介數(shù)學(xué)基礎(chǔ)機(jī)器學(xué)習(xí)簡(jiǎn)介感知器前饋神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)應(yīng)用循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)從數(shù)學(xué)上講，公式7.1可以看成一個(gè)動(dòng)態(tài)系統(tǒng)。動(dòng)態(tài)系統(tǒng)是指系統(tǒng)的狀態(tài)按照一定的規(guī)律隨時(shí)間變化的系統(tǒng)。因此，活性值 在很多文獻(xiàn)上也稱為狀態(tài)。但這里的狀態(tài)是數(shù)學(xué)上的概念，區(qū)別與我們?cè)谇梆伨W(wǎng)絡(luò)中定義的神經(jīng)元的狀態(tài)。理論上循環(huán)神經(jīng)網(wǎng)絡(luò)可以近似任意的動(dòng)態(tài)系統(tǒng)。圖給出了循環(huán)神經(jīng)網(wǎng)絡(luò)的示例。循環(huán)神經(jīng)網(wǎng)絡(luò)的參數(shù)訓(xùn)練可以通過(guò)隨時(shí)間進(jìn)行反向傳播(Backpropaga -tion ThroughTime，BPTT)算法。但循環(huán)

15、神經(jīng)網(wǎng)絡(luò)的一個(gè)最大問(wèn)題是訓(xùn)練時(shí)梯度需要隨著時(shí)間進(jìn)行反向傳播。當(dāng)輸入序列比較長(zhǎng)時(shí)，會(huì)存在梯度爆炸和消失問(wèn)題。長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(long short memory neural network,LSTM)是循環(huán)神經(jīng)網(wǎng)絡(luò)的一個(gè)擴(kuò)展。循環(huán)神經(jīng)網(wǎng)絡(luò)的示例簡(jiǎn)單循環(huán)網(wǎng)絡(luò)簡(jiǎn)單循環(huán)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)又稱遞歸神經(jīng)網(wǎng)絡(luò)。遞歸神經(jīng)網(wǎng)絡(luò)會(huì)對(duì)前面的信息進(jìn)行記憶,并應(yīng)用于當(dāng)前層計(jì)算輸出, 即隱層之間的節(jié)點(diǎn)有連接。遞歸神經(jīng)網(wǎng)絡(luò)一次處理一個(gè)輸入序列元素, 每個(gè)節(jié)點(diǎn)同時(shí)包含過(guò)去時(shí)刻序列元素的歷史信息。遞歸神經(jīng)網(wǎng)絡(luò)主要用于處理時(shí)序數(shù)據(jù), 常應(yīng)用在預(yù)測(cè)文本和語(yǔ)音識(shí)別中。梯度梯度梯度長(zhǎng)期依賴問(wèn)題改進(jìn)方案改進(jìn)方案為了解決這個(gè)問(wèn)題，Hoc

16、hreiter和Schmidhuber提出一個(gè)非常好的解決方案，就是引入門(mén)機(jī)制（Gating Mechanism）來(lái)控制信息的累積速度，并可以選擇遺忘之前累積的信息。這就是下面要介紹的長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)。長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)：LSTM長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)：LSTMLSTM結(jié)構(gòu)示例門(mén)限循環(huán)單元：GRU目錄深度學(xué)習(xí)簡(jiǎn)介數(shù)學(xué)基礎(chǔ)機(jī)器學(xué)習(xí)簡(jiǎn)介感知器前饋神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)應(yīng)用AlphaGo概述計(jì)算機(jī)圍棋起源于20世紀(jì)60年代, 長(zhǎng)期以來(lái), 它被認(rèn)為是人工智能領(lǐng)域的一大挑戰(zhàn), 并為智能學(xué)習(xí)算法的研究提供了一個(gè)很好的測(cè)試平臺(tái)。圍棋的計(jì)算復(fù)雜度約為250。如果采用傳統(tǒng)的暴力搜索方式, 按照現(xiàn)

17、有的計(jì)算能力是遠(yuǎn)遠(yuǎn)無(wú)法解決圍棋問(wèn)題的。人工智能領(lǐng)域一個(gè)里程碑式的工作是由Deep-Mind 在2016年初發(fā)表于Nature上的圍棋AI:AlphaGo。AlphaGo概述AlphaGo的問(wèn)世將深度強(qiáng)化學(xué)習(xí)的研究推向了新的高度。它創(chuàng)新性地結(jié)合深度強(qiáng)化學(xué)習(xí)和蒙特卡羅樹(shù)搜索, 通過(guò)策略網(wǎng)絡(luò)選擇落子位置降低搜索寬度, 使用價(jià)值網(wǎng)絡(luò)評(píng)估局面以減小搜索深度, 使搜索效率得到了大幅提升, 勝率估算也更加精確。與此同時(shí), AlphaGo使用強(qiáng)化學(xué)習(xí)的自我博弈來(lái)對(duì)策略網(wǎng)絡(luò)進(jìn)行調(diào)整, 改善策略網(wǎng)絡(luò)的性能, 使用自我對(duì)弈和快速走子結(jié)合形成的棋譜數(shù)據(jù)進(jìn)一步訓(xùn)練價(jià)值網(wǎng)絡(luò)。最終在線對(duì)弈時(shí), 結(jié)合策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)的蒙特

18、卡羅樹(shù)搜索在當(dāng)前局面下選擇最終的落子位置。AlphaGo原理分析AlphaGo創(chuàng)新性地結(jié)合深度強(qiáng)化學(xué)習(xí)和蒙特卡羅樹(shù)搜索, 通過(guò)價(jià)值網(wǎng)絡(luò)(value network)評(píng)估局面以減小搜索深度, 利用策略網(wǎng)絡(luò)(policy network)降低搜索寬度, 使搜索效率得到大幅提升, 勝率估算也更加精確。AlphaGo的原理流程主要包含線下學(xué)習(xí)和在線對(duì)弈兩部分。AlphaGo原理分析AlphaGo的線下學(xué)習(xí)AlphaGo的線下學(xué)習(xí)包含3個(gè)階段：第1 階段, 深智團(tuán)隊(duì)使用棋圣堂圍棋服務(wù)器(Kiseido Go server, KGS)上3000萬(wàn)個(gè)專業(yè)棋手對(duì)弈棋譜的落子數(shù)據(jù), 基于監(jiān)督學(xué)習(xí)得到一個(gè)策略網(wǎng)絡(luò)

19、, 來(lái)預(yù)測(cè)棋手的落子情況, 稱之為監(jiān)督學(xué)習(xí)的策略網(wǎng)絡(luò) 。訓(xùn)練策略網(wǎng)絡(luò)時(shí)采用隨機(jī)梯度升序法更新網(wǎng)絡(luò)權(quán)重 （197） 在使用全部48個(gè)輸入特征的情況下, 預(yù)測(cè)準(zhǔn)確率達(dá)到了55.7%, 這遠(yuǎn)遠(yuǎn)高于其他方法的結(jié)果。同時(shí)他們也使用了局部特征匹配和線性回歸的方法訓(xùn)練了一個(gè)快速走子策略網(wǎng)絡(luò) ,在犧牲部分準(zhǔn)確度的情況下極大地提高了走棋的速率。 AlphaGo的線下學(xué)習(xí)第2階段，在第1階段結(jié)果的基礎(chǔ)上, 使用強(qiáng)化學(xué)習(xí)進(jìn)一步對(duì)策略網(wǎng)絡(luò)進(jìn)行學(xué)習(xí), 得到強(qiáng)化學(xué)習(xí)的策略網(wǎng)絡(luò) 。訓(xùn)練過(guò)程中先使用監(jiān)督學(xué)習(xí)的策略網(wǎng)絡(luò)對(duì)強(qiáng)化學(xué)習(xí)的策略網(wǎng)絡(luò)進(jìn)行初始化, 然后兩者通過(guò)“自我博弈”來(lái)改善策略網(wǎng)絡(luò)的性能。訓(xùn)練過(guò)程中采用策略梯度算法,

20、按照預(yù)期結(jié)果最大值的方向, 更新權(quán)重。 （198）其中 是在時(shí)間步長(zhǎng)為t 時(shí)的獎(jiǎng)賞, 勝方為+1、敗方為1。在與監(jiān)督學(xué)習(xí)的策略網(wǎng)絡(luò) 的對(duì)弈中, 強(qiáng)化學(xué)習(xí)的策略網(wǎng)絡(luò) 能夠獲得80%的勝率。AlphaGo的線下學(xué)習(xí)第3階段, 使用“自我博弈”產(chǎn)生的棋譜, 根據(jù)最終勝負(fù)結(jié)果來(lái)訓(xùn)練價(jià)值網(wǎng)絡(luò) 。訓(xùn)練價(jià)值網(wǎng)絡(luò)時(shí), 使用隨機(jī)梯度降序法來(lái)最小化預(yù)測(cè)值 和相應(yīng)結(jié)果z間的差值。 （199）訓(xùn)練好的價(jià)值網(wǎng)絡(luò)可以對(duì)棋局進(jìn)行評(píng)估, 預(yù)測(cè)最終勝負(fù)的概率。AlphaGo的線下學(xué)習(xí)AlphaGo的在線對(duì)弈AlphaGo通過(guò)蒙特卡羅樹(shù)搜索將策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)結(jié)合起來(lái), 利用前向搜索選擇動(dòng)作, 主要包含5個(gè)步驟。預(yù)處理: 利用當(dāng)

21、前棋盤(pán)局面提取特征, 作為深度網(wǎng)絡(luò)的輸入, 最終的AlphaGo網(wǎng)絡(luò)輸入包含了48個(gè)特征層。選擇: 每次模擬時(shí)從根節(jié)點(diǎn)出發(fā)遍歷搜索樹(shù), 根據(jù)最大動(dòng)作值Q和激勵(lì)值u(s,a)選擇下一個(gè)節(jié)點(diǎn)。 （200） 其中N(s,a)是訪問(wèn)次數(shù)。遍歷進(jìn)行到步驟L時(shí), 節(jié)點(diǎn)記為 。 AlphaGo的在線對(duì)弈展開(kāi): 訪問(wèn)次數(shù)達(dá)到一定數(shù)目時(shí), 葉節(jié)點(diǎn)展開(kāi), 展開(kāi)時(shí)被監(jiān)督學(xué)習(xí)策略網(wǎng)絡(luò) 處理一次, 此時(shí)的輸出概率保存為對(duì)應(yīng)動(dòng)作的前向概率P(s， a)= ,根據(jù)前向概率計(jì)算不同落子位置往下發(fā)展的權(quán)重。評(píng)估: 葉節(jié)點(diǎn)有兩種評(píng)估方式: 價(jià)值網(wǎng)絡(luò)的估值 和快速走子產(chǎn)生的結(jié)果 。這是因?yàn)槠寰珠_(kāi)始時(shí), 價(jià)值網(wǎng)絡(luò)的估值比較重要, 隨

22、著棋局的進(jìn)行, 局面狀態(tài)變得復(fù)雜, 這時(shí)會(huì)更加看重快速走子產(chǎn)生的結(jié)果。兩者通過(guò)加權(quán)的方式計(jì)算葉節(jié)點(diǎn)的估值 。AlphaGo的在線對(duì)弈備份: 將評(píng)估結(jié)果作為當(dāng)前棋局下一步走法的Q值。 （201）其中1(s,a,i)表示進(jìn)行第i次模擬時(shí)狀態(tài)動(dòng)作對(duì)(s,a)是否被訪問(wèn)。Q值越大, 之后的模擬選擇此走法的次數(shù)越多。模擬結(jié)束時(shí), 遍歷過(guò)的節(jié)點(diǎn)的狀態(tài)動(dòng)作值和訪問(wèn)次數(shù)得到更新。每個(gè)節(jié)點(diǎn)累計(jì)經(jīng)過(guò)此節(jié)點(diǎn)的訪問(wèn)次數(shù)和平均估值。反復(fù)進(jìn)行上述過(guò)程達(dá)到一定次數(shù)后搜索完成, 算法選取從根節(jié)點(diǎn)出發(fā)訪問(wèn)次數(shù)最多的那條路徑落子。AlphaGo的原理圖AlphaGo的弱點(diǎn)攻其策略網(wǎng)絡(luò)，加大搜索空間。進(jìn)入中盤(pán)后，職業(yè)選手如能建立起

23、比較復(fù)雜的局面，每一步棋都牽連很多個(gè)局部棋的命運(yùn)（避免單塊、局部作戰(zhàn)），則AlphaGo需要搜索空間則急劇加大，短時(shí)間內(nèi)得到的解的精度就會(huì)大打折扣。通俗地說(shuō)，非常復(fù)雜的變化，人算不清楚，現(xiàn)階段計(jì)算機(jī)的計(jì)算力更沒(méi)辦法。為了在一定的時(shí)間內(nèi)有結(jié)果，只能放棄搜索精度。AlphaGo的弱點(diǎn)攻其價(jià)值網(wǎng)絡(luò)，萬(wàn)劫不復(fù)。AlphaGo的價(jià)值網(wǎng)絡(luò)極大地提高了之前單純依靠MCTS來(lái)做局勢(shì)判斷的精度，但離準(zhǔn)確判斷圍棋局勢(shì)還有不小的差距。神經(jīng)網(wǎng)絡(luò)還不能完全避免在某些時(shí)候出現(xiàn)一些怪異（甚至錯(cuò)誤）的判斷，更何況其訓(xùn)練樣本還遠(yuǎn)遠(yuǎn)不足。這也是為什么有了價(jià)值網(wǎng)絡(luò)還仍然需要依靠快速走棋來(lái)判斷局勢(shì)。大家都曾經(jīng)懷疑過(guò)AlphaGo的打

24、劫能力，也感覺(jué)到了AlphaGo有躲避打劫的跡象。不能說(shuō)AlphaGo不會(huì)打劫，而是害怕在棋局早期的多劫并存。打劫要乘早，太晚了搜索空間變小，即便價(jià)值網(wǎng)絡(luò)失效，還可以靠快速走棋網(wǎng)絡(luò)來(lái)彌補(bǔ)。開(kāi)劫應(yīng)該以在剛剛進(jìn)入中盤(pán)時(shí)期為好（太早劫財(cái)還不夠），并且保持長(zhǎng)時(shí)間不消劫，最好在盤(pán)面上能同時(shí)有兩處以上打劫。沒(méi)有了價(jià)值網(wǎng)絡(luò)的AlphaGo其實(shí)水平也就職業(yè)3-5段左右。AlphaGo評(píng)價(jià)圍棋因?yàn)閺?fù)雜的落子選擇和龐大的搜索空間在人工智能領(lǐng)域具有顯著的代表性。 AlphaGo基于深度卷積神經(jīng)網(wǎng)絡(luò)的策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)減小了搜索空間, 并且在訓(xùn)練過(guò)程中創(chuàng)新性地結(jié)合了監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí), 最后成功地整合蒙特卡羅樹(shù)搜索算

25、法。其智能突出體現(xiàn)以下4點(diǎn):棋譜數(shù)據(jù)可以完全獲取, 知識(shí)能夠自動(dòng)表達(dá)。AlphaGo能夠較好地應(yīng)對(duì)對(duì)手下一步棋的不確定性, 按搜索和評(píng)價(jià)策略進(jìn)行決策。以標(biāo)準(zhǔn)賽制產(chǎn)生的人類棋手為智能標(biāo)準(zhǔn), 設(shè)計(jì)了較好的智能評(píng)價(jià)準(zhǔn)則。AlphaGo通過(guò)“自我博弈”產(chǎn)生3000萬(wàn)盤(pán)棋,深度模仿人類頂尖棋手的對(duì)弈, 提升系統(tǒng)的智能水平。AlphaGo Zero概述在AlphaGo的基礎(chǔ)上, DeepMind進(jìn)一步提出了AlphaGo Zero。AlphaGo Zero與之前的版本有很大不同, 如表6所示。AlphaGo Zero概述神經(jīng)網(wǎng)絡(luò)權(quán)值完全隨機(jī)初始化。 AlphaGo Zero不利用任何人類專家的經(jīng)驗(yàn)或數(shù)據(jù)。

26、無(wú)需先驗(yàn)知識(shí)。 AlphaGo Zero不再需要人工設(shè)計(jì)特征，僅利用棋盤(pán)上的黑白棋子的擺放情況作為原始數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)中。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜性降低。舍棄快速走子網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)引入殘差結(jié)構(gòu)。硬件資源需求更少。學(xué)習(xí)時(shí)間更短。AlphaGo Zero棋力提升的關(guān)鍵因素一是使用基于殘差模塊構(gòu)成的深度神經(jīng)網(wǎng)絡(luò),不需要人工制定特征,通過(guò)原始棋盤(pán)信息便可提取相關(guān)表示特征。二是使用新的神經(jīng)網(wǎng)絡(luò)構(gòu)造啟發(fā)式搜索函數(shù),優(yōu)化蒙特卡羅樹(shù)搜索算法,使用神經(jīng)網(wǎng)絡(luò)估值函數(shù)替換快速走子過(guò)程,使算法訓(xùn)練學(xué)習(xí)和執(zhí)行走子所需要的時(shí)間大幅減少。AlphaGo Zero的訓(xùn)練過(guò)程深度殘差網(wǎng)絡(luò)深度殘差網(wǎng)絡(luò), 由何愷明等在2016年提出。深

27、度殘差網(wǎng)絡(luò)是真正意義上的“深度學(xué)習(xí)”, 與其他深度神經(jīng)網(wǎng)絡(luò)模型相比, 深度殘差網(wǎng)絡(luò)能進(jìn)行成百乃至上千層的網(wǎng)絡(luò)學(xué)習(xí)。深度殘差網(wǎng)絡(luò)由多層“殘差單元”堆疊而成, 其通式表達(dá)為 （202） （203）其中， 是神經(jīng)網(wǎng)絡(luò)權(quán)值, 是中間輸出, 和 分別是第l個(gè)單元的輸入和輸出, F是一個(gè)殘差函數(shù),h是恒等映射, f為常用ReLU函數(shù)的激活函數(shù)。深度殘差網(wǎng)絡(luò)的優(yōu)點(diǎn)深度殘差網(wǎng)絡(luò)與其他常見(jiàn)的卷積型前向神經(jīng)網(wǎng)絡(luò)的最大不同在于多了一條跨層傳播直連接通路, 使得神經(jīng)網(wǎng)絡(luò)在進(jìn)行前向傳播和后向傳播時(shí), 傳播信號(hào)都能從一層直接平滑地傳遞到另一指定層。殘差函數(shù)引入批歸一化(batch normalization, BN)作優(yōu)

28、化, 使神經(jīng)網(wǎng)絡(luò)輸出分布白化, 從而使數(shù)據(jù)歸一化來(lái)抑制梯度彌散或是爆炸現(xiàn)象。AlphaGo Zero神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的主要模塊AlphaGo Zero中的蒙特卡羅樹(shù)搜索圍棋棋面總共有 19 * 19 = 361 個(gè)落子位置。假如電腦有足夠的計(jì)算能力，理論上來(lái)說(shuō)，我們可以窮舉黑白雙方所有可能的落子位置，找到最優(yōu)落子策略。如果窮舉黑白雙方所有可能的落子位置，各種組合的總數(shù)，大約是 250150 數(shù)量級(jí)。這個(gè)數(shù)太大了，以至于用當(dāng)今世界最強(qiáng)大云計(jì)算系統(tǒng)，算幾十年也算不完。有沒(méi)有不窮舉所有組合，就能找到最優(yōu)或者次優(yōu)落子策略的算法呢？有，蒙特卡羅樹(shù)搜索就是這樣一種算法。AlphaGo Zero中的蒙特卡羅樹(shù)搜

29、索AlphaGo Zero中的蒙特卡羅樹(shù)搜索搜索樹(shù)的當(dāng)前狀態(tài)為s, 選擇動(dòng)作為a, 各節(jié)點(diǎn)間的連接邊為e(s, a), 各條邊e存儲(chǔ)了四元集為遍歷次數(shù)N(s, a)、動(dòng)作累計(jì)值W(s, a), 動(dòng)作平均值Q(s, a), 先驗(yàn)概率P(s, a)。與AlphaGo以往版不同, AlphaGo Zero將原來(lái)蒙特卡羅樹(shù)搜索所需要的4個(gè)階段合并成3個(gè)階段, 將原來(lái)的展開(kāi)階段和評(píng)估階段合并成一個(gè)階段, 搜索過(guò)程具體為選擇階段、展開(kāi)與評(píng)估階段、回傳階段。最后通過(guò)執(zhí)行階段選擇落子位置。AlphaGo Zero中的蒙特卡羅樹(shù)搜索：選擇階段假定搜索樹(shù)的根節(jié)點(diǎn)為 , 從根節(jié)點(diǎn) 到葉子節(jié)點(diǎn) 需要經(jīng)過(guò)的路徑長(zhǎng)度為L(zhǎng)

30、, 在路徑L上的每步t中,根據(jù)當(dāng)前時(shí)刻的搜索樹(shù)的數(shù)據(jù)存儲(chǔ)情況, 由下式所得, 選擇值對(duì)應(yīng)當(dāng)前狀態(tài) 的最大動(dòng)作值作為搜索路徑。 （204） （205） (206)AlphaGo Zero中的蒙特卡羅樹(shù)搜索：選擇階段其中: 是重要的超參數(shù), 平衡探索與利用間的權(quán)重分配, 當(dāng) 較大時(shí), 驅(qū)使搜索樹(shù)向未知區(qū)域探索,反之則驅(qū)使搜索樹(shù)快速收斂; 表示經(jīng)過(guò)狀態(tài) 的所有次數(shù); 為深度神經(jīng)網(wǎng)絡(luò) 的策略輸出對(duì)應(yīng)動(dòng)作a的概率值, 并且引入噪聲服從Dirchlet(0.03)分布, 慣性因子 = 0.25, 從而使神經(jīng)網(wǎng)絡(luò)的估值魯棒性得到增強(qiáng).AlphaGo Zero中的蒙特卡羅樹(shù)搜索：展開(kāi)與評(píng)估階段在搜索樹(shù)的葉子節(jié)

31、點(diǎn), 進(jìn)行展開(kāi)與評(píng)估。當(dāng)葉子節(jié)點(diǎn)處于狀態(tài) 時(shí), 由神經(jīng)網(wǎng)絡(luò) 得到策略輸出 和估值輸出 。然后初始化邊 中的四元集: 。在棋局狀態(tài)估值時(shí),需要對(duì)棋面旋轉(zhuǎn)n45,n0,1,7或雙面反射后輸入到神經(jīng)網(wǎng)絡(luò)。在神經(jīng)網(wǎng)絡(luò)進(jìn)行盤(pán)面評(píng)估時(shí), 其他并行線程皆會(huì)處于鎖死狀態(tài), 直至神經(jīng)網(wǎng)絡(luò)運(yùn)算結(jié)束。AlphaGo Zero中的蒙特卡羅樹(shù)搜索：回傳階段當(dāng)展開(kāi)與評(píng)估階段完成后, 搜索樹(shù)中各節(jié)點(diǎn)連接邊的信息都已經(jīng)得到. 此時(shí)需要將搜索后所得最新結(jié)構(gòu)由葉子節(jié)點(diǎn)回傳到根節(jié)點(diǎn)上進(jìn)行更新. 訪問(wèn)次數(shù) 、動(dòng)作累計(jì)值 、動(dòng)作平均值 。具體的更新方式為 （207） （208） （209）其中 為神經(jīng)網(wǎng)絡(luò) 的估值輸出。從式中可見(jiàn), 隨

32、著模擬次數(shù)的增加, 動(dòng)作平均值 會(huì)逐漸趨于穩(wěn)定, 且從數(shù)值形式上與神經(jīng)網(wǎng)絡(luò)的策略輸出 沒(méi)有直接關(guān)系。AlphaGo Zero中的蒙特卡羅樹(shù)搜索：執(zhí)行階段經(jīng)過(guò)1600次蒙特卡羅樹(shù)搜索, 樹(shù)中的各邊存儲(chǔ)著歷史信息, 根據(jù)這些歷史信息得到落子概率分布 ， 是由葉子節(jié)點(diǎn)的訪問(wèn)次數(shù)經(jīng)過(guò)模擬退火算法得到, 具體表示為 （210）其中模擬退火參數(shù)初始為1, 在前30步走子一直為1,然后隨著走子步數(shù)的增加而減小趨向于0。引入了模擬退火算法后, 極大地豐富圍棋開(kāi)局的變化情況, 并保證在收官階段能夠作出最為有利的選擇。AlphaGo Zero中的蒙特卡羅樹(shù)搜索：執(zhí)行階段在執(zhí)行完落子動(dòng)作后, 當(dāng)前搜索樹(shù)的擴(kuò)展子節(jié)點(diǎn)

33、及子樹(shù)的歷史信息會(huì)被保留, 而擴(kuò)展子節(jié)點(diǎn)的所有父節(jié)點(diǎn)及信息都會(huì)被刪除, 在保留歷史信息的前提下,減少搜索樹(shù)所占內(nèi)存空間。并最終以擴(kuò)展節(jié)點(diǎn)作為新的根節(jié)點(diǎn), 為下一輪蒙特卡羅樹(shù)搜索作準(zhǔn)備。AlphaGo Zero的訓(xùn)練流程AlphaGo Zero的訓(xùn)練流程第1階段 假設(shè)當(dāng)前棋面狀態(tài)為 , 以 作為數(shù)據(jù)起點(diǎn), 得到距今最近的本方歷史7步棋面狀態(tài)和對(duì)方歷史8步棋面狀態(tài)，分別記作 和 。并記本方執(zhí)棋顏色為c，拼接在一起, 記輸入元 為 。并以此開(kāi)始進(jìn)行評(píng)估。第2階段 使用基于深度神經(jīng)網(wǎng)絡(luò) 的蒙特卡羅樹(shù)搜索展開(kāi)策略評(píng)估過(guò)程, 經(jīng)過(guò)1600次蒙特卡羅樹(shù)搜索, 得到當(dāng)前局面 的策略 和參數(shù)下深度神經(jīng)網(wǎng)絡(luò) 輸出

34、的策略函數(shù) 和估值 。AlphaGo Zero的訓(xùn)練流程第3階段 由蒙特卡羅樹(shù)搜索得到的策略 ,結(jié)合模擬退火算法, 在對(duì)弈前期, 增加落子位置多樣性, 豐富圍棋數(shù)據(jù)樣本。 一直持續(xù)這步操作, 直至棋局終了,得到最終勝負(fù)結(jié)果z。第4階段 根據(jù)上一階段所得的勝負(fù)結(jié)果z與價(jià)值 使用均方和誤差, 策略函數(shù) 和蒙特卡羅樹(shù)搜索的策略 使用交叉信息熵誤差, 兩者一起構(gòu)成損失函數(shù)。同時(shí)并行反向傳播至神經(jīng)網(wǎng)絡(luò)的每步輸出, 使深度神經(jīng)網(wǎng)絡(luò) 的權(quán)值得到進(jìn)一步優(yōu)化。深度學(xué)習(xí)在其他領(lǐng)域的應(yīng)用在機(jī)器人領(lǐng)域的應(yīng)用Levine等以卷積神經(jīng)網(wǎng)絡(luò)作為策略特征表示, 提出指導(dǎo)性策略搜索算法(guided policy search

35、,GPS), 將策略搜索轉(zhuǎn)化為監(jiān)督學(xué)習(xí), 以視覺(jué)圖像作為輸入樣本, 實(shí)現(xiàn)直接端到端的從眼到手的機(jī)械臂操作控制。LEVINE S, FINN C, DARRELL T, et al. End-to-end training of deep visuomotor policies J. Journal of Machine Learning Research,2016, 17(39): 1 40.深度學(xué)習(xí)在其他領(lǐng)域的應(yīng)用在智能駕駛領(lǐng)域的應(yīng)用普林斯頓大學(xué)的Chen等使用深度學(xué)習(xí)算法, 根據(jù)攝像頭采集的圖像數(shù)據(jù)預(yù)測(cè)目標(biāo)的距離, 同時(shí)輸出操作指令。CHEN C, SEFF A, KORNHAUSER A

36、, et al. Deepdriving: learning affordance for direct perception in autonomous driving C /Proceedings of the IEEE International Conference on Computer Vision(ICCV). Santiago: IEEE, 2015: 2722 2730.深度學(xué)習(xí)在其他領(lǐng)域的應(yīng)用在智能醫(yī)療領(lǐng)域的應(yīng)用谷歌的Gulshan等使用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)13萬(wàn)個(gè)視網(wǎng)膜照片進(jìn)行訓(xùn)練, 最終表現(xiàn)的水平和單個(gè)眼科醫(yī)生的水平相當(dāng)。 斯坦福大學(xué)的Esteva等采用了深度卷積神經(jīng)網(wǎng)絡(luò)

37、, 對(duì)皮膚損傷照片進(jìn)行訓(xùn)練, 判斷水平達(dá)到了皮膚病學(xué)家的分類水平。GULSHAN V, PENG L, CORAM M, et al. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs J. Jama, 2016, 316(22): 2402 2410.ESTEVA A, KUPREL B, NOVOA R A, et al. Dermatologist-level classification o

38、f skin cancer with deep neural networks J. Nature,2017, 542(7639): 115 118.深度學(xué)習(xí)在其他領(lǐng)域的應(yīng)用在大規(guī)模圖像數(shù)據(jù)集中領(lǐng)域的應(yīng)用A Krizhevsky 等首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于ImageNet 大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽( ImageNet large scale visual recognition chall -enge，ILSVC) 中，所訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)在ILSVC2012 挑戰(zhàn)賽中，取得了圖像分類和目標(biāo)定位任務(wù)的第一。KRIZHEVSKY A， SUTSKEVE I， HINTON G EImagenet classification with deep convolutional neural networksCAdvances in Neural Information Processing Systems ed Hook，NY: Cu