深度學(xué)習(xí)技術(shù)基礎(chǔ)與實(shí)踐 課件 第1-3章 深度學(xué)習(xí)概述、深度學(xué)習(xí)原理、深度學(xué)習(xí)框架介紹

第1章深

度

學(xué)

習(xí)

概

述授課教師：時(shí)

間：第一章

深度學(xué)習(xí)概述主要內(nèi)容1.11.21.3深度學(xué)習(xí)發(fā)展歷史深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)基本概念深度學(xué)習(xí)與機(jī)器學(xué)習(xí)、深度學(xué)習(xí)分類機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)及深度學(xué)習(xí)發(fā)展史深度學(xué)習(xí)在圖像、文本及音視頻中的應(yīng)用1.1

深度學(xué)習(xí)基本概念1.1.1深度學(xué)習(xí)與機(jī)器學(xué)習(xí)深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一類最成功和有效的方法。一種使用多個(gè)“層”從輸入中逐步提取數(shù)據(jù)表達(dá)的學(xué)習(xí)算法在沒(méi)有明確編程的情況下，通過(guò)經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法。深度學(xué)習(xí)機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)深度學(xué)習(xí)1.1.1深度學(xué)習(xí)與機(jī)器學(xué)習(xí)在沒(méi)有明確編程的情況下，通過(guò)經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法。機(jī)器學(xué)習(xí)(a)經(jīng)典編程(b)機(jī)器學(xué)習(xí)1.1.1深度學(xué)習(xí)與機(jī)器學(xué)習(xí)一種使用多個(gè)“層”從輸入中逐步提取數(shù)據(jù)表達(dá)的學(xué)習(xí)算法深度學(xué)習(xí)第1層第2層第3層第n層輸入數(shù)據(jù)0123456789輸出結(jié)果1.1.1深度學(xué)習(xí)與機(jī)器學(xué)習(xí)從信息處理角度對(duì)人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象，建立某種簡(jiǎn)單模型，按不同的連接方式組成不同的網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)1.1.2深度學(xué)習(xí)分類深度學(xué)習(xí)算法傳統(tǒng)分為監(jiān)督、無(wú)監(jiān)督和強(qiáng)化學(xué)習(xí)；隨著深度學(xué)習(xí)發(fā)展，對(duì)抗生成網(wǎng)絡(luò)、遷移學(xué)習(xí)、元學(xué)習(xí)和聯(lián)邦學(xué)習(xí)等多種學(xué)習(xí)方式被提出和廣泛研究。深度學(xué)習(xí)算法分類監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)模型通過(guò)學(xué)習(xí)訓(xùn)練數(shù)據(jù)“輸入-輸出對(duì)”逼近輸入映射到輸出的函數(shù)；期望輸出被稱為“標(biāo)簽”或“監(jiān)督信號(hào)”；

標(biāo)簽一般通過(guò)人工標(biāo)注獲得；分類算法屬于典型的監(jiān)督學(xué)習(xí)。在沒(méi)有標(biāo)簽的數(shù)據(jù)中訓(xùn)練模型；一般根據(jù)某種規(guī)則學(xué)習(xí)數(shù)據(jù)，如概率密度；聚類算法屬于典型的無(wú)監(jiān)督學(xué)習(xí)。學(xué)習(xí)過(guò)程：代理（Agent）通過(guò)最大化累計(jì)獎(jiǎng)勵(lì)，不斷更新自己的動(dòng)作策略，最終獲得能根據(jù)環(huán)境做出最優(yōu)動(dòng)作的策略；沒(méi)有準(zhǔn)確的監(jiān)督信號(hào)做指導(dǎo)，是一個(gè)探索和利用的平衡過(guò)程；深度強(qiáng)化學(xué)習(xí)將深度學(xué)習(xí)應(yīng)用于強(qiáng)化學(xué)習(xí)過(guò)程以提高其效率。深度學(xué)習(xí)算法分類（續(xù)）對(duì)抗生成網(wǎng)絡(luò)遷移學(xué)習(xí)元學(xué)習(xí)聯(lián)邦學(xué)習(xí)

同時(shí)訓(xùn)練一個(gè)生成器和一個(gè)判別器，博弈提升性能

生成器學(xué)習(xí)并生成與真實(shí)樣本類似分布的輸出結(jié)果

判別器學(xué)習(xí)鑒別輸入是真實(shí)還是生成的結(jié)果

將某些任務(wù)上設(shè)計(jì)好的模型應(yīng)用到另一個(gè)任務(wù)上

提升模型設(shè)計(jì)的效率

典型的NLP預(yù)訓(xùn)練模型就是遷移學(xué)習(xí)的代表學(xué)習(xí)具有“學(xué)會(huì)學(xué)習(xí)”的能力，在小樣本條件下利用已有的學(xué)習(xí)經(jīng)驗(yàn)，快速完成新的任務(wù)；

既完成訓(xùn)練時(shí)的任務(wù)，也獲得跨領(lǐng)域或任務(wù)的能力一種虛擬共享模型，在不同機(jī)構(gòu)間通過(guò)加密交互中間結(jié)果和參數(shù)實(shí)現(xiàn)共享不同高質(zhì)量數(shù)據(jù)的目的；

用于解決數(shù)據(jù)孤島、隱私和安全問(wèn)題。深度學(xué)習(xí)算法分類（續(xù)）對(duì)抗生成網(wǎng)絡(luò)

同時(shí)訓(xùn)練一個(gè)生成器和一個(gè)判別器，博弈提升性能

生成器學(xué)習(xí)并生成與真實(shí)樣本類似分布的輸出結(jié)果

判別器學(xué)習(xí)鑒別輸入是真實(shí)還是生成的結(jié)果聯(lián)邦學(xué)習(xí)一種虛擬共享模型，在不同機(jī)構(gòu)間通過(guò)加密交互中間結(jié)果和參數(shù)實(shí)現(xiàn)共享不同高質(zhì)量數(shù)據(jù)的目的；

用于解決數(shù)據(jù)孤島、隱私和安全問(wèn)題。1.2

深度學(xué)習(xí)發(fā)展歷史1.2深度學(xué)習(xí)發(fā)展歷史01機(jī)器學(xué)習(xí)發(fā)展歷程始于上世紀(jì)50年代經(jīng)歷約5個(gè)階段0203神經(jīng)網(wǎng)絡(luò)發(fā)展歷程始于上世紀(jì)50年代經(jīng)歷約3個(gè)階段，兩次低谷深度學(xué)習(xí)發(fā)展歷程始于2006年經(jīng)歷發(fā)展期和爆發(fā)期兩個(gè)階段1.2深度學(xué)習(xí)發(fā)展歷史（續(xù)）01機(jī)器學(xué)習(xí)發(fā)展歷程始于上世紀(jì)50年代經(jīng)歷約5個(gè)階段1.2深度學(xué)習(xí)發(fā)展歷史（續(xù)）01機(jī)器學(xué)習(xí)發(fā)展歷程始于上世紀(jì)50年代經(jīng)歷約5個(gè)階段1952年，IBM公司Samuel研發(fā)出西洋跳棋程序，提出“機(jī)器學(xué)習(xí)”概念1997年，IBM公司深藍(lán)國(guó)際象棋程序戰(zhàn)勝世界排名第一的國(guó)際象棋大師卡斯特羅夫1.2深度學(xué)習(xí)發(fā)展歷史（續(xù)）02神經(jīng)網(wǎng)絡(luò)發(fā)展歷史始于上世紀(jì)50年代經(jīng)歷兩次低谷,三次崛起1.2深度學(xué)習(xí)發(fā)展歷史（續(xù)）02神經(jīng)網(wǎng)絡(luò)發(fā)展歷史始于上世紀(jì)50年代經(jīng)歷兩次低谷,三次崛起第一階段第二階段第三階段1943，M-P模型1949，Hebb規(guī)則1957，感知機(jī)模型1958，Adaline模型1969，明斯基結(jié)論

（低潮期）1970，SeppoBP算法雛形1974，WerbosBP算法1981-1986，BP+MLP1989,LeCun提出LeNet1991，梯度消失（低潮期）2006，Hinton在《Science》發(fā)表DBN論文通過(guò)無(wú)監(jiān)督初始化和有監(jiān)督BP解決梯度消失問(wèn)題1.2深度學(xué)習(xí)發(fā)展歷史（續(xù)）03深度學(xué)習(xí)發(fā)展歷史2006年，Hinton在《Science》發(fā)表深度信念網(wǎng)絡(luò)DBN推動(dòng)深度學(xué)習(xí)在學(xué)術(shù)界持續(xù)升溫。2011年，微軟和谷歌將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于語(yǔ)音識(shí)別，錯(cuò)誤率降低20%-30%，獲顯著突破。2012年，Hinton課題組將CNN應(yīng)用于ImageNet圖像識(shí)別比賽獲得奪冠。同年，吳恩達(dá)和JeffDean利用深度學(xué)習(xí)將圖像錯(cuò)誤率從26%降低到15%。2014年深度學(xué)習(xí)的人臉識(shí)別率達(dá)97%，首超人類。1.2深度學(xué)習(xí)發(fā)展歷史（續(xù)）03深度學(xué)習(xí)發(fā)展歷史2016年，AlphaGo運(yùn)用深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)技術(shù)戰(zhàn)勝人類九段職業(yè)選手，推動(dòng)DL發(fā)展高潮。2017年，升級(jí)版AlphaGo加強(qiáng)強(qiáng)化學(xué)習(xí)和更深層次深度學(xué)習(xí)算法，戰(zhàn)勝世界排名第一柯潔1.3

深度學(xué)習(xí)的應(yīng)用1.3深度學(xué)習(xí)的應(yīng)用語(yǔ)音領(lǐng)域文本領(lǐng)域圖像領(lǐng)域多模態(tài)領(lǐng)域1.3深度學(xué)習(xí)的應(yīng)用圖像0101Options02Options03Options04Options安防報(bào)警無(wú)人駕駛目標(biāo)追蹤游戲娛樂(lè)安防支付門(mén)禁人臉識(shí)別AI藝術(shù)智能監(jiān)控智慧醫(yī)療藝術(shù)畫(huà)創(chuàng)作電影制作智能診斷遠(yuǎn)程手術(shù)醫(yī)療質(zhì)控1.3深度學(xué)習(xí)的應(yīng)用圖像01圖像識(shí)別在智慧醫(yī)療中的應(yīng)用AI藝術(shù)畫(huà)作生成1.3深度學(xué)習(xí)的應(yīng)用文本0201Options02Options03Options04Options輿情分析服務(wù)評(píng)價(jià)分析翻譯軟件語(yǔ)音助手機(jī)器翻譯智能問(wèn)答情感分析文本生成智能新聞生成小說(shuō)/劇本創(chuàng)作聊天機(jī)器人智能客服智能咨詢1.3深度學(xué)習(xí)的應(yīng)用語(yǔ)音0301Options02Options03Options04Options違章鳴笛抓拍目標(biāo)鎖定人機(jī)交互語(yǔ)音助手人機(jī)交互安防應(yīng)用語(yǔ)音識(shí)別音頻合成聲源定位語(yǔ)音增強(qiáng)智能客服虛擬播報(bào)音樂(lè)創(chuàng)作話音通信質(zhì)量保障復(fù)雜場(chǎng)景提升語(yǔ)音質(zhì)量1.3深度學(xué)習(xí)的應(yīng)用語(yǔ)音03可與人流暢語(yǔ)音交流的機(jī)器人索菲亞1.3深度學(xué)習(xí)的應(yīng)用多模態(tài)0401Options02Options03Options04Options視頻描述視覺(jué)問(wèn)答多模態(tài)對(duì)話代碼生成基于多模態(tài)深度語(yǔ)義理解：汽車智能座艙（語(yǔ)音+視覺(jué)）智能家居（語(yǔ)音+視覺(jué)）人機(jī)交互跨模態(tài)檢索多模態(tài)生成其它應(yīng)用商品檢索智能客服商品推薦短視頻分類視頻推薦視覺(jué)推理語(yǔ)言視覺(jué)推理小結(jié)概述概念歷史應(yīng)用機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的關(guān)系、算法分類第2章深

度

學(xué)

習(xí)

原

理授課教師：時(shí)

間：主要內(nèi)容2.1生物學(xué)啟示2.2深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.3學(xué)習(xí)目標(biāo)2.4學(xué)習(xí)算法2.5XOR問(wèn)題2.6序列數(shù)據(jù)分類問(wèn)題2.11生物學(xué)啟示生物學(xué)啟示2.1大腦細(xì)胞主要由神經(jīng)元（Neurons）和神經(jīng)膠質(zhì)（Glia）組成大腦生物學(xué)啟示2.1神經(jīng)元由細(xì)胞體、樹(shù)突和軸突組成神經(jīng)元樹(shù)突

胞體

軸突輸入

處理

輸出生物學(xué)啟示2.1神經(jīng)元蛋白質(zhì)合成的主要場(chǎng)所胞體生物學(xué)啟示2.1神經(jīng)元的輸入通道，接收其他神經(jīng)元傳遞的電信號(hào)至胞體樹(shù)突生物學(xué)啟示2.1傳遞胞本體電位至突觸軸突生物學(xué)啟示2.1神經(jīng)元間通信的特異性接頭突觸生物學(xué)啟示2.1神經(jīng)元+連接（學(xué)習(xí)）生物神經(jīng)網(wǎng)絡(luò)神經(jīng)元間建立新的連接或修改已有連接為生物神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程2.21深度學(xué)習(xí)的網(wǎng)絡(luò)模型深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1神經(jīng)元?樹(shù)突接收多個(gè)輸入?胞體對(duì)輸入信息進(jìn)行處理?處理后的信息通過(guò)軸突輸出（單輸出）如何抽象為數(shù)學(xué)模型？深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1胞體抽象表示∑f疊加/求和處理/激活胞體對(duì)輸入信息進(jìn)行處理深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1樹(shù)突抽象表示

∑f其他神經(jīng)元輸出

突觸調(diào)節(jié)

深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1輸出（軸突）抽象表示∑f

y深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1

常見(jiàn)激活函數(shù)深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1

神經(jīng)元抽象表示向量化

深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1一個(gè)神經(jīng)元分類實(shí)例深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1一個(gè)神經(jīng)元的分類實(shí)例問(wèn)題描述分類蘋(píng)果和橘子紅色光滑黃色粗糙描述（特征）：：顏色，粗糙度深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1一個(gè)神經(jīng)元的分類實(shí)例紅色光滑黃色粗糙

確定輸入維度

深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1一個(gè)神經(jīng)元的分類實(shí)例確定輸出

深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1一個(gè)神經(jīng)元的分類實(shí)例確定權(quán)重

∑f深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1一個(gè)神經(jīng)元的分類實(shí)例確定激活函數(shù)

∑f

深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1一個(gè)神經(jīng)元的分類實(shí)例測(cè)試

∑f深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1一個(gè)神經(jīng)元的分類實(shí)例測(cè)試

∑f

深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1前饋神經(jīng)網(wǎng)絡(luò)輸入層隱藏層輸出層網(wǎng)絡(luò)結(jié)構(gòu)深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1前向傳播（計(jì)算）

深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1前向傳播深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1前向傳播

深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1前向傳播

深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1前向傳播

向量化

深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1前向傳播

深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1常見(jiàn)前饋神經(jīng)網(wǎng)絡(luò)模型LeNetResNetU-Net深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)

參數(shù)更新規(guī)則：優(yōu)化目標(biāo)：梯度下降法深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1一個(gè)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的例子擬合綠色散點(diǎn)數(shù)據(jù)問(wèn)題描述

深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1一個(gè)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的例子訓(xùn)練過(guò)程損失值變化

損失函數(shù)：MSE

設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)1(Input)-10(Hidden)-ReLU(Activation)-10(Hidden)-1(Output)選擇優(yōu)化器：SGD（隨機(jī)梯度下降法）

深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1一個(gè)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的例子（參考代碼）#-*-coding:utf-8-*-"""CreatedonWedMay1010:54:572023@author:ZhanaoHuang"""importmathimportmatplotlib.pyplotaspltimportnumpyasnpimporttorchfromtorchimportnn

importosimportimageiofromPILimportImageos.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

deffig2img(fig):"""ConvertaMatplotlibfiguretoaPILImageandreturnit"""importiobuf=io.BytesIO()fig.savefig(buf)buf.seek(0)img=Image.open(buf)returnimgdefgenerate_data():y=[]x=[]foriinnp.arange(0,5,0.1):x.append(i)y.append(math.cos(i)+np.random.uniform(-0.1,0.1))plt.scatter(x,y)plt.show()returnnp.array(x),np.array(y)

classNet(nn.Module):def__init__(self):super(Net,self).__init__()

self.fc=nn.Sequential(nn.Linear(1,10),nn.ReLU(),nn.Linear(10,1),)defforward(self,x):out=self.fc(x)returnout深度學(xué)習(xí)的網(wǎng)絡(luò)模型2.2.1一個(gè)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的例子（參考代碼）deftrain(net,x,y):optimizer=torch.optim.SGD(net.parameters(),lr=0.05)loss_func=nn.MSELoss()x=torch.from_numpy(x).float()y=torch.from_numpy(y).float()loss_all=[]img_loss_all,img_result_all=[],[]foreinrange(3000):outputs=net(x.view(-1,1,1))loss=loss_func(outputs.view(-1),y.view(-1).float())optimizer.zero_grad()loss.backward()optimizer.step()loss_all.append(loss.detach().numpy())

if(e)%10==0:print('epoch=',e,',loss=',loss)plt.plot(np.arange(len(loss_all)),loss_all,'green')plt.ylabel('loss')plt.xlabel('iteration')plt.xlim(0,3000)plt.ylim(0,1.5)fig_loss=plt.gcf()img_loss=fig2img(fig_loss)img_loss_all.append(img_loss)plt.clf()predict=net(x.view(-1,1,1))y_pre=predict.view(-1).detach().numpy()plt.scatter(x,y,color='g')plt.plot(x,y_pre,color='r')fig_result=plt.gcf()img_result=fig2img(fig_result)img_result_all.append(img_result)plt.clf()

imageio.mimsave('regression_loss.gif',img_loss_all,'GIF',duration=0.1)imageio.mimsave('regression_result.gif',img_result_all,'GIF',duration=0.1)if__name__=='__main__':x,y=generate_data()

net=Net()train(net,x,y)2.22循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.2

輸入層隱藏層輸出層

前饋神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)

Uo

輸入數(shù)據(jù)之間存在關(guān)聯(lián)，如語(yǔ)句，視頻，音頻等數(shù)據(jù)。輸入數(shù)據(jù)之間存無(wú)關(guān)聯(lián)。W輸入層隱藏層輸出層循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.2

Uo

W按時(shí)間步展開(kāi)

U

W

W

U

W

U

W

循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.2信息傳播（計(jì)算）過(guò)程

U

W

W

U

W

U

W

循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.2無(wú)輸出的循環(huán)神經(jīng)網(wǎng)絡(luò)U

W

WUWUW

循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.2最后時(shí)刻輸出的循環(huán)神經(jīng)網(wǎng)絡(luò)U

W

WUWU

U

循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.2一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)示例建模CHINA

UC輸入標(biāo)簽H

輸出隱藏層時(shí)間步1循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.2一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)示例

UC

U

輸入標(biāo)簽H

輸出隱藏層時(shí)間步12循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.2一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)示例

UC

U

U

輸入標(biāo)簽H

輸出隱藏層時(shí)間步123循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.2一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)示例

UC

U

U

U

輸入標(biāo)簽H

輸出隱藏層時(shí)間步1234循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.2RNNs記憶長(zhǎng)度問(wèn)題RNNs可利用短期記憶信息，無(wú)法有效使用長(zhǎng)期記憶信息。LongShortTermMemorynetworks（LSTM）引入門(mén)控機(jī)制控制信息流動(dòng)，可有效處理長(zhǎng)期記憶依賴問(wèn)題。循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.2LSTM單元狀態(tài)（cellstate）:控制信息流動(dòng)循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.2LSTM遺忘門(mén):丟棄信息循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.2LSTM輸入門(mén):保存新信息循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.2LSTM輸入門(mén):保存新信息循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.2LSTM輸出門(mén):輸出信息循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.2LSTM變種Peepholeconnections.Gers&Schmidhuber(2000)耦合遺忘門(mén)和輸入門(mén)GRU2.23神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)2.2.3人工設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)搜索專家參與效率低

自動(dòng)搜索效率高神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)2.2.3神經(jīng)網(wǎng)絡(luò)搜索的主要組成神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)2.2.3定義一組操作以及如何連接操作以形成有效的網(wǎng)絡(luò)體系結(jié)構(gòu)搜索空間卷積池化連接操作神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)2.2.3對(duì)候選網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行采樣搜索策略強(qiáng)化學(xué)習(xí)進(jìn)化算法基于梯度的方法神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)2.2.3測(cè)量或預(yù)測(cè)搜索出來(lái)的模型的性能，獲得相應(yīng)反饋以供搜索算法學(xué)習(xí)性能評(píng)估策略層次化表示表現(xiàn)預(yù)測(cè)權(quán)重共享假設(shè)整體網(wǎng)絡(luò)是由cell重復(fù)構(gòu)建的，搜索空間縮小到對(duì)兩類cell（normalcell和reductioncell）結(jié)構(gòu)的搜索上，大大減小了搜索空間讓搜索中所有的子模型重用權(quán)重，將NAS的過(guò)程看作是在一張大圖中找子圖。將網(wǎng)絡(luò)進(jìn)行變形，同時(shí)保持其功能不變。變形后重用之前訓(xùn)練好的權(quán)重。使用一個(gè)代理模型輸出預(yù)測(cè)的驗(yàn)證精度評(píng)估加速神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)2.3.2視覺(jué)自然語(yǔ)言處理語(yǔ)音醫(yī)療圖像分割目標(biāo)檢測(cè)姿態(tài)估計(jì)語(yǔ)音識(shí)別關(guān)鍵字識(shí)別機(jī)器翻譯語(yǔ)言建模命名實(shí)體識(shí)別神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索應(yīng)用2.31代價(jià)函數(shù)代價(jià)函數(shù)2.3.1定義在整個(gè)訓(xùn)練集上定義在單個(gè)訓(xùn)練樣本上代價(jià)函數(shù)損失函數(shù)取平均值代價(jià)函數(shù)與損失函數(shù)代價(jià)函數(shù)2.3.1

最優(yōu)的模型總能得到與真實(shí)值一致的預(yù)測(cè)值代價(jià)函數(shù)的定義代價(jià)函數(shù)2.3.1

代價(jià)函數(shù)的定義代價(jià)函數(shù)2.3.1在回歸任務(wù)中，常用均方誤差（Mean

Squared

Error，MSE）作為代價(jià)函數(shù)

均方誤差代價(jià)函數(shù)2.3.1交叉熵時(shí)神經(jīng)網(wǎng)絡(luò)最常用的代價(jià)函數(shù)。信息熵描述的是隨機(jī)變量或整個(gè)系統(tǒng)的不確定性，熵越大，隨機(jī)變量或系統(tǒng)的不確定性就越大。交叉熵衡量的是在知道真實(shí)值時(shí)的不確定程度。交叉熵代價(jià)函數(shù)2.3.1

交叉熵2.32輸出表示輸出表示2.3.2代價(jià)函數(shù)的選擇與輸出表示形式的選擇緊密相關(guān)輸出表示的形式二值型N值型SigmoidSoftmax輸出表示的定義輸出表示2.3.2預(yù)測(cè)二值型變量

Bernoulli分布最大似然方法Sigmoid表示輸出表示2.3.2然而，神經(jīng)網(wǎng)絡(luò)的輸出單元一般不存在偏置和激活函數(shù)。為了滿足上述約束條件，引入sigmoid函數(shù)

Sigmoid表示輸出表示2.3.2

需要表示一個(gè)具有n個(gè)可能取值的離散型隨機(jī)變量的分布可以使用Softmax函數(shù)Softmax表示輸出表示2.3.2引入Softmax函數(shù)對(duì)輸出進(jìn)行歸一化

Softmax表示2.41Hebb學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則2.4.1每次喂食前響鈴，狗將食物和響鈴聯(lián)系起來(lái)。一段時(shí)間后，盡管沒(méi)有食物，聽(tīng)到響鈴也會(huì)分泌唾液。DonaldHebb認(rèn)為：在同一時(shí)間被激發(fā)的神經(jīng)元之間的聯(lián)系會(huì)被強(qiáng)化。巴甫洛夫的條件反射實(shí)驗(yàn)Hebb學(xué)習(xí)規(guī)則2.4.1Hebb學(xué)習(xí)規(guī)則由DonaldHebb于1949年提出，為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法發(fā)展奠定了基礎(chǔ)。

如果兩個(gè)神經(jīng)元被同時(shí)激活，那么它們的突觸即連接強(qiáng)度將會(huì)增加。

學(xué)習(xí)率Hebb學(xué)習(xí)規(guī)則2.4.1線性聯(lián)想器通過(guò)表征正負(fù)關(guān)系學(xué)習(xí)，無(wú)標(biāo)簽輸入，屬于無(wú)監(jiān)督學(xué)習(xí)。然而現(xiàn)實(shí)場(chǎng)景中存在大量成對(duì)數(shù)據(jù)的情景，如分類任務(wù)。

有監(jiān)督的學(xué)習(xí)規(guī)則2.42反向傳播算法反向傳播算法2.4.2Cat?Dog?每個(gè)神經(jīng)元上的參數(shù)設(shè)置為多少可以準(zhǔn)確分類？參數(shù)更新算法確定網(wǎng)絡(luò)最優(yōu)參數(shù)值反向傳播算法2.4.2反向傳播（BackPropagation）通過(guò)網(wǎng)絡(luò)輸出和期望輸出之間的誤差迭代調(diào)整權(quán)值，直到神經(jīng)網(wǎng)絡(luò)對(duì)輸入的響應(yīng)達(dá)到預(yù)期。前向傳播損失函數(shù)梯度下降反向傳播鏈?zhǔn)椒▌t反向傳播算法2.4.2

……

前向傳播反向傳播算法2.4.2

以一個(gè)簡(jiǎn)單的誤差計(jì)算為例：

方便后期求導(dǎo)計(jì)算，不影響效果。損失函數(shù)反向傳播算法2.4.2計(jì)算參數(shù)的梯度，以損失函數(shù)的負(fù)梯度方向，調(diào)整網(wǎng)絡(luò)參數(shù)。

第n層網(wǎng)絡(luò)

學(xué)習(xí)率每一輪梯度更新后，針對(duì)該輸入的模型輸出會(huì)更加接近期望輸出。

gradient

反向傳播+梯度下降反向傳播算法2.4.2以損失函數(shù)的負(fù)梯度方向，調(diào)整網(wǎng)絡(luò)參數(shù)。

第n層網(wǎng)絡(luò)

學(xué)習(xí)率每一輪梯度更新后，針對(duì)該輸入的模型輸出會(huì)更加接近期望輸出。

gradient

梯度下降反向傳播算法2.4.2

計(jì)算y關(guān)于x的導(dǎo)數(shù)，有：

鏈?zhǔn)椒▌t回顧反向傳播算法2.4.2網(wǎng)絡(luò)通常是多層的，可以通過(guò)鏈?zhǔn)椒▌t逐層計(jì)算梯度。以三層網(wǎng)絡(luò)為例：

鏈?zhǔn)椒▌t-1

對(duì)于輸出層，有：

鏈?zhǔn)椒▌t-2反向傳播算法2.4.2反向傳播算法2.4.2

對(duì)于輸出層，有：

鏈?zhǔn)椒▌t-3反向傳播算法2.4.2

對(duì)于前一層，有：

鏈?zhǔn)椒▌t-4反向傳播算法2.4.21:構(gòu)造簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)并初始化本示例來(lái)自:/p/464268270反向傳播示例2:正向傳播，計(jì)算隱藏層神經(jīng)元的輸出反向傳播算法2.4.2反向傳播示例3:正向傳播，計(jì)算隱藏層神經(jīng)元的輸出反向傳播算法2.4.2反向傳播示例4:正向傳播，計(jì)算輸出層神經(jīng)元的輸出反向傳播算法2.4.2反向傳播示例5:計(jì)算誤差反向傳播算法2.4.2反向傳播示例

反向傳播算法2.4.2反向傳播示例

反向傳播算法2.4.2反向傳播示例

反向傳播算法2.4.2反向傳播示例

反向傳播算法2.4.2思考與嘗試2.43時(shí)間步上的反向傳播時(shí)間步上的反向傳播2.4.3循環(huán)神經(jīng)網(wǎng)絡(luò)包含特殊的循環(huán)連接，將神經(jīng)元的輸出重新輸入神經(jīng)元。循環(huán)神經(jīng)網(wǎng)絡(luò)

通過(guò)時(shí)間反向傳播時(shí)間步上的反向傳播2.4.3

有：設(shè)：

有：

已知：

誤差計(jì)算與梯度計(jì)算-1時(shí)間步上的反向傳播2.4.3

誤差計(jì)算與梯度計(jì)算-2時(shí)間步上的反向傳播2.4.3

誤差計(jì)算與梯度計(jì)算-3時(shí)間步上的反向傳播2.4.3可以統(tǒng)一表達(dá)為：

誤差計(jì)算與梯度計(jì)算-4時(shí)間步上的反向傳播2.4.3計(jì)算兩個(gè)時(shí)間步的循環(huán)神經(jīng)網(wǎng)絡(luò)的前向傳播和反向傳播；用編程語(yǔ)言實(shí)現(xiàn)簡(jiǎn)單的循環(huán)神經(jīng)網(wǎng)絡(luò)，并實(shí)現(xiàn)前向傳播與后向傳播過(guò)程。思考與嘗試時(shí)間步上的反向傳播2.4.32.44深度學(xué)習(xí)的泛化能力深度學(xué)習(xí)的泛化能力2.4.4泛化能力（GeneralizationAbility）衡量了模型對(duì)未知數(shù)據(jù)的預(yù)測(cè)能力，是一種舉一反三和學(xué)以致用的能力。CatDog訓(xùn)練預(yù)測(cè)泛化能力泛化能力不好的表現(xiàn)深度學(xué)習(xí)的泛化能力2.4.4訓(xùn)練模型復(fù)雜度高于實(shí)際問(wèn)題，過(guò)度訓(xùn)練，模型死記硬背，導(dǎo)致過(guò)擬合問(wèn)題。模型復(fù)雜度低于實(shí)際問(wèn)題，訓(xùn)練不足，模型無(wú)法捕捉數(shù)據(jù)的特征，導(dǎo)致欠擬合問(wèn)題。預(yù)測(cè)過(guò)擬合：邊緣沒(méi)有鋸齒，不是樹(shù)葉欠擬合：綠色的，是樹(shù)葉過(guò)擬合和欠擬合深度學(xué)習(xí)的泛化能力2.4.4結(jié)構(gòu)復(fù)雜度和樣本復(fù)雜度；樣本質(zhì)量；初始權(quán)值；學(xué)習(xí)時(shí)間；…泛化能力弱的原因深度學(xué)習(xí)的泛化能力2.4.42.51XOR問(wèn)題的定義XOR問(wèn)題的定義2.5.1異或是數(shù)學(xué)中的一種邏輯運(yùn)算符，記為⊕運(yùn)算規(guī)則0⊕0

=

11⊕0

=

00⊕1

=

01⊕1

=

1當(dāng)兩個(gè)數(shù)的數(shù)值相同時(shí)為真，不相同時(shí)為假XOR問(wèn)題的定義2.5.1在此特征空間下，用線性分類器無(wú)法解決XOR問(wèn)題2.52解決XOR的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)解決XOR的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)2.5.2引入一個(gè)包含三層的前饋神經(jīng)網(wǎng)絡(luò)解決XOR的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)2.5.2引入一個(gè)包含三層的前饋神經(jīng)網(wǎng)絡(luò)

解決XOR的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)2.5.2引入一個(gè)包含三層的前饋神經(jīng)網(wǎng)絡(luò)

2.53得到XOR的解得到XOR的解2.5.3對(duì)于已經(jīng)收斂的前饋神經(jīng)網(wǎng)絡(luò)，先令

矩陣可以表示為

得到XOR的解2.5.3將輸入矩陣與第一層權(quán)重矩陣進(jìn)行相乘，并加上偏置矩陣

得到XOR的解2.5.3加入ReLU激活函數(shù)

得到XOR的解2.5.3得到模型最終的輸出值

2.61序列數(shù)據(jù)分類問(wèn)題的定義序列數(shù)據(jù)分類問(wèn)題的定義2.6.1文本數(shù)據(jù)作為一種天生的序列數(shù)據(jù)在深度學(xué)習(xí)領(lǐng)域被廣泛研究文本分類任務(wù)：給定一句評(píng)論，通過(guò)將該評(píng)論輸入一個(gè)神經(jīng)網(wǎng)絡(luò)模型。判斷它是“好評(píng)”還是“差評(píng)”2.62序列數(shù)據(jù)分類問(wèn)題求解序列數(shù)據(jù)分類問(wèn)題求解2.6.2序列數(shù)據(jù)分類問(wèn)題求解2.6.2分詞這電影真不錯(cuò)！這#電影#真#不錯(cuò)#！構(gòu)建辭典[這：88，電影：156，真：14，不錯(cuò)：23，！：5…]序列數(shù)據(jù)分類問(wèn)題求解2.6.2獨(dú)熱編碼[88，156，14，23，5]模型學(xué)習(xí)將中的每個(gè)元素按照順序依次輸入循環(huán)神經(jīng)網(wǎng)絡(luò)。取最后一個(gè)時(shí)間步的隱藏層狀態(tài)的值并送入一個(gè)全連接網(wǎng)絡(luò)進(jìn)行維度轉(zhuǎn)換輸出值利用Softmax函數(shù)轉(zhuǎn)換到0-1之間的概率值，計(jì)算損失并梯度反傳更新整個(gè)網(wǎng)絡(luò)參數(shù)第3章深度學(xué)習(xí)框架介紹授課教師：時(shí)

間：

目錄3.13.23.3MindSpore介紹TensorFlow介紹概述深度學(xué)習(xí)框架總覽框架簡(jiǎn)介、環(huán)境安裝和配置框架簡(jiǎn)介、環(huán)境安裝和配置

目錄3.43.5PyTorch介紹如何選擇好的框架框架簡(jiǎn)介、環(huán)境安裝和配置3.11概述深度學(xué)習(xí)框架總覽目前，應(yīng)用最廣泛的深度學(xué)習(xí)框架有TensorFlow、PyTorch、PaddlePaddle、Caffe、MXNet等，也有如MindSpore這類的新起之秀。表3.1展示了至2021年9月Github上相關(guān)深度學(xué)習(xí)框架的具體信息。表3.1:深度學(xué)習(xí)框架總覽MindSpore的驅(qū)動(dòng)前提為了減小從學(xué)術(shù)研究到工業(yè)生產(chǎn)之間存在的巨大鴻溝，提出了驅(qū)動(dòng)人工智能(AI)框架演進(jìn)的五大因素：“ABCDE”。Application+BigData：AI模型和數(shù)據(jù)大模型+大數(shù)據(jù)(GPT-3參數(shù)達(dá)1750億)；從單一的NN向通用AI和科學(xué)計(jì)算演進(jìn)。Chip：AI芯片和算力芯片/集群性能持續(xù)提升(E級(jí)人工智能算力集群)；CPU/GPU/NPU多樣化異構(gòu)算力。Developer：算法開(kāi)發(fā)工程師關(guān)注算法創(chuàng)新，系統(tǒng)性能優(yōu)化動(dòng)力不足；算法迭代快，需要邊界的調(diào)試調(diào)優(yōu)能力。Enterprise：AI部署+AI責(zé)任企業(yè)部署注重安全、隱私保護(hù)；AI產(chǎn)品的廣泛應(yīng)用面臨公平性、可解釋挑戰(zhàn)。3.22MindSpore介紹3.2.1框架簡(jiǎn)介2018年華為公司全聯(lián)接大會(huì)上提出了人工智能面臨的十大挑戰(zhàn)：1.模型訓(xùn)練方面：深度學(xué)習(xí)模型訓(xùn)練時(shí)間少則數(shù)日，多則數(shù)月；2.算力方面：目前GPU算力稀缺且昂貴，算力仍然是制約現(xiàn)階段深度學(xué)習(xí)發(fā)展的瓶頸之一；3.人工智能部署方面：主要在云，少量在邊緣；4.

算法方面：目前的訓(xùn)練算法主要誕生于上世紀(jì)80年代，數(shù)據(jù)需求量大，計(jì)算能效較高，算法的可解釋較差；5.人工智能自動(dòng)化方面：仍然面臨沒(méi)有人工就沒(méi)有智能的現(xiàn)狀；6.面向?qū)嶋H應(yīng)用方面：模型的實(shí)際應(yīng)用相對(duì)較少，工業(yè)應(yīng)用不足；7.模型更新方面：模型參數(shù)非實(shí)時(shí)更新；8.多技術(shù)協(xié)同方面：現(xiàn)有的模型與其他技術(shù)集成不充分；9.平臺(tái)支持方面：現(xiàn)有的模型訓(xùn)練是一項(xiàng)需要高級(jí)技能，難度較高的工作；10.相關(guān)人才獲得方面：目前的數(shù)據(jù)科學(xué)家稀缺，人才儲(chǔ)備不足。3.2.1框架簡(jiǎn)介2020年3月28日，華為發(fā)布了新一代人工智能框架MindSpore，發(fā)布MindSporev0.1.0-alpha版本。2020年4月-8月，華為發(fā)布了V0.2.0-V0.7.0版本。2020年9月，華為發(fā)布了V1.0.0正式版本。在該版本中，MindSpore提供了所見(jiàn)即所得的模型開(kāi)發(fā)和調(diào)優(yōu)套件，同時(shí)也提供了40多個(gè)典型的高性能模型，覆蓋了計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、推薦系統(tǒng)等多個(gè)領(lǐng)域。2021年9月，MindSpore已迭代更新至V1.3.0版本，支持增量推理模型部署，圖計(jì)算融合加速網(wǎng)絡(luò)訓(xùn)練等新的特性。3.2.2環(huán)境安裝與配置下載Miniconda圖3.1:在官網(wǎng)上下載對(duì)應(yīng)的安裝版本3.2.2環(huán)境安裝與配置下載Miniconda圖3.2:Miniconda安裝成功界面3.2.2環(huán)境安裝與配置MindSpore的正常運(yùn)行依賴Python3.7.5運(yùn)行環(huán)境，利用Miniconda創(chuàng)建一個(gè)符合該版本要求的Python虛擬環(huán)境。在AnacondaPrompt(Miniconda)中，鍵入以下命令創(chuàng)建Python虛擬環(huán)境：圖3.3:虛擬環(huán)境創(chuàng)建成功界面若虛擬環(huán)境安裝成功，則Prompt界面如圖3.3所示，可以利用condaactivatemindspore

和condadeactivatemindspore激活或退出MindSpore虛擬環(huán)境。3.2.2環(huán)境安裝與配置在Promt中鍵入condaactivatemindspore激活創(chuàng)建成功的虛擬環(huán)境，若環(huán)境成功激活，則命令符前括號(hào)中的字母應(yīng)變更為“minspore”,激活成功界面如圖3.4所示。圖3.4:虛擬環(huán)境激活成功界面3.2.2環(huán)境安裝與配置圖3.5:MindSpore官網(wǎng)版本下載界面MindSpore的安裝十分簡(jiǎn)單。MindSpore官網(wǎng)下載頁(yè)面如圖3.5所示，用戶只需根據(jù)適合的環(huán)境條件下載相應(yīng)的安裝包或使用云平臺(tái)即可創(chuàng)建和部署該框架。3.2.2環(huán)境安裝與配置圖3.6:MindSpore

安裝成功界面以MindSpore1.3.0CPU版本為例，通過(guò)Python自帶的軟件包安裝工具pip，即可實(shí)現(xiàn)MindSpore的快速安裝。程序安裝完成界面如圖3.6所示。3.2.3MindSpore實(shí)現(xiàn)簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)代碼1：引入MindSporeAPI使用MindSpore框架訓(xùn)練模型前需要引入MindSporeAPI來(lái)輔助實(shí)現(xiàn)對(duì)應(yīng)的功能，例如nn庫(kù)中提供了用于構(gòu)建神經(jīng)網(wǎng)絡(luò)的預(yù)定義構(gòu)建模塊和計(jì)算單元；Model庫(kù)用于模型訓(xùn)練和測(cè)試；callback庫(kù)用于保存模型的信息等，實(shí)踐案例如代碼1所示。3.2.3MindSpore實(shí)現(xiàn)簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)代碼2：定義神經(jīng)網(wǎng)絡(luò)模型使用MindSpore框架定義神經(jīng)網(wǎng)絡(luò)模型時(shí)，需要繼承MindSpore的Cell類，它是構(gòu)建所有網(wǎng)絡(luò)的基類，也是網(wǎng)絡(luò)的基本單元。同時(shí)，還需要根據(jù)模型的設(shè)計(jì)來(lái)重寫(xiě)__init__方法和construct方法。3.2.3MindSpore實(shí)現(xiàn)簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)代碼2：定義神經(jīng)網(wǎng)絡(luò)模型代碼2中，__init__中提到的Conv2d代表卷積函數(shù)，用于提取特征；ReLU代表非線性激活函數(shù)，用于學(xué)習(xí)各種復(fù)雜的特征；MaxPool2d代表最大池化函數(shù)，用于降采樣；Flatten將多維數(shù)組轉(zhuǎn)化為1維數(shù)組；Dense用于矩陣的線性變換。construct中則是用定義好的運(yùn)算實(shí)現(xiàn)網(wǎng)絡(luò)的前向傳播過(guò)程。3.2.3MindSpore實(shí)現(xiàn)簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)代碼3：加載數(shù)據(jù)和定義模型參數(shù)定義了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)之后，就需要加載訓(xùn)練需要用到的數(shù)據(jù)集和定義模型的超參數(shù)。train_epoch表示所有數(shù)據(jù)在網(wǎng)絡(luò)模型中完成了前向計(jì)算和反向傳播的次數(shù)；lr代表學(xué)習(xí)率，決定了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)問(wèn)題的快慢；momentum是動(dòng)量算法（與隨機(jī)梯度下降算法類似）中的一個(gè)參數(shù)；net_loss定義了模型的損失函數(shù)，反映了模型的預(yù)測(cè)值和真實(shí)值的差距，此處選用的是交叉熵?fù)p失函數(shù)；net_opt定義了模型的優(yōu)化算法，用于更新模型中的參數(shù)。3.2.3MindSpore實(shí)現(xiàn)簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)代碼4：訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型最后一步是初始化神經(jīng)網(wǎng)絡(luò)，再將模型超參數(shù)、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)、模型優(yōu)化器和評(píng)價(jià)指標(biāo)等一同傳給網(wǎng)絡(luò)模型，通過(guò)調(diào)用模型的train函數(shù)正式開(kāi)始模型的訓(xùn)練。3.33TensorFlow介紹3.3.1框架簡(jiǎn)介隨著2016年3月AlphaGo戰(zhàn)勝李世石，深度學(xué)習(xí)和人工智能等概念迅速進(jìn)入大眾的視野。而TensorFlow是AlphaGo擁有如此強(qiáng)大能力的基礎(chǔ)，它是Google公司在2015年11月開(kāi)源的機(jī)器