深度學習-電子工業(yè)出版社-劉鵬張燕-第7章-深度學習在圖像中的應(yīng)用

高級大數(shù)據(jù)人才培養(yǎng)叢書之一，大數(shù)據(jù)挖掘技術(shù)與應(yīng)用劉鵬主編趙海峰副主編BIGDATA劉鵬張燕總主編深度學習第七章深度學習在圖像中的應(yīng)用全國高校標準教材《云計算》姊妹篇，剖析深度學習核心技術(shù)和實戰(zhàn)應(yīng)用of3127.1圖像識別基礎(chǔ)7.2基于深度學習的大規(guī)模圖像識別7.3應(yīng)用舉例：人臉識別7.4應(yīng)用舉例：圖像風格化習題7.5應(yīng)用舉例：圖像標注7.1圖像識別基礎(chǔ)第七章深度學習在圖像中的應(yīng)用of3131．人眼和計算機的圖像識別過程7.1圖像識別基礎(chǔ)第七章深度學習在圖像中的應(yīng)用of314

對于一張自然場景圖像，我們?nèi)搜劭吹降臅亲筮呥@張生動的圖像；而對于計算機而言，看到的確是一堆枯燥的數(shù)字（這些數(shù)字對應(yīng)的是圖像各像素點的灰度等特征值）。如何在像素點的特征值和圖像語義之間進行處理和關(guān)聯(lián)是計算機進行圖像識別的一大難題。2．計算機對圖像進行識別的難點第七章深度學習在圖像中的應(yīng)用全國高校標準教材《云計算》姊妹篇，剖析深度學習核心技術(shù)和實戰(zhàn)應(yīng)用of3157.1圖像識別基礎(chǔ)7.2基于深度學習的大規(guī)模圖像識別7.3應(yīng)用舉例：人臉識別7.4應(yīng)用舉例：圖像風格化習題7.5應(yīng)用舉例：圖像標注7.2基于深度學習的大規(guī)模圖像識別第七章深度學習在圖像中的應(yīng)用of3161．大規(guī)模圖像數(shù)據(jù)庫:Imagenet

ImageNet由美國斯坦福大學LiFei-fei教授的研究團隊提出，是一個很大規(guī)模的數(shù)據(jù)庫，包含超過一千五百萬具有標簽的高清圖像，這些圖像可以分成約兩萬兩千個類別。這些圖像均從網(wǎng)絡(luò)中采集而得；并使用亞馬遜的“土耳其機器人”眾包工具，集廣大網(wǎng)民的力量手工標注獲得圖像對應(yīng)的標簽。

7.2基于深度學習的大規(guī)模圖像識別第七章深度學習在圖像中的應(yīng)用of3172．AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

AlexNet總共包含8個學習層：前5層是卷積層，最后3層是全連接層。在這5個卷積層中，第1、2、5層后面有最大值池化（Maxpooling）層。7.2基于深度學習的大規(guī)模圖像識別第七章深度學習在圖像中的應(yīng)用of3183．非線性激活函數(shù)ReLU

AlexNet中，使用ReLU激活函數(shù)來替代Sigmoid激活函數(shù)。相比較于Sigmoid激活函數(shù)而言：（1）ReLU激活函數(shù)在大于0的部分梯度為常數(shù)，不會出現(xiàn)梯度彌散現(xiàn)象；（2）ReLU激活函數(shù)在小于0的部分梯度都為0，可以在一定程度上緩解過擬合現(xiàn)象的發(fā)生；（3）ReLU激活函數(shù)的導數(shù)計算非常簡單快速（3）ReLU激活函數(shù)的導數(shù)計算非常簡單快速7.2基于深度學習的大規(guī)模圖像識別第七章深度學習在圖像中的應(yīng)用of3194.增加訓練樣本

增加訓練樣本，又稱為數(shù)據(jù)增強（dataaugmentation），通過對圖像進行變換人為地擴大訓練數(shù)據(jù)集。該方法是減少過擬合現(xiàn)象的一個最容易和最普遍的方法。常見數(shù)據(jù)增強方法：1、隨機裁剪和水平翻轉(zhuǎn)；2、顏色調(diào)整7.2基于深度學習的大規(guī)模圖像識別第七章深度學習在圖像中的應(yīng)用of31105.dropout技術(shù)

在網(wǎng)絡(luò)訓練期間，dropout技術(shù)相當于是對整體神經(jīng)網(wǎng)絡(luò)進行子采樣。具體實現(xiàn)方法為：以50%的概率將神經(jīng)網(wǎng)絡(luò)中每一個隱層結(jié)點的輸出設(shè)置為0，使之不參與前向傳播和反向傳播。第七章深度學習在圖像中的應(yīng)用全國高校標準教材《云計算》姊妹篇，剖析深度學習核心技術(shù)和實戰(zhàn)應(yīng)用of31117.1圖像識別基礎(chǔ)7.2基于深度學習的大規(guī)模圖像識別7.3應(yīng)用舉例：人臉識別7.4應(yīng)用舉例：圖像風格化習題7.5應(yīng)用舉例：圖像標注7.3應(yīng)用舉例：人臉識別第七章深度學習在圖像中的應(yīng)用of3112

在自然場景中進行自動人臉識別的經(jīng)典流程一般分為以下三個步驟：人臉檢測(facerecognition)、人臉對齊(facealignment，又稱作面部特征點對齊)、特征提取和分類器設(shè)計1．人臉識別的經(jīng)典流程7.3應(yīng)用舉例：人臉識別第七章深度學習在圖像中的應(yīng)用of3113

LFW(LabeledFacesintheWild)數(shù)據(jù)庫是自然場景環(huán)境下人臉識別問題的測試基準，是目前用得最多的自然場景人臉圖像數(shù)據(jù)庫。該數(shù)據(jù)庫中的圖像來源于因特網(wǎng)，采集的是自然場景環(huán)境下的人臉圖像，目的是提高自然場景環(huán)境下人臉識別的準確率。這個數(shù)據(jù)庫包含5749個人，共13233幅圖像。2．人臉圖像數(shù)據(jù)庫7.3應(yīng)用舉例：人臉識別第七章深度學習在圖像中的應(yīng)用of3114DeepFace方法的貢獻主要包括兩點：一是基于3D模型對人臉進行對齊；二是使用大數(shù)據(jù)訓練深層的人工神經(jīng)網(wǎng)絡(luò)，得到具有判別性的人臉特征。3．基于深度學習的人臉識別方法第七章深度學習在圖像中的應(yīng)用全國高校標準教材《云計算》姊妹篇，剖析深度學習核心技術(shù)和實戰(zhàn)應(yīng)用of31157.1圖像識別基礎(chǔ)7.2基于深度學習的大規(guī)模圖像識別7.3應(yīng)用舉例：人臉識別7.4應(yīng)用舉例：圖像風格化習題7.5應(yīng)用舉例：圖像標注7.4應(yīng)用舉例：圖像風格化第七章深度學習在圖像中的應(yīng)用of31161．內(nèi)容重構(gòu)

下圖中所得到的五個內(nèi)容重構(gòu)結(jié)果分別基于VGG模型中的‘conv1_1’層(a)，‘conv2_1’層(b)，‘conv3_1’層(c)，‘conv4_1’層(d)和‘conv5_1’層(e)。7.4應(yīng)用舉例：圖像風格化第七章深度學習在圖像中的應(yīng)用of31172．風格重構(gòu)

通過計算卷積神經(jīng)網(wǎng)絡(luò)在某一層各特征圖之間的相關(guān)性對圖像的風格進行重構(gòu)，可以得到一個相對應(yīng)的風格表示圖。為了生成與給定圖的風格相匹配的紋理圖像，Gatys等人首先初始化一個白噪聲圖像，接著使用梯度下降法來尋找與原圖的風格表示相匹配的圖像，得到在該層風格重構(gòu)的生成圖像。上頁圖中所得到的五個風格重構(gòu)結(jié)果分別基于VGG模型中的‘conv1_1’層(a)，‘conv1_1’和‘conv2_1’層(b)，‘conv1_1’、‘conv2_1’和‘conv3_1’層(c)，‘conv1_1’、‘conv2_1’、‘conv3_1’和‘conv4_1’層(d)，‘conv1_1’、‘conv2_1’、‘conv3_1’、‘conv4_1’和‘conv5_1’層(e)對風格表示進行匹配而得。7.4應(yīng)用舉例：圖像風格化第七章深度學習在圖像中的應(yīng)用of31183．內(nèi)容與風格的重組

下圖中第A行顯示的是與VGG模型中‘conv1_1’層風格重構(gòu)相匹配的結(jié)果，第B行顯示的是與VGG模型中‘conv1_1’和‘conv2_1’層風格重構(gòu)相匹配的結(jié)果，第C行顯示的是與VGG模型中‘conv1_1’、‘conv2_1’和‘conv3_1’層風格重構(gòu)相匹配的結(jié)果，第D行顯示的是與VGG模型中‘conv1_1’、‘conv2_1’、‘conv3_1’和‘conv4_1’層風格重構(gòu)相匹配的結(jié)果，第E行顯示的是與VGG模型中‘conv1_1’、‘conv2_1’、‘conv3_1’、‘conv4_1’和‘conv5_1’層風格重構(gòu)相匹配的結(jié)果。第七章深度學習在圖像中的應(yīng)用全國高校標準教材《云計算》姊妹篇，剖析深度學習核心技術(shù)和實戰(zhàn)應(yīng)用of31197.1圖像識別基礎(chǔ)7.2基于深度學習的大規(guī)模圖像識別7.3應(yīng)用舉例：人臉識別7.4應(yīng)用舉例：圖像風格化習題7.5應(yīng)用舉例：圖像標注7.5應(yīng)用舉例：圖像標注第七章深度學習在圖像中的應(yīng)用of3120

圖像標注是由計算機以說明或關(guān)鍵詞的形式分配語言數(shù)據(jù)給一張圖像的過程。1．基于深度網(wǎng)絡(luò)的圖像標注方法概述圖像標注流程7.5應(yīng)用舉例：圖像標注第七章深度學習在圖像中的應(yīng)用of3121

視覺和語義的對齊模型主要由三個部分組成2．視覺語義對齊視覺表示語義表示視覺語義對齊

構(gòu)造卷積神經(jīng)網(wǎng)路（ConvolutionNeuralNetwork，CNN），用于表示圖像區(qū)域

構(gòu)造雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（BidirectionalRecurrentNeuralNetworks），用于表示語句

構(gòu)造結(jié)構(gòu)化的目標函數(shù)，使用多模態(tài)嵌入方法將圖像區(qū)域與語義進行對齊7.5應(yīng)用舉例：圖像標注第七章深度學習在圖像中的應(yīng)用of3122

假定我們有一些圖像和相關(guān)語句描述的集合，這些集合可以是整幅的圖像和相關(guān)的語句描述，也可以是圖像區(qū)域和相關(guān)的語句片段。主要的挑戰(zhàn)是設(shè)計一個模型，使之可以根據(jù)給定的新圖像預測相對應(yīng)的文本描述3．為新圖像生成對應(yīng)文本描述多模態(tài)循環(huán)神經(jīng)網(wǎng)絡(luò)MRNN的流程圖習題：1．傳統(tǒng)的圖像識別由哪兩個經(jīng)典步驟組成？2．傳統(tǒng)的圖像識別與基于深度學習的圖像識別之間的主要區(qū)別是什么？3．最早用于圖像識別并取得突破性進展的深度網(wǎng)絡(luò)是什么網(wǎng)絡(luò)？它由多少卷積層和多少全連接層構(gòu)成？4．Sigmoid激活函數(shù)和ReLU激活函數(shù)的公式分別是什么？ReLU激活函數(shù)具有哪些優(yōu)點？5．常用的數(shù)據(jù)增強方法有哪些？AlexNet中使用了哪些數(shù)據(jù)增強方法？在線學習、在線動手做實驗學習云創(chuàng)大數(shù)據(jù)大量實際項目獲取云創(chuàng)工程師認證、工信部認證、國際認證大數(shù)據(jù)能力分析、工作匹配、智能推薦云創(chuàng)大學微信公眾號云