計(jì)算機(jī)視覺(jué)應(yīng)用開(kāi)發(fā)課件：圖像風(fēng)格遷移

圖像風(fēng)格遷移圖像風(fēng)格遷移概述風(fēng)格遷移的基本概念01任務(wù)風(fēng)格遷移的發(fā)展歷程02任務(wù)學(xué)習(xí)目標(biāo)了解什么是圖像風(fēng)格遷移了解風(fēng)格遷移的發(fā)展歷程1風(fēng)格遷移的基本概念1風(fēng)格遷移的基本概念

現(xiàn)在通訊工具越來(lái)越發(fā)達(dá)，在聊天的過(guò)程中可以選用各種不同字體，甚至可以以某一個(gè)人的書寫風(fēng)格為標(biāo)準(zhǔn)生成專用字體。這種手寫體在以前是一種使用硬筆或者軟筆純手工寫出的文字，代表了中國(guó)漢字文化的精髓。現(xiàn)在利用風(fēng)格遷移技術(shù)可以生成不同風(fēng)格的手寫體，省去了手工書寫的時(shí)間的同時(shí)也促進(jìn)了中國(guó)漢字文化的發(fā)展。1風(fēng)格遷移的基本概念

同樣，對(duì)于圖像的風(fēng)格遷移，也希望能用一張普通的畫臨摹出瓦西里·康定斯基（俄羅斯現(xiàn)代抽象派藝術(shù)大師）或畢加索那樣的印象派畫作。圖像風(fēng)格遷移都可以滿足這個(gè)愿望。

風(fēng)格遷移是一種圖像優(yōu)化技術(shù)，用于將兩個(gè)圖像——一個(gè)內(nèi)容圖像（想要改變畫風(fēng)的原始圖像）和一個(gè)風(fēng)格參考圖像（如著名畫家的一個(gè)作品）——混合在一起，使輸出的圖像看起來(lái)像內(nèi)容圖像同時(shí)擁有風(fēng)格參考圖像的風(fēng)格。2風(fēng)格遷移的發(fā)展歷程2風(fēng)格遷移的發(fā)展歷程風(fēng)格遷移的發(fā)展歷程可大致分為三個(gè)階段：1、傳統(tǒng)的圖像風(fēng)格遷移（Traditionalstyletransfer）在計(jì)算機(jī)視覺(jué)領(lǐng)域，風(fēng)格遷移被視為紋理合成的擴(kuò)展問(wèn)題，當(dāng)時(shí)甚至連名字都沒(méi)有，更多的叫法是紋理遷移（texturetansfer），因?yàn)轱L(fēng)格其實(shí)也可以看作一種紋理。假如在合成紋理圖的時(shí)候刻意的保留一些語(yǔ)義信息（即輸入圖的內(nèi)容信息），那就得到了風(fēng)格遷移的結(jié)果。這一方法沒(méi)有流行起來(lái)的原因是當(dāng)時(shí)紋理遷移的是基于像素的底層圖像特征，并沒(méi)有過(guò)多的考慮語(yǔ)義信息，因此圖像的遷移結(jié)果并不理想。其實(shí)，可以將圖像遷移看作圖像紋理提取和圖像重建兩個(gè)步驟，2015年前，僅在圖像紋理合成上有些許成就，但在圖像重建領(lǐng)域考慮的并不周全。但是隨著深度學(xué)習(xí)的飛速發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的圖像遷移方法有了巨大的進(jìn)步，以下的介紹都是基于神經(jīng)網(wǎng)絡(luò)的圖像遷移方法。2風(fēng)格遷移的發(fā)展歷程2、基于神經(jīng)網(wǎng)絡(luò)的風(fēng)格轉(zhuǎn)換（Neuralstyletransfer）在上一小節(jié)說(shuō)道，可以通過(guò)紋理建模方法（VisualTextureModelling），主要研究如何表示一種紋理，是紋理合成技術(shù)的核心。紋理建模方法的相關(guān)研究解決了圖像風(fēng)格化遷移的第一個(gè)大問(wèn)題：如何對(duì)風(fēng)格圖中的風(fēng)格特征進(jìn)行建模和提取。然而，如何將風(fēng)格和內(nèi)容混合然后還原成一個(gè)相應(yīng)的風(fēng)格化結(jié)果呢？其中可以設(shè)計(jì)一個(gè)前向網(wǎng)絡(luò)，用數(shù)據(jù)驅(qū)動(dòng)的方式，喂給很多訓(xùn)練數(shù)據(jù)去提前訓(xùn)練它，訓(xùn)練的目標(biāo)就是給定一個(gè)輸入，這個(gè)訓(xùn)練好的網(wǎng)絡(luò)只需要一次前向就能輸出一張重建結(jié)果圖像。這就是基于神經(jīng)網(wǎng)絡(luò)的風(fēng)格轉(zhuǎn)換方法。風(fēng)格遷移原理主要包含三個(gè)部分：圖像內(nèi)容獲取，圖像風(fēng)格提取以及內(nèi)容和風(fēng)格融合。2風(fēng)格遷移的發(fā)展歷程3、基于對(duì)抗生成網(wǎng)絡(luò)的風(fēng)格遷移（StyletransferbasedonGAN）嚴(yán)格來(lái)說(shuō)，基于GAN的風(fēng)格遷移其實(shí)是屬于基于神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移范圍之內(nèi)的，因?yàn)镚AN網(wǎng)絡(luò)本質(zhì)上就是神經(jīng)網(wǎng)絡(luò)，只是由于其巧妙的loss函數(shù)設(shè)計(jì)方法，使得GAN網(wǎng)絡(luò)的效果在圖像生成領(lǐng)域一馬當(dāng)先，其研究也極為火熱，近些年已有開(kāi)山立派之態(tài)。GAN網(wǎng)絡(luò)由生成器和判別器兩個(gè)網(wǎng)絡(luò)組成，生成器負(fù)責(zé)對(duì)輸入圖片進(jìn)行重建；其重建結(jié)果與真實(shí)數(shù)據(jù)集一同送入判別網(wǎng)絡(luò)進(jìn)行判斷，判別網(wǎng)絡(luò)負(fù)責(zé)分辨生成器的輸出結(jié)果到底是來(lái)自真實(shí)數(shù)據(jù)集的真實(shí)圖片還是來(lái)自其本身的生成圖片。這時(shí)，巧妙的事情就發(fā)生了，生成器會(huì)努力使自己生成的圖片騙過(guò)判別器，方法自然是生成的圖片越真實(shí)越容易欺騙判別器；判別器則會(huì)努力分辨輸入到底是真實(shí)的還是生成的，其反饋來(lái)指導(dǎo)生成器生成更真實(shí)的圖片，從而形成一種動(dòng)態(tài)博弈，結(jié)果是輸出的圖片在內(nèi)容和風(fēng)格上都類似于真實(shí)數(shù)據(jù)集。ThankYOU!風(fēng)格提取風(fēng)格的概念01任務(wù)風(fēng)格提取的方法02任務(wù)學(xué)習(xí)目標(biāo)了解什么是圖像風(fēng)格了解風(fēng)格提取的方法1風(fēng)格的概念1風(fēng)格的概念在學(xué)習(xí)風(fēng)格提取之前，先弄明白什么是風(fēng)格。一幅畫作的風(fēng)格每個(gè)畫家而言，就是該畫家的畫風(fēng)，抽象派，印象派，現(xiàn)實(shí)派等等。那具體表現(xiàn)在該幅畫上又是什么呢？或許不用那么復(fù)雜，可以從一張圖片的紋理（紋路），色彩來(lái)理解該幅圖像的風(fēng)格。同一位畫家不同畫作的內(nèi)容可以不同，但具有相同畫風(fēng)的畫作，它們的紋理，色彩布局是相似的。以康定斯基的畫作為例：2風(fēng)格提取方法2風(fēng)格提取方法既然圖像的風(fēng)格可以簡(jiǎn)單用紋理，色彩特征來(lái)表示，那么提取風(fēng)格就變得簡(jiǎn)單了。1.顏色特征提取

計(jì)算機(jī)視覺(jué)的特征提取算法研究至關(guān)重要。在一些算法中，一個(gè)高復(fù)雜度特征的提取可能能夠解決問(wèn)題（進(jìn)行目標(biāo)檢測(cè)等目的），但這將以處理更多數(shù)據(jù)，需要更高的處理效果為代價(jià)。而顏色特征無(wú)需進(jìn)行大量計(jì)算。只需將數(shù)字圖像中的像素值進(jìn)行相應(yīng)轉(zhuǎn)換，表現(xiàn)為數(shù)值即可。因此顏色特征以其低復(fù)雜度成為了一個(gè)較好的特征。

在圖像處理中，我們可以將一個(gè)具體的像素點(diǎn)所呈現(xiàn)的顏色分多種方法分析，并提取出其顏色特征分量。比如通過(guò)手工標(biāo)記區(qū)域提取一個(gè)特定區(qū)域（region）的顏色特征，用該區(qū)域在一個(gè)顏色空間三個(gè)分量各自的平均值表示，或者可以建立三個(gè)顏色直方圖等方法。下面我們介紹一下顏色直方圖和顏色矩的概念。2風(fēng)格提取方法（1）顏色直方圖：

顏色直方圖用以反映圖像顏色的組成分布，即各種顏色出現(xiàn)的概率。Swain和Ballard最先提出了應(yīng)用顏色直方圖進(jìn)行圖像特征提取的方法，首先利用顏色空間三個(gè)分量的剝離得到顏色直方圖，之后通過(guò)觀察實(shí)驗(yàn)數(shù)據(jù)發(fā)現(xiàn)將圖像進(jìn)行旋轉(zhuǎn)變換、縮放變換、模糊變換后圖像的顏色直方圖改變不大，即圖像直方圖對(duì)圖像的物理變換是不敏感的。因此常提取顏色特征并用顏色直方圖應(yīng)用于衡量和比較兩幅圖像的全局差。另外，如果圖像可以分為多個(gè)區(qū)域，并且前景與背景顏色分布具有明顯差異，則顏色直方圖呈現(xiàn)雙峰形。

顏色直方圖也有其缺點(diǎn)：由于顏色直方圖是全局顏色統(tǒng)計(jì)的結(jié)果，因此丟失了像素點(diǎn)間的位置特征。可能有幾幅圖像具有相同或相近的顏色直方圖，但其圖像像素位置分布完全不同。因此，圖像與顏色直方圖得多對(duì)一關(guān)系使得顏色直方圖在識(shí)別前景物體上不能獲得很好的效果。2風(fēng)格提取方法（2）顏色矩：

顏色矩是一種有效的顏色特征，由Stricker和Orengo提出，該方法利用線性代數(shù)中矩的概念，將圖像中的顏色分布用其矩表示。與顏色直方圖不同，利用顏色矩進(jìn)行圖像描述無(wú)需量化圖像特征。由于每個(gè)像素具有顏色空間的三個(gè)顏色通道，因此圖像的顏色矩有9個(gè)分量來(lái)描述。由于顏色矩的維度較少，因此常將顏色矩與其他圖像特征綜合使用。（3）顏色集：

以上兩種方法通常用于兩幅圖像間全局或region之間的顏色比較、匹配等，而顏色集的方法致力于實(shí)現(xiàn)基于顏色實(shí)現(xiàn)對(duì)大規(guī)模圖像的檢索。顏色集的方法由Smith和Chang提出，該方法將顏色轉(zhuǎn)化到HSV顏色空間后，將圖像根據(jù)其顏色信息進(jìn)行圖像分割成若干region，并將顏色分為多個(gè)bin，每個(gè)region進(jìn)行顏色空間量化建立顏色索引，進(jìn)而建立二進(jìn)制圖像顏色索引表。為加快查找速度，還可以構(gòu)造二分查找樹(shù)進(jìn)行特征檢索。2風(fēng)格提取方法2.紋理特征提取

一幅圖像的紋理是在圖像計(jì)算中經(jīng)過(guò)量化的圖像特征。圖像紋理描述圖像或其中小塊區(qū)域的空間顏色分布和光強(qiáng)分布。紋理特征的提取分為基于結(jié)構(gòu)的方法和基于統(tǒng)計(jì)數(shù)據(jù)的方法。一個(gè)基于結(jié)構(gòu)的紋理特征提取方法是將所要檢測(cè)的紋理進(jìn)行建模，在圖像中搜索重復(fù)的模式。該方法對(duì)人工合成的紋理識(shí)別效果較好。但對(duì)于交通圖像中的紋理識(shí)別，基于統(tǒng)計(jì)數(shù)據(jù)的方法效果更好。2風(fēng)格提取方法3.邊緣特征提取

邊緣檢測(cè)是圖形圖像處理、計(jì)算機(jī)視覺(jué)和機(jī)器視覺(jué)中的一個(gè)基本工具，通常用于特征提取和特征檢測(cè)，旨在檢測(cè)一張數(shù)字圖像中有明顯變化的邊緣或者不連續(xù)的區(qū)域，在一維空間中，類似的操作被稱作步長(zhǎng)檢測(cè)（stepdetection）。邊緣是一幅圖像中不同屈原之間的邊界線，通常一個(gè)邊緣圖像是一個(gè)二值圖像。邊緣檢測(cè)的目的是捕捉亮度急劇變化的區(qū)域，而這些區(qū)域通常是我們關(guān)注的。在一幅圖像中兩度不連續(xù)的區(qū)域通常是以下幾項(xiàng)之一：#圖像深度不連續(xù)處#圖像（梯度）朝向不連續(xù)處#圖像光照（強(qiáng)度）不連續(xù)處#紋理變化處2風(fēng)格提取方法圖像的風(fēng)格還可以利用卷積神經(jīng)網(wǎng)絡(luò)的卷積層提取的特征。在前面的單元中已經(jīng)介紹過(guò)，不同深度的卷積層提取的特征不同，提取的特征具有不同的含義。因此，只需設(shè)置不同的卷積層去提取該圖像的紋理和色彩風(fēng)格特征。ThankYOU!gram矩陣gram矩陣的含義01任務(wù)gram矩陣的作用02任務(wù)gram矩陣的計(jì)算03任務(wù)學(xué)習(xí)目標(biāo)了解什么是gram矩陣了解gram矩陣的作用掌握gram矩陣的計(jì)算方式1gram矩陣的含義1風(fēng)格的概念gram矩陣的數(shù)學(xué)形式如下：可以看出，gram矩陣實(shí)際上是矩陣的內(nèi)積運(yùn)算。在風(fēng)格遷移中，其計(jì)算的是featuremap之間的偏心協(xié)方差（即沒(méi)有減去均值的協(xié)方差矩陣）。在featuremap中包含著圖像的特征，gram矩陣代表著特征之間的相關(guān)性。內(nèi)積數(shù)值越大，相關(guān)關(guān)系越大，兩個(gè)向量越相似。1風(fēng)格的概念更加直觀的理解：2gram矩陣的作用2gram矩陣的作用既然gram矩陣代表了兩個(gè)特征之間的相關(guān)性，那么哪兩個(gè)特征同時(shí)出現(xiàn)，哪兩個(gè)特征此消彼長(zhǎng)等等，便可以很好的計(jì)算了。內(nèi)積之后得到的多尺度矩陣中，對(duì)角線元素提供了不同特征圖（a1，a2...，an）各自的信息，其余元素提供了不同特征圖之間的相關(guān)信息。同時(shí)，gram的對(duì)角線元素，還體現(xiàn)了每個(gè)特征在圖像中出現(xiàn)的量，因此，gram有助于把握整個(gè)圖像的大體風(fēng)格。有了gram矩陣，要度量?jī)蓚€(gè)圖像風(fēng)格的差異，只需要比較它們之間的gram矩陣的差異即可。2gram矩陣的作用總之，gram矩陣用于度量各個(gè)維度自身的特性以及各個(gè)維度之間的關(guān)系。內(nèi)積之后得到的多尺度矩陣中，對(duì)角線元素提供了不同特征圖各自的信息，其余元素提供了不同特征圖之間的相關(guān)信息。這樣一個(gè)矩陣，既能體現(xiàn)出有哪些特征，又能體現(xiàn)出不同特征間的緊密程度。在網(wǎng)絡(luò)中提取的特征圖，一般來(lái)說(shuō)淺層網(wǎng)絡(luò)提取的是局部的細(xì)節(jié)紋理特征，深層網(wǎng)絡(luò)提取的是更抽象的輪廓、大小等信息。這些特征總的結(jié)合起來(lái)表現(xiàn)出來(lái)的就是圖像的風(fēng)格，由這些特征向量計(jì)算出來(lái)的gram矩陣，就可以把圖像特征之間隱藏的聯(lián)系提取出來(lái)，也就是各個(gè)特征之間的相關(guān)性高低。2gram矩陣的作用gram矩陣的計(jì)算公式如下：如果兩個(gè)圖像的特征向量的gram矩陣的差異較小，就可以認(rèn)定這兩個(gè)圖像風(fēng)格是相近的。有了表示風(fēng)格的gram矩陣，要度量?jī)蓚€(gè)圖像風(fēng)格的差異，只需比較他們gram矩陣的差異即可。計(jì)算兩個(gè)圖像風(fēng)格的公式如下：3gram矩陣的計(jì)算3gram矩陣的計(jì)算gram矩陣實(shí)際上是矩陣的內(nèi)積運(yùn)算，可以使用Python的科學(xué)計(jì)算庫(kù)numpy來(lái)實(shí)現(xiàn)gram矩陣，當(dāng)然也可以用更簡(jiǎn)潔的方式。在一些比較流行的深度學(xué)習(xí)框架中，已經(jīng)內(nèi)置了矩陣相乘的方法。以Tensorflow為例，可以用“tf.matmul()”方法實(shí)現(xiàn)矩陣的相乘。具體使用方法如下：gram=tf.matmul(vector,vector,transpose_a=True)上面便是Tensorflow中實(shí)現(xiàn)gram矩陣的計(jì)算方式。參數(shù)‘vector’代表輸入的矩陣向量，‘transpose_a=True’意味著在進(jìn)行乘法之前對(duì)第一個(gè)矩陣進(jìn)行轉(zhuǎn)置，該方法還有一個(gè)名為“transpose_b”的參數(shù)，它等于“True”時(shí)意味著在乘法之前對(duì)第二個(gè)矩陣進(jìn)行轉(zhuǎn)置。3gram矩陣的計(jì)算在計(jì)算機(jī)視覺(jué)中，Gram矩陣用于把握整個(gè)圖像的大體風(fēng)格。有了表示風(fēng)格的Gram矩陣，就可以度量?jī)蓚€(gè)圖像風(fēng)格的差異，它也可以度量自己各個(gè)維度的特性以及各個(gè)維度之間的關(guān)系，其對(duì)角線元素提供了不同特征圖各自的信息，其余元素提供了不同特征圖之間的相關(guān)信息，既能體現(xiàn)出有哪些特征，又能體現(xiàn)出不同特征間的緊密程度，所以它被大量的運(yùn)用在圖像風(fēng)格遷移中，下圖就是利用Gram矩陣的特征信息完成的圖像風(fēng)格遷移的圖片。ThankYOU!損失計(jì)算內(nèi)容損失01任務(wù)風(fēng)格損失02任務(wù)總損失03任務(wù)學(xué)習(xí)目標(biāo)掌握內(nèi)容損失和風(fēng)格損失的計(jì)算方式掌握風(fēng)格遷移的總損失計(jì)算方式1內(nèi)容損失1內(nèi)容損失在風(fēng)格轉(zhuǎn)移任務(wù)中，想讓圖像盡量在內(nèi)容不變的情況下進(jìn)行風(fēng)格遷移。為了平衡這種關(guān)系，需要分別計(jì)算內(nèi)容損失和風(fēng)格損失，最后再通過(guò)系數(shù)相關(guān)計(jì)算出總損失。在網(wǎng)絡(luò)中更靠近頂層的輸出包含圖像更加全局、更加抽象的信息（如羽毛，眼睛，房屋等），這也就對(duì)應(yīng)上了原始圖片上的內(nèi)容信息。因此，內(nèi)容損失很好的選擇就是使用原始圖像和生成圖像在網(wǎng)絡(luò)中較為頂層的輸出（激活）的L2范數(shù)（也就是用原始圖像在較為頂層中的輸出和生成圖像在較為頂層中的輸出進(jìn)行比較）。1內(nèi)容損失L2范數(shù)，是反映估計(jì)量與被估計(jì)量之間差異的一種度量，計(jì)算的是預(yù)測(cè)值與真實(shí)值之差的平方和的平均值。數(shù)學(xué)公式如下：1內(nèi)容損失這里我們可以定義內(nèi)容損失函數(shù)為：2風(fēng)格損失2風(fēng)格損失相反，由紋理、顏色、視覺(jué)圖案所表示的風(fēng)格就在網(wǎng)絡(luò)中較為底層的輸出中。但是風(fēng)格在網(wǎng)絡(luò)中分布的較為廣泛（風(fēng)格是多尺度的），單單選擇一層是不夠的（內(nèi)容損失就可以選擇一層在稍微頂層的層中能提取到）。對(duì)于風(fēng)格損失，在這里將使用層激活的格拉姆矩陣，即特征圖的內(nèi)積。這個(gè)內(nèi)積可以被理解為一層特征圖之間的映射關(guān)系，也就是抓住了圖片特征的規(guī)律（即想索取的風(fēng)格），可以在它身上找到想要的紋理外觀。2風(fēng)格損失風(fēng)格總代價(jià)分為兩個(gè)步驟：識(shí)別風(fēng)格圖像的風(fēng)格，從所有卷積層中獲取特征向量，將這些向量與另一層中的特征向量進(jìn)行比較（查找其相關(guān)性）；原始（原始風(fēng)格圖像）和生成的圖像之間的風(fēng)格代價(jià)。為了找到風(fēng)格，可以通過(guò)將特征圖乘以其轉(zhuǎn)置來(lái)捕獲相關(guān)性，從而生成gram矩陣。先將提取的特征（生成的風(fēng)格特征與風(fēng)格參考圖像的風(fēng)格特征）進(jìn)行g(shù)ram矩陣計(jì)算，之后再對(duì)計(jì)算后的結(jié)果進(jìn)行均方誤差計(jì)算。2風(fēng)格損失風(fēng)格遷移中的Gram矩陣衡量的是不同特征之間的相關(guān)關(guān)系，計(jì)算流程如下：定義風(fēng)格圖片在網(wǎng)絡(luò)第n層的Gram矩陣為Sn，內(nèi)容圖片（即待遷移圖片）的Gram矩陣為Cn，則風(fēng)格損失可以定義為：3總損失3總損失總損失的計(jì)算方式如下：其中l(wèi)oss_content，loss_style分別是內(nèi)容損失和風(fēng)格損失，

和

是平衡內(nèi)容損失和風(fēng)格損失的超參數(shù)。如果

偏大則還原的圖像包含的內(nèi)容較多,偏大則還原的圖像包含風(fēng)格較多。ThankYOU!VGG-19VGG-19的由來(lái)01任務(wù)結(jié)構(gòu)解析02任務(wù)學(xué)習(xí)目標(biāo)了解VGG-19的由來(lái)掌握VGG-19的網(wǎng)絡(luò)結(jié)構(gòu)1VGG-19的由來(lái)1VGG-19的由來(lái)2014年，牛津大學(xué)計(jì)算機(jī)視覺(jué)組（VisualGeometryGroup）和GoogleDeepMind公司的研究員一起提出了一種新的深度卷積神經(jīng)網(wǎng)絡(luò)：VGGNet，并取得了ILSVRC2014比賽分類項(xiàng)目的第二名。VGGNet的主要貢獻(xiàn)是使用很小的卷積核(3×3)構(gòu)建各種深度的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并對(duì)這些網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了評(píng)估，最終證明在16-19層的網(wǎng)絡(luò)深度能夠取得較好的識(shí)別精度。這也就是常用來(lái)提取圖像特征的VGG-16和VGG-19。2結(jié)構(gòu)解析2結(jié)構(gòu)解析VGG-19整體由五個(gè)卷積塊和3個(gè)全連接層組成，每個(gè)卷積塊由不同層數(shù)的卷積層構(gòu)成。其中第一，二個(gè)卷積塊分別有兩個(gè)卷積層，第三，四，五個(gè)卷積塊分別有四個(gè)卷積層。那VGG-19中的19是怎么來(lái)的？這里的19只算了卷積層（16層）和全連接層（3層）的數(shù)量，沒(méi)有包括池化層。VGG-19的輸入為224×224×3的圖像，并且對(duì)圖像做了均值處理，在每個(gè)像素中減去在訓(xùn)練集上計(jì)算的RGB均值。2結(jié)構(gòu)解析VGG-19中使用的都是3×3的卷積核，來(lái)代替比較大的卷積核，并且使用了連續(xù)多個(gè)卷積層。使用小的卷積核的問(wèn)題是，其感受野必然變小，但使用連續(xù)的卷積核，可以增大感受野。卷積的固定步長(zhǎng)為1，并在圖像的邊緣填充1個(gè)像素，這樣卷積后保持圖像的分辨率不變；連續(xù)的卷積層（卷積塊）后會(huì)接著一個(gè)池化層，做最大池化，步長(zhǎng)為2；最后一層卷積層之后，接著的是3個(gè)全連接層，前兩個(gè)每個(gè)都有4096個(gè)通道，第三是輸出層輸出1000個(gè)分類。2結(jié)構(gòu)解析2結(jié)構(gòu)解析VGG-19優(yōu)勢(shì)：VGG-19的結(jié)構(gòu)很是簡(jiǎn)潔，整個(gè)網(wǎng)絡(luò)都使用了一樣大小的卷積核尺寸（3×3）和最大池化尺寸（2×2）。幾個(gè)小濾波器（3×3）卷積層的組合比一個(gè)大濾波器（5×5或7×7）卷積層好，驗(yàn)證了經(jīng)過(guò)不斷加深網(wǎng)絡(luò)結(jié)構(gòu)能夠提高性能。VGG-19缺點(diǎn)：VGG-19耗費(fèi)更多計(jì)算資源，而且使用了更多的參數(shù)，致使更多的內(nèi)存占用（140M）。其中絕大多數(shù)的參數(shù)都是來(lái)自于第一個(gè)全連接層。VGG-19但是有3個(gè)全連接層。注：不少pretrained的方法就是使用VGG的model（主要是16和19），VGG相對(duì)其余的方法，參數(shù)空間很大，最終的model有500多m，AlexNet只有200m，GoogLeNet更少，因此train一個(gè)VGG模型一般要花費(fèi)更長(zhǎng)的時(shí)間，所幸有公開(kāi)的pretrainedmodel讓咱們很方便的使用。ThankYOU!基于VGG-19的風(fēng)格遷移了解VGG-19的結(jié)構(gòu)01任務(wù)內(nèi)容層和風(fēng)格層的抽取02任務(wù)損失計(jì)算03任務(wù)學(xué)習(xí)目標(biāo)掌握總損失的計(jì)算方法掌握抽取內(nèi)容和風(fēng)格的方法1數(shù)據(jù)加載及預(yù)處理1數(shù)據(jù)加載及預(yù)處理數(shù)據(jù)這里的數(shù)據(jù)很簡(jiǎn)單，只有兩張圖片，一張是內(nèi)容圖片，一張是風(fēng)格圖片。1數(shù)據(jù)加載及預(yù)處理數(shù)據(jù)預(yù)處理規(guī)范大小img=img.resize((round(img.size[0]*scale),round(img.size[1]*scale)),Image.ANTIALIAS)歸一化標(biāo)準(zhǔn)化x[:,:,0]+=103.939x[:,:,1]+=116.779x[:,:,2]+=123.68x=x[...,::-1]#將BGR轉(zhuǎn)化為RGBx=np.clip(x,0,255).astype('uint8')2內(nèi)容和風(fēng)格抽取2內(nèi)容和風(fēng)格抽取內(nèi)容層和風(fēng)格層的選取VGG-19整體由五個(gè)卷積塊和和3個(gè)全連接層組成，每個(gè)卷積塊由3x3卷積核構(gòu)成。如何選取卷積層作為內(nèi)容和風(fēng)格的特征值？一般來(lái)說(shuō)，越深的層越能更好的表示圖像的內(nèi)容（原有特征），而對(duì)于表示風(fēng)格的卷積層，我們分別從五個(gè)卷積塊中選取第一個(gè)卷積層作為風(fēng)格表示層。content_layers=['block5_conv2']style_layers=['block1_conv1','block2_conv1','block3_conv1','block4_conv1','block5_conv1']2內(nèi)容和風(fēng)格抽取模型定義defget_model():vgg=VGG19(include_top=False,weights='imagenet')vgg.trainable=Falsecontent_output=[vgg.get_layer(layer).outputforlayerincontent_layers]style_output=[vgg.get_layer(layer).outputforlayerinstyle_layers]output=content_output+style_outputreturnModel(inputs=vgg.inputs,outputs=output)2內(nèi)容和風(fēng)格抽取特征提取將內(nèi)容圖和風(fēng)格圖分別傳給我們的模型，得到內(nèi)容特征和風(fēng)格特征。content_features=[content_layer[0]forcontent_layerincontent_output[:len(style_layers)]]style_features=[style_layer[0]forstyle_layerinstyle_output[len(style_layers):]]3損失計(jì)算3損失計(jì)算內(nèi)容損失為了計(jì)算出總損失，我們需要分別計(jì)算出內(nèi)容損失和風(fēng)格損失。我們將真實(shí)的內(nèi)容特征與預(yù)測(cè)的內(nèi)容特征作均方誤差計(jì)算，得到內(nèi)容損失。defcontent_loss(content,base_img):returntf.reduce_mean(tf.square(content-base_img))3損失計(jì)算風(fēng)格損失我們將真實(shí)的風(fēng)格特征與預(yù)測(cè)的風(fēng)格特征分別作gram矩陣運(yùn)算，并求其均方誤差，得到風(fēng)格損失。defstyle_loss(style,base_img):gram_style=gram_matrix(style)gram_gen=gram_matrix(base_img)returntf.reduce_mean(tf.square(gram_style-gram_gen))3損失計(jì)算總損失計(jì)算α,β是平衡內(nèi)容損失和風(fēng)格損失的超參數(shù),如果α偏大,還原的圖像包含的內(nèi)容較多,β偏大,還原的圖像包含風(fēng)格較多。ThankYOU!對(duì)抗生成網(wǎng)絡(luò)對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念01任務(wù)循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）02任務(wù)學(xué)習(xí)目標(biāo)了解對(duì)抗生成網(wǎng)絡(luò)的原理及構(gòu)成掌握循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)1對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念1對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念除了使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像風(fēng)格遷移任務(wù)之外，現(xiàn)在流行的對(duì)抗生成網(wǎng)絡(luò)（GAN）非常適合做圖像生成類的任務(wù)。在介紹GAN之前，先簡(jiǎn)單回顧下之前所介紹的CNN模型。在圖中，CNN通過(guò)卷積、池化等操作對(duì)輸入圖像進(jìn)行分析，從而對(duì)其進(jìn)行分類（判定是否為貓），這個(gè)過(guò)程可以概括為圖像處理，即模型輸入的圖像是確定的、待分析的對(duì)象，通過(guò)各種神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)其進(jìn)行分析。1對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念與上述過(guò)程相反，對(duì)于圖像生成任務(wù)來(lái)說(shuō)，模型的輸出才是確定的圖像，而模型的輸入則是不確定的，具體取決于場(chǎng)景以及特定的模型設(shè)計(jì)。在圖像生成任務(wù)的一種特殊應(yīng)用——風(fēng)格遷移中，模型的輸入可能是一個(gè)隨機(jī)生成的圖像，圖中模型的訓(xùn)練過(guò)程可以看成對(duì)這個(gè)隨機(jī)生成的圖像所對(duì)應(yīng)像素值的更新過(guò)程，以實(shí)現(xiàn)較好的風(fēng)格遷移效果。1對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念生成對(duì)抗網(wǎng)絡(luò)（GenerativeAdversarialNets，GAN）自提出以來(lái)，在許多領(lǐng)域中出現(xiàn)大量有趣的應(yīng)用，如漫畫變臉的特效、訓(xùn)練樣本的構(gòu)造、模型的架構(gòu)等。通過(guò)以上講解，應(yīng)該建立以下認(rèn)知：圖像處理任務(wù)利用如CNN的神經(jīng)網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行分析處理，得到跟輸入圖像內(nèi)容相關(guān)的信息；與圖像處理任務(wù)相反，在圖像生成任務(wù)中，圖像生成模型根據(jù)輸入圖像內(nèi)容相關(guān)的信息來(lái)生成圖像；對(duì)于圖像生成任務(wù)來(lái)說(shuō)，圖像生成模型的輸入是不確定的，具體取決于場(chǎng)景以及特定的模型設(shè)計(jì)。其中風(fēng)格遷移就屬于其中的一種場(chǎng)景；生成對(duì)抗網(wǎng)絡(luò)（GAN）可以應(yīng)用于風(fēng)格遷移。1對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念接下來(lái)簡(jiǎn)單介紹GAN的基本原理，GAN的主要組成如圖所示：1對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念GAN模型中有兩個(gè)核心的組成：生成器（Generator）與判別器（Discriminator）。它的整體的流程如下：1.首先定義一個(gè)生成器（Generator），輸入一組隨機(jī)噪聲向量（最好符合常見(jiàn)的分布，一般的數(shù)據(jù)分布都呈現(xiàn)常見(jiàn)分布規(guī)律），輸出為一個(gè)圖片；2.定義一個(gè)判別器（Discriminator），用它來(lái)判斷圖片是否為訓(xùn)練集中的圖片，是為真，否為假；3.當(dāng)判別器無(wú)法分辨真假，即判別概率為0.5時(shí)，停止訓(xùn)練。1對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念體現(xiàn)“對(duì)抗”的關(guān)鍵步驟是：1.固定生成器（的參數(shù)），訓(xùn)練（優(yōu)化）判別器，使得判別器能夠盡可能準(zhǔn)確地區(qū)分“真圖像”與“假圖像”；2.在完成步驟1之后，固定判別器（的參數(shù)），訓(xùn)練（優(yōu)化）生成器，盡可能使得判別器無(wú)法準(zhǔn)確地區(qū)分“真圖像”與“假圖像”。在GAN模型訓(xùn)練完成后，即可使用經(jīng)訓(xùn)練的生成器（Generator）來(lái)生成圖像了。GAN的判別器與生成器都由多層感知機(jī)（可以看成全連接神經(jīng)網(wǎng)絡(luò)，即FC）構(gòu)成，它們都可以使用其他類型的神經(jīng)網(wǎng)絡(luò)，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）。1對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念GAN模型的目標(biāo)函數(shù)如下：在這里，訓(xùn)練網(wǎng)絡(luò)D使得盡可能最大程度地分對(duì)訓(xùn)練樣本的標(biāo)簽（最大化logD(x)和log(1-D(G(z))))，訓(xùn)練網(wǎng)絡(luò)G最小化log(1-D(G(z))），即最大化D的損失。而訓(xùn)練過(guò)程中固定一方，更新另一個(gè)網(wǎng)絡(luò)的參數(shù)，交替迭代，使得對(duì)方的錯(cuò)誤最大化。最終，G能估測(cè)出樣本數(shù)據(jù)的分布，也就是生成的樣本更加的真實(shí)。然后從式子中解釋對(duì)抗，了解到G網(wǎng)絡(luò)的訓(xùn)練是希望D(G(z))趨近于1，也就是正類，這樣G的loss就會(huì)最小。而D網(wǎng)絡(luò)的訓(xùn)練就是一個(gè)2分類，目標(biāo)是分清楚真實(shí)數(shù)據(jù)和生成數(shù)據(jù)，也就是希望真實(shí)數(shù)據(jù)的D輸出趨近于1，而生成數(shù)據(jù)的輸出即D(G(z))趨近于0，或是負(fù)類。這里就是體現(xiàn)了對(duì)抗的思想。2循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）2循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）現(xiàn)在要通過(guò)GAN網(wǎng)絡(luò)實(shí)現(xiàn)風(fēng)格遷移需要考慮的事情就是如何為GAN網(wǎng)絡(luò)加上內(nèi)容約束和風(fēng)格約束了，著名的CycleGAN變通過(guò)自己巧妙的loss設(shè)計(jì)實(shí)現(xiàn)了這一點(diǎn)。針對(duì)原始GAN網(wǎng)絡(luò)可以進(jìn)行如下的簡(jiǎn)化描述，如圖所示：輸入x經(jīng)過(guò)生成器G得到輸出Y，判別器用來(lái)負(fù)責(zé)判別Y是取自真實(shí)數(shù)據(jù)集還是來(lái)自生成的圖像。通過(guò)這一約束，使得生成器生成的圖片越來(lái)越真實(shí)，但是由于沒(méi)有內(nèi)容和風(fēng)格約束，所以模型的輸出結(jié)果是不可預(yù)測(cè)的，這更像是藝術(shù)創(chuàng)作。就像給畫家一張白紙，說(shuō)你去畫畫吧，最后只評(píng)判畫家畫的畫寫不寫實(shí)，因此畫家可以隨意創(chuàng)作，這要保證作品看起來(lái)真實(shí)就好。那么如何添加約束？2循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）首先，要實(shí)現(xiàn)風(fēng)格轉(zhuǎn)換，就必須要有兩套不同風(fēng)格的數(shù)據(jù)集，例如春天數(shù)據(jù)集和冬天數(shù)據(jù)集，GAN網(wǎng)絡(luò)的輸入也不再是隨機(jī)噪聲，而是其中一個(gè)數(shù)據(jù)集，這里使用春天數(shù)據(jù)集，經(jīng)過(guò)生成器后重建的結(jié)果圖片與冬天數(shù)據(jù)集一起作為判別器的輸入，讓判別器來(lái)判斷該冬天風(fēng)格圖是否真實(shí)，從而指導(dǎo)生成器生成的圖片是冬天風(fēng)格且真實(shí)的。這樣生成器G就通過(guò)優(yōu)化對(duì)抗loss就學(xué)習(xí)到了一種由春天風(fēng)格到冬天風(fēng)格的一種映射，可以將任意一張輸入圖片轉(zhuǎn)換為冬天風(fēng)格的。這里的風(fēng)格約束與使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行風(fēng)格轉(zhuǎn)換的思路就完全不同了，一個(gè)是通過(guò)不斷優(yōu)化結(jié)果圖與風(fēng)格圖gram矩陣的距離作為loss；一個(gè)是通過(guò)對(duì)抗損失的動(dòng)態(tài)博弈為loss。2循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）值得一提的是，由于對(duì)抗損失只是為了學(xué)習(xí)不同風(fēng)格域間的映射，因此兩個(gè)數(shù)據(jù)集里的數(shù)據(jù)不必是成對(duì)的，（通俗的理解是風(fēng)格作為紋理特征的延伸是一種低級(jí)特征，內(nèi)容作為語(yǔ)義信息是一種高級(jí)特征。當(dāng)只從不同數(shù)據(jù)集學(xué)習(xí)風(fēng)格映射時(shí)，只需要保證不同數(shù)據(jù)集風(fēng)格一致即可，比如一個(gè)數(shù)據(jù)集都是冬天，另一個(gè)數(shù)據(jù)集都是夏天，對(duì)數(shù)據(jù)集中具體照片的內(nèi)容沒(méi)有要求，是貓是狗是啥姿態(tài)無(wú)所謂（即可以是非配對(duì)的），這一點(diǎn)很重要，因?yàn)楝F(xiàn)實(shí)中不同風(fēng)格下成對(duì)的數(shù)據(jù)是很難獲得的。2循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）但是，僅僅使用兩個(gè)數(shù)據(jù)集運(yùn)用GAN網(wǎng)絡(luò)是不能達(dá)到風(fēng)格遷移的目的的，原因有二：其一，沒(méi)有內(nèi)容約束，生成的結(jié)果無(wú)法預(yù)測(cè)，失去了風(fēng)格遷移的意義（風(fēng)格遷移后的語(yǔ)義信息是不變的）；其二，GAN網(wǎng)絡(luò)的訓(xùn)練傾向于模式崩塌（Modelcollapse），這里不展開(kāi)解釋，簡(jiǎn)單來(lái)說(shuō)就是，當(dāng)生成器發(fā)現(xiàn)生成某一張圖片可以輕易的騙過(guò)判別器時(shí)，其他的生成結(jié)果就會(huì)傾向類似于該照片。即當(dāng)生成器發(fā)現(xiàn)一個(gè)好的解時(shí)，就瘋狂輸出類似于這個(gè)解的結(jié)果，不愿意去做其他的嘗試，但是，關(guān)鍵在于該解并不一定有較好的視覺(jué)效果或者不一定是期望的結(jié)果，只是因?yàn)樵摻獾膌oss較優(yōu)，生成器才做此決定，希望生成器多去嘗試，以找到最優(yōu)解。2循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）CycleGAN如何進(jìn)行內(nèi)容約束？如圖所示：圖中對(duì)輸出結(jié)果進(jìn)行一次反變換，來(lái)對(duì)比原始輸入和反變換后的輸出間的差異即可進(jìn)行內(nèi)容上的約束。類比語(yǔ)言翻譯：我的目的是將漢語(yǔ)風(fēng)格的X（“神經(jīng)網(wǎng)絡(luò)真奇妙~”）

變換成英語(yǔ)Y。生成器G相當(dāng)于翻譯機(jī)，經(jīng)過(guò)GAN的過(guò)程可以有多個(gè)翻譯結(jié)果：例如1，“神經(jīng)netveryfun”；2，“neuralnetwork真好玩”；3，“neuralnetworkveryfantastic”；4，“Iamveryhandsome”

，判斷器D的任務(wù)是判斷哪個(gè)結(jié)果更像英語(yǔ)，因此判斷器給出的結(jié)果可能是3，也可能是4，因?yàn)樗鼈兌际怯⒄Z(yǔ)。但是，顯然4是不對(duì)的。那要如何進(jìn)行約束呢？只需要再進(jìn)行一次反變換，判斷其結(jié)果和原始輸出之間的差別即可。經(jīng)過(guò)CycleGAN的過(guò)程，得到3的結(jié)果是神經(jīng)網(wǎng)絡(luò)真奇妙，與原始輸入結(jié)果（神經(jīng)網(wǎng)絡(luò)真奇妙）的距離為0，4的結(jié)果與原始結(jié)果的距離就很大了。這便達(dá)到了內(nèi)容約束的目的。2循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）將后半部分進(jìn)行翻轉(zhuǎn)就形成了一個(gè)閉環(huán)，如圖6-7-6所示，這就是CycleGAN名字的由來(lái)?？偨Y(jié)一下，CycleGAN使用兩個(gè)不同風(fēng)格的數(shù)據(jù)集，通過(guò)優(yōu)化對(duì)抗損失來(lái)達(dá)到風(fēng)格約束的目的，這一過(guò)程需要生成器和判別器兩個(gè)網(wǎng)絡(luò)組成；CycleGAN又通過(guò)一次反向變化來(lái)達(dá)到內(nèi)容約束的目的，同樣，這一過(guò)程也需要生成器和判別器兩個(gè)網(wǎng)絡(luò)組成。因此CycleGAN的網(wǎng)絡(luò)組成部分是兩個(gè)生成器和兩個(gè)判別器四部分，loss組成部分是對(duì)抗loss和原始輸入與反變換后輸出的內(nèi)容距離loss兩部分組成。2循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）由于GAN網(wǎng)絡(luò)在圖像生成領(lǐng)域的效果卓越，因此也廣泛應(yīng)用于風(fēng)格轉(zhuǎn)換，各種基于GAN的變體都能達(dá)到風(fēng)格轉(zhuǎn)換的效果。CycleGAN是其中非常有創(chuàng)新性的代表模型。下圖則是使用CycleGAN進(jìn)行風(fēng)格轉(zhuǎn)化的一些示例圖：ThankYOU!基于CycleGAN的圖像風(fēng)格遷移案例描述01任務(wù)案例目標(biāo)02任務(wù)案例分析03任務(wù)案例實(shí)施04任務(wù)1案例描述1案例描述本案例將學(xué)習(xí)如何使用搭建一個(gè)CycleGAN風(fēng)格遷移網(wǎng)絡(luò)，通過(guò)訓(xùn)練該網(wǎng)絡(luò)實(shí)現(xiàn)斑馬和馬的風(fēng)格互換。2案例目標(biāo)案例目標(biāo)學(xué)會(huì)搭建一個(gè)完整的CycleGAN風(fēng)格遷移網(wǎng)絡(luò)；

設(shè)計(jì)出CycleGAN網(wǎng)絡(luò)的風(fēng)格遷移損失，包括內(nèi)容損失和風(fēng)格損失；使用訓(xùn)練后的CycleGAN網(wǎng)絡(luò)實(shí)現(xiàn)斑馬與馬的風(fēng)格轉(zhuǎn)換。23案例分析案例分析上節(jié)已經(jīng)了解到，CycleGAN是由兩個(gè)生成器和兩個(gè)判別器組成。如圖6-7-6，X表示X域的圖像，Y表示Y域的圖像。X域的圖像經(jīng)過(guò)生成器G生成Y域的圖像，再經(jīng)過(guò)生成器F重構(gòu)回X域輸入的原圖像；Y域的圖像經(jīng)過(guò)生成器F生成X域圖像，再經(jīng)過(guò)生成器G重構(gòu)回Y域輸入的原圖像。判別器D_x和D_y起到判別作用，確保圖像的風(fēng)格遷移。對(duì)于X域轉(zhuǎn)化為Y域的生成器G和判別器D_y建立損失函數(shù)如下所示：3案例分析對(duì)于重構(gòu)回Y域的圖像，建立循環(huán)一致性損失函數(shù)如下所示：CycleGAN的訓(xùn)練的總體損失函數(shù)以下所示：總而言之，CycleGAN想要達(dá)到的目的是，完成兩個(gè)域之間的風(fēng)格轉(zhuǎn)換，在風(fēng)格轉(zhuǎn)換的同時(shí)，又要確保圖中物體的幾何形狀和空間關(guān)系不發(fā)生變化。34案例實(shí)施4案例實(shí)施 1.導(dǎo)庫(kù)安裝

tensorflow_examples

包，以導(dǎo)入生成器和判別器。pipinstallgit導(dǎo)入程序運(yùn)行所需要庫(kù)，其中pix2pix是基于GAN實(shí)現(xiàn)圖像翻譯，更準(zhǔn)確地講是基于cGAN（conditionalGAN，也叫條件GAN）。因?yàn)閏GAN可以通過(guò)添加條件信息來(lái)指導(dǎo)圖像生成，因此在圖像翻譯中就可以將輸入圖像作為條件，學(xué)習(xí)從輸入圖像到輸出圖像之間的映射，從而得到指定的輸出圖像。而其它基于GAN來(lái)做圖像翻譯的，因?yàn)镚AN算法的生成器是基于一個(gè)隨機(jī)噪聲生成圖像，難以控制輸出。因此基本上都是通過(guò)其他約束條件來(lái)指導(dǎo)圖像生成，而不是利用cGAN，這是pix2pix和其他基于GAN做圖像翻譯的差異。4案例實(shí)施2.數(shù)據(jù)預(yù)處理加載數(shù)據(jù)庫(kù)中訓(xùn)練和測(cè)試圖片。dataset,metadata=tfds.load('cycle_gan/horse2zebra',with_info=True,as_supervised=True)train_horses,train_zebras=dataset['trainA'],dataset['trainB']test_horses,test_zebras=dataset['testA'],dataset['testB']隨機(jī)裁剪圖片至同一尺寸。cropped_image=tf.image.random_crop(image,size=[IMG_HEIGHT,IMG_WIDTH,3])4案例實(shí)施將圖片進(jìn)行標(biāo)準(zhǔn)化處理。image=(image/127.5)–1返回隨機(jī)抖動(dòng)的圖片。image=tf.image.resize(image,[286,286],method=tf.image.ResizeMethod.N