計算機視覺應用開發(fā)課件：認識圖像風格遷移

圖像風格遷移概述風格遷移的基本概念01任務風格遷移的發(fā)展歷程02任務學習目標了解什么是圖像風格遷移了解風格遷移的發(fā)展歷程1風格遷移的基本概念1風格遷移的基本概念

現(xiàn)在通訊工具越來越發(fā)達，在聊天的過程中可以選用各種不同字體，甚至可以以某一個人的書寫風格為標準生成專用字體。這種手寫體在以前是一種使用硬筆或者軟筆純手工寫出的文字，代表了中國漢字文化的精髓?，F(xiàn)在利用風格遷移技術可以生成不同風格的手寫體，省去了手工書寫的時間的同時也促進了中國漢字文化的發(fā)展。1風格遷移的基本概念

同樣，對于圖像的風格遷移，也希望能用一張普通的畫臨摹出瓦西里·康定斯基（俄羅斯現(xiàn)代抽象派藝術大師）或畢加索那樣的印象派畫作。圖像風格遷移都可以滿足這個愿望。

風格遷移是一種圖像優(yōu)化技術，用于將兩個圖像——一個內容圖像（想要改變畫風的原始圖像）和一個風格參考圖像（如著名畫家的一個作品）——混合在一起，使輸出的圖像看起來像內容圖像同時擁有風格參考圖像的風格。2風格遷移的發(fā)展歷程2風格遷移的發(fā)展歷程風格遷移的發(fā)展歷程可大致分為三個階段：1、傳統(tǒng)的圖像風格遷移（Traditionalstyletransfer）在計算機視覺領域，風格遷移被視為紋理合成的擴展問題，當時甚至連名字都沒有，更多的叫法是紋理遷移（texturetansfer），因為風格其實也可以看作一種紋理。假如在合成紋理圖的時候刻意的保留一些語義信息（即輸入圖的內容信息），那就得到了風格遷移的結果。這一方法沒有流行起來的原因是當時紋理遷移的是基于像素的底層圖像特征，并沒有過多的考慮語義信息，因此圖像的遷移結果并不理想。其實，可以將圖像遷移看作圖像紋理提取和圖像重建兩個步驟，2015年前，僅在圖像紋理合成上有些許成就，但在圖像重建領域考慮的并不周全。但是隨著深度學習的飛速發(fā)展，基于神經網絡的圖像遷移方法有了巨大的進步，以下的介紹都是基于神經網絡的圖像遷移方法。2風格遷移的發(fā)展歷程2、基于神經網絡的風格轉換（Neuralstyletransfer）在上一小節(jié)說道，可以通過紋理建模方法（VisualTextureModelling），主要研究如何表示一種紋理，是紋理合成技術的核心。紋理建模方法的相關研究解決了圖像風格化遷移的第一個大問題：如何對風格圖中的風格特征進行建模和提取。然而，如何將風格和內容混合然后還原成一個相應的風格化結果呢？其中可以設計一個前向網絡，用數據驅動的方式，喂給很多訓練數據去提前訓練它，訓練的目標就是給定一個輸入，這個訓練好的網絡只需要一次前向就能輸出一張重建結果圖像。這就是基于神經網絡的風格轉換方法。風格遷移原理主要包含三個部分：圖像內容獲取，圖像風格提取以及內容和風格融合。2風格遷移的發(fā)展歷程3、基于對抗生成網絡的風格遷移（StyletransferbasedonGAN）嚴格來說，基于GAN的風格遷移其實是屬于基于神經網絡的風格遷移范圍之內的，因為GAN網絡本質上就是神經網絡，只是由于其巧妙的loss函數設計方法，使得GAN網絡的效果在圖像生成領域一馬當先，其研究也極為火熱，近些年已有開山立派之態(tài)。GAN網絡由生成器和判別器兩個網絡組成，生成器負責對輸入圖片進行重建；其重建結果與真實數據集一同送入判別網絡進行判斷，判別網絡負責分辨生成器的輸出結果到底是來自真實數據集的真實圖片還是來自其本身的生成圖片。這時，巧妙的事情就發(fā)生了，生成器會努力使自己生成的圖片騙過判別器，方法自然是生成的圖片越真實越容易欺騙判別器；判別器則會努力分