計算機(jī)視覺應(yīng)用開發(fā)課件：無監(jiān)督的圖像增強(qiáng)

無監(jiān)督的圖像增強(qiáng)基于GAN的圖像增強(qiáng)01任務(wù)Autoaugmentation02任務(wù)Randaugment03任務(wù)學(xué)習(xí)目標(biāo)了解基于GAN的圖像增強(qiáng)方法

掌握Autoaugmentation和Randaugment圖像增強(qiáng)的方法1基于GAN的圖像增強(qiáng)1基于GAN的圖像增強(qiáng)生成對抗網(wǎng)絡(luò)(Generativeadversarialnetworks，簡稱GANs)是一種無監(jiān)督生成模型，它隱含地學(xué)習(xí)底層分布。在GAN框架中，學(xué)習(xí)過程是兩個網(wǎng)絡(luò)之間的極大極小博弈，一個生成器，生成給定隨機(jī)噪聲向量的合成數(shù)據(jù)，一個鑒別器，區(qū)分真實數(shù)據(jù)和生成器的合成數(shù)據(jù)。在深度學(xué)習(xí)的圖像分類中使用GAN來進(jìn)行數(shù)據(jù)增強(qiáng)，發(fā)現(xiàn)使用GAN直接的數(shù)據(jù)增強(qiáng)不如其他增強(qiáng)策略有效。但是在少樣本學(xué)習(xí)中，這被證明是使用GANs進(jìn)行數(shù)據(jù)增強(qiáng)的一個更有前途的用例。下面還有很多基于GAN的變體來實現(xiàn)數(shù)據(jù)增強(qiáng)，例如ACGAN，DAGAN，BAGAN。盡管使用GAN進(jìn)行簡單的數(shù)據(jù)增強(qiáng)有時可以提高分類器的性能，特別是在非常小或有限的數(shù)據(jù)集的情況下，但使用GAN進(jìn)行增強(qiáng)的最有希望的情況似乎包括遷移學(xué)習(xí)或少量學(xué)習(xí)。隨著研究不斷提高GAN訓(xùn)練的穩(wěn)定性和可靠性，將GAN用于數(shù)據(jù)增強(qiáng)的快速進(jìn)展將不足為奇。1基于GAN的圖像增強(qiáng)UEGAN：基于GAN的無監(jiān)督圖像增強(qiáng)無監(jiān)督的圖像增強(qiáng)生成對抗網(wǎng)絡(luò)（UEGAN），該網(wǎng)絡(luò)以無監(jiān)督的方式從一組具有所需特征的圖像中學(xué)習(xí)相應(yīng)的圖像到圖像的映射，而不是學(xué)習(xí)大量的成對圖像。模型基于單個深度GAN，它嵌入了調(diào)制和注意力機(jī)制以捕獲更豐富的全局和局部特征。基于該模型，引入了兩種損失來處理無監(jiān)督圖像增強(qiáng)：（1）保真度損失，其定義為預(yù)訓(xùn)練VGG網(wǎng)絡(luò)的特征域中的L2正則化，以確保增強(qiáng)圖像之間的內(nèi)容（2）質(zhì)量損失，它被定義為相對hingeadversarialloss，以賦予輸入圖像所需的特性。定量和定性結(jié)果均表明，該模型有效地提高了圖像的美學(xué)質(zhì)量。2AutoaugmentationAutoaugmentationAutoaugment是Google提出的自動選擇最優(yōu)圖像增強(qiáng)方案的研究，這是無監(jiān)督圖像增強(qiáng)的重要研究方向。它的基本思路是使用增強(qiáng)學(xué)習(xí)從數(shù)據(jù)本身尋找最佳圖像變換策略，對于不同的任務(wù)學(xué)習(xí)不同的增強(qiáng)方法，流程如下：(1)準(zhǔn)備16個常用的數(shù)據(jù)增強(qiáng)操作。(2)從16個中選擇5個操作，隨機(jī)產(chǎn)生使用該操作的概率和相應(yīng)的幅度，將其稱為一個sub-policy，一共產(chǎn)生5個sub-polices。(3)對訓(xùn)練過程中每一個batch的圖片，隨機(jī)采用5個sub-polices操作中的一種。(4)通過模型在驗證集上的泛化能力來反饋，使用的優(yōu)化方法是增強(qiáng)學(xué)習(xí)方法。(5)經(jīng)過80~100個epoch后網(wǎng)絡(luò)開始學(xué)習(xí)到有效的sub-policies。(6)之后串接這5個sub-policies，然后再進(jìn)行最后的訓(xùn)練。2Autoaugmentation這是Autoaugmentation在ImageNet上的圖像增強(qiáng)效果：23RandaugmentRandaugment考慮到以往數(shù)據(jù)增強(qiáng)方法都包含30多個參數(shù)，為了減少參數(shù)空間的同時保持圖像的多樣性，Randaugment用無參數(shù)過程替代了學(xué)習(xí)的策略和概率。這些策略和概率適用于每次變換(transformation)，該過程始終選擇均勻概率為1/k的變換。也就是說，給定訓(xùn)練圖像的N個變換，Randaugment就能表示kN個潛在策略。Randaugment方法為：1、設(shè)定一個操作集，操作集由14種操作構(gòu)成：Identity、AutoContrast、Equalize、Rotate、Solarize、Color、Posterize、Contrast、Brightness、Sharpness、ShearX、ShearY、TranslateX、TranslateY。2、Randaugment只有兩個參數(shù)：N和M。其中N是指在每次增強(qiáng)時使用N次操作（使用的這N個操作，都是從操作集中等概率抽取的，例如操作集中有14種操作，則每種操作被選中的概率為1/14，每張圖像的N次增強(qiáng)中，選到的操作可能是一樣的），M為正整數(shù)，表示所有操作在應(yīng)用時，幅度都為M。3、使用網(wǎng)格搜索，或者更為高端的方法（如反向傳播等）在完整數(shù)