對(duì)抗生成網(wǎng)絡(luò)GAN在對(duì)抗攻擊與防御中的應(yīng)用

對(duì)抗生成網(wǎng)絡(luò)GAN在對(duì)抗攻擊與防御中的應(yīng)用*】（山東大學(xué)網(wǎng)絡(luò)空間安全研究院山東青島266237）摘要：對(duì)抗生成網(wǎng)絡(luò)GAN在圖像生成等多方面已經(jīng)取得了巨大的成功，其吸取的主要思想就是對(duì)抗博弈，最終達(dá)到“納什均衡”.盡管GAN令人興奮，但從網(wǎng)絡(luò)安全的角度來(lái)看，它們確實(shí)構(gòu)成了一個(gè)重大威脅，并且在密碼破解、惡意軟件檢測(cè)、面部識(shí)別等領(lǐng)域有著深遠(yuǎn)的應(yīng)用.而在對(duì)抗攻擊中最重要的就是生成對(duì)抗樣本，運(yùn)用GAN在生成圖像的功能，為對(duì)抗樣本的生成提供了可能；基于GAN的對(duì)抗樣本的生成能具有更高的真實(shí)性，對(duì)現(xiàn)有的一些防御手段可以更好的擊破，改變了以往生成對(duì)抗樣本主要是集中在修改梯度變化較大的像素，轉(zhuǎn)為學(xué)習(xí)樣本的分布規(guī)律，提取特征，更好的生成對(duì)抗樣本.對(duì)抗樣本生成的過(guò)程主要是加入擾動(dòng)，那對(duì)抗樣本的防御就可以使用GAN來(lái)去掉擾動(dòng)，從而抵御對(duì)抗樣本的攻擊,其能較好的抵御黑盒攻擊.關(guān)鍵詞：半白盒攻擊;對(duì)抗生成網(wǎng)絡(luò)GAN;對(duì)抗樣本;對(duì)抗防御.TheApplicationofGANinConfrontationAttackandDefense1(SchoolofCyberScienceandTechnology,ShandongUniversity,Shandong266237)Abstract:TheconfrontationgenerationnetworkGANhasachievedgreatsuccessinmanyaspectssuchasimagegeneration.Themainideaithasabsorbedisconfrontationgame,andfinallyreaches"soequilibrium".AlthoughGANsareexciting,theydoposeamajorthreatfromtheperspectiveofnetworksecurityandhavefar-reachingapplicationsinfieldssuchaspasswordcracking,malwaredetection,andfacialrecognition.Themostimportantthinginaconfrontationattackistogenerateconfrontationsamples.TheuseofGAN'sfunctioningeneratingimagesprovidesthepossibilityforthegenerationofconfrontationsamples;thegenerationofconfrontationsamplesbasedonGANcanhaveahigherdegreeofauthenticity,whichisbetterforsomeexistingones.Defensivemethodscanbebetterbroken,changingthepreviousgenerationofadversarialsamplesmainlyfocusedonmodifyingpixelswithlargegradientchanges,turningtolearningthedistributionlawofsamples,extractingfeatures,andbettergeneratingadversarialsamples.Theprocessofadversarialsamplegenerationismainlytoadddisturbance,thenthedefenseoftheadversarialsamplecanuseGANtoremovetheperturbation,therebyresistingtheattackoftheadversarialsample,whichcanbetterresisttheblackboxattack.Keywords：semi-whiteboxattack;adversarialgenerativenetwork-GAN;adversarialsample;adversarialdefense.1引言深度學(xué)習(xí)迎來(lái)新的一波發(fā)展熱潮，推進(jìn)人工智能向前邁進(jìn)一大步，并在廣泛的應(yīng)用中取得了卓越的進(jìn)展,例如生物科學(xué)、計(jì)算機(jī)視覺、語(yǔ)音識(shí)別、自然語(yǔ)言理解和惡意軟件檢測(cè)等.2013年，由Szegedy等人⑴提出，對(duì)輸入樣本添加一些人無(wú)法察覺的細(xì)微的干擾,導(dǎo)致模型以高置信度給出一個(gè)錯(cuò)誤的輸出，由此對(duì)抗樣本的概念開始出現(xiàn)并不斷發(fā)展，如今，已經(jīng)變成AI安全領(lǐng)域內(nèi)不可忽略的一部分.GAN是一種對(duì)抗生成網(wǎng)絡(luò)，是一種深度學(xué)習(xí)模型，是復(fù)雜分布上無(wú)監(jiān)督學(xué)習(xí)的方法之一.模型通過(guò)框架中（至少）兩個(gè)模塊：生成模型（Generative）和判別模型（Discriminative）的互相博弈學(xué)習(xí)產(chǎn)生好的輸出.GAN在高清晰圖片生成、文字到圖像的轉(zhuǎn)換、預(yù)測(cè)不同年齡的長(zhǎng)相、照片修復(fù)等方向取得了巨大的成果.而GAN在對(duì)抗樣本的生成也有不少的研究并且也取得了不少好的成果，本文將對(duì)GAN在生成對(duì)抗樣本中的應(yīng)用做一個(gè)歸納與總結(jié).2背景2.1對(duì)抗攻擊對(duì)抗攻擊是一種讓目標(biāo)模型做出誤判誤或是達(dá)到竊取目的的攻擊，目前常見的對(duì)抗攻擊可以分為以下三類1）黑盒攻擊：攻擊者不知道模型參數(shù)，也無(wú)法知道模型的訓(xùn)練數(shù)據(jù)集.攻擊這類模型通常是訓(xùn)練一個(gè)攻擊目標(biāo)的替代模型來(lái)構(gòu)造對(duì)抗樣本.為獲得訓(xùn)練數(shù)據(jù)集一般是將一小部分?jǐn)?shù)據(jù)集送入目標(biāo)分類器中,得到輸出值并對(duì)此進(jìn)行數(shù)據(jù)增強(qiáng).2）白盒攻擊：攻擊者知道模型的所有參數(shù)，例如：網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)限，防御機(jī)制的細(xì)節(jié)等.攻擊者獲得模型的損失函數(shù)，能夠?qū)_動(dòng)目標(biāo)值.3）灰盒攻擊：介于1）,2）之間.攻擊者知道網(wǎng)絡(luò)結(jié)構(gòu)和防御機(jī)制，但是不知道具體參數(shù)；灰盒攻擊又可以分為半白盒攻擊和半黑盒攻擊.對(duì)抗樣本這一概念由Szegedyetal.⑴提出，對(duì)輸入樣本添加一些人無(wú)法察覺的細(xì)微的干擾，導(dǎo)致模型以高置信度給出一個(gè)錯(cuò)誤的輸出.Szegedy等人首先通過(guò)添加輕微擾動(dòng)來(lái)干擾輸入樣本，使基于深度神經(jīng)網(wǎng)絡(luò)（DNN）的圖片識(shí)別系統(tǒng)輸出攻擊者想要的任意錯(cuò)誤結(jié)果.率先實(shí)現(xiàn)了對(duì)抗樣本在圖像攻擊上的應(yīng)用.表1總結(jié)了一些常見的一些攻擊算法，主要羅列了白盒與黑盒攻擊中的經(jīng)典對(duì)抗算法.GoodFellow等人⑵認(rèn)為度神經(jīng)網(wǎng)絡(luò)在高緯空間中的線性特性已經(jīng)足以產(chǎn)生這種攻擊行為；對(duì)抗樣本的存在表明了神經(jīng)網(wǎng)絡(luò)的脆弱性，而對(duì)抗樣本存在的主要原因是模型的高度線性，即使使用

了非線性函數(shù)作為激活函數(shù)，但是在局部空間內(nèi)，非線性仍可以看作是線性的.近年來(lái)，對(duì)對(duì)抗樣本的研究已經(jīng)從圖像領(lǐng)域擴(kuò)展到語(yǔ)音識(shí)別，自動(dòng)駕駛等領(lǐng)域，比如在語(yǔ)音識(shí)別領(lǐng)域,XuejingYuan等人⑶已經(jīng)實(shí)現(xiàn)把對(duì)抗樣本(Command)注入到音樂中(CommanderSong)進(jìn)而大規(guī)模影響語(yǔ)音識(shí)別系統(tǒng)的正常工作.對(duì)抗樣本的存在的攻擊已經(jīng)不可忽視.表1：常見對(duì)抗算法攻擊方式攻擊算法核心要點(diǎn)WFSGM對(duì)loss函數(shù)的輸入變量求梯度作為擾動(dòng)WBIM識(shí)別概率最小的類別代替對(duì)抗擾動(dòng)中的類別變量WPGDFGSM是做一次迭代，而PGD是做多次迭代WDeepFool迭代計(jì)算的方法生成最小擾動(dòng)，將位于分類邊界內(nèi)的圖像逐步推到邊界外WC&W通過(guò)限制無(wú)窮、二和零范數(shù)使得擾動(dòng)無(wú)法被察覺BUAP即通過(guò)降級(jí)相應(yīng)的排名指標(biāo)來(lái)生成針對(duì)UAP的檢索，以打破圖像特征的鄰域關(guān)系BJSMA提出了限制零范數(shù)的方法BZOO通過(guò)有限差分，利用數(shù)值方法去估計(jì)梯度，從而去改變輸入BEAD“彈性網(wǎng)優(yōu)化問(wèn)題''的思路來(lái)生成對(duì)抗樣本W(wǎng)-BGAN對(duì)抗基于GAN的對(duì)抗上表中W表示白盒攻擊,B表示黑盒攻擊,W-B表示半白盒攻擊(灰盒攻擊).2.2對(duì)抗生成網(wǎng)絡(luò)自2014年IanGoodfellow^4：］提出了GAN(GenerativeAdversarialNetwork)以來(lái)，生成對(duì)抗網(wǎng)絡(luò)(GAN)已經(jīng)廣泛應(yīng)用于高清晰圖片生成、文字到圖像的轉(zhuǎn)換、預(yù)測(cè)不同年齡的長(zhǎng)相、照片修復(fù)等方向并且取得了巨大的成功.GAN神經(jīng)網(wǎng)絡(luò)是基于博弈論［2］而設(shè)計(jì)的一種對(duì)抗博弈過(guò)程，不斷相互對(duì)抗，不斷相互學(xué)習(xí)而最終達(dá)到雙方共同提高的目的，形成一種“那么均衡”.GAN的主要結(jié)構(gòu)包括一個(gè)生成器G(Generator)和一個(gè)判別器D(Discriminator)，通過(guò)生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D不斷博弈,進(jìn)而使G學(xué)習(xí)到數(shù)據(jù)的分布,并利用G網(wǎng)絡(luò)生成我們所需要的樣本.其GAN模式圖如圖1所示.G是一個(gè)生成式的網(wǎng)絡(luò)，它接收一個(gè)隨機(jī)的噪聲z(隨機(jī)數(shù))，通過(guò)這個(gè)噪聲生成樣本,D是一個(gè)判別網(wǎng)絡(luò)，判別樣本是不是“真實(shí)的”.它的輸入?yún)?shù)是尤，輸出D(x)代表x為真實(shí)樣本的概率，如果為1,就代表為真，而輸出為0,就代表為假.由于GAN網(wǎng)絡(luò)區(qū)別于一般的神經(jīng)網(wǎng)絡(luò)，其代價(jià)函數(shù)也較一般有所不同,一般的,GAN網(wǎng)絡(luò)的代價(jià)函數(shù)使用JS散度來(lái)度量,JS散度衡量的是兩個(gè)概率分布的相似度.圖1：GAN結(jié)構(gòu)更新參數(shù)的方法是先固定判別器來(lái)更新生成器，然后在固定生成器更新判別器；這里給出G和D的代價(jià)函數(shù)及參數(shù)的更新方法.生成器G的代價(jià)函數(shù)：1JG=一并[log(1-D(G(z)))]mi=1使用Adam梯度下降法來(lái)更新參數(shù)：0=Adam(yQ(Jg),0)判別器D的代價(jià)函數(shù)：'''15Jd=并[-logD(xi)-log(1-D(G(zi)))]mi=1使用Adam梯度下降法來(lái)更新參數(shù)：0d=Adam(V0d(Jd),0)3基于GAN的對(duì)抗攻擊GAN生成對(duì)抗樣本的方式一般不需要獲取太多的背景知識(shí)，適用于攻擊難度較高的半白盒攻擊,半黑盒攻擊和黑盒攻擊.生成對(duì)抗樣本的方法比較多，主流方法主要是(也可以參考表1)：基于梯度下降的FGSM及FGSM的變種，如：BIM,PGD,FGSM等.基于優(yōu)化的生成方式;如CW,JSMA,Hot/Cold等等.3基于GAN的生成方式.前兩種對(duì)抗樣本生成的方法對(duì)樣本的生成有閾值控制，經(jīng)過(guò)跟仔細(xì)的辨認(rèn)還是可以了解到對(duì)抗樣本與真實(shí)樣本之間在梯度突變的地方還是有明顯的區(qū)別；而且這兩種方法在大規(guī)模樣本攻擊情況下效率不是很高，不適用與實(shí)時(shí)對(duì)抗.而基于GAN的方式可以生成與真實(shí)圖像更加接近的對(duì)抗樣本,一旦生成器訓(xùn)練完成，就可以部署到響應(yīng)的模型中嵌套，可以大規(guī)模高效的生成對(duì)抗樣本，就不需要在訪問(wèn)被攻擊的模型.通過(guò)生成對(duì)抗網(wǎng)絡(luò)的生成器進(jìn)行對(duì)抗樣本生成.首先利用生成對(duì)抗網(wǎng)絡(luò)中的生成器生對(duì)抗樣本數(shù)據(jù)，然后用模型中的判別器約束對(duì)抗樣本的分布和原數(shù)據(jù)相同，保證對(duì)抗樣本的逼真性，同時(shí)，使用類別概率向量重排序函數(shù)約束對(duì)抗，樣本的類別為指定攻擊類別，保證對(duì)抗樣本在被攻擊模型上的有效性.AdvGAN2019年ChaoweiXiao等人⑸提出了AdvGAN,利用生成對(duì)抗網(wǎng)絡(luò)去生成對(duì)抗樣本,AdvGAN的做法是將原始樣本(即：X)通過(guò)GAN的生成器映生成一個(gè)擾動(dòng)G3)(即：2019年ChaoweiXiao等人⑸提出了AdvGAN,利用生成對(duì)抗網(wǎng)絡(luò)去生成對(duì)抗樣本,AdvGAN的做法是將原始樣本(即：X)通過(guò)GAN的生成器映生成一個(gè)擾動(dòng)G3)(即：門)，然后將擾動(dòng)G3)與原始樣本疊加(即：G3)+X)，然后再將此對(duì)抗樣本與原始樣本交給判別器分辨.其算法流程如下圖2：GeneratorTangeiwhrte-box|_/distilledbhck-b-oK—OriginalinstanceDiscriminatorT+G(T)HSEqPerturbedinstance圖2：AdvGAN模型一個(gè)生成器G,一個(gè)判別器D和目標(biāo)攻擊網(wǎng)絡(luò)f.在這里，生成器G接受一張?jiān)紙D像輸入實(shí)例x,然后生成微小擾動(dòng)G(x).接著X+G(x)會(huì)被送到判別器d,判別器的任務(wù)是分辨生成數(shù)據(jù)和原始數(shù)據(jù).被攻擊模型表示為f,f將X+G(x)作為輸入，然后輸出它的對(duì)抗損失，其中它的損失表示預(yù)測(cè)類別和攻擊到其錯(cuò)誤分類類別的距離或者是與真實(shí)類別標(biāo)簽相反的距離.AdvGAN與FGSM,Opt等相對(duì)比起來(lái)，在MNIST和CIFAR-10數(shù)據(jù)集上其攻擊的成功率有較大的提高；并且在加有防御算法的情況下,AdvGAN仍然取得很高的攻擊成功率，顯現(xiàn)出AdvGAN的優(yōu)越性.這是一種主要用于半白盒攻擊中比較實(shí)用的攻擊手段，但是對(duì)黑盒攻擊來(lái)說(shuō)，其遷移性不強(qiáng)，不能很好的用于黑盒攻擊.AdvGAN++AdvGAN++[6]是在AdvGAN基礎(chǔ)上發(fā)展而來(lái)的,相比與AdvGAN,其算法性能上有所提高，可以更好地學(xué)習(xí)和模擬出真實(shí)圖像分布.這是一種半黑盒攻擊,而且對(duì)黑盒攻擊也有92.76%的攻擊成功率.大多數(shù)的黑盒攻擊策略是基于對(duì)抗樣本的遷移現(xiàn)象.在這些方法中，攻擊者會(huì)首先訓(xùn)練一個(gè)本地模型，然后通過(guò)本地模型模擬被攻擊的模型來(lái)生成對(duì)抗樣本.這些方法希望同樣的對(duì)抗樣本同時(shí)也可以攻擊其他類似的模型.很多應(yīng)用的學(xué)習(xí)系統(tǒng)允許查詢?cè)L問(wèn)，然而，有極少的工作可以利用對(duì)于

目標(biāo)模型查詢的訪問(wèn)去構(gòu)建對(duì)抗樣本從而超過(guò)利用遷移性構(gòu)建對(duì)抗樣本的效果.相反地，AdvGAN++可以不依賴于遷移性進(jìn)行黑盒攻擊.其生成對(duì)抗樣本的原理圖如圖3：LAdv圖3：LAdv圖3：AdvGAN++原理GAN圖3表示了AdvGAN++的整個(gè)架構(gòu)，其中主要包含三個(gè)部分：一個(gè)生成器G,一個(gè)判別器D和一個(gè)目標(biāo)模型C.在這里，真實(shí)樣本經(jīng)過(guò)的D3)的特征提取后與噪音(X)形成G的輸入向量vector,然后將經(jīng)過(guò)生成器生成對(duì)抗樣本adv，然后將生成好的對(duì)抗樣本與真實(shí)樣本交給判別器去識(shí)別；最后將生成的對(duì)抗樣本adv輸入到目標(biāo)分類模型C中，其中輸出的損失為匕小.優(yōu)化目標(biāo)損失函數(shù)，當(dāng)模型達(dá)到最優(yōu)時(shí)，adv即為對(duì)抗樣本.其中參數(shù)更新的方法是使用隨機(jī)梯度更新法，如下所示：1mV0—Y[-logD(xi)-log(1-D(G(zIf(x?))))]

i=1從目標(biāo)模型中提取特征f(Xi)，通過(guò)求解最小一最大博弈問(wèn)題，得到G和D的最優(yōu)參數(shù).AdvGAN和AdvGAN++有一個(gè)共同的特點(diǎn)就是，在目前的防御體系下，這兩種攻擊方法都是有效的，而AdvGAN++比AdvGAN高3%-7%.NaturalGANNaturalGAN[7是一種既可以用于圖像又可以用于文本的對(duì)抗樣本生成方法，其根本原理是去隱特征空間尋找對(duì)抗樣本，這樣產(chǎn)生的對(duì)抗樣本更加自然其更具有針對(duì)性.NaturalGAN對(duì)抗樣本生成分為兩階段，第一階段是將樣本空間映射到隱特征空間中去；如下圖4所示：

圖4：NaturalGAN第一階段首先用真實(shí)數(shù)據(jù)訓(xùn)練好WGAN中的生成器G和判別器D，生成器是將隱特征空間映射到樣本z=G(I(x))

x=I(G(z))空間中去工=G(x)(z-x)，然后再需要訓(xùn)練一個(gè)逆轉(zhuǎn)器I，完成z=z=G(I(x))

x=I(G(z))第二階段如圖5所示:圖5：Natural圖5：NaturalGAN第二階段第二階段為利用階段一訓(xùn)練好的網(wǎng)絡(luò)在隱特征空間中搜索對(duì)抗樣本.對(duì)于一個(gè)特定的真實(shí)數(shù)據(jù)x,利用I將其映射回隱空間，然后在隱空間上對(duì)z'進(jìn)行隨機(jī)擾動(dòng)得到~,最后由生成器G得到相應(yīng)的對(duì)抗樣本.由實(shí)驗(yàn)結(jié)果得出基于FGSM生成的對(duì)抗擾動(dòng)毫無(wú)語(yǔ)義性可言，但是基于NaturalGAN方法生成的對(duì)抗樣本則在外觀上更加自然；實(shí)驗(yàn)還對(duì)比了不同模型進(jìn)行對(duì)抗樣本生成的實(shí)驗(yàn)，發(fā)現(xiàn)魯棒性更高的模型需要的迭代次數(shù)更多.Rob-GANRob-GAN[8主要是在訓(xùn)練的過(guò)程中引入了對(duì)抗樣本的訓(xùn)練,這樣的GAN網(wǎng)絡(luò)其魯棒性更好，通過(guò)PGD攻擊所得到的對(duì)抗樣本用來(lái)訓(xùn)練，可以加速GAN網(wǎng)絡(luò)的收斂,訓(xùn)練出來(lái)的生成器泛化能力更強(qiáng),再用來(lái)生成對(duì)抗樣本就具有更強(qiáng)的攻擊能力.但是這種方法在訓(xùn)練網(wǎng)絡(luò)時(shí)只“看到”所有訓(xùn)練樣本附近小區(qū)域內(nèi)的對(duì)抗樣本，而數(shù)據(jù)流形中的其余圖像則沒有受到保護(hù)，所以這種方法生成的對(duì)抗樣本在訓(xùn)練集上獲得不錯(cuò)的魯棒性,但是在測(cè)試集上顯著下降.將對(duì)抗攻擊學(xué)習(xí)和生成對(duì)抗網(wǎng)絡(luò)組成一個(gè)新的模型，將生成器、判別器和對(duì)抗攻擊者組合訓(xùn)練,通過(guò)在SNGAN中引入對(duì)抗學(xué)習(xí)中的對(duì)抗樣本的元素,不僅可以加速GAN的訓(xùn)練，提高生成圖像的質(zhì)量，更重要的可以得到魯棒性更好的判別器.其次精細(xì)化訓(xùn)練判別器D.用假樣本和真實(shí)數(shù)據(jù)樣本繼續(xù)訓(xùn)練階段一訓(xùn)練好的判別器D,使得它能夠有更好的魯棒性抵御對(duì)抗攻擊.AdvFacesAdvFace[9]可以自動(dòng)產(chǎn)生不可察覺的擾動(dòng),這些擾動(dòng)可以避開最先進(jìn)的人臉識(shí)別系統(tǒng)，其模糊攻擊和模擬攻擊的攻擊成功率非常高.AdvFaces是一種自動(dòng)對(duì)抗性人臉合成方法，它通過(guò)對(duì)抗學(xué)習(xí)在顯著的面部區(qū)域產(chǎn)生最小的擾動(dòng).AdvFaces是通過(guò)對(duì)原始圖片的特征提取之后，生成一個(gè)類似于輪廓特征的“面具”，再將此“面具”與原始圖像疊加,得到對(duì)抗樣本.其原理圖6如下圖6：AdvFace原理圖這些對(duì)抗示例是由于對(duì)探測(cè)圖像添加了較小的擾動(dòng)而產(chǎn)生的.這樣的對(duì)抗圖像可能導(dǎo)致最先進(jìn)的人臉識(shí)別系統(tǒng)錯(cuò)誤地拒絕真實(shí)的主體(混淆攻擊)或錯(cuò)誤地匹配冒名頂替者(冒充攻擊)，其損失的計(jì)算如下：'l=E[max(q,11G(x)II)]<[=E；[1-F(y,x+G(x))]lGN=E[logD(x)-log(1-D(x+G(x)))]其中\(zhòng)表示添加干擾的損失函數(shù)f是對(duì)抗樣本與原始圖像之間的損失」gan是GAN網(wǎng)絡(luò)的損失.總的損失是這三部分的加和，即I=*I+人I+1，其中人和人是損失的超參數(shù).通過(guò)實(shí)驗(yàn)顯示lossppiiGANipAdvFaces可以保證與原圖像高相似度的同時(shí)實(shí)現(xiàn)高攻擊準(zhǔn)確率.PS-GANPS-GANEio]是使用對(duì)抗生成網(wǎng)絡(luò)(GAN)來(lái)生成視覺保真度較好且與場(chǎng)景語(yǔ)義相關(guān)度較高的對(duì)抗補(bǔ)丁，讓自動(dòng)駕駛的圖片識(shí)別器誤分類，以在數(shù)字世界和物理世界完成對(duì)深度學(xué)習(xí)模型的攻擊.將塊生成視為通過(guò)對(duì)抗過(guò)程的塊到塊的變換，輸入任意類型的塊輸出與攻擊圖像感知高相關(guān)的對(duì)抗塊.為了進(jìn)一步提高攻擊能力，提出了一種結(jié)合對(duì)抗生成的注意機(jī)制來(lái)預(yù)測(cè)關(guān)鍵的攻擊區(qū)域，從而生成更真實(shí)、更具攻擊性的對(duì)抗塊PS-GAN找到一種能夠生成的對(duì)抗塊可以欺騙被攻擊網(wǎng)絡(luò)的視覺感知度的攻擊方法.對(duì)抗塊在視覺上應(yīng)該是自然的，與圖像內(nèi)容具有很強(qiáng)的感知相關(guān)性，同時(shí)在空間上定位于感知敏感的位置.利用被攻擊網(wǎng)絡(luò)的視覺感知,增強(qiáng)視覺保真以及攻擊性能，使用補(bǔ)丁到補(bǔ)丁的翻譯過(guò)程，以追求視覺上的自然和上下文相關(guān)的對(duì)抗性補(bǔ)丁.同時(shí)引入視覺注意去捕獲空間分布感知，引導(dǎo)攻擊位置.圖7：PS-GAN攻擊如圖7所示,給一個(gè)限速度20km/h與30km/h的路牌標(biāo)志在適當(dāng)位置放置一個(gè)攻擊塊后，自動(dòng)駕駛系統(tǒng)識(shí)別為禁行標(biāo)志，達(dá)到了攻擊的目的.（7）AI-GAN之前的AdvGAN在訓(xùn)練中固定了目標(biāo)類別，并且發(fā)現(xiàn)將AdvGAN修改為將原始圖像和目標(biāo)類別作為輸入時(shí),會(huì)很難訓(xùn)練它.AI-GANS提出了具有不同訓(xùn)練策略的GAN來(lái)解決此問(wèn)題.這是一種兩階段方法，使用投影梯度下降（PGD）攻擊在第一階段激發(fā)GAN的訓(xùn)練，在第二階段應(yīng)用GAN的標(biāo)準(zhǔn)訓(xùn)練.訓(xùn)練后，生成器可以近似估算對(duì)抗實(shí)例的條件分布，并在給定不同目標(biāo)類別的情況下生成對(duì)抗擾動(dòng).實(shí)驗(yàn)評(píng)估了MNIST的性能，與AdvGAN相比，以類似的擾動(dòng)幅度獲得了更高的攻擊成功率.4基于GAN的防御4.1常用的防御手段對(duì)抗防御是抵制對(duì)抗攻擊的手段與方法，目前，對(duì)抗防御主要分為以下三類.1）調(diào)整訓(xùn)練數(shù)據(jù)使得模型魯棒性更強(qiáng)；比如：用對(duì)抗樣本進(jìn)行數(shù)據(jù)增強(qiáng)；但是這種方法由于對(duì)抗樣本由攻擊產(chǎn)生，在攻擊策略更換后，這種防御方式將會(huì)表現(xiàn)不佳［12-14］.2）對(duì)分類器進(jìn)行防御蒸餾訓(xùn)練；利用這種方式使得網(wǎng)絡(luò)更加平滑，輸入點(diǎn)附近的梯度較小，從而難以生成對(duì)抗樣本.這種防御方式對(duì)白盒攻擊防御效果好，但是對(duì)黑盒攻擊效果不好［13-15］.3）嘗試去除輸入中的噪聲；這種方法對(duì)灰盒攻擊尤其有效［16-2。］.這些方法可以被進(jìn)一步細(xì)分為兩種類型：（a）完全防御；（b）僅探測(cè).完全防御方法的目標(biāo)是讓網(wǎng)絡(luò)將對(duì)抗樣本識(shí)別為正確的類別；僅探測(cè)方法的目標(biāo)是檢測(cè)對(duì)抗樣本，一旦發(fā)現(xiàn)就將對(duì)抗樣本丟棄或是不被識(shí)別.考慮到對(duì)抗樣本的錯(cuò)誤分類主要是由輸入圖像的一些像素級(jí)的擾動(dòng)引起的，因此希望提出一種算法來(lái)消除輸入圖像的對(duì)抗擾動(dòng)，從而達(dá)到防御對(duì)抗攻擊的目的.這里可以把樣本的對(duì)抗擾動(dòng)消除定義為學(xué)習(xí)從對(duì)抗樣本到原始樣本的流形映射的問(wèn)題.生成對(duì)抗網(wǎng)絡(luò)(GAN)是一種功能強(qiáng)大的工具,其可用于學(xué)習(xí)數(shù)據(jù)分布并形成生成器.利用GAN來(lái)學(xué)習(xí)真實(shí)數(shù)據(jù)分布，從而在對(duì)抗性輸入的前提下生成良性預(yù)測(cè).基于以上的分析,本文簡(jiǎn)單介紹幾種用GAN相關(guān)模型來(lái)防御對(duì)抗攻擊的方法.4.26入1^的防御手段Defense-GANDefense-GAN[15],是利用生成模型的表達(dá)能力來(lái)保護(hù)深度神經(jīng)網(wǎng)絡(luò)免受攻擊的框架.Defense-GAN的訓(xùn)練是模擬真實(shí)圖像的分布.在推斷時(shí)，通過(guò)在其學(xué)習(xí)的分布中搜索接近于對(duì)抗樣本的圖像來(lái)清除對(duì)抗樣本，這個(gè)輸出然后送到分類器.這種方法可以用于任何分類模型，不會(huì)修改分類器結(jié)構(gòu)或訓(xùn)練過(guò)程.它也可以用來(lái)防御任何攻擊，因?yàn)樗粫?huì)假設(shè)生成對(duì)抗樣本的過(guò)程的知識(shí).其算法流程圖如下圖8所示：圖8：Defense-GAN原理圖Z*的計(jì)算采用的L次GD(GradientDescent)算法,Defense-GAN可以連同任意分類器使用并且不會(huì)影響分類器結(jié)構(gòu),可以看作是一個(gè)分類任務(wù)之前的預(yù)處理；如果GAN表達(dá)能力足夠好，則沒必要重新訓(xùn)練分類器；對(duì)任意形式的攻擊都能起到防御效果；Defense-GAN高度非線性，基于梯度的白盒攻擊將很難實(shí)現(xiàn).APE-GANGoodfellow等[16]提出的生成對(duì)抗網(wǎng)絡(luò)(GAN)能夠利用隨機(jī)噪聲生成與原始分布相似的數(shù)據(jù)集,APE-GAN是一種基于GAN利用對(duì)抗樣本生成與原始樣本相似的重構(gòu)圖像的框架.先利用原始樣本和對(duì)抗樣本訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)，訓(xùn)練好以后，將對(duì)抗樣本和原始樣本先經(jīng)過(guò)生成器將對(duì)抗擾動(dòng)消除以后，再給目標(biāo)分類器進(jìn)行分類.首先定義對(duì)抗圖像和干凈圖像之間的微小擾動(dòng)：IXadv—XII=n理想情況下，可以將擾動(dòng)從對(duì)抗樣本中完全脫離出來(lái)，這也意味著xadv的分布與x高度一致,GAN的全局最優(yōu)性是G的生成分布與數(shù)據(jù)生成分布樣本的一致性，兩者是吻合的,也說(shuō)明了利用GAN來(lái)消除擾動(dòng)的可行性.APE-GAN的最終目標(biāo)是訓(xùn)練一個(gè)生成模型G,它能夠?yàn)檩斎氲膶?duì)抗樣本生成對(duì)應(yīng)的與原始樣本分布一致的重構(gòu)樣本.訓(xùn)練的優(yōu)化目標(biāo)是:9=argmin一￡l(G。(xadv),X)k=1因?yàn)檫@里不是利用隨機(jī)噪聲而是用樣本來(lái)生成重構(gòu)樣本，所以重構(gòu)圖像的質(zhì)量問(wèn)題是一個(gè)需要考慮的問(wèn)題.作者考慮在生成器的損失函數(shù)中進(jìn)行約束，將生成器的損失函數(shù)定義為加權(quán)和的形式,由像素級(jí)的均方誤差(MSE)損失和對(duì)抗性損失組成.結(jié)果表明，無(wú)論是規(guī)則或不規(guī)則的擾動(dòng),APE-GAN都可以很有效地消除擾動(dòng).APE-GAN可以與其他防御一起工作，例如對(duì)抗訓(xùn)練.另一個(gè)方面，框架具有很強(qiáng)的適用性，可以在不知道目標(biāo)模型的情況下處理對(duì)抗樣本.FBGANFBGANE17］是一種比較新穎的防御方法，其首先捕獲任何輸入的語(yǔ)義信息(原始或敵對(duì)狀態(tài))，然后通過(guò)這些信息檢索未受干擾的輸入.Defense-GAN也利用了GAN的生成能力，此外,FBGAN還添加了一個(gè)編碼器進(jìn)行語(yǔ)義推理，如圖9所示.與Defense-GAN相比,FBGAN不需要額外的搜索過(guò)程就可以在生成的空間中獲得對(duì)抗性最強(qiáng)的對(duì)手.編碼器將直接提供語(yǔ)義潛在代碼以重構(gòu)未受干擾的圖像.圖9：FBGAN防御圖⑷BCGANBCGAN［18］提出了一種稱為邊界條件GAN的新型防御機(jī)制，以增強(qiáng)針對(duì)對(duì)抗示例的深度神經(jīng)網(wǎng)絡(luò)的魯棒性.邊界條件GAN是條件GAN的改進(jìn)版本，可以在經(jīng)過(guò)預(yù)訓(xùn)練的分類器的決策邊界附近生成帶有真實(shí)標(biāo)簽的邊界樣本.這些邊界樣本被作為數(shù)據(jù)擴(kuò)充發(fā)送到預(yù)訓(xùn)練的分類器，以使決策邊界更加魯棒.實(shí)驗(yàn)表明，通過(guò)BCGAN可以持續(xù)成功地防御各種類型的對(duì)抗攻擊，還提供了有關(guān)魯棒性提高和決策邊界可視化的進(jìn)一步定量研究，證明策略的有效性.這種使用邊界樣本來(lái)增強(qiáng)網(wǎng)絡(luò)魯棒性的新防御機(jī)制為防御對(duì)抗攻擊開辟了一條新途徑.5總結(jié)盡管以上只是列舉了一些GAN在對(duì)抗攻擊中的攻擊與防御方法，但GAN在其他方面仍然有巨大的威脅,GAN對(duì)機(jī)器學(xué)習(xí)的攻擊是通過(guò)對(duì)機(jī)器學(xué)習(xí)采取敵對(duì)的方法，攻擊者可以制造復(fù)雜的攻擊，以至于欺騙了我們最先進(jìn)的系統(tǒng).GAN甚至有能力欺騙基于機(jī)器學(xué)習(xí)的防御系統(tǒng)，這意味著任何依賴機(jī)器學(xué)習(xí)的系統(tǒng)都不再安全[21-24].隨著GAN越來(lái)越受歡迎，網(wǎng)絡(luò)安全從業(yè)者跟上研究和技術(shù)的步伐，以最好地裝備自己，以理解和識(shí)別攻擊是至關(guān)重要的.正如我們所知，當(dāng)涉及到令人興奮的新技術(shù)時(shí),安全往往是事后考慮的問(wèn)題.因此，我們作為網(wǎng)絡(luò)安全領(lǐng)域的成員，有責(zé)任始終考慮可能出現(xiàn)的問(wèn)題,并在攻擊者之前搶先兩步.本文在文末附錄簡(jiǎn)單介紹了幾種GAN對(duì)其他模型的一些威脅僉-30].參考文獻(xiàn)(References):ChristianSzegedy,WojciechZaremba,IlyaSutskever,JoanBruna,IanGoodfellow,RobFergus.Intriguingpropertiesofneuralnetworks.arXiv:1312.6199,2014.KurakinA,GoodfellowI,BengioS.Adversarialexamplesinthephysicalworld[C].ICLR(Workshop).2017.XuejingYuan,YuxuanChenetal.CommanderSong:ASystematicApproachforPracticalAdversarialVoiceRecognition[C].ISBN.2018.Goodfellow,IanJ.Pouget-Abadie,Jean;Mirza,Mehdietal.GenerativeAdversarialNetworks.arXiv:1406.2661.2014.ChaoweiXiao,BoLi,Jun-YanZhu,WarrenHe,MingyanLiu,etal.AdversarialExampleswithAdversarialNetworks.arXiv:1801.02610,2018.PuneetMangla,SurganJandial,SakshiVarshney,VineethNBalasubramanian.AdvGAN++:Harnessinglatentlayersforadversarygeneration.arXiv:1908.00706,2019.ZhengliZhao,DheeruDua,SameerSingh.GeneratingNaturalAdversarialExamples.arXiv:1710.11342,2018.XuanqingLiu,Cho-JuiHsieh.Rob-GAN:Generator,Discriminator,andAdversarialAttacker.arXiv:1807.10454,2019.DebayanDeb,JianbangZhang,AnilK.Jain.AdvFaces:AdversarialFaceSynthesis.arXiv:1908.05008,2019.ShiweiShen,GuoqingJin,KeGao,YongdongZhang.APE-GAN:AdversarialPerturbationEliminationwithGAN.arXiv:1707.05474,2017TaoBai,JunZhao,JinlinZhu,ShoudongHan,JiefengChen,BoLi.AI-GAN:Attack-InspiredGenerationofAdversarialExamples.arXiv:2002.02196,2020PouyaSamangouei,MayaKabkab,RamaChellappa.Defense-GAN:ProtectingClassifiersainstdversarialAttacksUsingGenerativeModels.arXiv:1805.06605,2018Liu,Aishan,XianglongLiu,JiaxinFan,YuqingMa,AnlanZhang,HuiyuanXieandD.Tao.Perceptual-SensitiveGANforGeneratingAdversarialPatches.AAAI(2019).Moosavi-DezfooliSM,FawziA,FawziO,FrossardP.Universaladversarialperturbations[C].ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2017:1765-1773.RuyingBao,SihangLiang,QingcanWang.FeaturizedBidirectionalGAN:AdversarialDefenseviaAdversariallyLearnedSemanticInference.arXiv:1805.07862,2018.KeSun,ZhanxinZhu,ZhouchenLin.EnhancingtheRobustnessofDeepNeuralNetworksbyBoundaryConditionalGAN.arXiv:1902.11029,2019.BrilandHitaj,PaoloGasti,GiuseppeAteniese,FernandoPerez-Cruz.PassGAN:ADeepLearningApproachforPasswordGuessing.arXiv:1709.00440,2019.GoodfellowIJ,ShlensJ,SzegedyC.Explainingandharnessingadversarialexamples[C].ICLR(Poster).2015.TramerF,KurakinA,PapernotN,GoodfellowI,BonehD,McDanielP.Ensembleadversarialtraining:Attacksanddefenses[C].ICLR(Poster).2018.MadryA,MakelovA,SchmidtL,TsiprasD,VladuA.Towardsdeeplearningmodelsresistanttoadversarialattacks[C].ICLR(Poster).2018.C.Xiao,B.Li,J.-Y.Zhu,W.He,M.Liuetal.Generatingadversarialexampleswithadversarialnetworks.arXivpreprintarXiv:1801.02610,2018.YanpeiLiu,XinyunChen,ChangLiu,andDawnSong.Delvingintotransferableadversarialexamplesandblackboxattacks.arXivpreprintarXiv:1611.02770,2016WangHao,YeungDY.TowardsBayesiandeeplearning:aframeworkandsomeexistingmethods[J].IEEETransactionsonKnowledgeandDataEngineering,2016,28(12):3395-3408.KiferD,MachanavajjhalaA.NofreelunchindataprivacyConferenceonManagementofData,Athens,Jun12-16,2011.NewYork:ACM,2011:193-204.YaoYucheng,SongLing,EChi.Investigationondistributedk-meansclusteringalgorithmofhomomorphicencryption[J].ComputerTechnologyandDevelopment,2017,27(2):81-85.Gilad-BachrachR,DowlinN,LaineK,etal.CryptoNets:applyingneuralnetworkstoencrypteddatawithhighthroughputandaccuracy[C]//Proceedingsofthe33rdInternationalConferenceonMachineLearning,Jun19-24,2016:201-210.ZhangWenke,YangYong,YangYu.Securemulti-pa