2025神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)深度生成模型

深度生成模型

DeepGenerativeModels《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》2025參考《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》-深度生成模型一些例子來自于李宏毅《IntroductionofGenerativeAdversarialNetwork(GAN)》生成模型

GenerativeModels機(jī)器學(xué)習(xí)的兩種范式生成模型：一系列用于隨機(jī)生成可觀測(cè)數(shù)據(jù)的模型生成模型包含兩個(gè)步驟：密度估計(jì)采樣生成數(shù)據(jù)的另一種思路深度生成模型深度生成模型就是利用神經(jīng)網(wǎng)絡(luò)構(gòu)建生成模型。變分自編碼器（VariationalAutoencoder，VAE）[KingmaandWelling,2013,Rezendeetal.,2014]生成對(duì)抗網(wǎng)絡(luò)（GenerativeAdversarialNetwork，GAN）[Goodfellowetal.,2014]變分自編碼器

VariationalAutoencoder，VAE含隱變量的概率圖模型生成數(shù)據(jù)x的過程可以分為兩步進(jìn)行：根據(jù)隱變量的先驗(yàn)分布p(z;θ)采樣得到樣本z；根據(jù)條件分布p(x|z;θ)采樣得到x。概率生成模型EM算法回顧給定一個(gè)樣本x，其對(duì)數(shù)邊際似然logp(x|θ)可以分解為EstepMstep變分自編碼器的模型結(jié)構(gòu)可以分為兩個(gè)部分：尋找后驗(yàn)分布p(z|x;θ)的變分近似q(z|x;??)；變分推斷：用簡(jiǎn)單的分布q去近似復(fù)雜的分p(z|x;θ)在已知q(z|x;??)的情況下，估計(jì)更好的分布p(x|z;θ)。變分自編碼器(VAE)用神經(jīng)網(wǎng)絡(luò)來替代變分自編碼器推斷網(wǎng)絡(luò)推斷網(wǎng)絡(luò)目標(biāo)生成網(wǎng)絡(luò)先驗(yàn)分布p(z|θ)一般假設(shè)隱變量z的先驗(yàn)分布為各向同性的標(biāo)準(zhǔn)高斯分布N(z|0,I)條件概率分布p(x|z,θ)假設(shè)p(x|z,θ)服從對(duì)角化協(xié)方差的高斯分布目標(biāo)模型匯總再參數(shù)化再參數(shù)化分布q(z|x,?)依賴于參數(shù)?再參數(shù)化（reparameterization）是實(shí)現(xiàn)通過隨機(jī)變量實(shí)現(xiàn)反向傳播的一種重要手段

變分自編碼器的訓(xùn)練過程變分自編碼器學(xué)習(xí)到的隱變量流形生成對(duì)抗網(wǎng)絡(luò)

GenerativeAdversarialNetwork（GAN）顯式密度模型和隱式密度模型顯式密度模型顯示地構(gòu)建出樣本的密度函數(shù)p(x|θ)，并通過最大似然估計(jì)來求解參數(shù)；變分自編碼器、深度信念網(wǎng)絡(luò)隱式密度模型不顯示地估計(jì)出數(shù)據(jù)分布的密度函數(shù)但能生成符合數(shù)據(jù)分布pdata(x)的樣本無法用最大似然估計(jì)生成網(wǎng)絡(luò)生成網(wǎng)絡(luò)從隱空間（latentspace）中隨機(jī)采樣作為輸入，其輸出結(jié)果需要盡量模仿訓(xùn)練集中的真實(shí)樣本。如何學(xué)習(xí)生成網(wǎng)絡(luò)？生成網(wǎng)絡(luò)示例生成網(wǎng)絡(luò)

生成網(wǎng)絡(luò)

生成網(wǎng)絡(luò)

生成網(wǎng)絡(luò)

Eachdimensionofinputvectorrepresentssomecharacteristics.LongerhairbluehairOpenmouth判別網(wǎng)絡(luò)判別網(wǎng)絡(luò)的輸入則為真實(shí)樣本或生成網(wǎng)絡(luò)的輸出，其目的是將生成網(wǎng)絡(luò)的輸出從真實(shí)樣本中盡可能分辨出來。判別網(wǎng)絡(luò)判別網(wǎng)絡(luò)判別網(wǎng)絡(luò)判別網(wǎng)絡(luò)1.01.00.1?MinMaxGame對(duì)抗訓(xùn)練生成網(wǎng)絡(luò)要盡可能地欺騙判別網(wǎng)絡(luò)。判別網(wǎng)絡(luò)將生成網(wǎng)絡(luò)生成的樣本與真實(shí)樣本中盡可能區(qū)分出來。兩個(gè)網(wǎng)絡(luò)相互對(duì)抗、不斷調(diào)整參數(shù)，最終目的是使判別網(wǎng)絡(luò)無法判斷生成網(wǎng)絡(luò)的輸出結(jié)果是否真實(shí)。生成網(wǎng)絡(luò)v3生成網(wǎng)絡(luò)v2對(duì)抗過程生成網(wǎng)絡(luò)(student)判別網(wǎng)絡(luò)(teacher)生成網(wǎng)絡(luò)v1判別網(wǎng)絡(luò)v1判別網(wǎng)絡(luò)v2NoeyesNomouthMinMaxGame判別網(wǎng)絡(luò)生成網(wǎng)絡(luò)MinimaxGame訓(xùn)練過程AnimeFaceGeneration100updates1000updatesAnimeFaceGeneration2000updates5000updatesAnimeFaceGeneration10,000updates50,000updates一個(gè)具體的模型：DCGANs判別網(wǎng)絡(luò)是一個(gè)傳統(tǒng)的深度卷積網(wǎng)絡(luò)，但使用了帶步長(zhǎng)的卷積來實(shí)現(xiàn)下采樣操作，不用最大匯聚（pooling）操作。生成網(wǎng)絡(luò)使用一個(gè)特殊的深度卷積網(wǎng)絡(luò)來實(shí)現(xiàn)使用微步卷積來生成64×63大小的圖像。DCGANs模型分析數(shù)據(jù)分布

Intheend……realgenerated模型分析

不穩(wěn)定性：生成網(wǎng)絡(luò)的梯度消失

使用JS散度來訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)的一個(gè)問題是當(dāng)兩個(gè)分布沒有重疊時(shí)，它們之間的JS散度恒等于常數(shù)log2。對(duì)生成網(wǎng)絡(luò)來說，目標(biāo)函數(shù)關(guān)于參數(shù)的梯度為0。模型坍塌：生成網(wǎng)絡(luò)的“錯(cuò)誤”目標(biāo)生成網(wǎng)絡(luò)的目標(biāo)函數(shù)其中后兩項(xiàng)和生成網(wǎng)絡(luò)無關(guān)，因此前向和逆向KL散度

前向KL散度逆向KL散度前向和逆向KL散度改進(jìn)弱化判別器使用更好的損失函數(shù)realgeneratedstrongweakLeastSquareGAN(LSGAN)Replacesigmoidwithlinear(replaceclassificationwithregression)1(Real)0(Fake)判別網(wǎng)絡(luò)scalar判別網(wǎng)絡(luò)scalarTheydon’tmove.01realgeneratedf-GAN

f-GAN目標(biāo)函數(shù)f-divergencesWassersteinGANWasserstein距離

Wasserstein距離

Kantorovich-

Rubinstein對(duì)偶定理Lipschitz連續(xù)函數(shù)WassersteinGAN梯度問題DCGANWGANbatchnormalizationconstantnumberoffiltersateverylayerDCGANG:CNN,D:CNNG:CNN(nonormalization),D:CNN(nonormalization)LSGANOriginalWGANImprovedWGANG:CNN(tanh),D:CNN(tanh)DCGANLSGANOriginalWGANImprovedWGANG:MLP,D:CNNG:CNN(badstructure),D:CNNG:101layer,D:101layerGAN的擴(kuò)展條件生成根據(jù)條件針對(duì)性的生成數(shù)據(jù)生成網(wǎng)絡(luò)“Girlwithredhairandredeyes”“Girlwithyellowribbon”生成網(wǎng)絡(luò)

Inaspecificrange條件生成Givencondition:CaptionGenerationChat-botGivencondition:“Hello”“Ayounggirlisdancing.”“Hello.Nicetoseeyou.”ConditionalGANInfoGAN判別網(wǎng)絡(luò)分類器scalarGenerator=zZ'cxcPredictthecodecthatgeneratesx“Auto-encoder”Parametersharing(onlythelastlayerisdifferent)encoderdecoder/abs/1606.03657/abs/1606.03657AC-GANBiGANEncoderDecoderDiscriminatorImagexcodezImagexcodezImagexcodezfromencoderordecoder?(real)(generated)(frompriordistribution)JeffDonahue,

PhilippKr?henbühl,

TrevorDarrell,“AdversarialFeatureLearning”,

ICLR