2025神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)深度生成模型

深度生成模型

DeepGenerativeModels《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》2025參考《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》-深度生成模型一些例子來自于李宏毅《IntroductionofGenerativeAdversarialNetwork(GAN)》生成模型

GenerativeModels機器學(xué)習(xí)的兩種范式生成模型：一系列用于隨機生成可觀測數(shù)據(jù)的模型生成模型包含兩個步驟：密度估計采樣生成數(shù)據(jù)的另一種思路深度生成模型深度生成模型就是利用神經(jīng)網(wǎng)絡(luò)構(gòu)建生成模型。變分自編碼器（VariationalAutoencoder，VAE）[KingmaandWelling,2013,Rezendeetal.,2014]生成對抗網(wǎng)絡(luò)（GenerativeAdversarialNetwork，GAN）[Goodfellowetal.,2014]變分自編碼器

VariationalAutoencoder，VAE含隱變量的概率圖模型生成數(shù)據(jù)x的過程可以分為兩步進行：根據(jù)隱變量的先驗分布p(z;θ)采樣得到樣本z；根據(jù)條件分布p(x|z;θ)采樣得到x。概率生成模型EM算法回顧給定一個樣本x，其對數(shù)邊際似然logp(x|θ)可以分解為EstepMstep變分自編碼器的模型結(jié)構(gòu)可以分為兩個部分：尋找后驗分布p(z|x;θ)的變分近似q(z|x;??)；變分推斷：用簡單的分布q去近似復(fù)雜的分p(z|x;θ)在已知q(z|x;??)的情況下，估計更好的分布p(x|z;θ)。變分自編碼器(VAE)用神經(jīng)網(wǎng)絡(luò)來替代變分自編碼器推斷網(wǎng)絡(luò)推斷網(wǎng)絡(luò)目標(biāo)生成網(wǎng)絡(luò)先驗分布p(z|θ)一般假設(shè)隱變量z的先驗分布為各向同性的標(biāo)準(zhǔn)高斯分布N(z|0,I)條件概率分布p(x|z,θ)假設(shè)p(x|z,θ)服從對角化協(xié)方差的高斯分布目標(biāo)模型匯總再參數(shù)化再參數(shù)化分布q(z|x,?)依賴于參數(shù)?再參數(shù)化（reparameterization）是實現(xiàn)通過隨機變量實現(xiàn)反向傳播的一種重要手段

變分自編碼器的訓(xùn)練過程變分自編碼器學(xué)習(xí)到的隱變量流形生成對抗網(wǎng)絡(luò)

GenerativeAdversarialNetwork（GAN）顯式密度模型和隱式密度模型顯式密度模型顯示地構(gòu)建出樣本的密度函數(shù)p(x|θ)，并通過最大似然估計來求解參數(shù)；變分自編碼器、深度信念網(wǎng)絡(luò)隱式密度模型不顯示地估計出數(shù)據(jù)分布的密度函數(shù)但能生成符合數(shù)據(jù)分布pdata(x)的樣本無法用最大似然估計生成網(wǎng)絡(luò)生成網(wǎng)絡(luò)從隱空間（latentspace）中隨機采樣作為輸入，其輸出結(jié)果需要盡量模仿訓(xùn)練集中的真實樣本。如何學(xué)習(xí)生成網(wǎng)絡(luò)？生成網(wǎng)絡(luò)示例生成網(wǎng)絡(luò)

生成網(wǎng)絡(luò)

生成網(wǎng)絡(luò)

生成網(wǎng)絡(luò)

Eachdimensionofinputvectorrepresentssomecharacteristics.LongerhairbluehairOpenmouth判別網(wǎng)絡(luò)判別網(wǎng)絡(luò)的輸入則為真實樣本或生成網(wǎng)絡(luò)的輸出，其目的是將生成網(wǎng)絡(luò)的輸出從真實樣本中盡可能分辨出來。判別網(wǎng)絡(luò)判別網(wǎng)絡(luò)判別網(wǎng)絡(luò)判別網(wǎng)絡(luò)1.01.00.1?MinMaxGame對抗訓(xùn)練生成網(wǎng)絡(luò)要盡可能地欺騙判別網(wǎng)絡(luò)。判別網(wǎng)絡(luò)將生成網(wǎng)絡(luò)生成的樣本與真實樣本中盡可能區(qū)分出來。兩個網(wǎng)絡(luò)相互對抗、不斷調(diào)整參數(shù)，最終目的是使判別網(wǎng)絡(luò)無法判斷生成網(wǎng)絡(luò)的輸出結(jié)果是否真實。生成網(wǎng)絡(luò)v3生成網(wǎng)絡(luò)v2對抗過程生成網(wǎng)絡(luò)(student)判別網(wǎng)絡(luò)(teacher)生成網(wǎng)絡(luò)v1判別網(wǎng)絡(luò)v1判別網(wǎng)絡(luò)v2NoeyesNomouthMinMaxGame判別網(wǎng)絡(luò)生成網(wǎng)絡(luò)MinimaxGame訓(xùn)練過程AnimeFaceGeneration100updates1000updatesAnimeFaceGeneration2000updates5000updatesAnimeFaceGeneration10,000updates50,000updates一個具體的模型：DCGANs判別網(wǎng)絡(luò)是一個傳統(tǒng)的深度卷積網(wǎng)絡(luò)，但使用了帶步長的卷積來實現(xiàn)下采樣操作，不用最大匯聚（pooling）操作。生成網(wǎng)絡(luò)使用一個特殊的深度卷積網(wǎng)絡(luò)來實現(xiàn)使用微步卷積來生成64×63大小的圖像。DCGANs模型分析數(shù)據(jù)分布

Intheend……realgenerated模型分析

不穩(wěn)定性：生成網(wǎng)絡(luò)的梯度消失

使用JS散度來訓(xùn)練生成對抗網(wǎng)絡(luò)的一個問題是當(dāng)兩個分布沒有重疊時，它們之間的JS散度恒等于常數(shù)log2。對生成網(wǎng)絡(luò)來說，目標(biāo)函數(shù)關(guān)于參數(shù)的梯度為0。模型坍塌：生成網(wǎng)絡(luò)的“錯誤”目標(biāo)生成網(wǎng)絡(luò)的目標(biāo)函數(shù)其中后兩項和生成網(wǎng)絡(luò)無關(guān)，因此前向和逆向KL散度

前向KL散度逆向KL散度前向和逆向KL散度改進弱化判別器使用更好的損失函數(shù)realgeneratedstrongweakLeastSquareGAN(LSGAN)Replacesigmoidwithlinear(replaceclassificationwithregression)1(Real)0(Fake)判別網(wǎng)絡(luò)scalar判別網(wǎng)絡(luò)scalarTheydon’tmove.01realgeneratedf-GAN

f-GAN目標(biāo)函數(shù)f-divergencesWassersteinGANWasserstein距離

Wasserstein距離

Kantorovich-

Rubinstein對偶定理Lipschitz連續(xù)函數(shù)WassersteinGAN梯度問題DCGANWGANbatchnormalizationconstantnumberoffiltersateverylayerDCGANG:CNN,D:CNNG:CNN(nonormalization),D:CNN(nonormalization)LSGANOriginalWGANImprovedWGANG:CNN(tanh),D:CNN(tanh)DCGANLSGANOriginalWGANImprovedWGANG:MLP,D:CNNG:CNN(badstructure),D:CNNG:101layer,D:101layerGAN的擴展條件生成根據(jù)條件針對性的生成數(shù)據(jù)生成網(wǎng)絡(luò)“Girlwithredhairandredeyes”“Girlwithyellowribbon”生成網(wǎng)絡(luò)

Inaspecificrange條件生成Givencondition:CaptionGenerationChat-botGivencondition:“Hello”“Ayounggirlisdancing.”“Hello.Nicetoseeyou.”ConditionalGANInfoGAN判別網(wǎng)絡(luò)分類器scalarGenerator=zZ'cxcPredictthecodecthatgeneratesx“Auto-encoder”Parametersharing(onlythelastlayerisdifferent)encoderdecoder/abs/1606.03657/abs/1606.03657AC-GANBiGANEncoderDecoderDiscriminatorImagexcodezImagexcodezImagexcodezfromencoderordecoder?(real)(generated)(frompriordistribution)JeffDonahue,

PhilippKr?henbühl,

TrevorDarrell,“AdversarialFeatureLearning”,

ICLR