深度學(xué)習(xí)-基于PyTorch的實(shí)現(xiàn) 課件 第8章：深度生成模型

第八章：深度生成模型主講人：周靜1．

深度生成模型的含義自編碼器模型的結(jié)構(gòu)與去噪應(yīng)用變分自編碼器的基本原理與圖像生成應(yīng)用生成式對(duì)抗網(wǎng)絡(luò)的基本概念與理解如何訓(xùn)練一個(gè)DCGAN網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)深度生成模型生成模型（GenerativeModels）生成模型（GenerativeModel）是一類機(jī)器學(xué)習(xí)模型，旨在通過學(xué)習(xí)數(shù)據(jù)的概率分布來生成新的數(shù)據(jù)樣本。區(qū)別于判別模型（DiscriminativeModels），生成模型通過學(xué)習(xí)數(shù)據(jù)的聯(lián)合概率分布P(X,Y)，在給定數(shù)據(jù)下預(yù)測(cè)標(biāo)簽或者給定標(biāo)簽下預(yù)測(cè)數(shù)據(jù)。判別模型則是直接學(xué)習(xí)數(shù)據(jù)的條件概率分布P(Y|X)。深度生成模型（DeepGenerativeModels）深度生成模型（DeepGenerativeModels）是一類使用深度學(xué)習(xí)來生成數(shù)據(jù)的模型。這些模型通過學(xué)習(xí)數(shù)據(jù)的概率分布來生成新的數(shù)據(jù)樣本。常見的深度生成模型包括變分自編碼器（VAE）、生成對(duì)抗網(wǎng)絡(luò)（GAN）和擴(kuò)散模型（DiffusionModels）等。OpenAIDALL.E3圖像生成模型變分自編碼器自編碼器自編碼器（Autoencoder，AE）是一種利用反向傳播算法使得輸出等于輸入的神經(jīng)網(wǎng)絡(luò)，自編碼器將輸入壓縮并表征為潛在空間，并將這種潛在空間表征重構(gòu)為輸出。自編碼器由編碼器（Encoder）和解碼器（Decoder）構(gòu)成。MNIST圖像去噪原理實(shí)現(xiàn)：自編碼器圖像去噪MNIST原始圖像MNIST噪聲圖像AE去噪圖像變分自編碼器（VariationalAutoencoders）VAE：將圖像編碼為均值和方差A(yù)E是有損壓縮，無法得到圖像良好的潛在空間表達(dá)VAE是將圖像編碼為均值和方差后，再?gòu)闹胁蓸拥玫诫[變量VAEVAE是一種深度生成模型，用于學(xué)習(xí)輸入數(shù)據(jù)的高維分布。VAE通過將數(shù)據(jù)映射到一個(gè)低維潛在空間，并從這個(gè)空間中生成數(shù)據(jù)，以此來理解數(shù)據(jù)的結(jié)構(gòu)。VAE結(jié)合了自編碼器的架構(gòu)和變分推斷的原理，既能進(jìn)行數(shù)據(jù)的壓縮表示，也能用于數(shù)據(jù)的生成。編碼器與解碼器

VAE的正態(tài)分布配置為保證采樣后的對(duì)應(yīng)關(guān)系，VAE實(shí)際上是為每個(gè)輸入樣本配置了一個(gè)正態(tài)分布。VAE的推導(dǎo)-變分下界

ELBO推導(dǎo)與VAE損失函數(shù)最大化ELBO，相當(dāng)于最小化KL散度項(xiàng)重參數(shù)技巧（ReparameterizationTrick）

VAE圖像生成應(yīng)用示例基于FashionMNIST的VAE圖像生成生成對(duì)抗網(wǎng)絡(luò)GAN（GenerativeAdversarialNets）通過對(duì)抗訓(xùn)練的方式，使生成器（Generator）和判別器（Discriminator）相互競(jìng)爭(zhēng)，從而生成高質(zhì)量的樣本。GAN：兩個(gè)神經(jīng)網(wǎng)絡(luò)的“左右互搏”GAN是由IanGoodfellow等人在2014年提出的一種深度生成模型。GAN的由來生成器（Generator）：負(fù)責(zé)生成新的數(shù)據(jù)樣本，嘗試讓生成的數(shù)據(jù)看起來像真實(shí)數(shù)據(jù)。判別器（Discriminator）：負(fù)責(zé)區(qū)分真實(shí)數(shù)據(jù)和生成數(shù)據(jù)，嘗試識(shí)別哪些數(shù)據(jù)是真實(shí)的，哪些是生成的。GAN的結(jié)構(gòu)GAN的訓(xùn)練過程可以視為一個(gè)零和博弈，通過生成器和判別器相互對(duì)抗來提升GAN的圖像生成能力。生成器接受一個(gè)隨機(jī)噪聲向量??作為輸入，通過一系列非線性變換生成樣本??(??)。生成器的目標(biāo)是生成的樣本能夠騙過判別器，使其認(rèn)為這些樣本是真實(shí)的。判別器接受一個(gè)樣本（真實(shí)數(shù)據(jù)或生成數(shù)據(jù)）作為輸入，輸出一個(gè)概率值??(??)，表示該樣本為真實(shí)數(shù)據(jù)的概率。判別器的目標(biāo)是盡可能準(zhǔn)確地區(qū)分真實(shí)數(shù)據(jù)和生成數(shù)據(jù)。GAN的損失函數(shù)：GAN的工作原理DCGAN（DeepConvolutionalGenerativeAdversarialNetworks）是GAN的一種擴(kuò)展，主要通過使用深度卷積神經(jīng)網(wǎng)絡(luò)（