《人工智能技術(shù)基礎(chǔ)》課件 王科俊 第9、10章 生成式人工智能模型、機器學(xué)習(xí)方法

人工智能技術(shù)基礎(chǔ)生成式人工智能模型第九章

生成式人工智能模型（AIGeneratedContent）是基于統(tǒng)計學(xué)習(xí)算法和深度神經(jīng)網(wǎng)絡(luò)的人工智能模型，能夠從數(shù)據(jù)中學(xué)習(xí)并生成新的、與原始數(shù)據(jù)類似或不同的數(shù)據(jù)。生成式人工智能模型的目標(biāo)是通過生成數(shù)據(jù)來模仿人類創(chuàng)作的過程。AIGC目前已經(jīng)在許多領(lǐng)域得到了廣泛的應(yīng)用，如自然語言處理（NLP）、圖像生成、音頻合成、視頻生成等。

本章重點闡述幾種經(jīng)典生成模型的工作原理與應(yīng)用，包括VAE、GAN以及流模型，特別是目前AICG的主流模型——擴散模型與穩(wěn)定擴散模型。9生成式人工智能模型簡介目錄Contents9.1變分自編碼器（VAE）生成對抗網(wǎng)絡(luò)（GAN）流模型（Flow-basedModel）擴散模型（DiffusionModel）穩(wěn)定擴散模型（StableDiffusionModel）本章小結(jié)9.29.39.49.59.601變分自編碼器9.1變分自編碼器9.1.1原理概念變分自編碼器VAE是一種對自編碼網(wǎng)絡(luò)改進(jìn)的生成模型，其基本結(jié)構(gòu)由編碼器（Encoder）與譯碼器（Decoder）組成。編碼器將輸入編碼為低維數(shù)據(jù)，即將數(shù)據(jù)“壓縮”或者轉(zhuǎn)換為一種低維的編碼特征，實現(xiàn)降維與壓縮，建立一種高維形象數(shù)據(jù)與低維度抽象特征碼的對應(yīng)關(guān)系。譯碼器則是從特征碼空間重構(gòu)出等同于輸入數(shù)據(jù)的形象數(shù)據(jù)，建立了一種低維度特征碼與高維度形象數(shù)據(jù)的映射關(guān)系。由于采用了無監(jiān)督的訓(xùn)練方式，這種結(jié)構(gòu)也稱為自編碼器。編碼器-譯碼器基于訓(xùn)練數(shù)據(jù)所產(chǎn)生的特征碼空間與訓(xùn)練數(shù)據(jù)樣本一一對應(yīng)，沒有訓(xùn)練的數(shù)據(jù)則無法從特征碼空間生成。9.1變分自編碼器9.1.1原理概念變分自編碼器（VariationalAutoencoder）不再像自編碼器那樣對訓(xùn)練數(shù)據(jù)一一編碼，而是利用神經(jīng)網(wǎng)絡(luò)訓(xùn)練出一組以均值和方差為輸出參數(shù)的混合高斯模型，以該模型作為隱變量，譯碼器從混合高斯模型中采樣重構(gòu)出高維形象數(shù)據(jù)，由于高斯混合模型是一種連續(xù)分布，在添加擾動基礎(chǔ)上將產(chǎn)生出相似于訓(xùn)練數(shù)據(jù)的新數(shù)據(jù)，從而實現(xiàn)了生成功能。樣本空間中的每個樣本通過神經(jīng)網(wǎng)絡(luò)編碼器產(chǎn)生一個對應(yīng)的高斯分布，如A，B，C，用均值與方差表示，從而整體形成混合高斯模型。譯碼器工作時，則是從混合高斯模型分布中進(jìn)行采樣，進(jìn)而生成與樣本相似但又不同的新數(shù)據(jù)。9.1變分自編碼器9.1.2訓(xùn)練方法VAE的訓(xùn)練方式屬于沒有標(biāo)簽的無監(jiān)督訓(xùn)練方式，即輸入數(shù)據(jù)和輸出數(shù)據(jù)均是一樣的樣本，旨在通過自編碼的方式，訓(xùn)練出隱空間編碼，進(jìn)行生成工作時，直接從隱空間編碼中采樣即可。由VAE模型生成的人臉圖像混合概率密度函數(shù)：損失函數(shù)：02生成對抗網(wǎng)絡(luò)9.2生成對抗網(wǎng)絡(luò)生成對抗網(wǎng)絡(luò)（GenerativeAdversarialNetworks，GAN）是一種生成式模型，目的是生成與源數(shù)據(jù)分布類似的數(shù)據(jù)，簡單來說就是“照貓畫虎”的過程。生成對抗網(wǎng)絡(luò)由一個生成器與一個判別器組成。生成器學(xué)習(xí)從潛在空間到感興趣數(shù)據(jù)分布的映射，判別器則將生成器生成的候選者與真實數(shù)據(jù)分布區(qū)分開來，而生成器則要盡可能地欺騙判別器。生成器和判別器相互對抗、不斷調(diào)整參數(shù)，最終目的是使判別器無法判斷生成器輸出結(jié)果的真假。9.2生成對抗網(wǎng)絡(luò)假設(shè)需要生成器能夠生成一個老虎的圖像，那么訓(xùn)練集將設(shè)定為一系列的老虎圖像。開始時生成器從噪聲中也許能生成出一只狗的圖像，判別器給出的狗與虎的相似度很小，進(jìn)而反饋回生成器以調(diào)整生成器的參數(shù)，若干次循環(huán)后，生成器從生成狗的圖像逐漸能夠生成出一只貓之后，判別器無法從顏色外形等簡單特征中分辨出貓和虎的區(qū)別，則對自身進(jìn)行參數(shù)修正，以學(xué)習(xí)虎的紋理細(xì)節(jié)以判斷貓和虎的區(qū)別，進(jìn)而在兩者參數(shù)不斷更新且相互博弈對抗中使生成器逐漸生成出與訓(xùn)練集相似的圖像，以達(dá)到最終實現(xiàn)生成的目的。生成對抗網(wǎng)絡(luò)GAN的結(jié)構(gòu)圖

生成對抗網(wǎng)絡(luò)GAN的結(jié)構(gòu)主要由兩部分組成，以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的生成器與判別器。

生成器從噪聲中生成感興趣的欲生成的內(nèi)容，判別器將訓(xùn)練數(shù)據(jù)與生成的結(jié)果進(jìn)行判別。生成器根據(jù)判別器的結(jié)果進(jìn)行調(diào)整，判別器根據(jù)訓(xùn)練數(shù)據(jù)與生成結(jié)果進(jìn)行調(diào)整。兩者相互成就。9.2.1基本原理9.2生成對抗網(wǎng)絡(luò)基于MLP與CNN的GAN結(jié)構(gòu)生成對抗網(wǎng)絡(luò)是一種對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練思路，具體的網(wǎng)絡(luò)結(jié)構(gòu)可由各種神經(jīng)網(wǎng)絡(luò)模型實現(xiàn)。如多層感知機MLP，以及卷積神經(jīng)網(wǎng)絡(luò)CNN等。左圖給出了一種可選的網(wǎng)絡(luò)結(jié)構(gòu)。9.2.2實現(xiàn)GAN網(wǎng)絡(luò)的基本結(jié)構(gòu)LSGANMLP等傳統(tǒng)GAN結(jié)構(gòu)在訓(xùn)練過程中經(jīng)常出現(xiàn)梯度消失問題。為了克服這個問題，采用最小二乘的損失來緩解LSGAN。從平方誤差的角度出發(fā)，判別器對生成樣本和真實樣本進(jìn)行編碼，分別為a和b，生成器將生成樣本編碼為c并以此對判別器進(jìn)行欺騙，進(jìn)而目標(biāo)函數(shù)可表達(dá)為：EBGANEBGAN是一種將能量模型應(yīng)用到GAN網(wǎng)絡(luò)的成功案例，判別器取代概率形式而作為能量函數(shù)（或?qū)Ρ群瘮?shù)）明確地構(gòu)建了EBGAN框架。WGAN模式崩潰在GAN生成器訓(xùn)練時經(jīng)常發(fā)生，即生成器只能產(chǎn)生非常相似的樣本，可以用Wasserstein距離解決上述問題。Wasserstein距離能使兩個分布沒有任何重疊或相距甚遠(yuǎn)時，也可以反應(yīng)他們之間的距離。9.2生成對抗網(wǎng)絡(luò)Mode分?jǐn)?shù)Mode分?jǐn)?shù)是Inception分?jǐn)?shù)的改進(jìn)，添加了關(guān)于生成樣本和真實樣本預(yù)測的概率分布相似性度量。為在給定真實樣本下邊緣標(biāo)注分布在真實數(shù)據(jù)分布上的積分。與Inception分?jǐn)?shù)不同，它能通過散度度量真實分布與生成分布之間的差異。9.2.3GAN訓(xùn)練中的生成與訓(xùn)練集之間的相似評價方法Inception分?jǐn)?shù)對于一個在ImageNet訓(xùn)練良好的GAN，其生成的樣本送入Inception網(wǎng)絡(luò)測試時，對于同一個類別的圖片，其輸出的概率分布應(yīng)該趨向于一個脈沖分布，以保證生成樣本的準(zhǔn)確性；而對于所有類別，其輸出的概率分布應(yīng)該趨向于一個均勻分布，保證生成樣本的多樣性，不出現(xiàn)模式崩潰的問題。核最大均值差異對于核最大均值值的計算，首先需要選擇一個核函數(shù)k，這個核函數(shù)把樣本映射到再生希爾伯特空間。在給定一些固定的核函數(shù)k下，它度量了真實分布與生成分布之間的差異。Wasserstein距離也叫推土機距離，Wasserstein距離度量實際的有限樣本逼近以衡量兩個分布之間的相似性，當(dāng)選擇了合適的特征空間，評估度量效果較好，但是計算復(fù)雜度隨著樣本數(shù)量的增加而增高。GAN網(wǎng)絡(luò)在訓(xùn)練中需要對生成數(shù)據(jù)與訓(xùn)練數(shù)據(jù)之間的相似度進(jìn)行評價，評價指標(biāo)大多數(shù)基于樣本進(jìn)評估，這些度量方法均是對生成樣本與真實樣本提取特征，然后在特征空間做距離度量。常見度量方法介紹如下：FréchetInception距離FID是計算真實樣本和生成樣本在特征空間之間的距離來進(jìn)行評估的。根據(jù)高斯模型的均值和協(xié)方差來計算兩個高斯分布的Fréchet距離。魯棒性較好，計算效率高效。1-NN分類器采用最近鄰分類器對樣本檢驗以評估兩個分布是否相同。給定兩組樣本，如果二者接近，則精度接近50%，否則接近0%。對于GAN的評價問題，可分別用正樣本的分類精度，生成樣本的分類精度去衡量生成樣本的真實性和多樣性。03流模型9.3流模型GAN網(wǎng)絡(luò)在訓(xùn)練時容易出現(xiàn)模式坍塌或訓(xùn)練困難的局面，雖然VAE一定程度上解決了GAN網(wǎng)絡(luò)訓(xùn)練不收斂、采樣生成數(shù)據(jù)簡單等問題，然而VAE模型只能通過優(yōu)化下邊界函數(shù)問題，存在計算復(fù)雜、訓(xùn)練時間長等問題。流模型（Flow-basedModel）是一種不同于上述兩種模型的新思路。其核心思想是將復(fù)雜分布數(shù)據(jù)多次轉(zhuǎn)化生成簡單數(shù)據(jù)分布，利用轉(zhuǎn)化的可逆性，實現(xiàn)將簡單數(shù)據(jù)逐步生成出相同風(fēng)格的復(fù)雜分布數(shù)據(jù)，以達(dá)到數(shù)據(jù)生成的目的。9.3流模型9.3.1流模型工作原理流模型基于一系列具有可逆雙向變換的函數(shù)，建立起一種先驗分布與實際數(shù)據(jù)分布間的映射關(guān)系，其中先驗分布較為簡單，而實際數(shù)據(jù)分布較為復(fù)雜。根據(jù)概率密度的變量替換公式，不需要顯式地計算實際數(shù)據(jù)分布的概率密度函數(shù)，而是通過先驗分布的概率密度以及映射過程產(chǎn)生的Jacobian行列式計算即可。通過復(fù)合多個可逆函數(shù)以增強模型復(fù)雜度以及非線性擬合能力。

流模型中，尋找或給定一種已知的可逆變換f，將給定復(fù)雜分布數(shù)據(jù)（如訓(xùn)練集數(shù)據(jù)）轉(zhuǎn)化為簡單數(shù)據(jù)分布，從而實現(xiàn)給定隨機簡單分布后生成特定復(fù)雜數(shù)據(jù)。流模型的轉(zhuǎn)化過程可通過如下式進(jìn)行表示其中，欲生成的復(fù)雜數(shù)據(jù)x的分布函數(shù)px(x)可以由f(x)的分布通過某種對f(x)轉(zhuǎn)化來表達(dá)，其中detDf(x)為函數(shù)f(x)的Jacobian矩陣行列式的值，f(x)為可逆函數(shù)。因此，復(fù)雜的生成問題轉(zhuǎn)化為復(fù)雜的變換問題。然而該方法中一個較為苛刻的條件是需要一個可逆的轉(zhuǎn)化函數(shù)。非線性流模型非線性流模型相對于線性流模型，具有更強的表達(dá)能力和更靈活的變換形式。非線性流模型的變換通常采用復(fù)雜的非線性函數(shù)，如神經(jīng)網(wǎng)絡(luò)。非線性流模型的參數(shù)學(xué)習(xí)通常采用變分自編碼器（VAE）或類似的方法。9.3.2流模型的常見分類方法線性流模型線性流模型是最簡單的一種流模型，將生成過程拆分為一系列線性變換。在每個步驟中，輸入變量與一個可學(xué)習(xí)的權(quán)重矩陣進(jìn)行乘法操作，然后將結(jié)果加上一個可學(xué)習(xí)的偏置向量。線性流模型的參數(shù)可以通過最大似然估計進(jìn)行學(xué)習(xí)，通過反向傳播算法進(jìn)行優(yōu)化。潛在流模型潛在流模型是一種基于潛變量（LatentVariables）的流模型，它通過對輸入數(shù)據(jù)進(jìn)行潛變量變換，使得潛變量與輸入數(shù)據(jù)具有相同的統(tǒng)計性質(zhì)。潛在流模型通常采用層次結(jié)構(gòu)來建模潛變量與輸入數(shù)據(jù)之間的關(guān)系，從而實現(xiàn)更靈活的生成過程。潛在流模型的學(xué)習(xí)和優(yōu)化通常采用基于似然的推理方法進(jìn)行。能量守恒流模型是一種基于能量函數(shù)的流模型，它將生成過程看作是從一個初始分布向目標(biāo)分布轉(zhuǎn)移的過程。能量守恒流模型的參數(shù)學(xué)習(xí)是通過最小化生成數(shù)據(jù)與真實數(shù)據(jù)之間的能量差異來實現(xiàn)的。根據(jù)流模型中轉(zhuǎn)化函數(shù)f的設(shè)計，流模型通常分為線性流模型（LinearFlow-basedModel）、非線性流模型（NonlinearFlow-basedModel）、潛在流模型（LatentFlowModel）以及能量守恒流模型（Energy-basedFlowModel）：9.3流模型9.3.3流模型的常見分類方法9.3流模型逐函數(shù)流模型即對每步的轉(zhuǎn)換均設(shè)計轉(zhuǎn)換方法，即f1、f2、...、fn-1、fn分別采用不同函數(shù)完成，然而這樣將操作無法將復(fù)雜采樣數(shù)據(jù)特征聯(lián)系在一起，且難以制作太多步驟，計算十分繁瑣，訓(xùn)練也存在困難。線性函數(shù)流模型轉(zhuǎn)換函數(shù)采用線性函數(shù)：耦合流模型考慮到計算量的問題以及計算復(fù)雜性問題，可以考慮將訓(xùn)練數(shù)據(jù)進(jìn)行拆分自回歸流模型自回歸意味著新數(shù)據(jù)的預(yù)測是基于模型過去的數(shù)據(jù)來進(jìn)行的，如果設(shè)某圖像數(shù)據(jù)的概率分布為p(x)，是像素的聯(lián)合概率分布

，當(dāng)前像素的預(yù)測是以前一像素為條件預(yù)測，因此設(shè)計進(jìn)而像素的聯(lián)合概率近似為條件概率的乘積如下：04擴散模型9.4擴散模型擴散模型（DiffusionModel）是2020年提出的一種生成模型，但其處理問題的思路可追溯至2015年，所涉及理論為隨機過程與隨機微分方程。擴散模型借鑒了分子隨機運動的現(xiàn)象，在微觀上每個分子的運動為布朗運動，但通過能量調(diào)控能使其在宏觀上展現(xiàn)出不同的特征。我們無法直接調(diào)控每個分子團的運動方式，但能夠得知其無規(guī)則運動服從的分布。通過外力作用，每次改變一小步，逐步將完全隨機運動的分子團約束在特定狀態(tài)下，完成“生成”過程。9.4擴散模型9.4.1去噪擴散概率模型DDPM擴散模型是一種基于神經(jīng)網(wǎng)絡(luò)的生成模型，經(jīng)過樣本數(shù)據(jù)訓(xùn)練后，能夠從簡單分布數(shù)據(jù)中生成特定復(fù)雜分布數(shù)據(jù)，即將純高斯噪聲生成指定類型的數(shù)據(jù)。正向加噪過程：假設(shè)初始分布數(shù)據(jù)為x0，對其不斷添加高斯噪聲分布，逐步產(chǎn)生x1、x2、…、xt-1、xt直至xT，成為完全高斯分布噪聲。所添加的噪聲是已知的，通常為高斯噪聲，多次添加噪聲的操作過程是一個平穩(wěn)馬爾科夫鏈。反向恢復(fù)過程：完全混亂的噪聲中逐步恢復(fù)出特定分布數(shù)據(jù)。由xt逆擴散至xt-1的處理過程是未知且困難的，因此訓(xùn)練一個U-Net網(wǎng)絡(luò)來估計xt至xt-1的噪聲，由于每一步驟的逆過程是不同的，因此t也作為參數(shù)作為網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)。9.4擴散模型9.4.1去噪擴散概率模型DDPM正向加噪過程：反向恢復(fù)過程：已知：求：貝葉斯：9.4擴散模型9.4.1去噪擴散概率模型DDPM由于

是來源于前向擴散時的噪聲，在已知xt-1情況下添加z獲取了xt，而

是用于估計從xt重構(gòu)xt-1時的噪聲模型，因此訓(xùn)練

的近似神經(jīng)網(wǎng)絡(luò)模型時，輸入數(shù)據(jù)為xt和t，輸出數(shù)據(jù)為能夠形成xt-1的噪聲，不同模糊步驟t的情況下輸出噪聲不同，所以損失函數(shù)表達(dá)如下其中，N為標(biāo)準(zhǔn)正態(tài)分布基本的擴散模型隨著正向擴散過程的增加，會導(dǎo)致訓(xùn)練數(shù)據(jù)增多，計算量增大，并且生成時間也會延長。因此，針對擴散模型的改進(jìn)版本被相繼提出。9.4擴散模型9.4.2基于分?jǐn)?shù)匹配的隨機微分方程擴散模型

擴散模型中噪聲增加與減少可以采用一種分?jǐn)?shù)評價方法，其核心思想是在對訓(xùn)練數(shù)據(jù)添加逐漸增強的高斯噪聲時，訓(xùn)練一個深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行表征，用以評價噪聲的強度，且該評價分?jǐn)?shù)同時可作為生成模型的條件分?jǐn)?shù)。由于評價分?jǐn)?shù)與訓(xùn)練之間相互獨立，所以能夠使用分?jǐn)?shù)作為噪聲估計的同時評價采樣技術(shù)以生成新樣本。

將DDPM和SGM拓展到無限擴散步長或無窮噪聲的情況中，其擾動過程和去噪過程是隨機微分方程的解（StochasticDifferentialEquation，SDE）。在擴散過程中，通過微小擾動添加噪聲，使得復(fù)雜的數(shù)據(jù)分布平滑過渡到簡單已知先驗分布，進(jìn)而反向求解SDE，逐漸去除噪聲轉(zhuǎn)換為復(fù)雜分布。反向過程中求解SDE以得分作為目標(biāo)函數(shù)，采用神經(jīng)網(wǎng)絡(luò)估計分?jǐn)?shù)，最終生成結(jié)果。

基于分?jǐn)?shù)的隨機微分方程擴散模型實際上是用緩慢增加的噪聲破壞訓(xùn)練數(shù)據(jù)，然后學(xué)習(xí)扭轉(zhuǎn)這種破壞形成的過程以生成新模型，這其中采用了評價分?jǐn)?shù)的機制。9.4擴散模型9.4.2基于分?jǐn)?shù)匹配的隨機微分方程擴散模型正向加噪過程：逆向去噪求解過程：離散化數(shù)據(jù)前向加噪反向去噪數(shù)據(jù)預(yù)測可能的求解過程加噪求解9.4擴散模型9.4.2基于分?jǐn)?shù)匹配的隨機微分方程擴散模型具體的生成過程如下：前提是已經(jīng)訓(xùn)練了一個表示噪聲評分的神經(jīng)網(wǎng)絡(luò)9.4擴散模型9.4.3擴散模型的采樣生成

擴散模型生成問題中，如前述隨機微分方程擴散模型，在生成時需要離散化微分方程進(jìn)行求解，從而存在離散誤差，離散的步數(shù)影響到最終的采樣誤差，步數(shù)越小、數(shù)量越多生成結(jié)果越精確，然而勢必導(dǎo)致計算時間長的問題。因此，

在采樣生成問題上存在無學(xué)習(xí)采樣和有學(xué)習(xí)模型提高采樣效率兩類方法。無學(xué)習(xí)采樣有學(xué)習(xí)采樣SDE求解器：隨機微分方程求解器SDE求解器分為離散化和數(shù)值求解兩個步驟。離散化通常采用歐拉方法或Euler-Maruyama方法進(jìn)行離散化。然后，使用如Runge-Kutta法來求解離散化的等式。ODE求解器：常微分方程求解器ODE求解器是解決常微分方程的算法。首先將常微分方程組轉(zhuǎn)化為離散時間點上的等式，然后使用數(shù)值求解器來求解這些等式知識蒸餾是一種基于“教師-學(xué)生網(wǎng)絡(luò)思想”的訓(xùn)練方法，常用于模型壓縮。做法是先訓(xùn)練一個教師網(wǎng)絡(luò)，利用該教師網(wǎng)絡(luò)的輸出和數(shù)據(jù)的真實標(biāo)簽去訓(xùn)練學(xué)生網(wǎng)絡(luò)。將“知識”從具有高學(xué)習(xí)能力的復(fù)雜模型轉(zhuǎn)移到簡單模型中。擴散模型中，將知識從一個采樣模型逐步提煉到另一個時。學(xué)生模型在被訓(xùn)練成與教師模型一樣接近產(chǎn)生單步樣本之前，從教師模型中重新加權(quán)。在每個蒸餾過程中，學(xué)生模型可以將其采樣步驟減半。05穩(wěn)定擴散模型9.5穩(wěn)定擴散模型擴散模型由于其強大的生成能力與靈活性，已經(jīng)被用于解決各種具有挑戰(zhàn)性的任務(wù)，包括機器視覺、自然語言處理、多模態(tài)學(xué)習(xí)等。通過對其增加條件控制以生成人們所期望的內(nèi)容，增加引導(dǎo)信息與條件機制即進(jìn)一步實現(xiàn)文本生成圖像、文本生成文本、圖像生成圖像、圖像生成文本等。穩(wěn)定擴散模型主要增加了語言引導(dǎo)，實現(xiàn)了文字生成圖像的目的。輸入一些提示詞，由AI完成的畫作，如“外星的飛船”，“科技感的相機”，“原始的土著人”，“電影感的充滿神奇植物的原野”9.5穩(wěn)定擴散模型9.5.1LDM隱式擴散LDM解決了當(dāng)圖像尺寸增大時帶來的計算量劇增問題，尤其是在增加了注意力機制情況下所引起的計算量問題。一張128×128的圖像是64×64圖像像素的4倍，注意力機制層增加以后需要42倍的內(nèi)存和計算量，一張普通的1080×1080圖像將比之增加約642倍內(nèi)存與計算量，這是巨大的資源開銷。1.采用VAE結(jié)構(gòu)來壓縮圖像到一個更小的維度。從而簡化了去噪擴散模型的訓(xùn)練和采樣過程。2.VAE將圖像壓縮至隱空間編碼，在隱空間進(jìn)行擴散與逆擴散操作。3.條件控制以實現(xiàn)生成控制，條件可以是特征圖、文本等，即通過條件生成指定需求的結(jié)果，通過連接開關(guān)實現(xiàn)交叉注意力的融合。LDM結(jié)構(gòu)圖潛在空間擴散過程去噪像素空間去噪過程交叉注意力開關(guān)連接堆積連接輸入條件語義圖文本知識圖圖像9.5穩(wěn)定擴散模型9.5.2文本與圖像的關(guān)聯(lián)方法—CLIP模型圖像的接收往往采用編碼器或U-Net結(jié)構(gòu)，將文字創(chuàng)建數(shù)值表示形式，嵌入到網(wǎng)絡(luò)中，作為條件控制輸入至U-Net，文本描述轉(zhuǎn)換為特征向量，該特征向量能夠與圖像特征向量進(jìn)行相似度比較，從而令全噪聲圖像向著被控制方向生成結(jié)果。文本編碼圖像編碼圖像編碼文本編碼預(yù)訓(xùn)練預(yù)訓(xùn)練建立標(biāo)簽分類數(shù)據(jù)庫預(yù)訓(xùn)練使用zero-shot預(yù)測預(yù)訓(xùn)練9.5穩(wěn)定擴散模型9.5.3其它條件下的生成模型文字通過編碼與圖像編碼嵌在一起時，能夠控制圖像向著與文字描述方向生成，盡管采用很多方法進(jìn)行優(yōu)化，然而生成結(jié)果有時并不理想，這是因為文字與圖像的關(guān)聯(lián)性很弱，生成模型具有不依賴文字仍能生成的特點，進(jìn)而偏離了文字提示語的預(yù)期結(jié)果。將文字進(jìn)行編碼后嵌入圖像空間，同理圖像、語音等均可實現(xiàn)編碼后嵌入圖像空間以控制圖像生成方法與條件控制。條件控制的生成結(jié)果信息融合的修補功能9.5穩(wěn)定擴散模型9.5.4視頻生成不同訓(xùn)練規(guī)模的對比Sora模型2024年初OpenAI公司在DALL-E模型基礎(chǔ)上建立了文本-視頻生成模型Sora，由于該模型繼承了DALL-E3的畫質(zhì)和遵循指令的能力，因此能夠深度模擬真實物理世界，且能生成具有多個角色、包含特定運動的復(fù)雜場景，該模型根據(jù)用戶輸入的提示文本能夠創(chuàng)建出長達(dá)60秒的逼真視頻。能適應(yīng)不同分辨率輸出無限循環(huán)場景9.5穩(wěn)定擴散模型9.5.4視頻生成OpenAI公司發(fā)布的Sora模型是一種以文本為條件的結(jié)合了Transformer架構(gòu)的擴散模型（ScalableDiffusionModelswithTransformers，DiT），主體是穩(wěn)定擴散模型，僅將其中的U-Net網(wǎng)絡(luò)更換為N個改進(jìn)的Transformer。DiT結(jié)構(gòu)在Sora模型中的成功應(yīng)用主要得益于如下幾點的改進(jìn)：潛在空間編碼，將擴散模型應(yīng)用于圖像、視頻的潛在編碼空間；Token的使用，將圖像、視頻與文本等多種信息進(jìn)行統(tǒng)一編碼，隨機變換Patch尺寸、數(shù)量能夠?qū)崿F(xiàn)變尺度的生成結(jié)果，并且實現(xiàn)變尺度的輸入。9.5穩(wěn)定擴散模型9.5.4擴散模型的應(yīng)用一種利用擴散特性實現(xiàn)的語義分割示意圖。通過聚類找出每個像素可能的類別，進(jìn)而使用擴散思路逐步對像素進(jìn)行分類、分割。該方法可視為一種優(yōu)化過程，通過優(yōu)化一個能量函數(shù)來逐步改進(jìn)模型的預(yù)測結(jié)果。在這種情況下，擴散過程可以被看作是在優(yōu)化過程中的一種迭代算法，每次迭代都會逐步改進(jìn)模型的預(yù)測結(jié)果。參考論文：DmitryBaranchuk·AndreyVoynov.Label-EfficientSemanticSegmentationwithDiffusionModels.ICLR20229.5穩(wěn)定擴散模型9.5.4擴散模型的應(yīng)用由于擴散模型的訓(xùn)練過程就是一個去噪和加噪的過程，如果基于圖像的先驗知識，利用這種過程去指導(dǎo)圖像噪聲去噪，則有望從低信噪比數(shù)據(jù)中恢復(fù)出有效信息。用于圖像去噪的DDPM模型常采用高斯混合模型（GaussianMixtureModel,GMM）。與Transformers模型相結(jié)合能夠?qū)崿F(xiàn)如自然語言生成、情感分析、主題建模和機器翻譯等功能，并且在并行生成、文本插值、語法結(jié)構(gòu)和語義內(nèi)容方面具有魯棒性更強的性質(zhì)。將擴散模型融入NLP的主要挑戰(zhàn)在于文本的離散性，為了應(yīng)對這個挑戰(zhàn)，研究者將處理方法分類為兩種：一方面是將擴散模型離散化，構(gòu)建的離散擴散模型；而另一方面則是將文本編碼到連續(xù)空間，令文本連續(xù)化。參考文獻(xiàn)：DiffusionModelsNLP：Survey9.5穩(wěn)定擴散模型9.5.4擴散模型的應(yīng)用在醫(yī)學(xué)影像方面，DDPM能夠?qū)︶t(yī)學(xué)影像進(jìn)行分割、特征提取和分類等任務(wù)。目前已經(jīng)對肝臟病變檢測、肺結(jié)節(jié)檢測、腦部腫瘤檢測等任務(wù)發(fā)揮了一定的輔助作用。在醫(yī)藥學(xué)方面，DDPM可以應(yīng)用于藥物研發(fā)。通過建立分子模型生成藥物分子的結(jié)構(gòu)并進(jìn)行性質(zhì)分析，如預(yù)測藥物分子的藥效和毒性等，以支持新藥的研發(fā)和優(yōu)化。蛋白質(zhì)分子結(jié)構(gòu)預(yù)測與擴散模型相結(jié)合，結(jié)構(gòu)預(yù)測采用自注意力機制，加強結(jié)合序列和結(jié)構(gòu)之間的關(guān)系，在序列空間中進(jìn)行小步的反向傳播迭代讓設(shè)計的結(jié)構(gòu)滿足目標(biāo)設(shè)置等，逐步實現(xiàn)人為設(shè)計的目標(biāo)函數(shù)，或通過模板機制和特定的訓(xùn)練實現(xiàn)功能片段生成。06本章總結(jié)9.6本章總結(jié)本章針對人工智能技術(shù)中生成模型進(jìn)行了闡述，主要包括變分自編碼器VAE、生成對抗網(wǎng)絡(luò)GAN、流模型、擴散模型以及穩(wěn)定擴散模型。生成模型的發(fā)展不僅帶來了巨大的商業(yè)價值，同時也為人們的生活和工作帶來了便利同時也潛移默化的改變著人們的工作、思維以及學(xué)習(xí)方式。隨著人工智能技術(shù)的不斷進(jìn)步和發(fā)展，AIGC將會在更多的領(lǐng)域得到應(yīng)用和推廣，為人類帶來更多的驚喜和進(jìn)步。感謝您的觀看！人工智能技術(shù)基礎(chǔ)機器學(xué)習(xí)第十章機器學(xué)習(xí)方法本質(zhì)上是利用數(shù)據(jù)確定模型參數(shù)的優(yōu)化方法，類比人類的學(xué)習(xí)方法可以簡單分為三大類：有監(jiān)督學(xué)習(xí)（SupervisedLearging）、無監(jiān)督學(xué)習(xí)（UnsupervisedLearning）和強化學(xué)習(xí)（ReinforcementLearning）。有監(jiān)督學(xué)習(xí)是指使用包含標(biāo)簽或期望值的數(shù)據(jù)集確定模型參數(shù)的方法。無監(jiān)督學(xué)習(xí)是指使用沒有標(biāo)簽或期望值的數(shù)據(jù)集確定模型參數(shù)的方法。強化學(xué)習(xí)本質(zhì)上也是無監(jiān)督學(xué)習(xí)，所用的數(shù)據(jù)也是沒有標(biāo)簽或期望值的數(shù)據(jù)，但它通過評價機構(gòu)來確定學(xué)習(xí)效果，常用于控制與決策的問題中10機器學(xué)習(xí)方法簡介目錄Contents弱監(jiān)督學(xué)習(xí)自監(jiān)督學(xué)習(xí)遷移學(xué)習(xí)深度強化學(xué)習(xí)元學(xué)習(xí)和?。悖颖緦W(xué)習(xí)持續(xù)學(xué)習(xí)大語言模型中的機器學(xué)習(xí)方法本章小結(jié)10.110.210.310.410.510.610.710.801弱監(jiān)督學(xué)習(xí)10.1弱監(jiān)督學(xué)習(xí)有監(jiān)督學(xué)習(xí)是最常見的機器學(xué)習(xí)方法，它要求使用的數(shù)據(jù)集必須是有標(biāo)簽的數(shù)據(jù)集。現(xiàn)實中很難保證每一樣本都有標(biāo)簽，也難以保證標(biāo)簽的準(zhǔn)確和正確，這些情況下的監(jiān)督學(xué)習(xí)方法稱為弱監(jiān)督學(xué)習(xí)（WeaklySupervisedLearning）。根據(jù)數(shù)據(jù)樣本標(biāo)簽的情況，弱監(jiān)督學(xué)習(xí)又分為不完全監(jiān)督、不確切監(jiān)督和不準(zhǔn)確監(jiān)督學(xué)習(xí)三種類型。不完全監(jiān)督學(xué)習(xí)是針對訓(xùn)練樣本集中存在大量無標(biāo)簽樣本的學(xué)習(xí)方法，它又可以分為主動學(xué)習(xí)和半監(jiān)督學(xué)習(xí)兩類弱監(jiān)督不完全監(jiān)督強監(jiān)督不確切監(jiān)督不精確監(jiān)督10.1弱監(jiān)督學(xué)習(xí)10.1.1主動學(xué)習(xí)在某些情況下，沒有類標(biāo)簽的數(shù)據(jù)相當(dāng)豐富而有類標(biāo)簽的數(shù)據(jù)相當(dāng)稀少，并且人工對數(shù)據(jù)進(jìn)行標(biāo)記的成本又相當(dāng)高昂。此時可以令學(xué)習(xí)算法主動地提出要對哪些數(shù)據(jù)進(jìn)行標(biāo)注，之后將這些數(shù)據(jù)送到專家那里讓他們進(jìn)行標(biāo)注，再將這些數(shù)據(jù)加入到訓(xùn)練樣本集中對模型進(jìn)行訓(xùn)練。這一過程叫做主動學(xué)習(xí)（ActiveLearning）衡量選擇的價值，有兩個廣泛使用的標(biāo)準(zhǔn)，即信息量（Informativeness）和代表性（Representativeness）不確定抽樣：訓(xùn)練單個學(xué)習(xí)器，選擇學(xué)習(xí)器最不確信的樣本向先知詢問標(biāo)簽信息。投票詢問：生成多個學(xué)習(xí)器，選擇各個學(xué)習(xí)器爭議最大的樣本向先知詢問標(biāo)簽信息。10.1弱監(jiān)督學(xué)習(xí)10.1.2半監(jiān)督學(xué)習(xí)樣本數(shù)據(jù)類別標(biāo)簽缺失部分特征維缺失噪聲自訓(xùn)練協(xié)同訓(xùn)練02自監(jiān)督學(xué)習(xí)10.2自監(jiān)督學(xué)習(xí)有監(jiān)督、無監(jiān)督和自監(jiān)督學(xué)習(xí)的區(qū)別自監(jiān)督學(xué)習(xí)的主要思想是利用輸入數(shù)據(jù)本身的特性，通過對數(shù)據(jù)進(jìn)行一定的變換或生成，得到新的數(shù)據(jù)，然后利用這些新的數(shù)據(jù)對模型進(jìn)行有監(jiān)督的訓(xùn)練。自監(jiān)督學(xué)習(xí)概括為兩個經(jīng)典定義：通過“半自動”過程從數(shù)據(jù)本身獲取“標(biāo)簽”。用數(shù)據(jù)的其他部分預(yù)測數(shù)據(jù)的一部分。監(jiān)督學(xué)習(xí)可疑標(biāo)簽輸入輸入輸入1輸入2目標(biāo)有限能力無監(jiān)督學(xué)習(xí)自監(jiān)督學(xué)習(xí)從共同輸入中的相關(guān)信息中派生標(biāo)簽自監(jiān)督上游任務(wù)預(yù)訓(xùn)練無標(biāo)簽數(shù)據(jù)集有標(biāo)簽有監(jiān)督下游任務(wù)訓(xùn)練10.2自監(jiān)督學(xué)習(xí)10.2.1生成式自監(jiān)督學(xué)習(xí)生成式自監(jiān)督學(xué)習(xí)恢復(fù)原始像素、標(biāo)記信息自編碼器自回歸變形金剛編碼器生成對抗網(wǎng)絡(luò)10.2自監(jiān)督學(xué)習(xí)10.2.2判別式自監(jiān)督學(xué)習(xí)判別式自監(jiān)督學(xué)習(xí)主要指的是對比學(xué)習(xí)TexthereDeepInfoMaxSimCLRBYOLMoCoCMC對比學(xué)習(xí)超越了在ImageNet數(shù)據(jù)集的Top-1的準(zhǔn)確率ResNet50對比學(xué)習(xí)框架分為兩種類型：上下文-實例對比和上下文-上下文對比10.2自監(jiān)督學(xué)習(xí)10.2.2判別式自監(jiān)督學(xué)習(xí)上下文-上下文：上下文-實例：預(yù)測相對位置（PRP）重點學(xué)習(xí)局部成分之間的相對位置。全局上下文是預(yù)測這些關(guān)系的隱含要求（例如了解大象的長相對于預(yù)測其頭尾之間的相對位置至關(guān)重要）。最大化互信息（MI）關(guān)注學(xué)習(xí)局部和全局內(nèi)容之間關(guān)系的顯式信息。局部成分之間的相對位置將被忽略。1.基于聚類的判別DeepClustering網(wǎng)絡(luò)將聚類分配和上下文相似度作為偽標(biāo)簽，來學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)。不同通道間的數(shù)據(jù)也存在空間上的上下文關(guān)聯(lián)規(guī)律，可以利用這種關(guān)系在不同通道間交叉監(jiān)督、預(yù)測，進(jìn)行圖像著色。2.基于通道的上下文方法3.基于圖像空間上下文

圖像的空間上下文信息、連續(xù)性可用于設(shè)計自監(jiān)督學(xué)習(xí)的先前任務(wù)。4.基于時序信息的上下文

視頻中蘊含著豐富的時空信息，內(nèi)在的時間序列邏輯信息可以作為自監(jiān)督學(xué)習(xí)的監(jiān)督信號。輸入卷積BP分類聚類偽標(biāo)簽原始數(shù)據(jù)原始數(shù)據(jù)通道預(yù)測數(shù)據(jù)通道預(yù)編碼數(shù)據(jù)自編碼器輸入圖像灰度圖像通道彩色圖像通道預(yù)測彩色圖像通道預(yù)測灰度圖像通道預(yù)測圖像03遷移學(xué)習(xí)10.3遷移學(xué)習(xí)遷移學(xué)習(xí)的思路：令機器像人那樣從已有知識中學(xué)習(xí)經(jīng)驗，從而能夠在新任務(wù)中實現(xiàn)快速掌握技能的目的。如會騎自行車的人能夠更快掌握騎電動車的要領(lǐng)。會下圍棋的人在下五子棋時更容易掌握千變?nèi)f化的招數(shù)。遷移學(xué)習(xí)可以定義為利用已掌握的源域上的學(xué)習(xí)任務(wù)幫助解決目標(biāo)域上的學(xué)習(xí)任務(wù)。源域目標(biāo)域遷移學(xué)習(xí)知識學(xué)習(xí)任務(wù)學(xué)習(xí)任務(wù)10.3遷移學(xué)習(xí)源域：已具有的知識或經(jīng)驗?zāi)Ｐ湍繕?biāo)域：待遷移的任務(wù)源域中篩選出與目標(biāo)域高度相似的數(shù)據(jù)，然后對目標(biāo)域進(jìn)行訓(xùn)練?；趯嵗从蚝湍繕?biāo)域有一些交叉特征，通過特征變換將兩個域數(shù)據(jù)變換到同一特征空間，然后進(jìn)行訓(xùn)練?；谔卣髟从蚺c目標(biāo)域是相似的，它們之間存在或可以共享的某種關(guān)系，從而訓(xùn)練目標(biāo)域?；陉P(guān)系源域和目標(biāo)域可以共享一些參數(shù)，由源域?qū)W習(xí)到的模型可以用到目標(biāo)域上。相當(dāng)于預(yù)訓(xùn)練+微調(diào)。基于模型10.3遷移學(xué)習(xí)基于實例的深度遷移學(xué)習(xí)基于映射關(guān)系的深度遷移學(xué)習(xí)基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)基于對抗的深度遷移學(xué)習(xí)目標(biāo)域源域目標(biāo)域源域新數(shù)據(jù)空間映射源域目標(biāo)域源標(biāo)簽?zāi)繕?biāo)標(biāo)簽域標(biāo)簽對抗層04深度強化學(xué)習(xí)10.4深度強化學(xué)習(xí)強化學(xué)習(xí)（ReinforcementLearning）是一類特殊的機器學(xué)習(xí)算法，借鑒于行為主義心理學(xué)。與有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的目標(biāo)不同，算法要解決的問題是智能體（Agent，即運行強化學(xué)習(xí)算法的實體）在環(huán)境中怎樣執(zhí)行動作以獲得最大的累計獎勵。例如，對于自動行駛的汽車，強化學(xué)習(xí)算法控制汽車的動作，保證安全行駛到目的地。對于圍棋算法，算法要根據(jù)當(dāng)前的棋局來決定如何走子，以贏得這局棋。10.4深度強化學(xué)習(xí)10.4.1強化學(xué)習(xí)系統(tǒng)概述策略（Policy）定義了智能體在特定時間的行為方式值函數(shù)（ValueFunction）表示了智能體通過傳感器對環(huán)境做出了綜合性判斷。模型（Model）是一種對環(huán)境反映模式的模擬。智能體根據(jù)模型對外部環(huán)境進(jìn)行推斷，有著獨立的環(huán)境的認(rèn)知。10.4深度強化學(xué)習(xí)10.4.2基于值函數(shù)的深度強化學(xué)習(xí)基于值函數(shù)的強化學(xué)習(xí)也就是基于價值估計的強化學(xué)習(xí)，Q-learning算法是最經(jīng)典的強化學(xué)習(xí)算法，它針對的是離散狀態(tài)、離散動作的情況，這里的離散指的是馬爾科夫決策過程中狀態(tài)和動作的數(shù)量都是有限的，在這種情況下，Q-learning直接用一個表格來描述所有的最優(yōu)Q值。Deep-Qlearning（DQN）狀態(tài)動作網(wǎng)絡(luò)Q值狀態(tài)網(wǎng)絡(luò)Q值1Q值2Q值310.4深度強化學(xué)習(xí)10.4.3基于策略的深度強化學(xué)習(xí)基于值函數(shù)的強化學(xué)習(xí)對最優(yōu)Q值進(jìn)行估計，而基于策略的強化學(xué)習(xí)則直接對最優(yōu)策略進(jìn)行估計。在強化學(xué)習(xí)中，策略分為兩種，一種策略為確定性策略，可以直接對狀態(tài)到最優(yōu)動作之間的映射進(jìn)行估計。另一種是隨機性策略，需要對狀態(tài)到最優(yōu)動作概率分布之間的映射進(jìn)行估計，然后從該概率分布中進(jìn)行采樣得到輸出動作。10.4深度強化學(xué)習(xí)10.4.4基于演員-評論家的深度強化學(xué)習(xí)基于演員-評論家（Actor-Critic）的強化學(xué)習(xí)結(jié)合了值函數(shù)優(yōu)化與策略優(yōu)化方法的特點，同時對最優(yōu)Q值以及最優(yōu)策略進(jìn)行學(xué)習(xí)，最終策略網(wǎng)絡(luò)的輸出即為最優(yōu)動作，動作空間既可以是離散的，也可以是連續(xù)的。深度確定性策略梯度（DeepDeterministicPolicyGradient，DDPG）算法，適用于解決連續(xù)動作空間上的DRL問題。DDPG分別使用兩個深度神經(jīng)網(wǎng)絡(luò)來表示策略網(wǎng)絡(luò)和值網(wǎng)絡(luò)。策略網(wǎng)絡(luò)用來更新策略，對應(yīng)AC框架中的演員；值網(wǎng)絡(luò)用來逼近狀態(tài)-動作對的值函數(shù)，并提供梯度信息，對應(yīng)AC框架中的評論家。實驗表明，DDPG不僅在一系列連續(xù)動作空間的任務(wù)中表現(xiàn)穩(wěn)定，而且求得最優(yōu)解所需要的時間步也遠(yuǎn)遠(yuǎn)少于DQN。異步的優(yōu)勢演員-評論家算法全局網(wǎng)絡(luò)策略網(wǎng)絡(luò)輸入網(wǎng)絡(luò)1網(wǎng)絡(luò)2網(wǎng)絡(luò)3網(wǎng)絡(luò)n環(huán)境1環(huán)境2環(huán)境3環(huán)境n10.4深度強化學(xué)習(xí)10.4.5多智能體深度強化學(xué)習(xí)多智能體系統(tǒng)中，每個智能體所對應(yīng)的環(huán)境包含了其他智能體的策略，此時智能體狀態(tài)的改變不再只取決于自身的動作和狀態(tài)，還會取決于其他智能體的策略，而這些策略在智能體學(xué)習(xí)的過程中會不斷地發(fā)生變化，這使得環(huán)境非平穩(wěn)變化，馬爾科夫特性不再滿足，給智能體策略的學(xué)習(xí)帶來了困難。多智能體強化學(xué)習(xí)05元學(xué)習(xí)和?。悖颖緦W(xué)習(xí)10.5元學(xué)習(xí)和小（零）樣本學(xué)習(xí)元學(xué)習(xí)（Meta-Learning）被稱為學(xué)習(xí)如何學(xué)習(xí)（LearningtoLearn），就是通過之前任務(wù)的學(xué)習(xí)使得模型具備一些先驗知識或?qū)W習(xí)技巧，從而在面對新任務(wù)的學(xué)習(xí)時，不至于一無所知。而?。悖颖緦W(xué)習(xí)（Few/Zero-ShotLearning,FSL），也可稱作低樣本學(xué)習(xí)（Low-ShotLearning,LSL），是通過有限的訓(xùn)練樣本，甚至缺乏訓(xùn)練樣本條件下，訓(xùn)練模型的方法，是近年來機器學(xué)習(xí)方法研究中的熱點之一。訓(xùn)練任務(wù)1訓(xùn)練任務(wù)2……測試任務(wù)1……支持集支持集支持集查詢集查詢集查詢集10.5元學(xué)習(xí)和?。悖颖緦W(xué)習(xí)10.5.1基于模型的元學(xué)習(xí)方法元學(xué)習(xí)的核心是對先驗知識的利用，小樣本學(xué)習(xí)作為一種元學(xué)習(xí)方法，所能用到的先驗知識只能是少量的訓(xùn)練數(shù)據(jù)。近幾年，小樣本學(xué)習(xí)有較快發(fā)展，提出了多種方法，有直接利用變換的，有利用外部存儲和生成模型的，但它們都是以各種模型為基礎(chǔ)實現(xiàn)的，本質(zhì)上都是基于模型的元學(xué)習(xí)方法。10.5元學(xué)習(xí)和?。悖颖緦W(xué)習(xí)10.5.1基于模型的元學(xué)習(xí)方法：基于度量學(xué)習(xí)的小樣本學(xué)習(xí)基于度量學(xué)習(xí)的小樣本學(xué)習(xí)通過學(xué)習(xí)訓(xùn)練一個模型（嵌入（Embedding）函數(shù)），將輸入空間映射到一個新的嵌入空間，在嵌入空間中用一個相似性度量來區(qū)分不同類別?；趯\生網(wǎng)絡(luò)（SiameseNetwork）的小樣本學(xué)習(xí)使用兩個具有相同模型參數(shù)值的相同網(wǎng)絡(luò)來提取兩個樣本的特征，通過鑒別器判斷提取出的特征是否屬于同一類對象。從而期望找到該樣本屬于同一類或?qū)⑺鼈儏^(qū)分開來的特性。小樣本訓(xùn)練集測試樣本先驗知識嵌入嵌入相似性預(yù)測特征提取特征提取鑒別器10.5元學(xué)習(xí)和?。悖颖緦W(xué)習(xí)基于原型網(wǎng)絡(luò)（PrototypicalNetworks）的小樣本學(xué)習(xí)孿生網(wǎng)絡(luò)的缺點就是要對比目標(biāo)和過去每個樣本之間的相似度。而原型網(wǎng)絡(luò)則是先把樣本投影到一個空間，然后計算每個樣本類別的中心，在分類的時候，通過對比目標(biāo)到每個中心的距離，從而分析出目標(biāo)的類別。5-way-1-shot的關(guān)系網(wǎng)絡(luò)（RelationNetwork）小樣本學(xué)習(xí)不論是孿生網(wǎng)絡(luò)還是原型網(wǎng)絡(luò)，在分析兩個樣本的時候都是通過嵌入(Embedding)空間中的特征向量距離（比如歐氏距離）來反映，而關(guān)系網(wǎng)絡(luò)則是通過構(gòu)建神經(jīng)網(wǎng)絡(luò)來計算兩個樣本之間的距離從而分析匹配程度，與孿生網(wǎng)絡(luò)、原型網(wǎng)絡(luò)相比，關(guān)系網(wǎng)絡(luò)提供了一個可學(xué)習(xí)的非線性分類器用于判斷關(guān)系，而孿生網(wǎng)絡(luò)、原型網(wǎng)絡(luò)的距離只是線性的關(guān)系分類器。10.5.1基于模型的元學(xué)習(xí)方法：基于度量學(xué)習(xí)的小樣本學(xué)習(xí)小樣本零樣本嵌入模型關(guān)系模型特征圖連接關(guān)系分?jǐn)?shù)獨熱編碼10.5元學(xué)習(xí)和小（零）樣本學(xué)習(xí)10.5.1基于模型的元學(xué)習(xí)方法：基于外部存儲的小樣本學(xué)習(xí)使用外部存儲器的小樣本學(xué)習(xí)從訓(xùn)練集（Dtrain）中提取知識，并將其存儲在外部存儲器中。然后，每個新樣本由從內(nèi)存中提取的內(nèi)容的加權(quán)平均值表示。這種方法對代表先驗知識的映射要求比較高，對樣本少的類別也要能提取出區(qū)分度高的特征，此外對外存的容量控制要求也比較高。小樣本訓(xùn)練集測試樣本先驗知識先驗知識嵌入嵌入內(nèi)存

內(nèi)存

鍵

值

鍵

值

寫入

輸出

讀取相似度

預(yù)測

10.5元學(xué)習(xí)和?。悖颖緦W(xué)習(xí)10.5.1基于模型的元學(xué)習(xí)方法：基于生成建模（GenerativeModeling）的小樣本學(xué)習(xí)生成建模方法借助先驗知識從觀測到的x估計概率分布p(x)。p(x)的估計通常涉及p(x|y)和p(y)的估計。通常使用一些大規(guī)模數(shù)據(jù)集對生成模型進(jìn)行訓(xùn)練，訓(xùn)練完成后學(xué)習(xí)，可以直接應(yīng)用于新任務(wù)。生成模型可以使用變分自編碼器（VAE）、自回歸模型、生成對抗網(wǎng)絡(luò)（GAN）等。小樣本訓(xùn)練集測試樣本先驗知識先驗生成模型模型分配生成預(yù)測10.5元學(xué)習(xí)和?。悖颖緦W(xué)習(xí)10.5.2模型無關(guān)的元學(xué)習(xí)方法模型無關(guān)元學(xué)習(xí)（Model-AgnosticMeta-Learning,MAML）的思想是學(xué)習(xí)一組最好的初始化參數(shù)，使得它能夠在任意一個新任務(wù)上只需要使用少量的樣本（Few-ShotLearning）進(jìn)行幾步梯度下降就可以取得很好的效果，再針對具體的任務(wù)進(jìn)行微調(diào)，使得模型在小樣本上也能達(dá)到較好的效果。MAML算法的三個步驟：對于給定的任務(wù)，隨機抽取少量樣本組成訓(xùn)練集。內(nèi)層優(yōu)化：針對每個任務(wù)計算對應(yīng)的損失函數(shù)，使用梯度下降法，更新相應(yīng)的模型參數(shù)。外層優(yōu)化：用新模型分別計算每個任務(wù)的元測試類，得到三個損失函數(shù)，再加起來，作為一個批次（Batch）的總損失。MAML的兩層訓(xùn)練結(jié)構(gòu)06持續(xù)學(xué)習(xí)10.6持續(xù)學(xué)習(xí)如何讓機器像人一樣具有不斷學(xué)習(xí)的能力是人工智能追求的終極目標(biāo)之一。在許多文獻(xiàn)中，持續(xù)學(xué)習(xí)也被稱為增量學(xué)習(xí)（IncrementalLearn）或終身學(xué)習(xí)（Life-longLearning）。持續(xù)學(xué)習(xí)模擬了人類大腦的學(xué)習(xí)思考方式，既能夠?qū)π聰?shù)據(jù)進(jìn)行利用，又能夠避免遺忘問題；對曾經(jīng)訓(xùn)練過的任務(wù)依舊保持很高的精度，即具有可塑性和穩(wěn)定性。持續(xù)學(xué)習(xí)的各種算法與常規(guī)的方法一樣都是模型參數(shù)優(yōu)化過程，但它是逐任務(wù)學(xué)習(xí)，追求盡量不要學(xué)新忘舊，學(xué)好的模型要有良好的泛化能力。持續(xù)學(xué)習(xí)框架任務(wù)A任務(wù)B任務(wù)C時間軸（有限資源）穩(wěn)定性可塑性普遍性數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)損失重裝數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)表征

優(yōu)化

調(diào)整

10.6持續(xù)學(xué)習(xí)10.6.1持續(xù)學(xué)習(xí)的應(yīng)用場景和主要挑戰(zhàn)持續(xù)學(xué)習(xí)的應(yīng)用場景實例增量學(xué)習(xí)（Instance-IncrementalLearning，IIL）：所有各類訓(xùn)練樣本都屬于同類的任務(wù)，且都在同批次中到達(dá)。域增量學(xué)習(xí)（Domain-IncrementalLearning，DIL）：任務(wù)有相同的數(shù)據(jù)標(biāo)簽，但卻有不同的輸入分布。不同時刻到達(dá)的數(shù)據(jù)屬于同一任務(wù)的相同類別，但是數(shù)據(jù)分批次到達(dá)，且輸入數(shù)據(jù)的分布發(fā)生了變化不再符合靜態(tài)同分布假設(shè)。任務(wù)增量學(xué)習(xí)（Task-IncrementalLearning，TIL）：任務(wù)有不相交的數(shù)據(jù)標(biāo)簽空間，且訓(xùn)練集和測試集都給出了任務(wù)標(biāo)簽。類增量學(xué)習(xí)（Class-IncrementalLearning，CIL）：任務(wù)有不同的數(shù)據(jù)標(biāo)簽空間，僅在訓(xùn)練集中有任務(wù)標(biāo)簽。在不同時間段所收集的數(shù)據(jù)均屬于同一分類任務(wù)的不同類別，且類別沒有交叉。無任務(wù)持續(xù)學(xué)習(xí)（Task-FreeContinualLearning，TFCL）：任務(wù)有不相交的數(shù)據(jù)標(biāo)簽空間，但訓(xùn)練集和測試集均沒有任務(wù)標(biāo)簽，這是難度最大的場景之一。任務(wù)不可知持續(xù)學(xué)習(xí)（Task-agnostic，CL）：最有挑戰(zhàn)性的持續(xù)學(xué)習(xí)場景。在該場景下，不同時刻收集的訓(xùn)練數(shù)據(jù)的數(shù)據(jù)和標(biāo)簽分布不一致，在測試過程中，存在測試數(shù)據(jù)以及對應(yīng)的分類標(biāo)簽完全不同于任意一個時刻的訓(xùn)練數(shù)據(jù)的場景。在線持續(xù)學(xué)習(xí)（OnlineContinualLearning，OCL）：任務(wù)有不相交的數(shù)據(jù)標(biāo)簽空間。邊界模糊持續(xù)學(xué)習(xí)（BlurredBoundaryContinualLearning，BBCL）：任務(wù)邊界模糊，數(shù)據(jù)標(biāo)簽空間有重疊。持續(xù)預(yù)訓(xùn)練（ContinualPre-training，CPT）：預(yù)訓(xùn)練數(shù)據(jù)按順序到達(dá)，目的是改善下游任務(wù)的學(xué)習(xí)性能。10.6持續(xù)學(xué)習(xí)10.6.1持續(xù)學(xué)習(xí)的應(yīng)用場景和主要挑戰(zhàn)持續(xù)學(xué)習(xí)中的主要挑戰(zhàn)：災(zāi)難性遺忘以及穩(wěn)定性-可塑性權(quán)衡災(zāi)難性遺忘分析災(zāi)難性遺忘是指模型在多個時間片分別學(xué)習(xí)不同任務(wù)時，在后來時間片中對新任務(wù)泛化的同時，在先前時間片的老任務(wù)上表現(xiàn)斷崖式下降。為了解決災(zāi)難性遺忘，通常可以通過一些方法保留過去的知識，限制模型權(quán)重的改變。譬如可以用一個存儲器保留過去訓(xùn)練中的一些數(shù)據(jù)，或者是一些梯度記錄，從而在每次更新時對當(dāng)前更新加以限制。但是，這樣的方法也帶來了一個新的問題：模型的穩(wěn)定性和可塑性的平衡。任務(wù)1損失

任務(wù)2損失

任務(wù)1損失+任務(wù)2損失

10.6持續(xù)學(xué)習(xí)10.6.1持續(xù)學(xué)習(xí)的應(yīng)用場景和主要挑戰(zhàn)持續(xù)學(xué)習(xí)中的主要挑戰(zhàn)：災(zāi)難性遺忘以及穩(wěn)定性-可塑性權(quán)衡模型的穩(wěn)定性定義為模型適應(yīng)新場景的時候在舊場景上的表現(xiàn)；而模型的可塑性則指在舊場景中訓(xùn)練的模型是否能通過優(yōu)化在新場景中表現(xiàn)優(yōu)異。缺乏穩(wěn)定性（遺忘性）

缺乏可塑性

穩(wěn)定性和可塑性

穩(wěn)定性+前向傳遞

雙向傳遞

較好

較差

10.6持續(xù)學(xué)習(xí)10.6.2持續(xù)學(xué)習(xí)的主要方法

持續(xù)學(xué)習(xí)的分類持續(xù)學(xué)習(xí)方法

基于調(diào)整的方法基于重裝的方法基于優(yōu)化的方法基于表征的方法經(jīng)驗法生成法特征法元學(xué)習(xí)梯度投影損失分析自監(jiān)督學(xué)習(xí)預(yù)訓(xùn)練下游任務(wù)連續(xù)預(yù)訓(xùn)練基于架構(gòu)的方法參數(shù)分布模型分解分子網(wǎng)絡(luò)權(quán)重調(diào)整功能調(diào)整知識蒸餾新樣本舊樣本生成數(shù)據(jù)無標(biāo)簽數(shù)據(jù)10.6持續(xù)學(xué)習(xí)10.6.2持續(xù)學(xué)習(xí)的主要方法基于正則化的方法（Regularization-basedApproach）基于正則化的方法實質(zhì)上就是在舊模型上添加正則化項來平衡新舊任務(wù)，這通常需要存儲舊模型的凍結(jié)副本以供參考，然后加入正則化損失以在學(xué)習(xí)新數(shù)據(jù)時限制舊知識的遺忘。根據(jù)正則化的目標(biāo)，這類方法又可以細(xì)分為權(quán)正則化和函數(shù)（數(shù)據(jù)）正則化法。凍結(jié)的舊模型權(quán)重調(diào)整特征特征模型調(diào)整損失損失10.6持續(xù)學(xué)習(xí)10.6.2持續(xù)學(xué)習(xí)的主要方法基于回放的方法（Replay-basedApproach）基于回放的方法基本思路為對之前的關(guān)鍵數(shù)據(jù)，或是模型梯度進(jìn)行存儲或壓縮存儲。在學(xué)習(xí)新任務(wù)時，為減少遺忘，可以在訓(xùn)練過程中重放先前任務(wù)中存儲的樣本，這些樣本/偽樣本既可用于聯(lián)合訓(xùn)練，也可用于約束新任務(wù)損失的優(yōu)化，以避免干擾先前任務(wù)。緩存生成模型訓(xùn)練保存重裝斑馬

大象條紋

長鼻子噪聲條紋

長鼻子噪聲斑馬

大象

野兔

小鳥10.6持續(xù)學(xué)習(xí)10.6.2持續(xù)學(xué)習(xí)的主要方法基于優(yōu)化的方法（Optimization-basedApproach）持續(xù)學(xué)習(xí)不僅可以通過向損失函數(shù)添加額外的項來實現(xiàn)，還可以通過顯式地設(shè)計和操作優(yōu)化程序來實現(xiàn)。例如參考舊任務(wù)和新任務(wù)的梯度空間或輸入空間的梯度投影，采用雙層元學(xué)習(xí)方法在內(nèi)環(huán)訓(xùn)練順序到達(dá)的任務(wù)，外環(huán)再次對它們優(yōu)化，使各任務(wù)在梯度空間和損失空間的交集都有較低錯誤的綜合最優(yōu)學(xué)習(xí)結(jié)果。梯度投影正交任務(wù)A低錯誤任務(wù)A兩者的低誤差低錯誤任務(wù)B低錯誤任務(wù)A低錯誤任務(wù)B兩者的低誤差低損失路徑低損失路徑誤差分析元學(xué)習(xí)內(nèi)循環(huán)其他循環(huán)任務(wù)A任務(wù)B10.6持續(xù)學(xué)習(xí)10.6.2持續(xù)學(xué)習(xí)的主要方法基于表示的方法（Representation-basedApproach）該類方法通常為預(yù)訓(xùn)練+微調(diào)的方法。預(yù)訓(xùn)練通常采用自監(jiān)督學(xué)習(xí)來完成，微調(diào)則采用有監(jiān)督學(xué)和無監(jiān)督學(xué)習(xí)（例如，指示學(xué)習(xí)和提示學(xué)習(xí)）、多任務(wù)學(xué)習(xí)、小樣本和零樣本學(xué)習(xí)（元學(xué)習(xí)）及人類反饋的強化學(xué)習(xí)來進(jìn)行。預(yù)訓(xùn)練特征轉(zhuǎn)換蒸餾條紋

長鼻子噪聲斑馬

大象對比損失凍結(jié)的或可學(xué)習(xí)的模型10.6持續(xù)學(xué)習(xí)10.6.2持續(xù)學(xué)習(xí)的主要方法基于體系結(jié)構(gòu)的方法（Architecture-basedApproach）前述的持續(xù)學(xué)習(xí)主要集中在學(xué)習(xí)所有具有共享參數(shù)集的增量任務(wù)（即單個模型和一個參數(shù)空間），這是導(dǎo)致任務(wù)間產(chǎn)生干擾的主要原因?；隗w系結(jié)構(gòu)方法的特點是使用設(shè)計合理的體系結(jié)構(gòu)構(gòu)造任務(wù)特定/自適應(yīng)參數(shù)，例如為每個任務(wù)分配專用參數(shù)（參數(shù)隔離法），構(gòu)造針對任務(wù)的自適應(yīng)子模塊或子網(wǎng)絡(luò)（動態(tài)體系結(jié)構(gòu)法），和將模型分解為任務(wù)共享和任務(wù)特定組件（模型分解法）。參數(shù)分布分子網(wǎng)絡(luò)模型分配可學(xué)習(xí)可學(xué)習(xí)凍結(jié)掩膜掩膜掩膜掩膜掩膜掩膜斑馬

大象

野兔

小鳥07大語言模型中的機器學(xué)習(xí)10.7大語言模型中的機器學(xué)習(xí)大語言模型的成功，使人工智能從專用開始走向通用。機器學(xué)習(xí)方法在這一過程中功不可沒，2021年之前大語言模型建模訓(xùn)練都是采用的預(yù)訓(xùn)練+微調(diào)技術(shù)，2021年之后隨著提示學(xué)習(xí)和指示學(xué)習(xí)的提出大模型的能力快速提高，2022年11月30日ChatGPT的橫空出世震驚了世界，使人工智能進(jìn)入了大模型時代現(xiàn)已提出的大模型都是以Transformer為基礎(chǔ)，它們對上游任務(wù)的預(yù)訓(xùn)練都是采用自監(jiān)督學(xué)習(xí)方法。10.7大語言模型中的機器學(xué)習(xí)10.7.1提示學(xué)習(xí)和指示學(xué)習(xí)在這一方法中下游任務(wù)被重新調(diào)整成類似預(yù)訓(xùn)練任務(wù)的形式。例如，通常的預(yù)訓(xùn)練任務(wù)有MaskedLanguageModel，在文本情感分類任務(wù)中，對于“Ilovethismovie。”這句輸入，可以在后面加上提示（Prompt）：“Themovieis___”，然后讓預(yù)訓(xùn)練語言模型用表示情感的答案填空如“great”、“fantastic”等，最后再將該答案轉(zhuǎn)化成情感分類的標(biāo)簽。這樣通過選取合適的Prompt，可以控制模型預(yù)測輸出，從而一個完全無監(jiān)督訓(xùn)練的預(yù)訓(xùn)練語言模型可以被用來解決各種各樣的下游任務(wù)。設(shè)計預(yù)訓(xùn)練語言模型的任務(wù)。設(shè)計輸入模板樣式（PromptEngineering）。設(shè)計標(biāo)簽（Label）樣式及模型的輸出映射到標(biāo)簽（Label）的方式（AnswerEngineering）。提示學(xué)習(xí)10.7大語言模型中的機器學(xué)習(xí)10.7.1提示學(xué)習(xí)和指示學(xué)習(xí)針對每個任務(wù)，單獨生成Instru