現(xiàn)代機器學習 課件 第17章 遷移學習

第17章遷移學習17.1遷移學習概述17.2遷移學習17.3深度遷移學習17.4遷移學習的應用本章小結

17.1遷移學習概述

17.1.1遷移學習的歷史

傳統(tǒng)的數(shù)據(jù)挖掘和機器學習算法通過使用之前收集到的帶標記的數(shù)據(jù)或者不帶標記的數(shù)據(jù)進行訓練,進而對將來的數(shù)據(jù)進行預測。半監(jiān)督分類通過利用大量未標記數(shù)據(jù)和少量已標記的樣本數(shù)據(jù),解決了由于標記數(shù)據(jù)過少而無法構建一個良好分類器的問題。

圖17.1展示了傳統(tǒng)機器學習和遷移學習的學習過程之間的不同。傳統(tǒng)的機器學習技術試圖從頭學習每個任務;而遷移學習在目標任務缺少高質量的訓練數(shù)據(jù)時,試圖將一些先前任務的知識遷移到目標任務。圖17.1傳統(tǒng)機器學習和遷移學習的學習過程

17.1.2遷移學習的本質

根據(jù)目前已有的遷移學習

方法,可大致將遷移學習劃分如下:

1.根據(jù)源域和目標域分類

根據(jù)源域和目標域的不同情況,可將遷移學習分為三類,分別是歸納式遷移學習、直推式遷移學習和無監(jiān)督遷移學習。

1)歸納式遷移學習

當源域中有大量標簽數(shù)據(jù)時,歸納式遷移學習與多任務學習類似。然而,歸納式遷移學習通過從源任務遷移知識來實現(xiàn)目標任務的高性能,而多任務學習試圖同時學習目標任

務和源任務。當源域中沒有可用的標簽數(shù)據(jù)時,歸納式遷移學習相當于自學習。在自學習中,源域和目標域之間的標簽空間可能不同,這意味著源域的輔助信息不能直接使用。因此,自學習類似于源域中沒有可用的標簽數(shù)據(jù)的歸納式遷移學習。

2)直推式遷移學習

在直推式遷移學習中,源任務和目標任務相同,但源域和目標域是不同的。在這種情況下,目標域中沒有可用的標簽數(shù)據(jù),而源域中有許多標簽數(shù)據(jù)。此外,根據(jù)源域和目標域

之間的不同情況,直推式遷移學習可以進一步分為以下兩種情況進行討論:

①源域和目標域之間的特征空間不同,即ΞS≠ΞT;

②特征空間相同,即ΞS=ΞT,但邊緣分布概率不同,即P(XS)≠P(XT)。

3)無監(jiān)督遷移學習

無監(jiān)督遷移學習集中解決目標域中的無監(jiān)督學習任務,如聚類、降維和密度估計等。在這種情況下,訓練中的源域和目標域都沒有可用的標記數(shù)據(jù)。

2.根據(jù)遷移知識的形式分類

1)基于實例的遷移學習

2)基于特征的遷移學習

3)基于參數(shù)的遷移學習

4)基于關系的遷移學習

17.2遷移學習

遷移學習的目的是解決學習任務中目標域標記樣本數(shù)量很少甚至可能沒有的問題。根據(jù)遷移知識的形式不同,遷移學習可以分為基于實例的遷移學習、基于特征的遷移學習、基于參數(shù)的遷移學習和基于關系的遷移學習。

17.2.1基于實例的遷移學習

基于實例的遷移學習是指在源域和目標域的分布不同的情況下,在源域中依然存在部分數(shù)據(jù)適合被利用并有益于目標域的學習。簡言之,通過在源域中找到與目標域相似的數(shù)

據(jù),對數(shù)據(jù)的權值進行調整,將這些數(shù)據(jù)與目標域的數(shù)據(jù)進行匹配,然后進行訓練學習并獲得適用于目標域的模型。如圖17.2所示。圖17.2基于實例的遷移學習

目前主要采用以下兩種方法來學習權重。

種是基于Boosting的遷移學習算法,其目的是通過迭代更新其權重來識別具有誤導性的源域實例。Boosting算法的核心思想是將多個弱學習器組合成一個強分類器。目前使用較多的基于Boosting的遷移學習算法是TrAdaBoost算法,該算法是Dai等人在2007年提出的,它是第一個基于實例的歸納遷移學習算法。

在TrAdaBoost算法中,通常假設源域和目標域的分布是不同的,但其數(shù)據(jù)的特征維數(shù)和標簽空間是相同的。鑒于源域和目標域數(shù)據(jù)分布的差異,源域中存在部分有益于目標

域學習的數(shù)據(jù),也存在一些無益甚至有害的數(shù)據(jù)。因此,通過TrAdaBoost算法能夠在迭代中對源域數(shù)據(jù)進行加權,增加有益數(shù)據(jù),同時降低無益數(shù)據(jù)對目標域學習的作用,進而提高目標域的學習性能。具體算法流程如下:

另一種基于實例的歸納遷移學習方法是通過生成模型為目標域生成新的實例,從而學習出精確的目標域預測模型。這種生成模型通常需要足夠的源域數(shù)據(jù)和少量的目標域數(shù)據(jù)

作為輸入。總之,基于實例的遷移學習方法簡單,容易實現(xiàn),但較為注重源域與目標域之間的相似性。若二者的相似性較高,則可以通過較低的時間復雜度獲取更好的學習效果;若二者的相似性較低,則往往會造成負遷移現(xiàn)象。

17.2.2基于特征的遷移學習

在許多真實場景中,源域數(shù)據(jù)和目標域數(shù)據(jù)無法實現(xiàn)較高的相似或相同的分布。圖17.3所示,在基于特征的遷移學習中,需要從源域和目標域中的特征出發(fā),考慮數(shù)據(jù)樣本中潛在的共同特征。值得注意的是,特征并不受目標域和源域的限制,也可引入輔助特征進行學習。此類方法的核心在于尋找更好的特征表示,從而達到提高學習性能的目的。圖17.3基于特征的遷移學習

對于不同類型的源域數(shù)據(jù),尋找“好的”特征表示的策略是不同的。如果源域中有大量標記數(shù)據(jù),則可以使用監(jiān)督學習方法構造特征表示,這類似于多任務學習領域的共同特征學習。如果源域中沒有標記數(shù)據(jù),則采用無監(jiān)督學習方法來構造特征表示?；谟斜O(jiān)督的特征遷移學習類似于多任務學習,通過分析源任務和目標任務的共有特征,將其在多個任

務中聯(lián)合優(yōu)化,同時提高多任務的學習性能。該方法的基本思想是:首先學習出一個目標域與源域相關任務共享的特征表示,然后利用這個特征表示來提高每個任務的學習性能。

特別地,在特征學習過程中,挖掘源域與目標域的共同特征可被轉化為最優(yōu)化問題來進行求解。

需要注意的是,基于特征的遷移學習方法和基于實例的遷移學習方法的不同之處是:基于特征的遷移學習需要進行特征變換將源域和目標域的數(shù)據(jù)變換到同一特征空間進行學

習,而基于實例的遷移學習從源域數(shù)據(jù)中找出相似的或有益的數(shù)據(jù)用于目標域的學習。

17.2.3基于參數(shù)的遷移學習

基于參數(shù)的遷移學習方法也叫基于模型的遷移方法,該方法從源域和目標域中找到它們之間共享的模型參數(shù)或經(jīng)驗知識,以實現(xiàn)遷移。這種遷移方法假設源域中的數(shù)據(jù)與目標

域中的數(shù)據(jù)可以共享一些模型的參數(shù),也就是將之前在源域中通過大量數(shù)據(jù)訓練好的模型應用到目標域上進行預測?；谀Ｐ偷倪w移學習方法比較直接,其優(yōu)點是可以充分利用模

型之間存在的相似性,缺點在于模型參數(shù)不易收斂。

例如,利用成千上萬個圖像來訓練好一個圖像識別的系統(tǒng),當遇到一個新的圖像領域問題的時候,就不用再去找?guī)浊兹f個圖像來訓練了,只需要把原來訓練好的模型遷移到新的領域,在新的領域往往只需幾萬張圖片,同樣可以得到很高的精度,如圖17.4所示。圖17.4基于參數(shù)的遷移學習

17.2.4基于關系的遷移學習

基于關系的遷移學習方法與上述三種方法具有截然不同的思路。該方法側重于源域和目標域樣本之間的關系。若兩個域相似,則它們之間會共享相似關系,并將源域中學習到

的邏輯網(wǎng)絡關系應用到目標域上來進行遷移,如生物病毒傳播規(guī)律到計算機病毒傳播規(guī)律的遷移,如圖17.5所示。圖17.5基于關系知識的遷移學習

目前,基于關系的遷移學習有兩種機制:一種是基于一階關系的遷移學習;另一種是基于二階關系的遷移學習。一階關系假設兩個關系域是相關的,那么它們可能在跨域傳輸?shù)臄?shù)據(jù)實例之間共享一些相似的關系。二階關系則假設兩個相關的關系域共享一些相似的通用結構規(guī)則,這些規(guī)則可以從源域中提取出來,然后在目標域上使用。目前已有的方法主要是采用馬爾可夫網(wǎng)絡實現(xiàn)遷移。

四種遷移方式中,基于實例的遷移學習算法是最直觀的,可以通過對源域樣本進行重加權和將目標域樣本結合來改善目標域的學習性能。但是,值得注意的是,當源域樣本數(shù)據(jù)較少時,其數(shù)據(jù)偏差較大可能會對遷移效果產生一定的負面作用?；趨?shù)的遷移學習和基于關系的遷移學習分別為兩種遷移思路:前者注重學習任務的整體相似性,源域和目標域具有不同分布,但具有相似的知識和特性;而后者假設源域和目標域相互獨立,但具有統(tǒng)一的樣本分布。

共享屬性的遷移學習更側重于源域和目標域任務的相似性,忽略了對樣本屬性的歸納,那么當樣本較少且共享屬性不明顯時該方法并不合適?；谔卣鞯倪w移學習側重于獲得能夠對源域和目標域進行表示的最優(yōu)屬性,強調域與域之間的映射關系,并不局域于某個指定的域,因此比其他三種遷移方式更實用。

17.3深度遷移學習

深度學習的概念是由Hilton等人于2006年初次提出的。近些年,深度學習在各個領域大放異彩,成為人工智能領域的熱門研究之一。深度學習的主要思想是模擬人類大腦的神經(jīng)結構,希望機器能夠像人一樣將接收的數(shù)據(jù)進行處理,實現(xiàn)過程是通過多個非線性層對數(shù)據(jù)進行特征抽取。深度卷積網(wǎng)絡目前已在語音、圖像識別等任務中展現(xiàn)出了突破性的成果,應用數(shù)量呈爆炸式增加,目前被大量應用在無人駕駛汽車、癌癥檢測、人工智能(ArtificialIntelligence,AI)游戲等實際問題中。

如前所述,遷移學習能夠通過充分利用過期數(shù)據(jù),保證目標模型具有更好的效果,從而降低了新目標任務中收集數(shù)據(jù)的成本。它充分利用源域數(shù)據(jù)訓練得到的參數(shù)和模型,將其用在另外一個具有共同因素但又不同的目標域,從而對之前學習到的知識進行充分利用。目前,深度學習中的神經(jīng)網(wǎng)絡占據(jù)了主導地位,隨著深度神經(jīng)網(wǎng)絡在圖像、語音識別領域的優(yōu)秀表現(xiàn),深度神經(jīng)網(wǎng)絡的遷移學習也慢慢成為了遷移學習中的研究熱點。深度神經(jīng)網(wǎng)絡的遷移是應用目標數(shù)據(jù)在相似領域中經(jīng)過大量數(shù)據(jù)訓練的深度學習模型,根據(jù)目標要求對模型中學習的架構和參數(shù)進行微調,構建滿足要求的深度神經(jīng)網(wǎng)絡。它的主要流程如圖17.6所示。圖17.6深度神經(jīng)網(wǎng)絡的遷移學習

17.3.1基于網(wǎng)絡的深度遷移學習

基于網(wǎng)絡的深度遷移學習是指將源域中預先訓練好的部分網(wǎng)絡(包括其網(wǎng)絡結構和連接參數(shù))重新使用,將其轉換為目標域中使用的深層神經(jīng)網(wǎng)絡的一部分。它基于這樣一個假設:神經(jīng)網(wǎng)絡與人腦的處理機制相似,是一個迭代的、連續(xù)的抽象過程。網(wǎng)絡的前幾層可以看作一個特征提取器,所提取的特征是通用的?；诰W(wǎng)絡的深度遷移學習示意圖如圖17.7所示。圖17.7基于網(wǎng)絡的深度遷移學習

最簡單基于網(wǎng)絡的深度遷移學習是微調(Finetune),主要是利用別人已經(jīng)訓練好的網(wǎng)絡微調,然后針對自己的任務進行調整。其好處是不用完全重新訓練模型,從而提高了效率。微調主要包括參數(shù)或者全連接層神經(jīng)元個數(shù)的變動,需要針對自己的任務,固定原始網(wǎng)絡的相關層,修改網(wǎng)絡的輸出層,以使結果更符合需求。當目標域的數(shù)據(jù)集數(shù)量很小時,我們可以僅僅改變最后一層全連接層的神經(jīng)元的個數(shù);當目標域的數(shù)據(jù)集數(shù)量很大時,我們可以選擇訓練網(wǎng)絡模型的后幾層參數(shù)。

VGG網(wǎng)絡是由Oxford的VisualGeometryGroup提出的。該網(wǎng)絡獲得了2014年ImageNet大型視覺識別挑戰(zhàn)比賽的亞軍和定位項目的冠軍,其主要工作是證明了增加網(wǎng)絡

的深度能夠在一定程度上影響網(wǎng)絡最終的性能。VGG有兩種結構,分別是VGG16和VGG19,兩者并沒有本質上的區(qū)別,只是網(wǎng)絡深度不一樣。

與AlexNet網(wǎng)絡相比,VGG網(wǎng)絡的一個改進是采用連續(xù)的幾個3×3的卷積核代替AlexNet中的較大卷積核,如11×11。對于給定的感受野(與輸出有關的輸入圖片的局部大小),采用堆積的小卷積核優(yōu)于采用大的卷積核,因為多層非線性層可以增加網(wǎng)絡深度來保證學習更復雜的模式,而且代價比較小。簡單來說,在VGG中,使用了3個3×3卷積核來代替7×7卷積核,使用了2個3×3卷積核來代替5×5卷積核,這樣做的主要目的是在保證具有相同感知野的條件下提升網(wǎng)絡的深度,在一定程度上提升神經(jīng)網(wǎng)絡的效果。VGG16包括5個卷積組和3個全連接層,5個卷積組分別有2,2,3,3,3個卷積層,因此網(wǎng)絡共

有16層。網(wǎng)絡結構如圖17.8所示。圖17.8VGG16網(wǎng)絡結構圖

17.3.2基于生成對抗網(wǎng)絡的深度遷移學習

生成對抗網(wǎng)絡(GenerativeAdversarialNetworks,GAN)是目前人工智能領域最炙手可熱的概念之一。由此發(fā)展而來的對抗網(wǎng)絡也成了提升網(wǎng)絡性能的利器,被成功引入若干領域并發(fā)揮重要的作用。著名的圍棋程序AlphaGo戰(zhàn)勝人類頂級選手李世石引起了人們對深度學習的廣泛關注,而AlphaGo中的策略網(wǎng)絡(PolicyNetwork,PN)在訓練過程中正是

采取了兩個網(wǎng)絡相互對抗的方式,最終的策略網(wǎng)絡獲得棋局狀態(tài)之后才能返回相應的策略和對應回報,并用博弈回報的期望函數(shù)的最大化作為最后的目標函數(shù)。

生成對抗網(wǎng)絡模型包含兩部分:一部分是生成網(wǎng)絡(GenerativeNetwork),負責生成盡可能以假亂真的樣本,被稱為生成器(Generator);另一部分是判別網(wǎng)絡(Discriminative

Network),負責判斷樣本是否真實,被稱為判別器(Discriminator)。該模型通過生成器和判別器之間的互相博弈來實現(xiàn)對抗訓練,最終生成器能夠生成擬合真實數(shù)據(jù)的分布的樣本,以至于判別器也無法正確區(qū)分生成數(shù)據(jù)和真實數(shù)據(jù)。生成對抗網(wǎng)絡的結構如圖17.9所示。圖17.9生成對抗網(wǎng)絡的結構

在目標域中,有標簽的數(shù)據(jù)通常很難獲取,同時其標記

成本也很高,通過生成模型則可以解決這一難題,生成有標

簽的目標域數(shù)據(jù)。目前主要有兩種模型:第一種是從源域數(shù)

據(jù)到目標域數(shù)據(jù)的映射,用于生成有標簽的目標域數(shù)據(jù);另一種模型是在兩個域之間建立雙向映射。處理雙向映射的經(jīng)

典模型是CycleGAN。其網(wǎng)絡架構如圖17.10所示。該模型主要包括兩個生成器和兩個判別器。圖17.10CycleGAN網(wǎng)絡框架

基于特征的對抗遷移學習是將源域和目標域中的數(shù)據(jù)映射到共享空間,然后利用兩個域的數(shù)據(jù)來完成學習任務。此時,生成器的作用將不再是生成新樣本,而是提取特征,通過

不斷學習領域數(shù)據(jù)的特征,使得判別器無法對兩個領域進行區(qū)分。那么,原來的生成器也被稱為特征提取器。深度對抗網(wǎng)絡的損失由網(wǎng)絡訓練的損失lc和領域判別損失ld兩部分構

成,即圖17.11DANN網(wǎng)絡框架

17.4遷移學習的應用

近年來,遷移學習技術已經(jīng)成功運用于各類領域,這些領域包括但不限于計算機視覺、文本分類、行為識別、自然語言處理、室內定位、視頻監(jiān)控、輿情分析、人機交互等。圖17.12展示了遷移學習潛在的應用領域。下面針對當前的一些研究熱點,對遷移學習在這些領域的應用場景進行簡單介紹。圖17.12遷移學習的應用

1.生物信息學與生物成像

在生物學中,許多實驗不僅代價高,數(shù)據(jù)也非常少,如醫(yī)生試圖使用計算機發(fā)現(xiàn)潛在疾病的生物成像實驗。當前,遷移學習越來越多地被用來將知識從一個領域遷移到另一個領域,以解決生物學中獲取標記數(shù)據(jù)成本高的難題。

在生物醫(yī)學圖像分析中,一個難題是收集新的數(shù)據(jù)來識別指定疾病,如從醫(yī)學圖像中識別癌癥的類型等。這類識別需要大量的訓練數(shù)據(jù),然而獲得這些數(shù)據(jù)通常非常昂貴,因

為它們需要專家標記。此外,預訓練模型和未來模型的數(shù)據(jù)往往來自不同的分布。這些問題激勵著許多研究工作應用遷移學習將預訓練模型遷移到新的任務中?？梢灶A見,遷移學

習在那些不易獲取標注數(shù)據(jù)的領域將會發(fā)揮越來越重要的作用。

2.圖像理解

從物體識別到行為識別的許多圖像理解任務需要大量標記數(shù)據(jù)來訓練模型,然而當計算機視覺情況稍微有變化(如從室內到室外,從靜止攝像機到移動攝像機)時,模型需要適應新的情況。遷移學習就是解決這些適應問題的常用技術。室內定位與傳統(tǒng)的室外用的GPS定位不同,它通過WiFi、藍牙等設備研究人在室內的位置。不同用戶、不同環(huán)境、不同時刻采集的信號分布不同。圖17.13展示了不同時間、不同設備的WiFi信號變化。圖17.13室內定位由于時間和設備變化導致的信號變化

3.文本挖掘