遷移學(xué)習(xí)課件

賴傳濱遷移學(xué)習(xí)TransferLearning目錄遷移學(xué)習(xí)介紹遷移學(xué)習(xí)的應(yīng)用遷移學(xué)習(xí)的一些方法相關(guān)論文實(shí)例1遷移學(xué)習(xí)介紹PPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

1介紹遷移學(xué)習(xí)–利用之前學(xué)到的知識(shí)來幫助完成新環(huán)境下的學(xué)習(xí)任務(wù)比如：C++->Java1.1遷移學(xué)習(xí)的概念Task:學(xué)習(xí)任務(wù)Domain:域–數(shù)據(jù)的來源1介紹1.2研究遷移學(xué)習(xí)的原因AndrewNg預(yù)測(cè)未來機(jī)器學(xué)習(xí)各領(lǐng)域在產(chǎn)業(yè)界的占比目前大多數(shù)成功的模型都是依賴于大量的有標(biāo)簽數(shù)據(jù)很多學(xué)習(xí)任務(wù)很難獲得大量的有標(biāo)簽數(shù)據(jù)對(duì)于每一個(gè)任務(wù)都從頭開始訓(xùn)練，成本非常高1介紹1.3遷移學(xué)習(xí)的定義

1介紹1.4遷移學(xué)習(xí)的應(yīng)用場(chǎng)景

2遷移學(xué)習(xí)的應(yīng)用PPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

2應(yīng)用2.1從模擬中學(xué)習(xí)

2應(yīng)用另一個(gè)需從模擬中學(xué)習(xí)的領(lǐng)域：機(jī)器人在實(shí)際的機(jī)器人上訓(xùn)練模型是非常緩慢和昂貴的從模擬中學(xué)習(xí)并且將知識(shí)遷移到現(xiàn)實(shí)世界的機(jī)器人上2應(yīng)用2.2適應(yīng)新的域標(biāo)簽信息易于獲取的數(shù)據(jù)和我們實(shí)際關(guān)心的數(shù)據(jù)經(jīng)常是不一樣的視覺任務(wù)中不同的視覺域文本處理中不同的文本類型（報(bào)紙、網(wǎng)絡(luò)社交媒體）、不同的主題語音識(shí)別中不同的口音2應(yīng)用2.3跨語言遷移知識(shí)將知識(shí)從一種語言遷移到另一種語言可靠的跨語言域的方法會(huì)允許我們借用大量的已有的英文標(biāo)簽數(shù)據(jù)并將其應(yīng)用在任何一種語言中，尤其是一些缺少資源的語言目前還沒有比較好的方法3遷移學(xué)習(xí)的一些方法PPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

3方法3.1使用預(yù)訓(xùn)練的CNN特征較低的卷積層捕獲低級(jí)圖像特征，如：邊緣越高的卷積層捕獲越來越高級(jí)的特征，如：人臉最后的全連接層通常被認(rèn)為是捕獲與解決相應(yīng)任務(wù)相關(guān)的信息遷移學(xué)習(xí)的研究歷史可以追述到上世紀(jì)90年代[1]深度學(xué)習(xí)的出現(xiàn)導(dǎo)致了一系列遷移學(xué)習(xí)的新方法一些通過CNN學(xué)到的卷積模板一些經(jīng)過卷積得到的featuremap3方法利用已經(jīng)訓(xùn)練好的模型幫助解決新的任務(wù)訓(xùn)練好的模型包含一些通用特征，如圖像里的邊緣、形狀組合等在已有的模型的基礎(chǔ)上，訓(xùn)練新的模型：

保持已有模型的參數(shù)不變使用較小的學(xué)習(xí)率一個(gè)CNN（Lenet）的結(jié)構(gòu)3方法3.2學(xué)習(xí)domain-invariant（域不變）特征域不變特征：和域無關(guān)的一些一般性特征通常只需要每個(gè)域中的無標(biāo)簽數(shù)據(jù)這種一般性的特征通常用棧式的自編碼器（StackedAutoencoders）學(xué)習(xí)得到3方法3.2.1稀疏自編碼器

3方法對(duì)輸入層到隱藏層的權(quán)重進(jìn)行可視化，得到如下圖所示結(jié)果：3方法3.2.2棧式自編碼器由多層稀疏自編碼器組成的神經(jīng)網(wǎng)絡(luò)，其前一層自編碼器的輸出作為其后一層自編碼器的輸入例子（包含兩個(gè)隱藏層）：3方法將這三層結(jié)合起來構(gòu)建一個(gè)包含兩個(gè)隱藏層和一個(gè)最終softmax分類器層的棧式自編碼網(wǎng)絡(luò)4相關(guān)論文實(shí)例PPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

4相關(guān)論文4.1.1研究背景對(duì)于一個(gè)新任務(wù)，只有較少的標(biāo)記樣本（目標(biāo)域有少量標(biāo)記樣本）有大量的其他相關(guān)任務(wù)的標(biāo)記樣本（源域有大量標(biāo)記樣本）如何通過這兩種樣本訓(xùn)練出在新任務(wù)上表現(xiàn)良好的模型BoostingfortransferlearningWenyuanDai,QiangYang,Gui-RongXue,YongYu.Proceedingsofthe24thinternationalconferenceonMachinelearning.ACM,20074.1第一篇論文4相關(guān)論文4.1.2方法理論源域的大量樣本中中存在一部分樣本比較適合用來在目標(biāo)任務(wù)上訓(xùn)練有效的模型使用boosting來過濾掉源域樣本中與目標(biāo)域樣本最不像的樣本boosting的作用是建立一種自動(dòng)調(diào)整權(quán)重的機(jī)制，源域中重要的樣本的權(quán)重將會(huì)增加，不重要的樣本的權(quán)重將會(huì)減小調(diào)整權(quán)重之后，這些源域中帶權(quán)重的樣本將會(huì)作為額外的訓(xùn)練數(shù)據(jù)，與目標(biāo)域中的樣本一起訓(xùn)練4相關(guān)論文4.1.3boosting調(diào)整權(quán)重的例子用一些線段把紅色的球與深藍(lán)色的球分開僅用一條線是分不開的24弱弱強(qiáng)4相關(guān)論文4.1.4具體算法

4相關(guān)論文相關(guān)論文44.2第二篇論文4.2.1研究背景Self-taughtlearning:transferlearningfromunlabeleddataRainaR,BattleA,LeeH,BPacker,AYNg

Proceedingsofthe24thinternationalconferenceonMachinelearning.ACM,2007對(duì)機(jī)器學(xué)習(xí)所需的標(biāo)簽數(shù)據(jù)獲取難度高，

成本大如何利用大量無標(biāo)記數(shù)據(jù)輔助進(jìn)行遷移學(xué)習(xí)不要求無標(biāo)記的數(shù)據(jù)和目標(biāo)域的數(shù)據(jù)同屬一類或取自同一分布1相關(guān)論文44.2.2方法步驟?首先根據(jù)未標(biāo)數(shù)據(jù)訓(xùn)練

出一組基（比如稀疏編

碼）?再對(duì)目標(biāo)域的數(shù)據(jù)用這

組基表示出來?然后用分類算法如SVM

對(duì)目標(biāo)域的數(shù)據(jù)進(jìn)行訓(xùn)

練1相關(guān)論文44.2.3算法流程求解基向量組b（和前面的稀疏自編碼類似）1參考文獻(xiàn)參考文獻(xiàn)[1]Pan,SinnoJialin,andQ.Yang."ASurveyonTransferLearning."

IEEETransactionson

Knowledge&DataEngineering

22.10(2010):1345-1359.[2]Dai,Wenyuan,etal."Boostingfortransferlearning."

InternationalConferenceon

MachineLearning

ACM,2007:193-200.[3]Raina,Rajat,etal."Self-taughtlearning:transferlearningfromunlabeleddata.

"

Proceedingsofthe24thinternationalconferenceonMachinelearning.ACM,200