自動機器學(xué)習(xí)的機遇與挑戰(zhàn)

自動機器學(xué)習(xí)的機遇與挑戰(zhàn)導(dǎo)語動機器學(xué)習(xí)能夠大大減少實際研究和應(yīng)用過程中對模型設(shè)計場景的模型部署中。自動機器學(xué)習(xí)的發(fā)展概況的機器學(xué)習(xí)算法往往包含眾多超參數(shù)來控制學(xué)習(xí)過程和推理過程中的精細實現(xiàn)，算法的性能對超參數(shù)十分敏感，這對機器學(xué)習(xí)更進一步的發(fā)展和落地造成了巨大阻礙。在深度學(xué)習(xí)蓬勃發(fā)展的今天，機器學(xué)習(xí)所需要確定的超參數(shù)變得越來越多，人工智能工程師們需要選擇正確的神經(jīng)網(wǎng)絡(luò)架構(gòu)、優(yōu)化方法、正則化方法和他們對應(yīng)的超參數(shù)，才能讓所設(shè)計的人工智能算法發(fā)揮更好的效果。而這一過程即使對于領(lǐng)域內(nèi)勤于歸納和總結(jié)，才能得到一個相對來說較為優(yōu)秀的人工智能系統(tǒng)。讓計算機僅僅根據(jù)目標(biāo)任務(wù)和數(shù)據(jù)集來自動化設(shè)計最合適的Google軟等，也搭建了自己的自動機器學(xué)習(xí)系統(tǒng)，來幫助他們節(jié)省應(yīng)用成本、提高應(yīng)用效率、擴大應(yīng)用覆蓋面。1自動機器學(xué)習(xí)的構(gòu)成要件自動機器學(xué)習(xí)可以和傳統(tǒng)機器學(xué)習(xí)的任意過程結(jié)合，催損失函數(shù)搜索、優(yōu)化器搜索、自動模型整合等一系列的子領(lǐng)1所示，按照構(gòu)成要件來分解，自動機器學(xué)習(xí)可以分為搜索空間、搜索策略和樣本評估策略，后兩策略組合在一起組成了搜索算法的概念。搜索空間定義了自動化算法所能探索的邊界，搜索策略負責(zé)指出空間中哪部分有重要探索價值、最有可能包含最優(yōu)的自動機器學(xué)習(xí)算法，而樣本評估策略則是根據(jù)搜索策略指出的范圍，驗證它們的真實性能，為搜索策略的下一步探索提供信息。雖然自動機器學(xué)習(xí)為人工智能描繪出了一個美好而又器學(xué)習(xí)領(lǐng)域的關(guān)鍵技術(shù)（如注意力機制）用領(lǐng)域而專門設(shè)計，對于其他領(lǐng)域需要重新設(shè)計自動化算習(xí)的應(yīng)用價值。表達能力并被廣泛應(yīng)用于各種研究方向。2(a)手工設(shè)計自注意力機制（b）自動化設(shè)計自注意力機制典型的自注意機制可以被視為根據(jù)KeyQuery提取Value、QueryValue是輸入數(shù)據(jù)的不同表示。適當(dāng)?shù)淖宰⒁鈾C制表征Query2(a)所示，以前的工作都是完全依靠手工設(shè)計來獲得自注意力表征，大部分工作CNNRNNGATGCN等各種、QueryValue使它們難以適應(yīng)現(xiàn)實世界的應(yīng)用。為了解決這個問題，我們提出自注意力的自動表示方法（2(b)）(1)如何獲得最合適的搜索空間？一個合適的注意力表征搜索空間應(yīng)該是：ii）足夠靈活，以涵蓋大多數(shù)最先進的注意力表征設(shè)計iii）具有較低的復(fù)雜性以簡化搜索。(2)如何在參數(shù)共享中考慮每個子結(jié)構(gòu)的特殊性？在上述搜索空間中，即使是同一組參數(shù)，在處理或輸出不同含義的張量時，也會有不同的功能（QueryValue等）。直接應(yīng)用廣泛使用的參數(shù)共享策略而不考慮這些特殊的特性將無法提供可靠的架構(gòu)評估。為了應(yīng)對這些挑戰(zhàn)，我們提出了一種自動注意力搜索方AutoAttend[3]，以搜索具有最佳注意力表征的模型。我們將深度網(wǎng)絡(luò)視為一組連接層，然后將注意力表征重新表述為源層選擇和操作選擇過程，以構(gòu)建一個靈活的、表達能力強的、統(tǒng)一的搜索空間。我們進一步依據(jù)人工設(shè)計注意力機制的先驗約束了搜索空間，在不損失表現(xiàn)力的情況下降低了搜索空間復(fù)雜性。我們構(gòu)建了超網(wǎng)絡(luò)來搜索所提出的搜索空間中的最佳架構(gòu)，并提出了上下文感知的參數(shù)共享機制來提供點，只在它們具有相同的上下文時共享參數(shù)。實驗證明，AutoAttend能夠有效提高注意力模型的泛化性。針對不同的目標(biāo)任務(wù)，AutoAttend總能構(gòu)造適合的注意更精細化地自動化注意力模型設(shè)計指出了方向?？煽啃苑菏褂?，以快速得出具有滿意性能的模型。大的偏差，從而為給定的任務(wù)提供性能次優(yōu)甚至較差的架構(gòu)值得進一步探索的有前景的方向。3基于超網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)通道數(shù)搜索算法框架3個步驟。(1）超級網(wǎng)的構(gòu)建（如何共享各個模型的權(quán)重），（2）架構(gòu)采樣，訓(xùn)練數(shù)據(jù)采樣（如何選擇要優(yōu)化的數(shù)據(jù)和架構(gòu)），以及（3）超級網(wǎng)的優(yōu)化（如何定義損失和更新超級網(wǎng)的參數(shù)）的超網(wǎng)絡(luò)參數(shù)共享方式（x所示）CVPR2021NAS挑戰(zhàn)賽的超網(wǎng)絡(luò)賽道中實踐，贏得了并列第三名成績。泛化性例子來對訓(xùn)練期間從未見到的新類別圖像進行快速識別。為實例學(xué)習(xí)一個編碼器，并在嵌入空間中進行無參數(shù)推理（k近鄰算法）；（2）基于優(yōu)化的方法，提取優(yōu)化算法的元知識以實現(xiàn)快速適應(yīng)；（3）基于黑箱或模型的方法，直接學(xué)習(xí)將數(shù)據(jù)集嵌入模型參數(shù)以進行預(yù)測。其中，（和（2）已經(jīng)成為最流行的方法，并在各種小樣本場景下得到驗證。然而，現(xiàn)有的元學(xué)習(xí)算法存在著兩個從未被探索的挑戰(zhàn)。首先，大多數(shù)算法并不考慮時間和資源的限制，這阻礙了它們在許多實際應(yīng)用中的應(yīng)用。此外，現(xiàn)有方法的成功在很大程度上依賴于對每個小樣本場景進行精心地超參數(shù)（我們并不能手動選擇最合適的超參數(shù)。4MetaDelta流程示意圖MetaDelta[4]4首先采MetaDeltaAAAI2021MetaDLNeurIPS2021MetaDL比賽的第一階段中已大幅分數(shù)優(yōu)勢贏得第一。自動圖學(xué)習(xí)開源系統(tǒng)構(gòu)搜索方面已經(jīng)在理論研究中取得了初步的成功。開源系統(tǒng)對于促進和推動圖上自動機器學(xué)習(xí)的研究和應(yīng)用至關(guān)重要。目前的開源系統(tǒng)生態(tài)社區(qū)，存在一些用于圖PyTorchDeepGraphLibrary、AutoSklearnHyperoptNNI也相繼問世。然而，由于自動機器學(xué)習(xí)在圖上應(yīng)用的挑戰(zhàn)，現(xiàn)有的自動機器學(xué)習(xí)庫并不能直接適配圖學(xué)習(xí)任務(wù)。當(dāng)前開源社區(qū)急需自動圖學(xué)習(xí)開源系統(tǒng)的出現(xiàn)。5AutoG