2022年人工智能重要方向進(jìn)展與未來展望報(bào)告

青源學(xué)術(shù)研討觀點(diǎn)報(bào)告1 9 2.小樣續(xù)學(xué)習(xí)成為熱點(diǎn) 3.充分挖掘大模型能力 4.語言模型即服務(wù) (一)領(lǐng)意進(jìn)展 2.多模態(tài)信息提取研究 3.基于樣續(xù)交互的CTR預(yù)估模型 4.可信的信息抽取模型 (二)未來展望 20 2(一)領(lǐng)意進(jìn)展 (二)未來展望 (一)領(lǐng)意進(jìn)展 2.空意問題 3.圖神經(jīng)網(wǎng)絡(luò)的高效計(jì)算和可擴(kuò)展性 234.大規(guī)模的圖預(yù)訓(xùn)練研究 5.圖數(shù)據(jù)的對抗攻擊和防御問題 6.圖結(jié)構(gòu)的組合優(yōu)化 (二)未來展望 23 (一)領(lǐng)意進(jìn)展 2.知識檢索與問答 25(二)面臨的挑戰(zhàn) (三)未來展望 26 (一)領(lǐng)意進(jìn)展 263(二)面臨的挑戰(zhàn) (三)未來展望 28 30 302.深度學(xué)習(xí)的泛化理論 313.深度學(xué)習(xí)的優(yōu)化理論 314.深度學(xué)習(xí)抽象模型 325.神經(jīng)網(wǎng)絡(luò)在其他應(yīng)用方面的理論 332.傳統(tǒng)模型的研究結(jié)果無法應(yīng)用在神經(jīng)網(wǎng)絡(luò)上 333.數(shù)理理論在其他方向的應(yīng)用較少 (一)更統(tǒng)一的建模和學(xué)習(xí)模式 1.視覺Transformer成為全流骨干模型 372.下游感知任務(wù)建模走向統(tǒng)一 3.掩碼圖像建模(MIM)興起 (二)更大更稀疏的視覺模型 404 402.視覺稀疏動(dòng)態(tài)模型 41(三)視覺領(lǐng)意解鎖新技能新模型 412.多模態(tài)和零樣續(xù)識別上的突破 42(四)重要模型或應(yīng)用走向成熟 2.重要應(yīng)用方向趨向成熟 44 452.視覺感知走向認(rèn)知和推理 45 464.模塊化網(wǎng)絡(luò)和具身智能興起 5.視覺模型的魯棒性與安全性受到關(guān)注 47 49 492.Serverless計(jì)算 503.圖計(jì)算 525 522.網(wǎng)絡(luò)互聯(lián) 533.DPU 4.面向深度學(xué)習(xí)的軟硬件協(xié)同優(yōu)化 5.硬件與壓縮數(shù)據(jù)的融合 556.CPU和加速器集成于單一芯片設(shè)計(jì) 55 56三、EDA設(shè)計(jì)軟件 56 58 583.智能芯片 594.體系結(jié)構(gòu) 60第六章AI+SCIENCE領(lǐng)意進(jìn)展及未來展望 61 (一)領(lǐng)意進(jìn)展 61(二)發(fā)展方向 62 62 623.藥物設(shè)計(jì) 624.分子動(dòng)力學(xué)模擬 63(三)面臨的挑戰(zhàn) 636 (一)領(lǐng)意進(jìn)展 65(二)發(fā)展方向 65(三)面臨的挑戰(zhàn) 66 662.數(shù)據(jù)規(guī)模 663.數(shù)據(jù)建模 664.研究團(tuán)隊(duì) 67 (一)領(lǐng)意進(jìn)展 67(二)發(fā)展方向 68(三)面臨的挑戰(zhàn) 68 68(一)領(lǐng)意進(jìn)展 69(二)發(fā)展方向 69(三)面臨的挑戰(zhàn) 六、AI在其他領(lǐng)意的進(jìn)展 七、AI的可解釋性 7(一)領(lǐng)意進(jìn)展 (二)面臨的挑戰(zhàn)和發(fā)展方向 2.我國相關(guān)部門出臺人工智能技術(shù)規(guī)制 3.針對智能算法的安全評估的研究啟動(dòng) 4.學(xué)預(yù)提出面向人工智能算法決策的審計(jì)框架 5.呼吁建立橫跨監(jiān)管部門和學(xué)術(shù)預(yù)的統(tǒng)一體系治理方案 6.可驗(yàn)證的算法魯棒性方法持續(xù)發(fā)展 8.推薦系統(tǒng)合規(guī)引起社會(huì)關(guān)注 2.算法性能與可信約束之間的矛盾 3.算法黑箱與透明監(jiān)測之間的鴻溝 4.人機(jī)混合的復(fù)雜系統(tǒng)管理難度大 1.從感知算法的安全性到?jīng)Q策算法的安全 2.預(yù)訓(xùn)練大模型的安全性引起關(guān)注 3.讓算法治理擁抱“技治”全義 青源學(xué)術(shù)研討觀點(diǎn)報(bào)告84.建立我國新一代人工智能治理工作框架 5.其他趨勢 青源學(xué)術(shù)研討觀點(diǎn)報(bào)告9青源會(huì)(智源人工智能青年科學(xué)家俱樂部)成立于2021年6月,旨在增進(jìn)青年學(xué)者交叉方向交流合作,孕育有引領(lǐng)意義的創(chuàng)新成果;幫助青年學(xué)者克服早期生涯壓力,提供展示才華與風(fēng)貌的平臺;構(gòu)建開放、包容的新興研究社區(qū),發(fā)揮青年學(xué)者間的協(xié)同效應(yīng);鼓勵(lì)探索面向?qū)W科重大問題與挑戰(zhàn)的新思想、新方法、新途徑。自成立以來,青源會(huì)為海內(nèi)外人工智能青年科研和技術(shù)人員建立了寬松、活躍的交流平臺,促進(jìn)AI青年科研人員開心探索智能本質(zhì)。2022年5月至6月,青源會(huì)舉辦了青源學(xué)術(shù)年會(huì)及一系列學(xué)術(shù)研討活動(dòng),邀請自科學(xué),以及人工智能倫理治理等七個(gè)方向近百位研究者共同參與討論。研究者對領(lǐng)域內(nèi)的熱點(diǎn)研究、重大挑戰(zhàn),以及未來發(fā)展方向提出了專業(yè)意見。本文對青源會(huì)近期一系列活動(dòng)中所探討的重點(diǎn)內(nèi)容和觀點(diǎn)進(jìn)行了整理匯總,形成《青源會(huì)年學(xué)者、學(xué)生的學(xué)習(xí)和研究,提供參考。目前,預(yù)訓(xùn)練語言模型已成為自然語言處理領(lǐng)域的基礎(chǔ)模型。研究者可以通過訓(xùn)練大規(guī)模語料構(gòu)建預(yù)訓(xùn)練模型,再將其遷移到一系列下游任務(wù)上,并實(shí)現(xiàn)性能的顯著提升。同時(shí)Transformer已成為自然語言處理領(lǐng)域最主流網(wǎng)絡(luò)架構(gòu)。隨著預(yù)訓(xùn)練語言模型的規(guī)模越來越大,在小樣本學(xué)習(xí)領(lǐng)域的性能顯著提升,研究者越來越關(guān)注這個(gè)領(lǐng)域的發(fā)展和變化。這些現(xiàn)象是否預(yù)示著自然語言處理領(lǐng)域和知識圖譜領(lǐng)域更為深刻的范式轉(zhuǎn)變?在大模為主流的情況下,有哪些新興研究熱點(diǎn)和機(jī)會(huì)?本章中,青源會(huì)自然語言處理和知識圖譜方向的學(xué)者探討了這一領(lǐng)域的范式轉(zhuǎn)變情況,并對未來研究方向的發(fā)展提出了見解。自然語言處理中,有NLU(自然語言理解)和NLG(自然語言生成)兩大類任務(wù)。但細(xì)分而言,具體可分為7種主流范式,包括分類、匹配、序列標(biāo)注、閱讀理解、序列到序列、序來源:/pdf/2109.12575.pdf不同的自然語言處理任務(wù)都有對應(yīng)的解決范式。在自然語言處理發(fā)展的早期,每個(gè)任務(wù)所對應(yīng)的范式是單一的。比如信息抽取任務(wù)通常使用序列標(biāo)注范式來處理。近年來,可以觀察到發(fā)生范式遷移(ParadigmShift)的趨勢——每種任務(wù)都在由傳統(tǒng)范式遷移到更為統(tǒng)一的范式上,其中有幾類范式逐漸顯示出可以統(tǒng)一多種任務(wù)的潛力。一是MRC機(jī)器閱讀理解范式,能夠?qū)⑺凶匀徽Z言處理的問題都變成機(jī)器閱讀理解的形式。給定模型輸入和查詢的情況下,模型能夠自動(dòng)地提供輸出;二是序列到序列方式,已經(jīng)解決了包括分類、匹配在內(nèi)的多項(xiàng)自然語言處理任務(wù);三是目前流行的預(yù)訓(xùn)練語言模型范式,通過加入對應(yīng)的提示(Prompt)將分類、翻譯等任務(wù)改造成語言模型任務(wù),如輸入下一個(gè)詞或者文本填空的訓(xùn)練,從而更好地完成這些青源學(xué)術(shù)研討觀點(diǎn)報(bào)告來源:/pdf/2109.12575.pdf預(yù)訓(xùn)練模型將會(huì)加速自然語言的范式統(tǒng)一。在預(yù)訓(xùn)練模型性能足夠強(qiáng)的情況下,研究者們?yōu)榱耸褂媚Ｐ湍芰?會(huì)主動(dòng)將其需要解決的任務(wù)轉(zhuǎn)變?yōu)檫m合預(yù)訓(xùn)練模型處理的形式。因此可以看到,當(dāng)前NLP中的多種任務(wù)都在向預(yù)訓(xùn)練模型擅長的范式方向發(fā)生轉(zhuǎn)變。2.小樣本學(xué)習(xí)成為熱點(diǎn)隨著下游任務(wù)性能的顯著提升,研究者開始關(guān)注零樣本及小樣本學(xué)習(xí)問題,并成為近年來除了得益于預(yù)訓(xùn)練模型的支持,小樣本學(xué)習(xí)的快速發(fā)展也歸功于其絕佳的訓(xùn)練方式——提示調(diào)適(PromptTuning)。在傳統(tǒng)的精調(diào)(FineTuning)階段,研究者需要調(diào)整模型的參數(shù),對應(yīng)大模型來說效率相對不高,并需要較多的標(biāo)注數(shù)據(jù)?，F(xiàn)在,研究者可以構(gòu)造提示及模板提供給大模型,充分利用大模型中學(xué)習(xí)到的知識,使其更好地完成下游任務(wù)。該種模式非常適合小樣本學(xué)習(xí),因?yàn)槠浞浅Ｒ蕾嚹Ｐ偷南闰?yàn)知識。只要充分挖掘出模型中的隱藏知識,就可青源學(xué)術(shù)研討觀點(diǎn)報(bào)告盡管預(yù)訓(xùn)練大模型已成為一種全流的基礎(chǔ)模型,其能力還有被進(jìn)一步挖掘的空間。預(yù)訓(xùn)練傳統(tǒng)上,如果向預(yù)訓(xùn)練模型(如GPT)詢問理解、常識等?面的問題,模型可能勁回答錯(cuò)輸出一個(gè)正確的答案。最近還有研究者提出了一種更簡單的做法,只需要提供一句提示,如當(dāng)前,語言模型的規(guī)模越來越大,其面向下游任務(wù)的調(diào)適成本也非常高。因此,一種更現(xiàn)實(shí)的利用大規(guī)模語言模型的方式是“語言模型即服務(wù)”(LanguageModelAsAService,LMAAS),即將大規(guī)模語言模型視為一種服務(wù)。當(dāng)用戶提供輸入時(shí),模型自動(dòng)提供輸出。針對“語言模型即服務(wù)”的下游任務(wù)調(diào)適就變得非常重要。一種潛在的方法是黑箱調(diào)適 (Black-boxTuning),調(diào)參過程僅依賴輸入和輸出的交互,無需計(jì)算大模型的梯度,因此調(diào)參過程也十分高效。最近的研究工作將這種方法應(yīng)用于小樣本學(xué)習(xí),可以實(shí)現(xiàn)與梯度調(diào)參接近常識知識圖譜是知識圖譜面向更為復(fù)雜任務(wù)的發(fā)展方向。傳統(tǒng)的知識圖譜是靜態(tài)的示概念的知識圖譜。要推動(dòng)知識圖譜的進(jìn)一步發(fā)展,需要讓其能夠表示更加復(fù)雜的事件,如動(dòng)態(tài)事實(shí)。目前,常識知識圖譜的發(fā)展態(tài)勢較好,已經(jīng)能夠根據(jù)事件的描述,構(gòu)造出更為復(fù)雜的事件關(guān)系,如時(shí)間關(guān)系、因果關(guān)系、條件關(guān)系、組成關(guān)系等,這樣的知識圖譜在常識性下游任青源學(xué)術(shù)研討觀點(diǎn)報(bào)告此外,知識圖譜的另一個(gè)發(fā)展方向是“LMs-as-KBs”(語言模型即知識庫),可以通過類似于三元組查詢的形式,由人類構(gòu)造語言模型模板,讓語言模型通過知識庫查詢的方式,從預(yù)訓(xùn)練的數(shù)據(jù)中返回答案,相比傳統(tǒng)的知識檢索具有優(yōu)勢。值得一提的是,如果以知識庫的觀點(diǎn)來看語言模型,可能面臨五個(gè)方面的問題。一是知識讀取,包括如何構(gòu)造查詢來獲取模型中知識的方法;二是知識一致性,預(yù)訓(xùn)練模型中可能包含相互矛盾的知識,需要保持一致;三是知識編輯,當(dāng)語言模型訓(xùn)練完成后,知識以模型參數(shù)的形式固定下來。如果知識本身發(fā)生了變化,需要更新模型,則需要重新訓(xùn)練;四是知識推理,語言模型本身推理能力較弱,較難完成與知識庫類似的推理;五是可解釋性,知識庫本身是結(jié)構(gòu)化的,具有可解釋性,但語言模型的可解釋性仍需加強(qiáng)。領(lǐng)域進(jìn)展的總結(jié)如下:青源學(xué)術(shù)研討觀點(diǎn)報(bào)告同質(zhì)化嚴(yán)重,采用的預(yù)訓(xùn)練模型架構(gòu)也多為BERT、T5等。二是重回特征工程,當(dāng)基礎(chǔ)模型趨同后,研究者們比拼的更多是特征工程能力,而不是對模型原理的思考和方法上的改進(jìn)。三是預(yù)訓(xùn)練模型研究能耗高、不環(huán)保,需要進(jìn)一步探索更加高效的訓(xùn)練以及部署策略。面向未來,我們可以看到預(yù)訓(xùn)練大模型給我們帶來了更多的研究方向和機(jī)會(huì)。從大模型的生命周期來看,模型研究需要經(jīng)過架構(gòu)設(shè)計(jì)、預(yù)訓(xùn)練、下游調(diào)適、部署、推斷等幾個(gè)步驟。在這些環(huán)節(jié)中,都有可以進(jìn)一步發(fā)展的空間。在模型結(jié)構(gòu)方面,可以關(guān)注模型效率、與非注意力機(jī)制的交互方式,采用稀疏路由結(jié)構(gòu)等新興領(lǐng)域;在預(yù)訓(xùn)練方面,可關(guān)注如何設(shè)計(jì)預(yù)訓(xùn)練任務(wù),提升預(yù)訓(xùn)練效率,尋找知識嵌入和更新模型的方法;在下游調(diào)試時(shí),可進(jìn)一步探究下游任務(wù)微調(diào)的效率問題,探索更加靈活的上下文學(xué)習(xí)機(jī)制等;在模型部署階段,可以研究模型的可靠性以及統(tǒng)一的任務(wù)范式,追求用單一模型支撐多種自然語言處理服務(wù);在模型推斷時(shí),可進(jìn)一步采用模型壓縮、剪枝和動(dòng)態(tài)路由等方同時(shí),訓(xùn)練預(yù)訓(xùn)練模型也離不開語料的質(zhì)量。預(yù)訓(xùn)練語言模型不是“語言的模型”,掌握但要訓(xùn)練一個(gè)高質(zhì)量的預(yù)訓(xùn)練模型,維基百科是必不可少的訓(xùn)練數(shù)據(jù),因?yàn)槠渲邪罅康闹R?？梢园杨A(yù)訓(xùn)練模型當(dāng)成一種隱式“知識庫”,以及參數(shù)化的“百科全書”。大模型不會(huì)去創(chuàng)新知識,它通過訓(xùn)練的方式,作為知識的一種呈現(xiàn)。因此,構(gòu)造高質(zhì)量的數(shù)據(jù)也是重要的研除上述幾個(gè)方向之外,自然語言處理領(lǐng)域值得關(guān)注的發(fā)展方向還包括:高質(zhì)量中文數(shù)據(jù)資源建設(shè)、多語言多模態(tài)預(yù)訓(xùn)練模型、非自回歸生成技術(shù)、開放環(huán)境中的自然語言學(xué)習(xí)、復(fù)雜知構(gòu)、對話與文本生成質(zhì)量的評價(jià)問題,以及可信NLP技術(shù)等。信息檢索與挖掘涵蓋檢索、推薦、知識挖掘、圖神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)管理等多個(gè)領(lǐng)域,與經(jīng)濟(jì)社會(huì)緊密相關(guān)。隨著近年來預(yù)訓(xùn)練模型和知識圖譜的快速發(fā)展,以及針對計(jì)算加速的專用芯片誕生,信息檢索與挖掘領(lǐng)域迎來了更為廣闊的發(fā)展前景。本章中,青源會(huì)信息檢索與挖掘方向研究者探討了這一領(lǐng)域下的前沿進(jìn)展,并對領(lǐng)域的研究熱點(diǎn)和未來進(jìn)行展望。在信息檢索中,最重要的問題之一是研究Query(查詢)和Document(文件),或者也根據(jù)信息檢索任務(wù)的特點(diǎn),可將其分成召回、排序兩個(gè)過程。召回過程指的是從大規(guī)模的WebData中搜索到與Query非常相關(guān)的Document,然后再對這些Document進(jìn)行精準(zhǔn)排(一)領(lǐng)域進(jìn)展自信息檢索學(xué)科誕生伊始,已出現(xiàn)了多種研究方法,最初的研究基于布爾邏輯方法,之后有研究者提出了傳統(tǒng)的信息檢索模型,其中也包括傳統(tǒng)的語言模型等。隨后,檢索模型的規(guī)模目前,因其具有通用任務(wù)能力,大規(guī)模預(yù)訓(xùn)練模型也在信息檢索任務(wù)中發(fā)揮了重要作用。自2019年開始,信息檢索領(lǐng)域的研究重點(diǎn)是基于預(yù)訓(xùn)練模型(采用單塔或者多塔架構(gòu)),對信息檢索中需要匹配的Query和Document分別進(jìn)行表示。此外,也有模型可以對二者之近來,具有代表性的工作是谷歌于2021年發(fā)布的論文“TransformerMemoryasaDifferentiableSearchIndex”,該研究在信息檢索領(lǐng)域開啟了新的里程碑。研究者將召回和排序兩個(gè)過程融合為一個(gè)階段,并提升了在召回時(shí)采用大規(guī)模預(yù)訓(xùn)練模型的計(jì)算效率。用戶在使用過程中,可以很自然地輸入查詢,模型能夠直接生成或提取用戶需要的結(jié)果。另一個(gè)檢索領(lǐng)域的重要進(jìn)展是對于不同模態(tài)信息的提取研究。過去,研究者普遍關(guān)注文本的檢索和提取工作。隨著近年來多種模態(tài)數(shù)據(jù)量的增長,對于圖文相互檢索的研究,甚至是跨模態(tài)數(shù)據(jù)的檢索,已經(jīng)成為了新的熱點(diǎn)研究話題。典型案例有CLIP、DALL·E、DALL·E2等。3.基于樣續(xù)交互的CTR預(yù)估模型年開始,深度學(xué)習(xí)減少了特征工程的工作量,通過挖掘特征之間的交互模式進(jìn)行高階特征的自了,近年來提出UBR,DIEN等工作更多的挖掘數(shù)據(jù)樣例之間的關(guān)系,這也是一個(gè)新趨勢的到可信的信息抽取模型也成為研究者關(guān)注的話題。研究者希望,在為用戶提供提供檢索結(jié)果同時(shí),還能夠確保模型公平性。在這一領(lǐng)域主要分為兩個(gè)方向,分別是外在信任和內(nèi)在信任。外在信任主要是對關(guān)鍵維度的質(zhì)量進(jìn)行保證,即對結(jié)果進(jìn)行評估;內(nèi)在的信任主要是希望推理的過程能夠符合人類的期望,為結(jié)果提供更好的解釋。(二)未來展望構(gòu)建端到端的、高效信息抽取框架。二是引入知識,解決理解文本時(shí)遇到的常識推理等問題。三是持續(xù)關(guān)注可信人工智能研究,保證檢索系統(tǒng)的穩(wěn)定性,并探究解決人工智能的倫理問題。二、推薦系統(tǒng)推薦系統(tǒng)是一個(gè)工程科學(xué)問題,其科學(xué)目標(biāo)可以定義為通過理解用戶的隱式需求,對信息進(jìn)行過濾。構(gòu)建推薦系統(tǒng),要解決的核心問題是:怎樣能夠從用戶歷史行為中去理解用戶的隱(一)領(lǐng)域進(jìn)展在推薦系統(tǒng)領(lǐng)域,主要的進(jìn)展包括:一是信息去噪。研究者希望即使是缺乏監(jiān)控信號等問題的情況下,推薦系統(tǒng)能夠識別并刪除用戶和商品信息中存在的噪音。二是數(shù)據(jù)去偏。盡管用戶在使用過程中留下了許多用戶痕跡,但這些數(shù)據(jù)包含了用戶與系統(tǒng)的各種偏見,會(huì)影響推薦系統(tǒng)的性能,需要研究去除這些偏見的方法。三是細(xì)粒度建模。推薦系統(tǒng)需要在用戶行為建模的過程中,更多地去考慮更為細(xì)粒度的場景信息建模,提供更精準(zhǔn)的推薦結(jié)果。(二)未來展望在當(dāng)前的推薦系統(tǒng)的研究中,仍存在一些問題,包括商業(yè)化程度較重、可能存在信息繭房等,需要開展交叉學(xué)科相關(guān)研究。同時(shí),推薦系統(tǒng)還需要讓渡給用戶主導(dǎo)權(quán),提供給用戶更具有自主可控的機(jī)制,讓推薦結(jié)果滿足可信的需求,提供更多結(jié)果的可解釋性。此外,推薦系統(tǒng)的學(xué)術(shù)性研究和工業(yè)落地之間還存在鴻溝。學(xué)術(shù)界關(guān)注的偏向方法層面,如圖方法、強(qiáng)化學(xué)習(xí)方法等。但工業(yè)界關(guān)注的偏向場景層面,如對CrossDomain、LargeScale、LongTail等問圖神經(jīng)網(wǎng)絡(luò)存在于很多應(yīng)用場景中。比如,在社交網(wǎng)絡(luò)中,人與人都是圖網(wǎng)絡(luò)中的節(jié)點(diǎn),用戶和用戶的連線就構(gòu)成了圖中的邊。圖神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)結(jié)構(gòu)上,和圖像、文本等不同,圖結(jié)構(gòu)數(shù)據(jù)是一種新的數(shù)據(jù)類型,可專用于圖機(jī)器學(xué)習(xí)。使用圖神經(jīng)網(wǎng)絡(luò),已經(jīng)可以完成一些預(yù)測(一)領(lǐng)域進(jìn)展譜域問題的核心思想是設(shè)計(jì)在圖上的卷積,通過一個(gè)譜域上的濾波器進(jìn)行實(shí)現(xiàn),核心問題是設(shè)計(jì)或?qū)W習(xí)譜域?yàn)V波。近年來已發(fā)展出一些不同的方法,包括固定低通濾波器方法、利用不同的多項(xiàng)式基近似方法,以及借助圖優(yōu)化函數(shù)進(jìn)行設(shè)計(jì)和學(xué)習(xí)不同的模式。由于消息的傳遞產(chǎn)生了不同的機(jī)制,可以總結(jié)在這一范式下,對不同的機(jī)制進(jìn)行定義。其中的核心問題在于改進(jìn)這種消息傳遞的機(jī)制的方式。同時(shí),不同的消息傳遞方法在圖神經(jīng)網(wǎng)絡(luò)的表達(dá)能力上到底會(huì)產(chǎn)生什么樣的結(jié)果,也是領(lǐng)域中重要的研究問題。在這一方面,有分層采樣方法、圖采樣方法、線性模型方法、歷史嵌入方法等,能夠去解將預(yù)訓(xùn)練和圖網(wǎng)絡(luò)進(jìn)行整合,能夠在圖神經(jīng)網(wǎng)絡(luò)的各種場景下得到有效應(yīng)用。這其中包括在攻擊方面,根據(jù)攻擊者所知被攻擊模型的信息,可以分為白盒方法、灰盒方法、黑盒攻擊模式等。在防御方面,目前已經(jīng)出現(xiàn)了對抗訓(xùn)練方法、預(yù)處理方法、注意力機(jī)制方法、可驗(yàn)通過多種方法改進(jìn)模型結(jié)構(gòu),進(jìn)一步提升模型的性能和表現(xiàn),如基于強(qiáng)化學(xué)習(xí)的方法等。還有混合方法--把兩種模式結(jié)合在一起進(jìn)行組合的優(yōu)化。(二)未來展望圖神經(jīng)網(wǎng)絡(luò)領(lǐng)域,目前還存在很多問題有待解決。一是在機(jī)器學(xué)習(xí)的理論核心假設(shè)方面還存在探索的空間。如在不同的數(shù)據(jù)條件下研究機(jī)器學(xué)習(xí)的理論核心假設(shè)。二是研究圖層面和節(jié)點(diǎn)層面的任務(wù)之間的區(qū)別。研究者在定義不同的任務(wù)時(shí),可能是依據(jù)不同的層面來進(jìn)行研究。例如,在DrugDiscovery問題中,較為重要的是研究圖本身的表示,但是在節(jié)點(diǎn)分類或推薦系統(tǒng)中,關(guān)注的重點(diǎn)則是圖中每個(gè)節(jié)點(diǎn)的表示。因此,在不同的場景和不同問題研究中,圖神經(jīng)網(wǎng)絡(luò)的研究重點(diǎn)也應(yīng)當(dāng)區(qū)別對待。三是在大圖場景下,對圖神經(jīng)網(wǎng)絡(luò)進(jìn)行高效計(jì)算,目前仍青源學(xué)術(shù)研討觀點(diǎn)報(bào)告(一)領(lǐng)域進(jìn)展在知識學(xué)習(xí)和表示學(xué)習(xí)層面,主要的進(jìn)展有:知識圖譜嵌入的新方法。研究發(fā)現(xiàn),將引入了層次關(guān)系結(jié)構(gòu)的知識圖譜嵌入模型,能夠有效刻畫不同的粒度、不同層面的實(shí)體。此外,還有研究者提出,將基于隱含語義單元的知識圖譜嵌入模型,通過隱式的方式,解決知識圖譜當(dāng)此外,有研究者提出了基于多任務(wù)強(qiáng)化學(xué)習(xí)的魯棒性知識圖譜嵌入模型,可以有效、魯棒地解在知識學(xué)習(xí)和表示學(xué)習(xí)層面,還出現(xiàn)了基于預(yù)訓(xùn)練模型的知識探測方法。研究者將大規(guī)模Case-based類比方法,基于上下文推理的方法等。在知識圖譜應(yīng)用上,有研究者提出有基于語義的解析方法、基于信息檢索的方法、多策略問答方法(如如利用知識進(jìn)行增強(qiáng),實(shí)現(xiàn)較精準(zhǔn)的閱讀理解,或通過檢索模式挖掘)等。青源學(xué)術(shù)研討觀點(diǎn)報(bào)告此外,模型還面臨有效學(xué)習(xí)語義解析器的問題。最后,Transformer模型和邏輯語法模型也在多模態(tài)檢索成為近期關(guān)注的問題,當(dāng)前的方法包括單流方法、多流方法,以及不同模態(tài)之間對齊的技術(shù),已經(jīng)在知識挖掘領(lǐng)域開展應(yīng)用。(二)面臨的挑戰(zhàn)知識挖掘方面面臨的挑戰(zhàn)主要包括:盡管研究者已經(jīng)構(gòu)建了包含不同的信息的圖,但是在特定領(lǐng)域,依然面臨領(lǐng)域知識缺乏的問題,在解決實(shí)際問題方面,知識的覆蓋程度遠(yuǎn)遠(yuǎn)不夠。當(dāng)前,大多數(shù)知識資源是基于三元組的知識表示模型,但對于復(fù)雜結(jié)構(gòu)的知識,三元組可能無法進(jìn)行有效的表示。復(fù)雜架構(gòu)的知識包括但不限于:事件、流程、計(jì)劃、常識,以及過程類知識、非事實(shí)類知識等,這些都具有挑戰(zhàn)性。(三)未來展望未來,在知識挖掘領(lǐng)域,可以看到如下趨勢:一是神經(jīng)網(wǎng)絡(luò)與符號系統(tǒng)的融合,利用大規(guī)模統(tǒng)計(jì)模型,采用數(shù)據(jù)驅(qū)動(dòng)的方法學(xué)習(xí)的知識,和通過人為定義、非常精確的知識結(jié)合,進(jìn)行表示和推斷,目前仍然缺乏良好的模式。二是面向預(yù)訓(xùn)練模型的知識探索,目前仍缺乏成熟的模式,存在知識覆蓋度較低,表示方法不夠準(zhǔn)確等問題?；诙嗄B(tài)、多任務(wù)的預(yù)訓(xùn)練大模型熱潮還將持續(xù),無論是不同模態(tài)之間的轉(zhuǎn)換,還是近期提出的通用模型,還將在知識挖掘領(lǐng)域圖數(shù)據(jù)有很多的應(yīng)用模式,因此需要去建立針對圖數(shù)據(jù)的數(shù)據(jù)庫和計(jì)算系統(tǒng),對這些數(shù)據(jù)(一)領(lǐng)域進(jìn)展圖數(shù)據(jù)管理,特別是圖數(shù)據(jù)庫的建立和管理,以及計(jì)算底層邏輯方式上,近年來出現(xiàn)新的研究成果。在圖匹配方面,出現(xiàn)了基于現(xiàn)有大數(shù)據(jù)平臺、基于新型計(jì)算平臺等的新方法。圖計(jì)算系統(tǒng)方面,出現(xiàn)了以子圖為核心,采用子圖匹配、子圖挖掘等圖為核心的運(yùn)算策略。此外,(二)面臨的挑戰(zhàn)數(shù)據(jù)管理領(lǐng)域比較有挑戰(zhàn)性的問題包括:1.大規(guī)模的圖查詢:出現(xiàn)了采用路徑關(guān)注、路徑查詢、子圖查詢、可視化查詢等不同的方2.大規(guī)模圖挖掘:包括子圖計(jì)數(shù)、社區(qū)挖掘、密集子圖挖掘等問題。一些研究者提出了在圖結(jié)構(gòu)上運(yùn)算模式、社區(qū)搜索算法,以及基于圖的拓?fù)浣Y(jié)構(gòu)產(chǎn)生的圖挖掘方法等,產(chǎn)生了較好3.圖數(shù)據(jù)流:由于序列的無限性,導(dǎo)致圖數(shù)據(jù)流的研究往往會(huì)涉及到時(shí)間窗口的引入,為這一方向帶來挑戰(zhàn)。在這個(gè)方面的進(jìn)展主要是關(guān)注持續(xù)性查詢模式,在給定查詢的前提下,隨著圖數(shù)據(jù)流實(shí)時(shí)更新,通過多種方法,實(shí)現(xiàn)實(shí)時(shí)維護(hù)查詢對應(yīng)結(jié)果。4.面向圖數(shù)據(jù)的硬件加速:將計(jì)算量較大的工作分配給專門的硬件進(jìn)行處理。這里存在的挑戰(zhàn)包括:圖數(shù)據(jù)的不規(guī)則性、額外編程門檻成本以及顧此失彼帶來的問題。為了解決圖數(shù)據(jù)硬件加速方面的挑戰(zhàn),近日在硬件領(lǐng)域,出現(xiàn)了基于GPU和FPGA等硬件的加速方案。一是采用GPU,打造面向類型高度統(tǒng)一的、相互無依賴的大規(guī)模數(shù)據(jù)、不易被打斷的計(jì)算環(huán)境,適合高并發(fā)計(jì)算需求,實(shí)現(xiàn)計(jì)算加速,降低開發(fā)成本,便于編譯優(yōu)化。二是基于FPGA,根據(jù)設(shè)計(jì)人員的需求定制電路結(jié)構(gòu),避免低效訪存帶來的內(nèi)存帶寬的閑置,定制性地解決圖的不規(guī)則性,避免大量內(nèi)存所帶來的原子操作。(三)未來展望未缺,數(shù)據(jù)管理領(lǐng)意的發(fā)展?向包括:1.構(gòu)建分布式圖數(shù)據(jù)庫和圖計(jì)算系統(tǒng),但目前缺乏對查詢語言完全的支持。2.面向新型應(yīng)用場景下的圖數(shù)據(jù)庫與圖計(jì)算系統(tǒng),如區(qū)塊鏈和邊緣計(jì)算等新場景下計(jì)算模4.圖計(jì)算加速的核心?法,建立圖數(shù)據(jù)的規(guī)整表示,并建立統(tǒng)一、專用、覆蓋廣的圖算法為:清華大學(xué)蘭艷艷。參加研討的嘉賓有:上海交通大學(xué)張偉楠、山東大學(xué)任昭春、中國科學(xué)算技術(shù)研究所沈華偉、浙江大學(xué)楊洋、同濟(jì)大學(xué)王昊奮、中國科學(xué)院自動(dòng)化研究所劉康、北京當(dāng)前,針對人工神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)和理論研究方興未艾,研究者從模型的表示能力、泛化能力、優(yōu)化求解等方面開展研究。通過抽象的視角研究神經(jīng)網(wǎng)絡(luò),可以幫助人們理解其本身的機(jī)發(fā)現(xiàn)其能力邊界。本章中,青源會(huì)數(shù)學(xué)和理論基礎(chǔ)方向研究者探討了近期的研究進(jìn)展,并對領(lǐng)明雙層神經(jīng)網(wǎng)絡(luò)具有通用近似(UniversalApproximation)的特性。近幾年,由于神經(jīng)網(wǎng)絡(luò)在訓(xùn)練推理方面的性能超過了傳統(tǒng)模型,研究者開始研究多層神經(jīng)網(wǎng)絡(luò)的表示能力。的效果研究。既然兩層神經(jīng)網(wǎng)絡(luò)已經(jīng)可以做到萬能表示,多層或深度網(wǎng)絡(luò)表達(dá)的效果相比雙層神經(jīng)網(wǎng)絡(luò)是否會(huì)更好?在這一領(lǐng)域已經(jīng)有一些結(jié)論,例如多層神經(jīng)網(wǎng)絡(luò)使用的神經(jīng)元更少,能夠更精簡地表達(dá)一些函數(shù)。在這種情況下,如果考慮非參估計(jì)的設(shè)置,神經(jīng)網(wǎng)絡(luò)表示高階光滑函數(shù)時(shí),不存在維度災(zāi)難,且相比很多模型在數(shù)量級上有一定優(yōu)勢。二是不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)具有的優(yōu)勢。目前研究有考慮殘差神經(jīng)網(wǎng)絡(luò)。研究者主要差網(wǎng)絡(luò)相比普通的全連接前向網(wǎng)絡(luò),更適合表示的函數(shù)類型,以及殘差網(wǎng)絡(luò)在學(xué)習(xí)哪些問題上三是研究利用神經(jīng)網(wǎng)絡(luò)的表達(dá)能力獲取好的泛化能力,這需要偏差和方差平衡。傳統(tǒng)的統(tǒng)計(jì)學(xué)習(xí)理論認(rèn)為,一個(gè)模型想要學(xué)好數(shù)據(jù),需要平衡偏差和方差。偏差是指模型不一定能夠完全地表示數(shù)據(jù)分布的情況,其表示與實(shí)際可能有偏離。如果要提升模型的泛化能力,則偏差要變得更小,這需要在表示上具有更多優(yōu)勢。傳統(tǒng)機(jī)器學(xué)習(xí)認(rèn)為,泛化主要是在偏差和方差之前取得平衡。但是在深度學(xué)習(xí)領(lǐng)域,理論和實(shí)踐還存在一些差距。對深度學(xué)習(xí)來說,樣本量往往遠(yuǎn)小于訓(xùn)練參數(shù)量。在這種情況下,可從傳統(tǒng)的統(tǒng)計(jì)理論解釋,過擬合的模型泛化性能不高。但是從實(shí)踐來看,即使是訓(xùn)練誤差較低的神經(jīng)網(wǎng)絡(luò)模型,其測試性能也較好,出現(xiàn)了名為良性過擬合(BenignOverfitting)的情況。此外,隱式正則領(lǐng)域也是泛化領(lǐng)域的一個(gè)熱點(diǎn)。這里舉兩個(gè)例子,一是在頻率空間,一些研究發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練中具有偏好低頻的頻率原則,一些工作為克服高頻的學(xué)習(xí)和泛化困難提出了新的網(wǎng)絡(luò)結(jié)構(gòu),比如多尺度網(wǎng)絡(luò)和NeRF。二是深度學(xué)習(xí)往往會(huì)使用低階帶有隨機(jī)性的算法求解,如隨機(jī)梯度下降法或者Dropout等,隨機(jī)算法會(huì)使得模型求得的參數(shù)具有特殊性,相當(dāng)于對這個(gè)模型加入了一個(gè)正則。隱式正則方向是研究過參數(shù)化網(wǎng)絡(luò)能找到泛化好的解的一神經(jīng)網(wǎng)絡(luò)是非凸模型,前一段時(shí)間的研究熱點(diǎn)是鞍點(diǎn)逃離問題。有些神經(jīng)網(wǎng)絡(luò)滿足嚴(yán)格鞍點(diǎn)的條件。在一般的非凸優(yōu)化中,梯度下降不能保證模型達(dá)到全局最優(yōu)。而嚴(yán)格鞍點(diǎn)條件能保比如研究不同寬度、深度的網(wǎng)絡(luò)之間的極值點(diǎn)之間的嵌入層次關(guān)系。此外,近年來研究較多的是過參數(shù)化的神經(jīng)網(wǎng)絡(luò)。在實(shí)踐中,神經(jīng)網(wǎng)絡(luò)的參數(shù)量往往會(huì)非常大,但過參數(shù)化可以使學(xué)習(xí)近年來,在優(yōu)化領(lǐng)域出現(xiàn)了對神經(jīng)網(wǎng)絡(luò)的相圖分析,發(fā)現(xiàn)不同初始化下,神經(jīng)網(wǎng)絡(luò)會(huì)有性質(zhì)不同的動(dòng)力學(xué)行為,比如一類名為神經(jīng)正切核的理論證明,在一定的初始值條件下,神經(jīng)網(wǎng)回歸模型是等價(jià)的。同時(shí),還有一種名為神經(jīng)網(wǎng)絡(luò)的平均場理描述。神經(jīng)平均場理論試圖通過權(quán)重分布等視角來刻畫神經(jīng)網(wǎng)絡(luò)運(yùn)轉(zhuǎn)的狀態(tài),其優(yōu)勢在于,當(dāng)神經(jīng)網(wǎng)絡(luò)趨于無窮時(shí),用一個(gè)分布來看待整個(gè)體系對每個(gè)神經(jīng)元粒子的平均作用。由于研究多個(gè)神經(jīng)元間的互相作用非常復(fù)雜,采用這種整體體系,能夠簡化神經(jīng)元之間的相互作用。更一般地,對于兩層無窮寬的網(wǎng)絡(luò),其相圖可以分為線性區(qū)域(包括神經(jīng)正切核區(qū)域)、臨界區(qū)域 (包括平均場區(qū)域)和非線性區(qū)域(參數(shù)有明顯的凝聚現(xiàn)象的非線性區(qū)域)。理解神經(jīng)網(wǎng)絡(luò)的原理,一方面需要從更高的角度進(jìn)行分析。例如,使用可解析的模型來理解神經(jīng)網(wǎng)絡(luò)的優(yōu)化和學(xué)習(xí)過程,包括前文提到的神經(jīng)正切核理論和平均場理論。另一方面,一些研究者認(rèn)為,完全通過數(shù)學(xué)層面的解析方法,并不一定能夠解明神經(jīng)網(wǎng)絡(luò)的機(jī)制,可以采用微觀觀察的方式,理解神經(jīng)網(wǎng)絡(luò)的運(yùn)轉(zhuǎn)機(jī)制。例如,有一種名為局部彈性的方法,認(rèn)為神經(jīng)網(wǎng)絡(luò)與線性模型的不同之處在于,神經(jīng)網(wǎng)絡(luò)面對決策面的分類是在緩慢的、局部的彈性變化,而不像線性模型一樣是直線,會(huì)有較大的變化幅度。還有一種方法是層玻璃模型通過對神經(jīng)網(wǎng)絡(luò)逐層簡化,進(jìn)行分析,研究神經(jīng)網(wǎng)絡(luò)應(yīng)該呈現(xiàn)的狀態(tài)。在面向應(yīng)用的研究中,一個(gè)重點(diǎn)方向是關(guān)于優(yōu)化神經(jīng)網(wǎng)絡(luò)在多環(huán)境條件下的訓(xùn)練情況。該領(lǐng)域認(rèn)為,神經(jīng)網(wǎng)絡(luò)在多環(huán)境中,如果環(huán)境會(huì)不斷變化,理論上可以發(fā)現(xiàn)直接的回歸模型不可青源學(xué)術(shù)研討觀點(diǎn)報(bào)告另一個(gè)方向是研究強(qiáng)化學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò),意圖將神經(jīng)網(wǎng)絡(luò)相關(guān)的理論應(yīng)用在強(qiáng)化學(xué)習(xí)方面。例如,假設(shè)模型能夠完成好一個(gè)回歸問題,可以依據(jù)其理論,幫助強(qiáng)化學(xué)習(xí)模型學(xué)到更好還有一個(gè)方向是在AIforScience中,發(fā)展神經(jīng)網(wǎng)絡(luò)相關(guān)的算法和理論用來解微分方程,主要是克服高維和剛性等問題,提升仿真模擬的效率。神經(jīng)網(wǎng)絡(luò)算法與科學(xué)問題結(jié)合也產(chǎn)生了新的理論問題,比如算法的適定性和收斂性等問題。目前在神經(jīng)網(wǎng)絡(luò)算法和模型之間還存在鴻溝,即研究者設(shè)計(jì)的算法并不跟模型完全掛鉤,而是普遍使用簡單的梯度法。同時(shí),當(dāng)前建立的很多算法理論,其假設(shè)可能與實(shí)際應(yīng)用存在差距。例如,研究神經(jīng)網(wǎng)絡(luò)往往需要其達(dá)到無窮寬的狀態(tài)。而樣本的訓(xùn)練步長非常小,幾乎趨于0,但在實(shí)踐中,人們不會(huì)這樣設(shè)置網(wǎng)絡(luò)超參數(shù)。同時(shí),傳統(tǒng)模型上得到的結(jié)果,并不一定能夠用在神經(jīng)網(wǎng)絡(luò)上。當(dāng)前的核心的問題是,如何能夠?qū)焉窠?jīng)網(wǎng)絡(luò)中各種配置和性能指標(biāo)之間的Trade-off分析清楚。正如前文提到,即使將表達(dá)能力和泛化能力之間的關(guān)系分析清楚,保證優(yōu)化可以解決,依然是一個(gè)挑戰(zhàn)。此外,還有一些科學(xué)問題有待解決,如神經(jīng)網(wǎng)絡(luò)的收斂條件、收斂點(diǎn)的質(zhì)量、隱式正則可以到達(dá)的點(diǎn),青源學(xué)術(shù)研討觀點(diǎn)報(bào)告3.數(shù)理理論在其他方向的應(yīng)用較少最后,要將神經(jīng)網(wǎng)絡(luò)的數(shù)理理論普及推廣到其他方向,目前的成果相對較少。在多環(huán)境應(yīng)用中,以及數(shù)據(jù)并非完全獨(dú)立或同分布的假設(shè)條件下,都有待研究相應(yīng)理論。其他需要關(guān)心的本章最后總結(jié)深度學(xué)習(xí)數(shù)理基礎(chǔ)領(lǐng)域的五個(gè)重點(diǎn)研究問題,未來這一領(lǐng)域的研究可能會(huì)朝計(jì)算復(fù)雜度、統(tǒng)計(jì)學(xué)習(xí)等發(fā)展的理論。是否需要引入代數(shù)或者幾何的工具與思想,建立更好的2.數(shù)理基礎(chǔ)研究的目標(biāo)與方向:應(yīng)樹立數(shù)理基礎(chǔ)研究在實(shí)踐中達(dá)到的目標(biāo),了解實(shí)踐中理3.短期內(nèi),數(shù)理基礎(chǔ)的發(fā)展方向:在目前神經(jīng)網(wǎng)絡(luò)及其理論發(fā)展不成熟的階段,應(yīng)明確其短期的發(fā)展方向,如類似過去的實(shí)驗(yàn)物理研究--先對物理現(xiàn)象給出一些解釋,在尋找更為核4.面向大規(guī)模預(yù)訓(xùn)練模型的統(tǒng)一描述:大規(guī)模預(yù)訓(xùn)練模型參數(shù)龐大,結(jié)構(gòu)復(fù)雜,對其進(jìn)行5.吸引純數(shù)學(xué)家投入深度學(xué)習(xí)或機(jī)器學(xué)習(xí)的理論研究:吸納純數(shù)學(xué)領(lǐng)域的前沿理論和方法,為:美國賓夕法尼亞大學(xué)蘇煒杰。參與研討的布賓有:北京大學(xué)?聰、上海交通大學(xué)許志欽、計(jì)算機(jī)視覺是一門處理和分析視覺信號的學(xué)科。隨著視覺信號采集的設(shè)備越來越普及,以及視覺技術(shù)走向成熟,視覺應(yīng)用已無處不在。視覺通常分為兩大類問題,一類是“理解問題”--對采集的視覺信號進(jìn)行分析和理解,視覺信號包括圖像、視頻或3D點(diǎn)云等。另一類是“生成任務(wù)”,給定輸入(如文字描述),可以讓模型生成圖像、視頻等。本章中,青源會(huì)計(jì)算機(jī)視覺領(lǐng)域的研究者針對計(jì)算機(jī)視覺的進(jìn)展和未來發(fā)展2021年是計(jì)算機(jī)視覺迎來發(fā)展變革的一年,出現(xiàn)了四個(gè)主旋律,分別是:更統(tǒng)一的學(xué)習(xí)模式、更大更稀疏的視覺模型、視覺領(lǐng)域解鎖新技能和新模型,以及重要的模型或應(yīng)用走(一)更統(tǒng)一的建模和學(xué)習(xí)模式1.視覺Transformer成為全流骨干模型Transformer原續(xù)是面向NLP任務(wù)的架構(gòu)。最近一年多以缺,Transformer逐漸成為視覺領(lǐng)意全流的骨干模型。它在視覺中應(yīng)用的先驅(qū)工作是2020年谷歌提出ViT模型,在圖像分類問題上取得令人印象的結(jié)果。到2021年初,基于Transformer架構(gòu)的模型在密集視覺任務(wù)取得新的記錄,如SETR和SwinTransformer等,它們分別在ADE20K語義分割和COCO物體檢測上首次超越CNN架構(gòu)。過去一年缺,基于Transformer架構(gòu)的模型不斷涌?,包括DeiT、PVT、T2T、CvT、TNT、Focal-Transformer等。同時(shí),Transformer也很快推廣到其他視覺信號和其它視覺問題上,如視頻?面的ViViT;點(diǎn)??面的PointTransformer等;潛層視覺?面的ImageProcessingTransformer等。在生成領(lǐng)意,Transformer也開始取得新進(jìn)展,如2021年初的TransGAN最早應(yīng)用Transformer解決生成問題,此后年潛的StyleSwin在性能上也首次超越CNN。除了在視覺任務(wù)上廣泛提升性能,在生態(tài)層面,企業(yè)開始建立圍繞Transformer為核心的軟硬件生態(tài)。例如,2022年Nvidia推出全新的GPUH100,其中專門為Transformer定制專用計(jì)算的引擎,相比上一代芯片,性能提高6倍。模型輕量化?面,一些研究者將Transformer應(yīng)用在輕量模型的研發(fā)上,如MobileFormer等。Transformer還啟發(fā)了新的算法架構(gòu)設(shè)計(jì)和研究。例如,MLP-Mixer將視覺骨干網(wǎng)絡(luò)變等。受Transformer的啟發(fā),卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)也迎缺Conv、ConvNeXt、RepLKNet等。2.下游感知任務(wù)建模走向統(tǒng)一2020年DETR的提出,啟發(fā)了研究者探索統(tǒng)一下游感知任務(wù)的建模?法。DETR將物體檢測問題刻畫為翻譯問題,利用解碼器將圖像“翻譯”成物體。盡管在過去的研究中,已有研究者將注意力機(jī)制用于建模物體和圖像像素之間的關(guān)系,但將Transformer解碼器整體應(yīng)用于建模,尚屬首次,這為研究者們提供了對感知任務(wù)建模的全新理解。過去一年中,DETR深化發(fā)展,并逐漸拓展到了其他的視覺領(lǐng)意,如DeformableDETR,大幅提升了DETR性能、速度等指標(biāo)。同時(shí),有研究者將DETR推廣到語義分割問題上,如MaskFormer和Mask2Former等。也有應(yīng)用到3D檢測領(lǐng)意案例,如DETR3D、group-free-3D。同時(shí),DETR的變體模型不斷涌?,如全編碼器的YOLOS模型等。另一個(gè)重要的工作是2022年3月份提出的DINO,該工作在Swin-L骨干網(wǎng)絡(luò)下,取得COCO物體檢測評測集上的新紀(jì)錄:63.3mAP,首次在榜單上超越了所有基于傳統(tǒng)檢測頭部的?法。這表明,DETR不僅有紹統(tǒng)一下游建模任務(wù),其在性能上相比于傳統(tǒng)的檢測頭部網(wǎng)絡(luò)3.掩碼圖像建模(MIM)興起在自然語言挖理領(lǐng)意,GPT和BERT是克大類語言建模?法,重塑了整個(gè)領(lǐng)意的學(xué)習(xí)范式。其中,BERT依賴于掩碼語言建模技術(shù)。早先,視覺領(lǐng)意對該?法并不看好。OpenAI于2020年首次進(jìn)行了嘗試,發(fā)布了名為ImageGPT的視覺預(yù)訓(xùn)練模型,和全流?法相比仍有較VQ-VAE架構(gòu)的模型,在挖理圖像的過程中,將其分割為Patch,進(jìn)行一定比例的遮蓋后,轉(zhuǎn)化為序列Token,讓模型使用類似BERT的?法對被遮蓋部分進(jìn)行還原,從而實(shí)?視覺建模的此后,掩碼圖像建模技術(shù)中具有代表性工作是MAE、SimMIM。MAE和SimMIM研究提出,只需要讓模型預(yù)測遮蓋的像素,就能夠?qū)?簡單但有效的建模。目前MIM領(lǐng)意發(fā)展快下游任務(wù)則有ViTDet、MIMDet等,研究非?；钴S。熱然,在MIM快速發(fā)展的同時(shí),近期有研究者開始探索MIM能夠有效的原因,也有一些工作,例如FeatureDistillation這一工作發(fā)?對比學(xué)習(xí)經(jīng)過特征蒸餾以后也能夠取得相同預(yù)訓(xùn)練大模型是過去幾年AI發(fā)展全旋律,但是全要集中于自然語言挖理領(lǐng)意。視覺領(lǐng)意在2021年開始迎缺進(jìn)展。谷歌構(gòu)建了一個(gè)擴(kuò)展的ViT模型,擁有18億參數(shù),并使用30億的標(biāo)注圖像進(jìn)行訓(xùn)練,在ImageNet上取得了新的記錄(90.45%)。這一工作還表明,在視覺領(lǐng)意上,模型同樣符合ScalingLaw。即:模型越大、性能越好。SwinV2則進(jìn)一步證明了視覺大模型(30億參數(shù))在廣泛視覺問題上的有效性,其分類、物體檢測、語義分割和視頻分類等任務(wù)上性達(dá)到了So督學(xué)習(xí)對于驅(qū)動(dòng)大模型訓(xùn)練的有效性,基于SimMIM?法,SwinV2用相比谷歌小40倍的標(biāo)注數(shù)據(jù)(7000萬)達(dá)成了十億級視覺模型的訓(xùn)練。人腦作為一種稀疏動(dòng)態(tài)模型,具有低功耗、部分激活、參數(shù)規(guī)模大、性能好等優(yōu)勢。研究視覺領(lǐng)意中,已有研究者提出了150億參數(shù)的ViT-MoE。此外,也有研究者將SwinTransformer進(jìn)行了MoE擴(kuò)展,并將其應(yīng)用于更廣泛的視覺任務(wù)中,例如物體檢測。(三)視覺領(lǐng)域解鎖新技能新模型近年缺,文續(xù)到圖像生成的研究發(fā)展迅速。2021年年初,OpenAI提出DALL·E模型,可以根據(jù)用戶輸入的文續(xù)生成對應(yīng)的圖像,在研究領(lǐng)意引起轟動(dòng)。2022年年初,DALL·E升級到效果同樣出色。國內(nèi)相關(guān)工作包括清華和智源共同完成的CogView、微軟亞洲研究院提出的VQ-Diffusion模型以及NUWA-infinity等。通過提升視覺與語言之間的對齊,能夠支持模型在更多多模態(tài)任務(wù)上取得應(yīng)用,并降低標(biāo)注數(shù)據(jù)的依賴情況。2021年,OpenAI發(fā)布CLIP,在ImageNet的零樣續(xù)分類任務(wù)上取得突破。之后的一年中,面向通用圖文表征任務(wù)的模型發(fā)展型,谷歌的CoCa模型,以及DeepMin在圖像生成?面,擴(kuò)散概率模型(DPM),通過逆轉(zhuǎn)擴(kuò)散過程,迭代去噪的?式生成圖像,在多個(gè)性能指標(biāo)上已經(jīng)超越了GAN和自回歸模型。擴(kuò)散模型的代的網(wǎng)絡(luò)結(jié)構(gòu)ADM,在高像素圖像的生成效果超過生成對抗網(wǎng)絡(luò);斯坦福大學(xué)和谷歌大腦提出的隨機(jī)微分?程(SDE)建模DPM,在多種指標(biāo)下超越GAN、VAE、FLOW等經(jīng)典模型;清華大學(xué)和中國人民大學(xué)合作的解析式DPM模型(Analytic-DPM),將DPM的圖像合成效率提升了數(shù)十倍。SDE和Analytic-DPM這克個(gè)代表性?法分別獲得了ICLR2021、2022的OutstandingPaperAward獎(jiǎng)項(xiàng),說明該類模型在研究領(lǐng)意已得到廣泛關(guān)注。(四)重要模型或應(yīng)用走向成熟缺自UCB、谷歌和UCSD的研究人員合作在2020年提出神經(jīng)輻模場(NeRF)?法,可用于對場景進(jìn)行建模,利用場景稀疏采樣視角的圖片集,可以合成場景新視角下的圖像。該?法在近年缺快速發(fā)展,已經(jīng)從最初單一物體的多視角圖片序列,擴(kuò)展到面向互聯(lián)網(wǎng)圖片集,可以圍繞一個(gè)景觀(如不同的游客拍的不同類型的圖片),通過對所有的圖片進(jìn)行合成,獲得場景的神經(jīng)輻模場。這一研究可以幫助企業(yè)構(gòu)建大規(guī)模場景中的NeRF模型,建立整體的圖像風(fēng)貌(如城市景觀)。青源學(xué)術(shù)研討觀點(diǎn)報(bào)告同時(shí),NeRF也擴(kuò)展到了3D視覺任務(wù)上,如從圖片中恢復(fù)高質(zhì)量幾何信息等,相關(guān)案例包括英偉達(dá)提出的快速NeRF重建?法,以及加州大學(xué)伯克利分校提出的,針對不同場景進(jìn)行泛化的PixelNeRF等。這些技術(shù)在精度和效率上都取得了進(jìn)步,推動(dòng)NeRF技術(shù)走向應(yīng)用。此外,在應(yīng)用對象?面,NeRF已經(jīng)從靜態(tài)圖像擴(kuò)展到動(dòng)態(tài)場景的表示和建模。此外,還2.重要應(yīng)用方向趨向成熟計(jì)算機(jī)視覺領(lǐng)意的研究成果逐漸走向?qū)嶋H應(yīng)用,在一些重要應(yīng)用領(lǐng)意已經(jīng)趨于成熟。今年視覺應(yīng)用的全要進(jìn)展包括:垂直任務(wù)上的性能提升,擴(kuò)展更為豐富的應(yīng)用場景,以及構(gòu)建面向例如,在場景文字檢測?面,缺自華中科大的研究人員提出的DBNet模型,在擴(kuò)展豐富的應(yīng)用場景?面,計(jì)算機(jī)視覺已經(jīng)在視頻分類、視頻解析和物體分割、視頻內(nèi)容創(chuàng)作、高分辨率實(shí)時(shí)?圖、視頻勁議--特別是元宇宙中的虛擬勁議等實(shí)?應(yīng)用。視頻與圖像最大區(qū)別是,前者引入了時(shí)序連續(xù)化的特征,需要研究者解決視頻龐大計(jì)算量和時(shí)空維度解耦與冗余消除的問題。Transformer也從圖像走向了視頻任務(wù),在模型架構(gòu)、分類精度等?面在數(shù)據(jù)集構(gòu)建?面,實(shí)際場景應(yīng)用相關(guān)的數(shù)據(jù)集不斷涌?。例如,在人臉識別領(lǐng)意,清華大學(xué)團(tuán)隊(duì)發(fā)布了超大規(guī)模WebFace260M數(shù)據(jù)集,清洗后的人臉圖像數(shù)據(jù)量達(dá)到42M。在視頻分割領(lǐng)意,浙江大學(xué)構(gòu)建了視頻場景解析數(shù)據(jù)集VSPW和視頻全景分割數(shù)據(jù)集VIPSeg等。青源學(xué)術(shù)研討觀點(diǎn)報(bào)告計(jì)算攝像研究的主要目的是提升視覺信號獲取端的性能,相關(guān)的研究已有十多年的歷史。近年來,具有代表性的工作是北京大學(xué)團(tuán)隊(duì)在脈沖相機(jī)方向的研究,團(tuán)隊(duì)研制的脈沖相機(jī)在圖由華為提出,能夠?qū)ΤＲ?guī)視頻進(jìn)行高倍率的插幀,還原快速運(yùn)動(dòng)的瞬時(shí)場景。在高層視覺任務(wù)層面,視覺感知正逐步走向認(rèn)知和推理。研究者試圖面向視覺-語言任務(wù),一項(xiàng)研究中提出了X-DETR,其能夠?qū)崿F(xiàn)實(shí)例級的視覺和語言對齊,研究者希望通過學(xué)習(xí)通用概念表示,輔助更泛化的下游視覺-語言任務(wù)。另一項(xiàng)研究是AI2研究院和UIUC合作提出的其中涵蓋了物體檢測識別、圖像描述問答等,針對不同任務(wù)的自然語言問題輸入,模型的答案輸出既包含自然語言,又包含圖像中相關(guān)的物體區(qū)域。在3D場景理解方面,主要趨勢可分為物體級和場景級兩部分。物體級側(cè)重于從視覺的認(rèn)知與物理、幾何等知識結(jié)合,通過概念組合的方式,讓模型更好地學(xué)習(xí)物體3D的場景表示,從而輔助于下游的圖文生成、視覺問答任務(wù),并提升模型的泛化性。這些方法并非完全由數(shù)據(jù)驅(qū)動(dòng),而是結(jié)合神經(jīng)和符號系統(tǒng),將視覺感知、物理屬性、動(dòng)態(tài)預(yù)測和符號執(zhí)行等納入統(tǒng)一的框架中。針對場景級3D理解,研究者提出通過代理任務(wù)評測模型的3D場景理解能力,涵蓋物體屬性、空間關(guān)系推理等,代表性工作包括港中文深圳分校提出的CLEVR3D工作,以及京在方法層面,值得關(guān)注是模塊化網(wǎng)絡(luò),其具有可一項(xiàng)研究中,研究者模擬了人腦中的系統(tǒng)2運(yùn)行機(jī)理,結(jié)合其中的邏輯推理規(guī)則,提高了神經(jīng)在實(shí)際應(yīng)用方面,視覺逐漸和語言、機(jī)器人等應(yīng)用結(jié)合,促進(jìn)了具身智能領(lǐng)域相關(guān)方法和任務(wù)的研究。去年,來自FAIR、AI2、Google等十余家科研機(jī)構(gòu)的研究者提出了名為Rearrangement的具身智能評測任務(wù),并組織了學(xué)術(shù)競賽等活動(dòng),其中綜合評測了導(dǎo)航、傳輸、操控、記憶、規(guī)劃、通信等任務(wù),采用AI2THOR仿真平臺進(jìn)行任務(wù)仿真與算法評測。視覺模型的魯棒性和安全性也受到研究者的關(guān)注,其內(nèi)涵和外延不斷擴(kuò)展,如對抗樣續(xù)的概念擴(kuò)展,以及魯棒性研究范式的統(tǒng)一等。此外,針對模型魯棒性與安全性的評測基準(zhǔn)也在逐漸完善,涵蓋從卷積神經(jīng)網(wǎng)絡(luò)到Transformer等不同的模型架構(gòu),并將評測的訓(xùn)練范式拓展注:本章節(jié)觀點(diǎn)整理自青源會(huì)5月13日及6月1日舉行的研討會(huì)。研討會(huì)召集人為:清華大學(xué)黃高。參與研討的嘉賓有:微軟亞洲研究院胡瀚、中國科學(xué)院計(jì)算技術(shù)研究所王瑞平、曠視科技張祥雨、北京航空航天大學(xué)劉偲、商湯科技代季峰、華中科技大學(xué)王興剛、北京智源人工智能研究院王鑫龍、北京交通大學(xué)魏云超、清華大學(xué)段岳圻、北京大學(xué)周曉巍、清華大學(xué)蘇航、中國人民大學(xué)李崇軒、哈爾重要影響。在本章中,青源會(huì)體系結(jié)構(gòu)與芯片專家就領(lǐng)域近年的發(fā)展熱點(diǎn)和趨勢進(jìn)行了探討。云原生系統(tǒng)可分為軟件開發(fā)、微服務(wù)部署、云服務(wù)器和云加速器等方面,主要面臨以下挑戰(zhàn)。一是云原生軟件的編寫開發(fā)問題,其涉及到復(fù)雜依賴微服務(wù)的高效表示。二是最小化流程處理時(shí)間的問題,涉及到對細(xì)粒度微服務(wù)的優(yōu)化映射。三是進(jìn)一步充分利用服務(wù)器硬件性能,將其用好、用滿,涉及到高密度、高并發(fā)的混合部署技術(shù)。四是隨著異構(gòu)硬件數(shù)量增加,將這些硬件納入云原生系統(tǒng)存在挑戰(zhàn),需要是吸納異構(gòu)硬件的共享。為了解決上述問題,以運(yùn)行時(shí)系統(tǒng)為中心,輻射上層軟件和底層硬件的思路,是解決云原生問題的核心發(fā)展方向。隨著國產(chǎn)硬件(如加速器等)的發(fā)展,云原生產(chǎn)品對多元異構(gòu)硬件的2.Serverless計(jì)算大量實(shí)際應(yīng)用,同時(shí)也在大數(shù)據(jù)、在線網(wǎng)站、科學(xué)計(jì)算、增強(qiáng)學(xué)習(xí)訓(xùn)練等出現(xiàn)了探索性的應(yīng)用Serverless計(jì)算系統(tǒng)下的函數(shù)應(yīng)用呈現(xiàn)兩個(gè)特征:一是體積小。每個(gè)函數(shù)的內(nèi)存容量通常只有幾十兆,一個(gè)數(shù)百GB內(nèi)存服務(wù)器同時(shí)可以容納數(shù)百個(gè)應(yīng)用,造成了高密度的部署。二是Serverless函數(shù)的小體積和短周期特點(diǎn),為服務(wù)器內(nèi)存的資源管理帶來了極大的挑戰(zhàn)。將現(xiàn)有的Web、AI和大數(shù)據(jù)等負(fù)載部署到Serverless環(huán)境,將面臨高擴(kuò)展、高吞吐和高利用的同時(shí),隨著當(dāng)前硬件體系結(jié)構(gòu)快速變化,各種領(lǐng)域的專業(yè)硬件層出不窮,極大增加了硬件的異構(gòu)性。要實(shí)現(xiàn)異構(gòu)硬件下的高吞吐Serverless計(jì)算系統(tǒng),需要研發(fā)新型的Serverless資源管理系統(tǒng)軟件,同時(shí)在異構(gòu)協(xié)同、任務(wù)調(diào)度、輕量虛擬等層面開展大量創(chuàng)新。近年來,復(fù)雜圖計(jì)算系統(tǒng)興起,出現(xiàn)了超越二元常規(guī)圖計(jì)算模式的“高階多維圖計(jì)算”特征。同時(shí),傳統(tǒng)上追求極致性能的圖計(jì)算系統(tǒng),正在向高可用方向快速轉(zhuǎn)移。同時(shí),圖計(jì)算領(lǐng)域涌現(xiàn)出大量復(fù)雜圖計(jì)算系統(tǒng)和加速器,如圖挖掘類、圖學(xué)習(xí)類、推薦系統(tǒng)類等。最后,相比傳統(tǒng)圖遍歷類計(jì)算,圖計(jì)算更加傾向于實(shí)用性應(yīng)用,例如阿里達(dá)摩院的GraphScope等。展望未來,實(shí)現(xiàn)復(fù)雜圖計(jì)算系統(tǒng),需要建立面向圖計(jì)算的專業(yè)技術(shù)生態(tài),其中包括完整的技術(shù)鏈、體系結(jié)構(gòu)、系統(tǒng)軟件構(gòu)建、算法工具開發(fā)等。具體有以下幾種演進(jìn)路線:一是從分支通用到領(lǐng)域通用的圖計(jì)算;二是研發(fā)動(dòng)態(tài)圖計(jì)算的專用加速器,三是進(jìn)行復(fù)雜圖模型的軟硬件協(xié)同設(shè)計(jì);四是推動(dòng)屬性圖計(jì)算從實(shí)驗(yàn)室樣品走向企業(yè)應(yīng)用。在深度學(xué)習(xí)興起的同時(shí),為了降低編程的復(fù)雜度,提高算法研發(fā)和模型構(gòu)建的效率,深度學(xué)習(xí)編程框架應(yīng)運(yùn)而生。典型案例包括國際上的TensorFlow、PyTorch,以及國內(nèi)的PaddlePaddle、MindSpore、OneFlow等。為了使深度學(xué)習(xí)應(yīng)用能夠更高效地部署到芯片上,許多研究關(guān)注人工智能模型到AI芯片的中間層優(yōu)化。?有的優(yōu)化框架,大體上將優(yōu)化過程分為圖層優(yōu)化與算子層優(yōu)化。其中,圖層優(yōu)化對人工智能模型的計(jì)算流圖進(jìn)行等價(jià)變換,以提高其性能,如TensorRT、TensorFlow等。算子層優(yōu)化則通過數(shù)學(xué)庫或代碼生成的?式,提供可運(yùn)行于人工智能芯片上的高效算子,如寒武紀(jì)的CNNL等。特別針對大規(guī)模訓(xùn)練,也有大量研究工作,策略、節(jié)點(diǎn)間通信等進(jìn)行優(yōu)化,如FastMoE,NVIDIANCCL等。青源學(xué)術(shù)研討觀點(diǎn)報(bào)告此外,已出?圖層和算子層共同優(yōu)化的?法。例如,清華大學(xué)研究者最近提出了PET和EinNet克個(gè)研究工作,通過結(jié)合圖層和算子層信息,對深度學(xué)習(xí)應(yīng)用進(jìn)行圖算融合優(yōu)化。PET在圖層上將算子分為內(nèi)存布局算子和計(jì)算算子,并通過深度優(yōu)先搜索的?法遍歷所有的優(yōu)化組合,在代碼生成階段,對算子庫中已有的算子直碎調(diào)用算子庫,對算子庫中缺少的復(fù)雜內(nèi)存布局算子進(jìn)行代碼的自動(dòng)生成,并進(jìn)行刪冗、融合等優(yōu)化,以進(jìn)一步提升其運(yùn)行效率。EinNet通過代數(shù)表達(dá)式缺對模型的計(jì)算圖進(jìn)行描述,并通過基于代數(shù)運(yùn)算規(guī)則的自動(dòng)推導(dǎo)進(jìn)行變化,生成高效的計(jì)算圖。在算子層分別將表達(dá)式映模到算子庫或進(jìn)行代碼生成,以便通過圖算融合的優(yōu)化?法,PET和EinNet可將典型的在通信網(wǎng)絡(luò)?面,出?了網(wǎng)絡(luò)互聯(lián)形成大內(nèi)存的趨勢。分析指出,谷歌與阿里巴巴數(shù)據(jù)中心的納務(wù)器內(nèi)存資源利用率性未達(dá)到60%。為了提升內(nèi)存資源利用率,近期的熱點(diǎn)趨勢是通過使用新型高性能硬件,將各個(gè)納務(wù)器的內(nèi)存互聯(lián),構(gòu)建共享內(nèi)存池,提升內(nèi)存利用效率。從軟件互聯(lián)的角度,則通過研究利用RDMA網(wǎng)卡單邊訪問遠(yuǎn)端內(nèi)存,在這一過程中,遠(yuǎn)端CPU糊指令直訪池化內(nèi)存。而在內(nèi)存之上,構(gòu)建文件、鍵值等多種存儲形態(tài),高效支撐各類人工智能青源學(xué)術(shù)研討觀點(diǎn)報(bào)告3.DPU使用可編程的智能硬件(如DPU)等進(jìn)行近似數(shù)據(jù)處理,也是近期的熱點(diǎn)趨勢。傳統(tǒng)的計(jì)算架構(gòu)完全依賴CPU/GPU進(jìn)行計(jì)算,需要先將數(shù)據(jù)從外存或跨網(wǎng)絡(luò)拷貝至本機(jī)內(nèi)存。這些數(shù)構(gòu)下,能夠減少數(shù)據(jù)移動(dòng),提升行動(dòng)性能。在推薦系統(tǒng)的存儲和架構(gòu)方面,基于深度學(xué)習(xí)的推薦系統(tǒng),目前已經(jīng)廣泛應(yīng)用在廣告、電商、社交網(wǎng)絡(luò)等。由于模型內(nèi)存訪問密集、計(jì)算稀疏,加上具有獨(dú)特的不規(guī)則內(nèi)存訪問模式,使得在傳統(tǒng)存儲和體系架構(gòu)下容易出現(xiàn)內(nèi)存瓶頸和帶寬瓶頸,限制應(yīng)用的性能。而近存處理、推薦系統(tǒng)中。以訓(xùn)練流程為例,采樣階段占據(jù)訓(xùn)練過程總時(shí)間的24%,抽取階段,需要抽取出必要的數(shù)據(jù),從CPU內(nèi)存轉(zhuǎn)移到GPU內(nèi)存,則占據(jù)了過程的54%。這也是由于內(nèi)存隨機(jī)訪問、訪問密集、計(jì)算稀疏等特征,造成在現(xiàn)有存儲和體系架構(gòu)下模型的訓(xùn)練效率不高。因此,可以通過近數(shù)據(jù)處理、加速采樣階段和數(shù)據(jù)移動(dòng)等方式,來加速GNN的訓(xùn)練效率。對大規(guī)模的GNN訓(xùn)練,對分布式場景下,GNN的通訊優(yōu)化也是值得關(guān)注的問題。將硬件與壓縮數(shù)據(jù)直接處理技術(shù)相結(jié)合,是未來體系結(jié)構(gòu)與高性能計(jì)算的重要方向。通過基于規(guī)則壓縮數(shù)據(jù)直接處理技術(shù)是一種新的計(jì)算范式,通過基于上下文無關(guān)文法的壓縮表示,可以直接對壓縮數(shù)據(jù)進(jìn)行通用的數(shù)據(jù)處理,并和計(jì)算機(jī)并行體系結(jié)構(gòu)相結(jié)合。相關(guān)成果已經(jīng)能夠做到對于大數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及數(shù)據(jù)庫中的管理與分析,也包括在GPU等加速卡上壓6.CPU和加速器集成于單一芯片設(shè)計(jì)將CPU和加速器相結(jié)合,并放置在一個(gè)芯片上的設(shè)計(jì),是未來計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)的重要研同時(shí),CPU和GPU之間也可以進(jìn)行細(xì)粒度的調(diào)度,表現(xiàn)出強(qiáng)勁的性能。7.分布式系統(tǒng)分布式系統(tǒng)方面,近來的研究進(jìn)展是可編程網(wǎng)卡與分布式系統(tǒng)的協(xié)同設(shè)計(jì)。隨著近年來DPU等可編程網(wǎng)絡(luò)設(shè)備逐步出現(xiàn),為傳統(tǒng)的網(wǎng)絡(luò)設(shè)備增加了計(jì)算能力,這些計(jì)算能力與分布式應(yīng)用進(jìn)行耦合開發(fā),為加速分布式系統(tǒng)帶來了新機(jī)遇?；诳删幊叹W(wǎng)絡(luò)的計(jì)算,具備與網(wǎng)絡(luò)線速處理數(shù)據(jù)流的能力,可以極大提升分布式系統(tǒng)的效率。近年來,ATP等系統(tǒng)的研發(fā)即為可編智能網(wǎng)卡則在傳統(tǒng)網(wǎng)卡上添加了計(jì)算芯片,將DPU部署在服務(wù)器端,提供對數(shù)據(jù)流的在網(wǎng)計(jì)算,可以將服務(wù)器的CPU從部分網(wǎng)絡(luò)管理任務(wù)中解放出來,使CPU專注處理應(yīng)用計(jì)算,在分布式應(yīng)用和可編程網(wǎng)絡(luò)耦合開發(fā)背景下,設(shè)計(jì)傳輸計(jì)算一體化的全生命周期過程,將是下一步的研究重點(diǎn),其中包括:設(shè)計(jì)編程范式,使傳算一體能夠適配異構(gòu)的應(yīng)用,便于程序員編程;設(shè)計(jì)編譯技術(shù),使通用編程范式適配異構(gòu)的平臺;設(shè)計(jì)運(yùn)維方法,使異構(gòu)平臺上的處當(dāng)然,設(shè)計(jì)傳算一體的開發(fā)流程也面臨挑戰(zhàn),主要在于用戶熟悉的編程范式增量演進(jìn)到傳算一體,這一演化過程要求新的編程范式需要兼容已有的編程范式,提供新的語義或者更強(qiáng)的性能,同時(shí)需要對用戶透明,方便用戶使用。領(lǐng)域?qū)Ｓ眯酒目焖侔l(fā)展,對設(shè)計(jì)自動(dòng)化工具提出迫切需求。傳統(tǒng)EDA工具在系統(tǒng)層、RTL層、架構(gòu)層方面,無法對領(lǐng)域?qū)Ｓ眯酒奶厥鈫栴}進(jìn)行建模和優(yōu)化。因此,在這些層次上無法勝任領(lǐng)域?qū)Ｓ眯酒脑O(shè)計(jì)。例如,傳統(tǒng)的EDA無法處理神經(jīng)網(wǎng)絡(luò)加速器的數(shù)據(jù)流架構(gòu)設(shè)計(jì)。目前領(lǐng)域?qū)Ｓ眯酒纳蠈釉O(shè)計(jì)多基于人工和經(jīng)驗(yàn)開發(fā),或者開發(fā)一些私有工具。給定領(lǐng)域內(nèi)的應(yīng)用,自動(dòng)設(shè)計(jì)某些指標(biāo)最優(yōu)化的專用架構(gòu),其中的關(guān)鍵問題是構(gòu)建領(lǐng)域內(nèi)域內(nèi)通用的算法模型和架構(gòu)模型,基于這些模型開發(fā)架構(gòu)的設(shè)計(jì)空間搜索方法,使得專用領(lǐng)域定制計(jì)算架構(gòu)的演進(jìn)受到上層軟件和底層硬件的兩方面驅(qū)動(dòng)。一方面,應(yīng)用算法的發(fā)展對計(jì)算能力、存儲容量、訪問帶寬等不斷提出新需求。另一方面,摩爾定律逐漸放緩,新型底層器件、集成方式和封裝工藝的出現(xiàn),也為定制架構(gòu)提供了新的機(jī)遇和挑戰(zhàn)。綜合考慮這兩方面的因素,EDA需要實(shí)現(xiàn)在應(yīng)用、架構(gòu)、電路等方面的跨層次設(shè)計(jì),這會(huì)導(dǎo)致架構(gòu)設(shè)計(jì)空間不斷增大,架構(gòu)設(shè)計(jì)復(fù)雜度驗(yàn)證開銷也迅速增加。為了克服這個(gè)挑戰(zhàn),可以針對領(lǐng)域應(yīng)用的特點(diǎn),合理設(shè)計(jì)架構(gòu)表示方法,構(gòu)建架構(gòu)評估平臺,并利用機(jī)器學(xué)習(xí)等搜索方法,高效地構(gòu)建架構(gòu)設(shè)計(jì)空間,并自動(dòng)化地進(jìn)行探索。隨著專用場景的日益發(fā)展,催生了許多專用加速硬件模塊,來進(jìn)行高效的處理和計(jì)算。但是隨著專用計(jì)算算法發(fā)展加速,各個(gè)場景的碎片化傾向明顯,這對芯片迭代和差異化設(shè)計(jì)有顯摩爾定律發(fā)展趨緩,芯片制造成本難以優(yōu)化,且常規(guī)的整芯片設(shè)計(jì)開發(fā)周期較長。在這種背景下,催生了基于Chiplet的技術(shù),名為Hub+SideDie模式。其中,HubDie為各場景所共有的一些功能模塊,例如內(nèi)存接口、主控CPU等。SideDie則為各場景獨(dú)有的計(jì)算加速模塊,如AI加密等,它們之間通過DietoDie接口實(shí)現(xiàn)互聯(lián)。通過這種方式,可以針對不同場景快速更換迭代專用計(jì)算Chiplet,并選擇高性價(jià)比工藝HubDie,也可以實(shí)現(xiàn)對不同場景的但Hub+SideDie模式主要面臨四大核心難題:一是拆。二是拼。這是架構(gòu)層的考慮,主要包括NoC和DFT的設(shè)計(jì),在多Chiplet的條件下,實(shí)現(xiàn)可靠的系統(tǒng)通信與測試。三是連。針對DietoDie的接口開發(fā),基于并口或者串口方,實(shí)現(xiàn)超短基于Chiplet的Hub+SideDie模式主打靈活的特點(diǎn),在多項(xiàng)目上能夠降低投入,而晶圓級的集成則突破現(xiàn)有的單SoC集成,通過晶圓級集成,可以實(shí)現(xiàn)顯著提高每個(gè)節(jié)點(diǎn)的算力大小。晶圓級的集成除了上文提到的“拆、拼、連、封”四個(gè)問題外,還有以下方向值得關(guān)注。一是在架構(gòu)設(shè)計(jì)階段,每個(gè)Chiplet粒度探索值得研究。在Chiplet上,互聯(lián)網(wǎng)絡(luò)相較傳統(tǒng)的NoC,有更大的容錯(cuò)與擁塞控制要求。二是在實(shí)現(xiàn)階段,需要針對集成的各個(gè)階段研究相應(yīng)的新型集成拓?fù)?給編譯等中間件帶來了新的研究問題。智能芯片可以從兩個(gè)方面進(jìn)行闡釋。一是ChipsforAI,即為AI為代表的新型應(yīng)用,提供更好的芯片。AI芯片體系結(jié)構(gòu)作為整個(gè)系統(tǒng)的支柱,向上需要承接應(yīng)用,向下要兼容新的器件。從上層應(yīng)用發(fā)展看來,AI驅(qū)動(dòng)的新科學(xué)計(jì)算、新工業(yè)計(jì)算等新應(yīng)用逐漸興起,特別是以圖神經(jīng)網(wǎng)絡(luò)為代表的圖數(shù)據(jù)類應(yīng)用,對體系結(jié)構(gòu)提出了新的挑戰(zhàn)。從底層材料和器件來看,針對計(jì)算方面有新型量子器件,針對存儲有新型的存儲器件,針對通信方面有光通信芯片。這些不同的新器件具有很大的發(fā)展?jié)摿?但同樣受到性能、功耗等方面的強(qiáng)約束和限制,這使得未來二是AIforChips,即用人工智能做更好的芯片、更好地做出芯片。隨著智能時(shí)代的到來和摩爾定律的大幅放緩,專用體系結(jié)構(gòu)的芯片數(shù)量和種類大幅增加,體系結(jié)構(gòu)將進(jìn)入新的發(fā)展進(jìn)算法,芯片設(shè)計(jì)仍然周期長、過程復(fù)雜、對設(shè)計(jì)人員專業(yè)要求度高。特別是隨著節(jié)點(diǎn)工藝的進(jìn)入,芯片需要更專業(yè)的設(shè)計(jì)人員,花費(fèi)越來越多的時(shí)間和金錢成本。解決芯片設(shè)計(jì)需求多和芯片設(shè)計(jì)代價(jià)高之間的矛盾,面臨較大的挑戰(zhàn)。而用人工智能方法,輔助參與芯片架構(gòu)的設(shè)計(jì)和測試,將是有趣且有希望的嘗試。為序列決策問題,利用強(qiáng)化學(xué)習(xí)的方法來解決,在不到6小時(shí)的時(shí)間內(nèi),該方法可以生成媲美或者超過人工的現(xiàn)代加速器往表上的布局。目前該方法已輔助設(shè)計(jì)了谷歌的TPU系列芯片,在體系結(jié)構(gòu)層面,有四個(gè)方向可以關(guān)注。一是讓智能處理器更好用,包括生態(tài)構(gòu)建,以及提升在不同規(guī)模、不同類別芯片上的應(yīng)用開發(fā)效率等。二是稀疏計(jì)算帶來的問題。稀疏作為一個(gè)很重要的特性,在過去幾年被廣泛關(guān)注,但是對于稀疏數(shù)據(jù)的處理仍然持續(xù)研究需要。三是不同芯片間,CPU和芯片間的緊耦合需求。過去,研究者將各種功能從CPU上拿出來,做成單獨(dú)的芯片。現(xiàn)在,為了滿足在不同芯片間,CPU和芯片間的緊耦合需求,研究者開始探索將多種芯片合到一起。例如,存算一體的研第六章AI+Science領(lǐng)域進(jìn)展及隨著人工智能從研究領(lǐng)意走向應(yīng)用,正在推動(dòng)各行各業(yè)快速發(fā)展。近缺,科學(xué)研究已經(jīng)成為AI應(yīng)用的全戰(zhàn)場之一,已形成名為AIforScience的領(lǐng)意成為新興研究領(lǐng)意。續(xù)章中,多位青源勁學(xué)者探討了AI+Science的進(jìn)展,全要分為以下幾大場景:AI+生命科學(xué)、AI+材料科作為一種新型的智能科學(xué)計(jì)算模式,哈康計(jì)算是以人工智能和數(shù)據(jù)驅(qū)動(dòng)為核心的第四研究范式,它能夠極大地助力人類探索生命科學(xué)的重大問題,在未缺幫助人類更好地解決生命與哈在AI+生命科學(xué)?向,近年缺已有多項(xiàng)突破性技術(shù)。在蛋白質(zhì)結(jié)構(gòu)預(yù)測?面,具有代表性州大學(xué)伯克利分校團(tuán)隊(duì)提出的RoseTTAFold。此外,AI在RNA預(yù)測,以及密度泛函估計(jì)等青源學(xué)術(shù)研討觀點(diǎn)報(bào)告領(lǐng)域均有論文發(fā)表,推動(dòng)解決生命科學(xué)領(lǐng)域的一些重大問題。例如,2021年DeepMind在《Science》上發(fā)表文章,提出了名為DM21的模型,用于量子計(jì)算中泛函密度估計(jì),通過將AI的方法與物理模型相結(jié)合,有望解決生命科學(xué)領(lǐng)域的一些重大問題。未來在AI+生命科學(xué)領(lǐng)域,有四個(gè)方向具有發(fā)展?jié)摿?。特殊蛋白質(zhì)及其抗體結(jié)構(gòu)的預(yù)測上,還存在挑戰(zhàn)。盡管以Baker為代表的研究人員,在基于領(lǐng)域的知識設(shè)計(jì)基礎(chǔ)上,已獲得了比較好的蛋白質(zhì)設(shè)計(jì)的結(jié)果,論文也在今年早些時(shí)候發(fā)表在《Nature》上,但基于深度學(xué)習(xí)的蛋白預(yù)測依然存在精度不足等挑戰(zhàn),而基于結(jié)構(gòu)的反向折疊預(yù)測目前仍處于初步發(fā)展階段。未來在蛋白設(shè)計(jì)上面,AI可能會(huì)持續(xù)產(chǎn)生突破。化學(xué)反應(yīng)預(yù)測等。未來,在三維分子生成方面,基于靶結(jié)構(gòu)的三維分子的生成,和大分子的藥物設(shè)計(jì)上面,AI仍有發(fā)展的潛力。青源學(xué)術(shù)研討觀點(diǎn)報(bào)告4.分子動(dòng)力學(xué)模擬基于AI促進(jìn)分子動(dòng)力學(xué)的模擬,將進(jìn)一步推動(dòng)藥物和蛋白質(zhì)的優(yōu)化設(shè)計(jì)。分子動(dòng)力學(xué)模擬是非常重要的研究領(lǐng)意,在小分子藥物和蛋白質(zhì)構(gòu)向研究上,分子動(dòng)力學(xué)都扮演著重要的角找到適合AI解決的問題,相比于提升AI解決特定問題的能力相對更為關(guān)鍵。例如,AlphaFold練帶缺挑戰(zhàn)。三是在建模?面,生命科學(xué)數(shù)據(jù)類型可能有著更高的建模復(fù)雜度。四是AI+生命者有機(jī)結(jié)合,相互配合,共同完成具有挑戰(zhàn)性的課題?？傮w可分為克個(gè)?向,一是新材料合成,二是材料預(yù)測建模。新材料合成?面,機(jī)器學(xué)習(xí)模型預(yù)測的準(zhǔn)確性已經(jīng)超過了具有豐富經(jīng)驗(yàn)的化學(xué)家。例如,2021年5月4號的《Nature》的封面文章中介紹,研究者基于機(jī)器學(xué)習(xí)算法,采用合成換敗的實(shí)驗(yàn)數(shù)據(jù)訓(xùn)練AI,使其能夠預(yù)測新材料合成的結(jié)果,使發(fā)明新材料的可能性大幅度提高。日,《Nature》以封面文章報(bào)道,研究者在10納米尺度上,機(jī)器學(xué)習(xí)模型缺描述10萬個(gè)原子多態(tài)轉(zhuǎn)變的過程,從而預(yù)測材料的結(jié)構(gòu)、穩(wěn)定性、以及電子的特性等。著深度學(xué)習(xí)的發(fā)展,AI在氣象領(lǐng)意的應(yīng)用越缺越多,加速了大氣科學(xué)的發(fā)展變革。AI+大氣科學(xué)方面,主要代表性工作包括利用神經(jīng)網(wǎng)絡(luò)預(yù)測氣候現(xiàn)象和降水量等工作,如基于卷積神經(jīng)網(wǎng)絡(luò)預(yù)測厄爾尼諾現(xiàn)象,以及2021年DeepMind發(fā)表的文章——利用深度學(xué)習(xí)降水預(yù)測是非常復(fù)雜的問題,傳統(tǒng)方法是解已知的、基于物理模型的微分方程組,效率較低,很難實(shí)現(xiàn)短時(shí)間內(nèi)的準(zhǔn)確預(yù)報(bào)。深度學(xué)習(xí)方法可以直接基于雷達(dá)測量數(shù)據(jù)預(yù)測降水情況,此外,人工智能在氣象領(lǐng)域應(yīng)用也包括氣象觀察識別、氣象數(shù)據(jù)處理、天氣及氣候分析預(yù)2.AI對氣象探測技術(shù)的改進(jìn):如氣象探測設(shè)備的衛(wèi)星化、智能化和網(wǎng)絡(luò)化發(fā)展,以及基于3.利用AI改進(jìn)人工影響天氣的作業(yè)方法:主要是基于AI和模擬技術(shù)實(shí)現(xiàn)“人影作業(yè)”的自動(dòng)化技術(shù)?！叭擞啊敝傅氖怯萌藶榈姆椒ㄈビ绊懡涤?。另外,還可以通過學(xué)習(xí)生雹天氣系統(tǒng)的孕育期特征,用于消雹作業(yè)等。在氣象研究中,采集到數(shù)據(jù)是異構(gòu)的,非常豐富,且性質(zhì)不同。例如,衛(wèi)星測量數(shù)據(jù)主以圖像為主,與雷達(dá)測量的數(shù)據(jù),以及地面站測量的數(shù)據(jù),彼此之間都有著不同的特性。其幾何且均為高精度數(shù)據(jù)。利用AI的方法處理氣象數(shù)據(jù),對算力、對計(jì)算資源需求較高。氣象模型需要做到高可解釋性,并保持物理一致青源學(xué)術(shù)研討觀點(diǎn)報(bào)告研究團(tuán)隊(duì)方面,國內(nèi)尚未完全建立AI+大氣科學(xué)的研究團(tuán)隊(duì),國內(nèi)學(xué)者相比其他國際學(xué)者隨著深度學(xué)習(xí)模型廣泛應(yīng)用于各個(gè)學(xué)科,神經(jīng)科學(xué)家也在不斷嘗試使用深度神經(jīng)網(wǎng)絡(luò)作為工具,研究真實(shí)大腦中的神經(jīng)元的活動(dòng)機(jī)制,對神經(jīng)元的活動(dòng)進(jìn)行建模,并構(gòu)建更精準(zhǔn)的腦機(jī)及子刊上。例如,2016年MIT團(tuán)隊(duì)發(fā)現(xiàn)CNN模型可以預(yù)測活動(dòng)。之后,加州大學(xué)伯克利分校團(tuán)隊(duì)發(fā)布了用磁向量方法結(jié)合神經(jīng)影像數(shù)據(jù),繪制出大腦中的語義地圖的成果。近期,加州大學(xué)研究團(tuán)隊(duì)提出了結(jié)合神經(jīng)網(wǎng)絡(luò)模型的方法,能夠?qū)δX機(jī)接口技術(shù)進(jìn)行改進(jìn),在神經(jīng)信號中直接解碼自然語言,使準(zhǔn)確率大幅度提升。青源學(xué)術(shù)研討觀點(diǎn)報(bào)告腦表征,如感知覺和語言的神經(jīng)表征預(yù)測等。二是啟發(fā)建立新的認(rèn)知機(jī)制假設(shè),如基于神經(jīng)科學(xué)研究去設(shè)計(jì)新型計(jì)算模型。三是構(gòu)建更加實(shí)用的腦機(jī)碎口模型,如借助預(yù)訓(xùn)練的語言模型從神經(jīng)影像數(shù)據(jù)中解碼連續(xù)的語言信號,提升腦機(jī)碎口的解碼性能等。AI+神經(jīng)科學(xué)也是一個(gè)交叉學(xué)科,具有較高經(jīng)科學(xué)研究的建模復(fù)雜度相對比較高,對算力的需求較大。在應(yīng)用數(shù)學(xué)和應(yīng)用物理學(xué)研究和工程應(yīng)用中,標(biāo)注數(shù)據(jù)往往比較少,研究者所掌握的先驗(yàn)知識并不是特別全面。將AI和先驗(yàn)知識有效結(jié)合,是研究者所關(guān)注的重要問題。目前在這一領(lǐng)域,AI已實(shí)現(xiàn)有效的應(yīng)用。一是將先驗(yàn)知識嵌入到AI模型中,減少模型本身的數(shù)據(jù)需求,提升模型的泛化能力和可解釋性。此外,可利在融合物理先驗(yàn)知識的同時(shí),探索未知的物理規(guī)律,發(fā)現(xiàn)新知識。在過去十幾年中,AI+應(yīng)用數(shù)學(xué)/應(yīng)用物理領(lǐng)域已經(jīng)取得許多進(jìn)展,主要集中在“數(shù)據(jù)+機(jī)理”雙驅(qū)動(dòng)的機(jī)器學(xué)習(xí)方法和應(yīng)用方面,其中包括偏微分方程求解、從數(shù)據(jù)中提取控制方程,在偏微分方程求解方面,美國布朗大學(xué)研究者提出物理啟發(fā)深度學(xué)習(xí)方法,可以用來對復(fù)設(shè)計(jì)了一個(gè)新的方法,可以解決核反應(yīng)堆的控制問題。而機(jī)器學(xué)習(xí)方法在解決偏微分方程的同時(shí),也可以加速大規(guī)模的原子和分子體系進(jìn)行多尺度建模等。二是探索從數(shù)據(jù)中發(fā)現(xiàn)未知知識的方法,需要將連接主義和符號主義的算法進(jìn)行統(tǒng)一,在數(shù)據(jù)青源學(xué)術(shù)研討觀點(diǎn)報(bào)告特殊的數(shù)據(jù)等。此外,將知識嵌入與知識發(fā)現(xiàn)有機(jī)統(tǒng)一,實(shí)現(xiàn)數(shù)據(jù)和已知的機(jī)理有效融合,是六、AI在其他領(lǐng)域的進(jìn)展理論數(shù)學(xué)主要是通過發(fā)現(xiàn)某種特定的數(shù)學(xué)模式,并利用這些模式來提出和證明數(shù)學(xué)猜想,形成相應(yīng)的定理。DeepMind去年在《Nature》發(fā)表一篇文章,利用機(jī)器學(xué)習(xí)歸因技術(shù),在紐結(jié)理論和表示論這兩個(gè)領(lǐng)域,協(xié)助數(shù)學(xué)家發(fā)現(xiàn)了全新的猜想和定理,在拓?fù)鋷缀谓绠a(chǎn)生了轟動(dòng)機(jī)器學(xué)習(xí)在考古學(xué)方面已實(shí)現(xiàn)部分應(yīng)用。2發(fā)文,創(chuàng)建一種名為Ithaca的模型,可以幫助恢復(fù)古希臘銘文中缺失的文字,還可以為文字寫下的時(shí)間和可能的地理來源提供建議,體現(xiàn)了AI在人文社科方面成功應(yīng)用。青源學(xué)術(shù)研討觀點(diǎn)報(bào)告七、AI的可解釋性在AI+Science領(lǐng)意,模型的可解釋性至關(guān)重要。理解模型推理和決策的依據(jù),有助于人們信任其分生的結(jié)果,并為破解自然科學(xué)規(guī)律提供重要參考。AI可解釋研究包括研究啟發(fā)式算法、探索公理法作為判斷AI可解釋性的準(zhǔn)則,如Lime等算法,可以找到局部信息,通過線性函數(shù)擬合的由于各種啟發(fā)式算法層出不窮,研究者很難判斷算法的好壞,研究者進(jìn)一步提出了可解釋性的公理化理論體系,如果算法滿足特定的公理(如Efficiency、Symmetry、Linearity等不同的性質(zhì)),就可以認(rèn)為算法的可解釋性較好。公理?法分為克種模式,分別是離散變量公理系統(tǒng)和連續(xù)變量公理系統(tǒng)?；陔x散變量公理系統(tǒng)需要滿足一些特征,比如LocalAccuracy、Missingness、Consistency一致性等。其中,ShapleyValue是唯一的解決?案?；谶@一思路,研究者提出了很多算法,包括Sensitivity、ImplementationInvariance等的一系列公理。對于連續(xù)變量公理系統(tǒng),全要是基于Sensitivity、ImplementationInvariance等特征提出缺一系列的解決?案,如基于未缺在AI可解釋?面,未缺探索的重要問題是:通過提出新的框架,