深度學習框架：算法集成和產(chǎn)業(yè)基礎(chǔ)

深度學習框架：算法集成和產(chǎn)業(yè)基礎(chǔ)國務(wù)院發(fā)展研究中心馬駿馬淑萍；百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司胡曉光張軍發(fā)布時間:2023-11-02【內(nèi)容提要】人工智能發(fā)展離不開算法、算力、數(shù)據(jù)三要素，深度學習框架是加速算法創(chuàng)新和應(yīng)用的基礎(chǔ)軟件，是決定產(chǎn)業(yè)技術(shù)水平的關(guān)鍵。在深度學習框架方面，我國與美國存在較大差距。美國的領(lǐng)先地位源自先發(fā)優(yōu)勢，也得益于科技巨頭的大力推動，更重要的是生態(tài)體系導(dǎo)致的強者恒強。在大國競爭的背景下，應(yīng)高度重視深度學習框架在人工智能產(chǎn)業(yè)發(fā)展中的關(guān)鍵作用，遵循產(chǎn)業(yè)發(fā)展規(guī)律制定長期追趕策略?！娟P(guān)鍵詞】深度學習框架，人工智能，算法集成基于深度學習框架在自然語言處理、內(nèi)容生成方面的能力，人工智能開始從解決單一任務(wù)向通用人工智能邁進，有望成為引領(lǐng)新一輪技術(shù)創(chuàng)新的關(guān)鍵技術(shù)。[1]大模型背后是新的產(chǎn)業(yè)結(jié)構(gòu)體系，傳統(tǒng)信息產(chǎn)業(yè)的基本結(jié)構(gòu)體系為“芯片—操作系統(tǒng)—應(yīng)用”，人工智能產(chǎn)業(yè)的基本結(jié)構(gòu)體系則演變?yōu)椤靶酒蚣堋Ｐ汀獞?yīng)用”。個人電腦（PC）時代美國的“Windows＋Intel”作為產(chǎn)業(yè)基礎(chǔ)主導(dǎo)了全球產(chǎn)業(yè)發(fā)展，人工智能（AI）時代美國的“深度學習框架＋英偉達”可能重演歷史。一、深度學習框架是人工智能產(chǎn)業(yè)發(fā)展的關(guān)鍵基礎(chǔ)深度學習框架是圍繞深度學習算法創(chuàng)新和應(yīng)用形成的基礎(chǔ)軟件，包含算法開發(fā)、模型訓練、推理部署等核心功能。基于深度學習框架，可進一步匯聚算法模型、套件工具等軟件，構(gòu)建服務(wù)模型開發(fā)至部署平臺。國際上典型代表有TensorFlow、PyTorch，國內(nèi)有PaddlePaddle、MindSpore。深度學習框架在產(chǎn)業(yè)生態(tài)中的關(guān)鍵基礎(chǔ)作一是共享模塊化工具，減少重復(fù)勞動。深度學習框架提供基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，如卷積、池化、全連接、多頭注意力等，實現(xiàn)神經(jīng)網(wǎng)絡(luò)的反向傳播計算，供開發(fā)者使用，讓開發(fā)者在他人成果的基礎(chǔ)上專注于更高層級的創(chuàng)新。深度學習框架不僅提供編譯優(yōu)化全局代碼的靜態(tài)開發(fā)模式，還提供調(diào)整局部代碼即可獲得執(zhí)行結(jié)果的動態(tài)開發(fā)模式，二是提供開發(fā)部署工具，賦能產(chǎn)業(yè)鏈上下游。在開發(fā)方面，深度學習框架不僅適配各類硬件（不同類型的CPU、GPU），還可適用各類操作系統(tǒng)（Windows、Linux、MacOS、Android、iOS等），且支持多種編程接口（C＋、Python、Java及大量API等）。在部署方面，深度學習框架還可以提供全流程、全場景推理部署工具，支持服務(wù)器、移動端、邊緣端、網(wǎng)頁端等不同硬件場景。三是將學術(shù)創(chuàng)新直接轉(zhuǎn)化為產(chǎn)品，成為科研創(chuàng)新商業(yè)化的橋梁?？蒲腥藛T在視覺、自然語言處理等人工智能領(lǐng)域通過使用深度學習框架取得大量研究成果，部分成果會隨論文一起發(fā)布開源。這些算法模型在開源社區(qū)快速擴散和不斷演進，并轉(zhuǎn)化為相關(guān)智能產(chǎn)品，是深度學習技術(shù)不斷突破創(chuàng)新的重要動力。四是構(gòu)建生態(tài)，實現(xiàn)正反饋循環(huán)。深度學習框架匯聚了科研人員、開發(fā)人員和應(yīng)用部署人員，不同人群既從其中獲得技術(shù)工具支持，也貢獻出算法和數(shù)據(jù)。深度學習框架生態(tài)產(chǎn)業(yè)鏈上匯聚相關(guān)資源，互相支持、快速迭代，形成正反饋效應(yīng)，加快產(chǎn)業(yè)生態(tài)創(chuàng)新的步伐。人工智能發(fā)展幾乎離不開深度學習框架的支撐（圖1），如OpenAI開發(fā)GPT系列大模型建立在PyTorch上。國內(nèi)的PaddlePaddle深度學習框架創(chuàng)造67萬個深度學習模型，如百度的文心一言大模型為20多萬家企事業(yè)單位提供人工智能服二、中美深度學習框架差距較大美國是深度學習框架的起源地和領(lǐng)導(dǎo)者，形成了以TensorFlow、PyTorch為代表的多個主流框架。我國是跟隨者，主要代表框架是Paddlepaddle、Mindspore，總與其他開源項目一樣，生態(tài)是深度學習框架的決定性因素。性能是競爭的起點，但各個框架相互學習，在兼容性、便利性等方面逐漸趨同。生態(tài)決定了創(chuàng)新能力和速度，強大的生態(tài)參與者眾多，網(wǎng)絡(luò)效應(yīng)強、協(xié)同效率高，帶來的是貢獻代碼多、修訂錯誤能力強、應(yīng)用更加廣泛。深度學習框架一般在GitHub上托管，GitHub統(tǒng)計“提交次數(shù)”“分叉數(shù)”“收藏數(shù)”“貢獻者數(shù)”“項目使用數(shù)”等生態(tài)指標。美國在深度學習框架的生態(tài)指標方三、中美深度學習框架的差距來源分析美國在深度學習框架上的領(lǐng)先地位既反映其綜合實力，也體現(xiàn)數(shù)字經(jīng)濟強者恒強的規(guī)律，我們要充分認識到創(chuàng)新追趕的艱巨性。西方學術(shù)界一直存在開源共享的文化，2007年蒙特利爾大學的YoshuaBengio和IanGoodfellow推出深度學習庫Theano，2013年加州伯克利大學的賈揚清建立深度學習框架Caffe，對學術(shù)研究發(fā)揮重要作用。之前深度學習領(lǐng)域缺少完全公開全部代碼、算法和各種細節(jié)的框架，導(dǎo)致很多研究人員多次重復(fù)實現(xiàn)相同的算法。早期框架的建立對于深度學習開源社區(qū)的貢獻非常大，不僅打下了產(chǎn)業(yè)基礎(chǔ)，也培養(yǎng)了大量人才。美國深度學習框架的領(lǐng)先都是建立在早期創(chuàng)新的基礎(chǔ)上，如Theano創(chuàng)始人轉(zhuǎn)向TensorFlow，成為主要技術(shù)骨干；PyTorch的前身是2002年發(fā)布初版的Torch，Caffe的創(chuàng)始人賈揚清于2016年加入Facebook，為PyTorch發(fā)展作出了貢獻。而我國的深度學習框架起步較晚，如PaddlePaddle和MindSpore分別于2016年8月和2020年3月才推出。（二）得益于科技巨頭的大力推動科技巨頭不僅貢獻大量源代碼，也是重要用戶，在產(chǎn)業(yè)生態(tài)方面具有極強號召力。美國頂級深度學習框架有四大陣營，包括Google領(lǐng)導(dǎo)的TensorFlow、Amazon參與的MXnet、Facebook傾力打造的PyTorch、Microsoft積極支持的CNTK。我國領(lǐng)先的深度學習框架PaddlePaddle和MindSpore，是由百度和華為兩大科技企業(yè)支持。美國的四大科技巨頭在實力和號召力上領(lǐng)先于我國同類企業(yè)，因此對深度學習框架的支持力度也更大。（三）依靠強大生態(tài)體系的正反饋效應(yīng)不斷鞏固加強全球開發(fā)者大部分活躍在PyTorch和TensorFlow社區(qū)，社區(qū)積累的數(shù)據(jù)和算法越來越多，在使用中也越來越完善，而且用戶形成了使用習慣，在工作招聘中也會占有一定優(yōu)勢。為進一步促進PyTorch生態(tài)的發(fā)展，2022年9月臉書公司將PyTorch移交給Linux基金會管理，為框架建立一個更加“中立”的家園，打造一個透明的社區(qū)治理機制，用戶、維護者和社區(qū)開始將其視為可以永久依賴和信任的公共資源。創(chuàng)新生態(tài)匯聚了全球力量，以科研論文為例，根據(jù)PaperswithCode網(wǎng)站對Github倉庫導(dǎo)入內(nèi)容和檢查代碼的統(tǒng)計，絕大多數(shù)科研論文都是在Pytorch、Tensorflow等少數(shù)平臺實現(xiàn)，這些平臺由此積累的算法優(yōu)勢會越來越明顯。科研生態(tài)的巨大優(yōu)勢幫助PyTorch獲得了大量的用戶，吸引更多美國頂尖高科技企業(yè)如英偉達、微軟等持續(xù)為PyTorch生態(tài)做貢獻，比如英偉達開源Megatron-LM以幫助PyTorch解決大模型并行訓練的問題，微軟開源ONNXRuntime以幫助PyTorch解決推理部署的問題。相比之下，國內(nèi)的PaddlePaddle和MindSpore主要依靠核心企業(yè)貢獻，生態(tài)體系的差距非四、我國需不斷筑牢人工智能產(chǎn)業(yè)的算法基礎(chǔ)（一）高度重視深度學習框架的關(guān)鍵基礎(chǔ)作用第一，深度學習框架對人工智能企業(yè)發(fā)揮關(guān)鍵支撐作用。例如，PaddlePaddle的前身是百度在2013年自主研發(fā)的深度學習平臺，在百度內(nèi)部已經(jīng)使用多年，支持百度內(nèi)部各項業(yè)務(wù)。2016年8月百度開源了PaddlePaddle，在短時間內(nèi)迅速成為全球開發(fā)熱度（GithubPullRequest數(shù)量）增速最高的開源深度學習平臺，這不僅為其他企業(yè)提供服務(wù)，也加快PaddlePaddle的發(fā)展，為百度人工智能業(yè)務(wù)提供更加強大的支撐。美國四大互聯(lián)網(wǎng)企業(yè)都選定一個深度學習框架，作為各自企業(yè)人工智能產(chǎn)品服務(wù)開發(fā)的基礎(chǔ)平臺，形成深度合作關(guān)系。這些企業(yè)將框架開放，吸引社會力量參與，實際上也是幫助企業(yè)提升算法平臺。第二，新形勢下必須高度重視產(chǎn)業(yè)安全。我國的人工智能產(chǎn)業(yè)目前還是以利用國外深度學習框架、依托國外開源社區(qū)為主，對國外依附性強，存在較大的開源項目鏈斷供風險。從理論上看，目前全球領(lǐng)先的深度學習框架，如TensorFlow、PyTorch等，均誕生于美國或由美國公司、基金會掌控，美國政府完全可以命令這些框架閉源斷供。從實踐上看，大國競爭的重點正是以人工智能為代表的高科技領(lǐng)域，美國政府已經(jīng)開始利用關(guān)閉開源軟件這一重量級“武器”，例如美國政府將一些中國企業(yè)列入“實體名單”，限制使用開源的安卓系統(tǒng)。因此，我國只有高度重視并建立堅實的人工智能產(chǎn)業(yè)基礎(chǔ)，才能真正提升產(chǎn)業(yè)國際競爭力。（二）遵循產(chǎn)業(yè)發(fā)展規(guī)律制定長期追趕策略數(shù)字經(jīng)濟的競爭是產(chǎn)業(yè)生態(tài)的競爭，產(chǎn)業(yè)生態(tài)顯著放大了先發(fā)優(yōu)勢與后發(fā)劣勢。深度學習框架又是技術(shù)發(fā)展最快的領(lǐng)域，美國依靠科技和產(chǎn)業(yè)優(yōu)勢進一步實現(xiàn)強者恒強、贏者通吃。構(gòu)建人工智能底層平臺所需的技術(shù)要求高、周期長、投入大、收益慢，在美國已經(jīng)形成先發(fā)優(yōu)勢背景下，大多數(shù)開發(fā)者包括中國開發(fā)者傾向于選擇在美國平臺上進行二次開發(fā)應(yīng)用，進而形成全球開發(fā)者生態(tài)，產(chǎn)生正反饋效應(yīng)。我國要突破生態(tài)系統(tǒng)的劣勢并不容易，需要全面提高綜合實力，并經(jīng)歷逐步積累，實現(xiàn)從量變到質(zhì)變的過程。我們必須遵循產(chǎn)業(yè)發(fā)展規(guī)律從長計議。在策略上，首先要保持“緊密跟隨”態(tài)勢，不要掉隊太遠；其次爭取在部分領(lǐng)域形成獨特優(yōu)勢，支持國內(nèi)產(chǎn)業(yè)發(fā)展，例如在工業(yè)應(yīng)用領(lǐng)域，形成強大的開源生態(tài)；最后，要堅持積累、縮短差距，在生態(tài)力量積累到一定程度時，力爭與美國并駕齊驅(qū)甚至實現(xiàn)超越。（三）建議政府部門和產(chǎn)業(yè)界共同商議對策思路從政策角度看，必須解決4個關(guān)鍵堵點：一是解決國內(nèi)科研論文主要在海外深度學習框架上完成的問題。我國人工智能科研論文數(shù)量已經(jīng)名列世界前茅，從科技交流角度和支持國內(nèi)產(chǎn)業(yè)角度看，不應(yīng)限制這些論文在海外平臺上實現(xiàn)，但要鼓勵這些科研論文在國內(nèi)平臺上實現(xiàn)，將論文優(yōu)勢轉(zhuǎn)化為產(chǎn)業(yè)創(chuàng)新優(yōu)勢。二是解決網(wǎng)絡(luò)對外開放的問題。要在網(wǎng)站訪問、數(shù)據(jù)流動等方面提供便利，為全球資源匯聚創(chuàng)造條件。三是鼓勵各種技術(shù)創(chuàng)新組織的創(chuàng)立和發(fā)展。例如，放寬對開源基金會設(shè)立的限制，鼓勵社會資本參與，對于捐助的個人和企業(yè)予以減免稅鼓勵。四是鼓勵國內(nèi)深度學習框架在教育中的應(yīng)用。支持企業(yè)在高校開設(shè)實踐課程，鼓勵青年學者利用國產(chǎn)學習框