人工智能驅(qū)動科學研究新范式：從AI4S到AI4S 智能科學

Article4-20-NovelParadigmforAI-drivenScientificResearch:FromAI4StoIntelligentScienceFeiyueTheStateKeyLaboratoryforManagementandControlofComplexSystems,InstituteofAutomation,ChineseAcademyofSciences,Beijing100190,China,feiyue.wang@SeenextpageforadditionalRecommendedWANG,FeiyueandMIAO,Qinghai(2023)"NovelParadigmforAI-drivenScientificResearch:FromAI4StoIntelligentScience,"BulletinofChineseAcademyofSciences38:Iss.4,ArticleDOI:/10.16418/j.issn.1000-ThisScientificFocusisbroughttoyouforfreeandopenaccessbyBulletinofChineseAcademyofSciences(ChineseVersion).IthasbeenacceptedforinclusioninBulletinofChineseAcademyofSciences(ChineseVersion)byanauthorizededitorofBulletinofChineseAcademyofSciences(ChineseVersion).Formoreinformation,pleasecontactlcyang@,yjwen@.NovelParadigmforAI-drivenScientificResearch:FromAI4StoIntelligentFeiyueWANGandQinghaiThisscientificfocusisavailableinBulletinofChineseAcademyofSciences(Chinese人工人工智能驅(qū)動的科學研究新范式：從AI4S到智能科PAGE536PAGE5362023384院刊院刊Scientific引用格式：王飛躍繆青海人工智能驅(qū)動的科學研究新范式：從AI4S到智能科學中國科學院院刊202338(4536-540doi:1000-WangFY,MiaoQH.NovelparadigmofAI-drivenscientificresearch:FromAI4StoIntelligentScience.BulletinofChineseAcademyofSciences,2023,38(4):536-540,doi:10.16418/j.issn.1000-3045.20230406002.(inChinese)從AI4S到智能科學王飛躍 繆青海中國科學院自動化研究所復雜系統(tǒng)管理與控制國家重點實驗室北京中國科學院大學人工智能學院北京摘要近期，以ChatGPT為代表的大模型技術正開啟人類社會智能化的新紀元。研究人工智能成功案例背后的技術原理，探索人工智能驅(qū)動的科學研究（AIforScience，AI4S）新范式，對促進我國科技進步、增強國家競爭力具有十分重要的意義。文章首先以數(shù)學、物理學、生物學、材料科學領域為例，簡述AI4S的研究進展。其次，面向近年來最為成功的人工智能范例，分析AlphaFold和ChatGPT的基本原理和關鍵技術。最展新趨勢，探討AI4S關鍵詞智能科學，人工智能，人工智能驅(qū)動的科學研究，ChatGPT，人工智能生成內(nèi)容（AIGC），第五范5.0，平行系統(tǒng)DOI10.16418/j.issn.1000-ChatGPT在2022（AI）浪潮。以ChatGPT為代表的大模型技術影響空前深遠，正推動AI技術從特定應用和游戲等領域進入圖靈獎得主JimGary認為科學研究經(jīng)歷了經(jīng)驗

范式、理論范式、計算范式、數(shù)據(jù)驅(qū)動范式等4種范式，即第五范式。第五范式以虛實交互、平行驅(qū)動的AI技術為核心，以智聯(lián)網(wǎng)和區(qū)塊鏈構(gòu)建基礎，考慮為工0。而AI驅(qū)動的科學研究（AIforScience，稿件收到日期：2023年4月7①“工業(yè)5.0”的概念由本文作者王飛躍于2014年首先提出，并由德國學術界和工業(yè)界呼應已形成國際共識.王飛躍.工業(yè)4.0：皇后的新衣？(2014-11-24)./sbhtmlnews/2014/11/294317.shtm.近期，科學技術部會同國家自然科學基金委員會啟動“人工智能驅(qū)動的科學研究”（AIforScience）專項部署。本文通過概述AI4S發(fā)展現(xiàn)狀、分析典型I應用范例，進一步探討S范式創(chuàng)新之路。AI4S近幾年來，在深度學習等AI技術的推動下，AI4S在數(shù)學、物理學、生物醫(yī)學、材料科學等領域取數(shù)學領域。2017年以來，科學家嘗試使用機器學習、ResNet、seq2seq模型等技術求解偏微分方程，獲得了更快更準的結(jié)果。2021年，DeepMind開發(fā)了啟發(fā)數(shù)學家直覺靈感的機器學習框架，幫助數(shù)學家和AIKnots理論方面發(fā)現(xiàn)新定理，證明了已提出40年之久的Kazhdan-Lusztig多項式。202210DeepMindNature發(fā)文，推出在AlphaZero（前身是著名的AlphaGo）基礎上開發(fā)的Alphaensor，并通過強化學習找到了矩陣相乘的最快算法。DeepMind的系列工作，為AI驅(qū)動的數(shù)學研究（AIforMath）物理領域。AI方法除了用于實驗數(shù)據(jù)處理和分析之外，還幫助科學家設計實驗、優(yōu)化參數(shù)。20世紀90年代，高能與核物理學界就使用神經(jīng)網(wǎng)絡和符號AI輔助研究。2014年，人工神經(jīng)網(wǎng)絡贏得了ATLAS實驗中識別希格斯玻色子的挑戰(zhàn)。2015年，歐洲核子研究組織CERN成立了機器學習工作組來處理大型強子對撞機（LHC）產(chǎn)生的海量數(shù)據(jù)。2022年2月，DeepMind在Nature上發(fā)表了其工作：通過深度強化學習對托卡馬克等離子體進行磁控。2022年8月，物理學家使用人工神經(jīng)網(wǎng)絡找到了質(zhì)子中存在隱性內(nèi)含粲夸克（intrinsiccharmquarks）的證生物醫(yī)學領域。AlphaFold是AI4S領域最成功的代表。從2016年開始，DeepMind構(gòu)建AI系統(tǒng)來

挑戰(zhàn)蛋白質(zhì)三維結(jié)構(gòu)預測任務。AlphaFold將預測誤差顯著提升了效率。DeepMind宣布其2億個蛋白質(zhì)結(jié)構(gòu)物研究具有重大意義。除AlphaFold外，華盛頓大學開發(fā)的RoseTTAFold、中國科學技術大學研發(fā)的SCUBA材料科學領域。2011年，美國提出“材料基因組計劃”（MGI），旨在解碼材料的不同組成成分和性能的對應關系，借助高通量計算、大數(shù)據(jù)、AI等技術，有效縮短了材料研發(fā)周期、降低了研發(fā)成本。2016Nature發(fā)布了美國哈弗福德學院和普渡大學的研究成果，科研人員利用機器學習算法，用“失敗”的實驗數(shù)據(jù)預測了新材料合成，這啟示機器學習等I技術成為材料科學的重要研究方式。正如我們所見，AI在科學研究中的角色隨著深度學習的繁榮而發(fā)生了變化。早期，AI方法只是作為輔助工具，幫助分析實驗數(shù)據(jù)。如今，AI方法已成為更復雜任務（如定理證明、結(jié)構(gòu)設計和知識發(fā)現(xiàn)）實現(xiàn)過程中的關鍵技術。AI還在不斷拓展學科領域，“人工智能驅(qū)動的科學研究”專項部署重點面向數(shù)學、物理學、化學、天文學等基礎學科，必將為這些學科快速發(fā)展帶來新契機。熱點背后的AI習時代下的AI研究進展迅速，AlphaGo、AlphaFold、ChatGPT等成為AI發(fā)展歷史上一座座里程碑。分析這些案例特點，總結(jié)成功經(jīng)驗，對于AI后續(xù)的創(chuàng)新和應AlphaFoldDeepMind推出的AlphaFold系列是AI4S的最成功的代表之一，尤其是第二代AlphaFold22020年全球蛋白質(zhì)結(jié)構(gòu)預測比賽（CASP14）人工人工智能驅(qū)動的科學研究新范式：從AI4S到智能科PAGE538PAGE5382023384院刊院刊三維結(jié)構(gòu)預測準確性接近實驗結(jié)果。AlphaFold2的目從深度學習的角度來看，AphaFold23①AlphaFold2能更強的Evoformer。②AlphaFold2不是簡單的單向處理流程，而是采用了循環(huán)迭代優(yōu)化。③AlphaFold2同入含噪自蒸餾處理。整體來看，AlphaFold2是一個包面的創(chuàng)新，多元知識的表示和融合在AphaFold2中扮演著更為關鍵的角色。①蛋白質(zhì)結(jié)構(gòu)預測是一個專業(yè)數(shù)據(jù)。ApphaFold2使用了2序列數(shù)據(jù)集，如UniRef90、BFD、MGnify“同一位置的氨基酸在物種間是不變的，2個不同位置的氨基酸同步變化”這一領域知識，AlphaFold2從遺傳序列數(shù)據(jù)庫中搜索并構(gòu)建多序列比對MSAs），而MSA的質(zhì)量決定了ApphaFold2的預測準確性；另一種是結(jié)構(gòu)數(shù)據(jù)集，如PDB和PDB70等。ApphaFold2從這些結(jié)構(gòu)數(shù)據(jù)集中搜索并構(gòu)建殘基之間關系的配對（pair）表示。通過這種方式，一維氨基酸序列通過領域知識和數(shù)據(jù)集進行擴充，形成2個二維關系表示。②EvoformerMSAPair表示，在行、列2個維度進行注意力計算，完成2種表示的交叉融合。需要注意的是，在配對（pair）表示的注意力計算中引入了幾何知識，即氨基酸之間的距離要滿足三角不等式約束。③在結(jié)構(gòu)預測模塊中，利用三維空間結(jié)構(gòu)平移和旋轉(zhuǎn)等變的知識，ApphaFold2引入了不動點注意力（IA）計算。根據(jù)IA輸出的殘基相對位移和旋轉(zhuǎn)，AlphaFold2進一步預測原子的空間位置。

OpenMM中的Amber力場優(yōu)化工具，以確保輸從對AphaFold2研究范式的分析可以看出，其特點是深度學習技術與各類知識的有機融合，涵蓋了知4種第三代AI的核心要素。因此，圍繞深度學習，研究知識獲取、知識表示、知識集成、知識利用，即知識自動化方法，探索“知識-學習”協(xié)同組織形式，開發(fā)協(xié)助AI4S研究的系統(tǒng)化基礎框架，應當?shù)玫紸I界和科學界的共同重視和大力投入。ChatGPT自2022年11月起，ChatGPT掀起新一輪AI全球浪潮。ChatGPT因其能夠進行多輪對話、承認錯誤、ChatGPT在回答問題的準確性和邏輯完整性方面超越也有很好的表現(xiàn)。ChatGPT是OpenAI近年來研發(fā)的一GPT3個技術特征。ChatGPT基于大規(guī)模預訓練語言模型，即著GPT-3系列（GPT-3.5）。在過去的幾年里，大規(guī)ChatGPT使用人類反饋強化學習（RLHF）GP-3.5上進行微調(diào)。微調(diào)是包含2個數(shù)據(jù)集的過程，共有3步：第一步，由2AI訓練師基于給定采樣提示（prompt）通過對話生成人類演示數(shù)據(jù)集，用于GP-3.5微調(diào)訓練，結(jié)果稱為有監(jiān)督微調(diào)模型（SFT）。第二步，通過AI培訓師和聊天機器人之間的對話收集比較數(shù)據(jù)集，對SFT模型輸出的多個結(jié)果，由AI培訓師給出從最好到最差的打分排序。之（PPO）reward，通過強化學習進一步微調(diào)SFT模型。第二步和第三步重復多次，PPO模型，即ChatGPT。GPT模型按照“開發(fā)-部署”的理念迭代完善。將初步開發(fā)完成的模型部署上線，為用戶提供測試服務，由此收集用戶與模型的交互數(shù)據(jù)作為進一步優(yōu)化模型的基礎。開發(fā)（學習）和部署（應用）形成閉環(huán)，這種迭代優(yōu)化策略在降低語言模型誤用風險方面起著至關重要的作用。ChatGPT范式再次展示了預訓練大型模型的強大習、指示學習、提示學習是AI的重要研究方向。探索AI4SAI本身的研究范式也在不斷轉(zhuǎn)變。自AI誕生之屬性等），使用初級方法（如Perceptron等）解決簡單了3種基本范式——監(jiān)督學習、無監(jiān)督學習和強化學因此，隨著新的算法（BP算法、分層訓練等）和模型（CNN、長短期記憶人工神經(jīng)網(wǎng)絡LSTM等）的出現(xiàn)，AI逐漸發(fā)展出主動學習、遷移學習、終身學習等新范式。近年來，AlphaGo和ChatGPT等前沿進展以變的角度看待人工智能的發(fā)展，對促進探索AI4S創(chuàng)算法是人工智能的基石。典型AI新范式中使用的包括搜索和推理。例如，AlphaGo的主干是蒙特卡洛樹搜索（MCTS）

受熱力學啟發(fā)的擴散模型（DiffusionModel），在AI出，ScienceforAI對AI算法創(chuàng)新也具有重要意義，應得到同AI4S一樣的重視。機器學習模型的創(chuàng)新是推動人工智能發(fā)展的核心要素。尤其是神經(jīng)網(wǎng)絡新架構(gòu)：從M-P模型到Perceptron，從LeNet到ResNet，從LSTM到Transformer。AlphaGo以CNNAlphaFold2用Transformer（EvoFormer）替換CNN模一。ChatGPT建立在基礎模型（GPT-3）之上，充分利模效應，研究利用prompt等方法引導大模型釋放內(nèi)在能力，是AI4S重要方向之一。學習，在一定程度上能克服不同任務之間存在數(shù)據(jù)新范式在數(shù)據(jù)的使用方面有更多亮點，Syn2RealSim2Real等數(shù)據(jù)生成方法得到越來越多的重視。例如，AlphaGo首先在人類棋局上訓練策略，通過自我對弈產(chǎn)生更多的數(shù)據(jù)來訓練更強大的策略網(wǎng)絡，進而產(chǎn)生更多的數(shù)據(jù)來訓練強大的價值網(wǎng)絡。AlphaFold充分利用遺傳數(shù)據(jù)和結(jié)構(gòu)數(shù)據(jù)，還通過自蒸餾的方式使用未標注數(shù)據(jù)來彌補標注數(shù)據(jù)的不足。ChatGPT使用人類的演示數(shù)據(jù)來微調(diào)GP-3.5，并通過prompt在聊天機器人和AI訓練師之間生成更多的數(shù)據(jù)，進一步訓AI基本范式很少顯式引入知識，但在模型設計（CNN）時引入的偏差（bias）也可以看作是先驗3種引入知識的方式：①直接的設計來提高學習性能；②使用從先前任務或其他2種方法，設計并維護一個專門的知識庫目前，大多數(shù)機器學習范式都采用知識的嵌入表示，以便將知識融合到學習過程中；但其中有2個例外，即終身學習和歸納學習，它們具有獨立的知識庫。我們