生成式人工智能(GenAI)在生物醫(yī)藥大健康行業(yè)應用進展報告

第一章GenAI技術進展概述 4GenAI應用進展情況 4GenAI技術定義及背景 4GenAI應用領域與案例 5GenAI應用關鍵技術 8模型訓練 8微調 9RAG 10提示詞工程 13LangChain 16AIAgent 17GenAI大模型發(fā)展現狀 18國外大模型 18國內大模型 25第二章GenAI在生物醫(yī)藥大健康行業(yè)主要應用場景總覽 32GenAI在生物醫(yī)藥大健康行業(yè)主要應用場景總覽 33藥物研發(fā) 34靶點發(fā)現與驗證 34分子生成 36中醫(yī)藥研發(fā) 41臨床研究 44監(jiān)管合規(guī) 44臨床試驗中心篩選 45藥物選擇、患者入組 45臨床研究方案設計和試驗報告生成 46藥物警戒(PV) 47上市及商業(yè)化 48學術推廣 48患者教育 50臨床疾病診療 50診前 50診中 51診后 52中醫(yī)診療 54現狀總結 57第三章GenAI在生物醫(yī)藥大健康行業(yè)的挑戰(zhàn)、展望及落地建議 58面臨挑戰(zhàn) 59數據合規(guī)性、符合醫(yī)學邏輯及循證溯源 60監(jiān)管合規(guī)性 60數據安全性及私有化部署 60場景選擇和成本 60內部利益的協(xié)同 60未來展望 61落地建議 62捕捉變化，動態(tài)調整 62頂層設計，數智思維 62目標錨定，小步快走 63能力構建，組織提質 64合作共行，優(yōu)勢互補 642第一章：GenAI技術進展概述3GenAI應用進展情況當OpenAI在2022年11月30日發(fā)布ChatGPT的時候，沒有人會意識到，新一代人工智能浪潮將在接下來短短數月給人類社會帶來一場眩暈式的變革。自2010問世以來，人工智能進入到第三次高潮。而2017年Transformer算法將深度學習推向了大模型時代。OpenAI基于Transformer的Decoder部分建立起來了GPT家族。ChatGPT一經面世便風靡全球，人們驚訝于其能夠進行連貫、有深度對話的同時，也驚異地發(fā)現了它涌現了推理、思維鏈等體現智能的能力。伴隨AI預訓練大模型持續(xù)發(fā)展，生成式人工智能（GenAI）算法不斷創(chuàng)新以及多模態(tài)AI日益主流化，以ChatGPT為代表的GenAI技術加速成為AI領域的最新發(fā)展方向，推動AI迎來下一個大發(fā)展、大繁榮的時代，將對經濟社會發(fā)展產生重大的影響。GenAI技術定義及背景GenAI(GenerativeAI，生成式人工智能)指的是通過人工智能技術自動生成內容的生產方式。通過訓練模型來生成新的、與訓練數據相似的內容。與傳統(tǒng)類型的AI識別和預測現有數據的模式不同，GenAI著重于創(chuàng)造新的、有創(chuàng)意的數據，其關鍵原頻、視頻等多種領域都有廣泛的應用。GenAI目前最引人注目的應用當屬ChatGPT。ChatGPT是基于OpenAI公司的大語言模型GPT-3.5訓練、調試、優(yōu)化的聊天機器人應用，同一個AI模型可以處理各種各樣的文字和推理任務。ChatGPT發(fā)布僅兩個月即獲得1億月活用戶，超越了歷史上所有互聯(lián)網消費者應用軟件的用戶增長速度。以大語言模型、圖像生成模型為代表的GenAI技術，成為新一代人工智能的平臺型技術，助力不同行業(yè)實現價值躍升。GenAI大爆發(fā)的背后，普遍認為三個領域的AI技術的發(fā)展為其提供了肥沃的土壤，分別是生成算法、預訓練模型和多模態(tài)技術。第一，隨著各種生成算法的不斷創(chuàng)新突破，AI現在已經可以生成文字、代碼、圖像、語音、視頻物體等各種類型的內容和數據。GenAI與過去最顯著的區(qū)別是從分析AI（AnalyticalAI）發(fā)展為生成式AI（GenerativeAI）。分析式AI據進行分析、判斷、預測，最典型的應用之一是內容智能推薦；生成式AI模型則是學習已有數據后進行演繹、生成創(chuàng)造全新內容。第二，預訓練模型，特別是以ChatGPT為代表的大模型，引發(fā)了GenAI技術能力的質變。在過去，研究人員需要針對每一個類型的任務單獨訓練AI模型，訓練好的模型只能從事特定任務，不具有通用性。而預訓練的大模型技術顯著提升了GenAI模型的通用化能力和工業(yè)化水平，讓GenAIGenAI模型，包括ChatGPT、GPT-4等大語言模型（LargeLanguageModels，LLM）和Midjourney、StableDiffusion等圖像生成模型，又被稱為基礎模型（FoundationModels），其作為基于種類豐富的海量數據預訓練的深度學習算法，展現出強大的、更加泛化的語言理解和內容生成能力。以大語言模型（LLM）為例，經過海量的互聯(lián)經成為了各大企業(yè)競相追逐的AI方向。第三，多模態(tài)AI技術的發(fā)展。多模態(tài)技術讓GenAI模型可以跨模態(tài)地去生成各種類型的內容，比如把文字轉化為圖片、視頻（Sora）等等，進一步增強了GenAI模型的通用能力。GenAI應用領域與案例多模態(tài)內容生成文本生成領域自然語言生成是一種GenAI技術，可以生成逼真的自然語言文本。生成式AI可以編寫文章、故事、詩歌等，為作家和內容創(chuàng)作者提供新的創(chuàng)作方式。同時，它還可以用于智能對話系統(tǒng)，提高用戶與AI的交流體驗。ChatGPT(全名:ChatGenerativePre-trainedTransformer對話生成式預訓練變換模型)是由OpenAI開發(fā)的一個人工智能聊天機器人程序，于2022年11月推出。該程序使用基于GPT-3.5架構的大語言模型并通過強化學習進行訓練。ChatGPT目前仍以文字方式互動，可以解決包括自動文本生成、自動問答、自動摘要等在內的多種任務。Jasper已經開始為谷歌、臉書等知名公司提供文案GenAI的商業(yè)服務。圖像生成領域圖像生成是GenAI技術中最為普遍的應用之一。StabilityAI發(fā)布了穩(wěn)定擴散（StableDiffusion）模型，通過開源快速迭代大幅降低了AI繪畫的技術使用門檻，消費者可以通過訂閱旗下產品DreamStudio50多個國家超過100萬的用戶注冊。5音視頻創(chuàng)作與生成2024年2月16日，OpenAI繼一年前發(fā)布ChatGPT語言大模型之后，又發(fā)布了一款基于人工智能技術的視頻生成工具Sora，高質量視頻的文生視頻大模型，實現了視頻生成領域革命性變革，提供了全新的視覺體驗。在部分樣片中，Sora現實環(huán)境中的重力、碰撞等物理現象，可以通過直播視頻功能實時傳遞信息，用于，Sora確實打開了人類視頻創(chuàng)作的新天空，它將重塑視覺內容生成的未來，同時也反映出人工智能技術遠超預期的快速進步。有媒體稱，Sora電影與游戲GenAI可以用于生成虛擬角色、場景和動畫，為電影和游戲制作帶來更多的創(chuàng)意可能。此外，AI還可以根據用戶的喜好和行為生成個性化的故事情節(jié)和游戲體驗。2023年3月，騰訊AILab在GDC上提出了3D戲開發(fā)者以更低成本創(chuàng)造風格多樣、貼近現實的虛擬城市，提升3D虛擬場景的生產效率。其中重點分享了城市布局生成、建筑外觀生成和室內映射生成三大能力。整個路網生成和微調過程僅需要不到30分鐘，相比手動設計效率提升近100獨特建筑的制作時間也降低至17.5分鐘，大大提升了場景制作的效率。代碼生成領域經過自然語言和數十億行代碼的訓練。部分GenAI模型精通十幾種語言，包括Python、JavaScript、Go、Perl、PHP、Ruby的代碼。GitHubCopilot是一個GitHub和OpenAI合作產生的AI代碼生成工具，可根據命名或者正在編輯的代碼上下文為開發(fā)者提供代碼建議。官方介紹其已經接受了來自GitHub上公開可用存儲庫的數十億行代碼的訓練，支持大多數編程語言。翻譯GenAI可以直接應用于翻譯實踐之中，與傳統(tǒng)機器翻譯系統(tǒng)采用以句子為單位的方出可與人工翻譯譯文相媲美的翻譯作品。內容理解與分析騰訊會議AI小助手：只需通過簡單自然的會議指令，基于對會議內容的理解，就轉效率?？蒲信c創(chuàng)新(AIforScience)GenAI可以在化學、生物學、物理學等領域探索新的理論和實驗方法，幫助科學家發(fā)現新的知識。此外，GenAI還可以用于藥物設計、材料科學等領域，加速技術創(chuàng)新和發(fā)展。GenAI應用關鍵技術在GenAI領域中，有四種關鍵技術：模型訓練(ModelTraining)、微調(FineTuning)、檢索增強生成(RAG)和提示詞工程(PromptEngineering)。針對不同的業(yè)務目標和場景，選擇適當的技術模型方法至關重要。模型訓練(ModelTraining)：需要大量的數據和計算資源來從頭構建一個人工智能模型。它具有高度的可定制性和可擴展性，但耗時較長，成本最高。適用于全新的突破性應用，例如訓練一套中醫(yī)診療大模型。微調(Fine-Tuning)：專注于將現有模型適應特定任務，提供了定制性和效率之間的平衡。檢索增強生成(Retrieval-AugmentedGeneration-RAG)：通過整合外部知識庫來增強模型，非常適合需要當前或廣泛信息的任務，是現階段企業(yè)級知識庫以及Chatbot建設較高性價比的主要方法。提示工程(PromptEngineering)：依賴于設計有效的提示來引導預訓練模型，需要在提示設計方面的技能，但計算資源需求較低。這種方法不僅具有成本效益，而且非常有效，然而其潛力經常被低估。每種方法在不同應用中都有其優(yōu)勢和限制，取決于數據可及性、計算資源、特定的任務、對最新信息的需求以及所需技能和成本等因素。模型訓練模型訓練類似于AI系統(tǒng)開發(fā)的基礎階段(例如重新開發(fā)一個ChatGPT)。它涉及從零開始構建AI模型的過程，類似于將種子培育成長成一棵大樹。這個過程非常重要，因為它奠定了AI的基本能力和智能。主要適用的場景包括：新領域：當涉足現有模型不適用或不足的領域時。例如，開發(fā)一種尚未被探索的新型醫(yī)學診斷AI基于獨特數據集應用：在數據對特定需求具有獨特性的情況下，例如公司使用客戶數據來預測購買模式。創(chuàng)新和研究：非常適合研究和開發(fā)，用于測試新理論或模型。模型訓練是人工智能發(fā)展的基石，提供了無與倫比的定制化和創(chuàng)新潛力。然而，它需要大量數據和GPU計算資源和開發(fā)資源，成本很高，并帶有固有的風險，因此更適用于需要定制解決方案或在人工智能應用領域開辟新天地的情況。微調微調類似于磨練技藝嫻熟的藝術家，使其在特定類型中表現出色。它涉及對經過預訓練的模型進行調整，即對已經從大規(guī)模數據集中學到一般模式的模型進行專門任務或數據集方面的進一步提高。這一過程對于將通用人工智能模型適應特殊需求至關重要。例如基于醫(yī)學文獻訓練微調成一套更適合回答健康護理相關的問題。微調主要的適用場景包括:特定任務應用：適用于需要模型的一般理解與特定需求相匹配的任務，例如使語言模型適應醫(yī)學術語。有限資源：適用于無法負擔完整模型訓練所需的大量資源的情況。提升模型性能：當您需要提高預訓練模型在特定領域準確性時。GenAIRAGRAG介紹RAG，即檢索增強生成（Retrieval-AugmentedGeneration），是一種結合了信息檢索（Retrieval）和文本生成（Generation）的人工智能技術。RAG是GenAI領域的重大(LLM)。這種方法拓寬了人工智能的視野，使其能夠訪問和利用除初始訓練數據之外的大量信息。可RAG想象為一位學者，除了擁有自己的知識外，還可以即時訪問到一座全面的圖書館。圖1.RAG工作流程上圖展示了RAG架構的工作流程，整體分為五步：用戶向Chatbot（LLM應用）提出問題文段落信息將檢索結果的top_k題三者形成最終的提示詞prompt將prompt提交給大模型大模型生成輸出并返回給Chatbot，進而返回給用戶RAG的優(yōu)勢：提高答案準確性：通過引用外部知識庫中的信息，RAG答增加用戶信任：用戶可以通過引用的來源來驗證答案的準確性便于知識更新和引入特定領域知識：RAG通過結合LLM知識庫的非參數化知識，有效地解決了知識更新的問題減少幻覺問題：RAG確、可靠RAG的應用場景：問答系統(tǒng)：在問答系統(tǒng)中，RAG案，提高了回答的準確性和信息的豐富度內容創(chuàng)作：RAG節(jié)省大量的時間和人力資源數據分析與挖掘：RAG提供了一個強大的工具RAG技術通過結合最新的大語言模型和外部知識庫，為AI在自然語言處理領域的應用提供了新的可能性，尤其是在需要處理大量信息和提供準確回答的場景中在RAG的技術發(fā)展中，從技術角度，呈現出以下幾種范式：圖2.RAG技術發(fā)展范式其中GraphRAG（GraphRetrieval-AugmentedGeneration）據庫的檢索增強技術。它通過構建圖模型的知識表達，將實體和關系之間的聯(lián)系用圖的形式進行展示，并利用大語言模型（LargeLanguageModel,LLM）強。GraphRAG系對應于單詞，使得在檢索時能夠將實體和關系作為單元進行聯(lián)合建模。GraphRAG的處理流程劃分為兩個主要階段：第一階段，IndexintimeRAGSplit&Embedding操作。第二階段，QueryTime。Split&Embedding的可靠性。GraphRAG的主要特點：知識圖譜集成：GraphRAG能夠更好地理解實體間的關系和上下文信息。檢索增強：通過結合圖數據庫的查詢能力，GraphRAG多樣化的信息來滿足用戶的需求。上下文學習：GraphRAG支持In-ContextLearning，相關的上下文信息作為背景知識，從而生成更符合預期的響應。處理復雜查詢：GraphRAG識圖譜中的結構化信息來解決歧義問題。表達和推理能力提升：通過圖技術構建的知識圖譜，GraphRAG模型更好地理解實體間的關系，提升模型的表達和推理能力。適應性強：GraphRAG技術可以適配不同的大語言模型框架，如LlamaIndex、LangChain等，使得開發(fā)者可以專注于LLM的編排邏輯和pipelineGraphRAG尤其是在需要處理大量結構化數據和復雜上下文信息的場景中。隨著技術的進一步發(fā)展，GraphRAG有望在更多領域得到應用和推廣。提示詞工程提示詞工程（PromptEngineering，縮寫為PE）是一種AI技術，它通過設計和改進AI提示詞來提高AI的表現。PE關注提示詞的開發(fā)和優(yōu)化，幫助用戶將大模型用于各場景和研究領域。圖3.提示詞工程原理提示詞（prompt）的文字描述。AI模型會基于提示詞所提供的信息，生成對應的文本，亦或者圖片。比如，我們在ChatGPT示詞工程相關技能將有助于用戶更好地了解大模型的能力和局限性。主要優(yōu)點效率：不需要額外的培訓或計算資源，使其高效運作。靈活性：可以適應各種任務而無需改變基礎模型。創(chuàng)造力：允許對模型的輸出進行高度創(chuàng)造性的控制。主要挑戰(zhàn)依賴技能：提示工程的有效性在很大程度上取決于用戶構建有效提示的能力。試錯：通常涉及實驗過程，可能耗時。提示詞技術包含要素：指令，想要模型執(zhí)行的特定任務或指令。上下文，包含外部信息或額外的上下文信息，引導語言模型更好地響應。輸入數據，用戶輸入的內容或問題。輸出指示，指定輸出的類型或格式。（2）提示詞技術零樣本提示(Zero-ShotPrompt)領域中表現出色。通過零樣本提示，模型能夠根據用戶提供的提示進行推理和生的情況下作出準確的預測或生成。少樣本提示(Few-ShotPrompt)雖然大語言模型展示了驚人的零樣本能力，但在使用零樣本設置時，它們在更復雜的任務上仍然表現不佳。少樣本提示可以作為一種技術，以啟用上下文學習。相對于零樣本提示，少樣本提示更專注于在有限的先驗知識下進行任務推理和生成。通過少樣本提示，模型可以在只有極少量相關樣本的情況下，利用先前學到的知識來更好地理解和處理新的任務或領域。思維鏈(Chain-of-Thought,CoT)更結構化的信息引導，從而增強了模型的表現能力。圖4.提示詞工程GenAI應用技術的選擇方法可以類比于在道路建設中選擇最佳路線：這是一個龐大的任務，不總是必要或可行的。微調：這種方法類似于修改現有的道路。在這里，您從一個預先存在的模型（道路）開始，并進行特定的調整，以更好地適應您的需求。它比修建新道路所需的資源要少，并且可以非常有效，但仍受限于原始模型的局限性。檢索增強生成（RAG）：將RAG態(tài)標志，可以從各個位置獲取信息。RAG結合了預訓練模型的優(yōu)點和獲取和整合外部最新信息的能力。與模型訓練和微調相比，它更具靈活性，可以適應新的信息。但是，其效率取決于外部數據源的整合和處理，這可能需要大量資源。是現階段企業(yè)級GenAI知識庫建設和Chatbot應用的性價比較高的主流方法。投入取得令人印象深刻的成果。圖5.從復雜度和成本以及質量等多維度綜合考慮的實際應用路徑LangChain在人工智能領域，大語言模型（LLMs）如GPT-3.5和GPT-4等已經成為了自然語言處理（NLP）的強大工具。它們能夠生成連貫的文本、回答問題、甚至創(chuàng)作詩歌和故事。然而，盡管這些模型在處理語言方面表現出色，但它們在實際應用中的潛力仍然受限。為了克服這些限制并充分發(fā)揮LLMs的能力，LangChain應運而生。LangChain是哈里森-蔡斯（HarrisonChase）于2022年10月發(fā)起的一個基于LLM的應用開發(fā)框架開源項目，是目前大模型應用開發(fā)的最主流框架之一。它提供了一套工具和組件，使得開發(fā)者能夠將LLMs與外部數據源和計算能力結合起來，從而創(chuàng)建更加智能和功能豐富的應用。LangChain圍繞將不同組件“鏈接”在一起的核心概GPT-3.5、GPT-4、llama、文心一言、通義千問LLM合作的過程，使得開發(fā)者可以輕松創(chuàng)建定制的高級用例。圖6.LangChain工作機制截至2024年3月，LangChain平臺已實現了與包括亞馬遜、谷歌及微軟Azure在內的主流云存儲系統(tǒng)的深度整合，并且封裝了涵蓋新聞資訊、影視資料和氣象信息的多樣化API接口。此外，LangChain提供了對GoogleDrive的自動化總結、抽取與創(chuàng)建能力；同時涵蓋了Google搜索與MicrosoftBing搜索引擎的網絡信息檢索功能。在自然語言處理領域，它成功對接了OpenAIAnthropicFace等多家知名機構的語言模型資源。在編程與代碼管理方面，LangChain支持Python與JavaScript代碼的自動生成、靜態(tài)分析與調試功能，并采用Milvus與Weaviate量嵌入及緩存相關對象。為加速數據訪問性能，系統(tǒng)配備了Redis作為緩存數據存儲方案，并通過PythonRequestsWrapper及其他APIAIAgentAIAgent，即人工智能代理，是一種具備環(huán)境感知、決策制定和行動執(zhí)行能力的智能體，也被稱為“智能業(yè)務助理”。其旨在利用大模型技術，通過自然語言交互方式高度自動化地處理專業(yè)或復雜工作任務，從而顯著減輕人力負擔。在本質上，AIAgent是建立在大語言模型之上的智能應用，即在大模型的基礎上運行的應用程序。AIAgent不僅限于對話交流，還能整合外部工具，直接完成各種任務。一個基于大模型的AIAgent系統(tǒng)可分為四個組件部分：大模型、規(guī)劃、記憶和工具使用，對應需要四個能力：包含大語言模型能力、具體拆解問題的能力、具有長短期記憶控制的能力、以及具有調用外部工具的能力。AIAgent有望開啟新時代，其基礎架構可簡單劃分為AgentLLM中，LLM充當Agent的“大腦”，為系統(tǒng)提供推理、規(guī)劃等關鍵能力。本文著重介紹了基于LLM的Agent的整體概念框架，包括大腦、感知和行動三個關鍵部分。圖7.Agent智能體AutoGPT原理介紹GenAI大模型發(fā)展現狀國外大模型（1）ChatGPTChatGPT（ChatGenerativePre-trainedTransformer）是由OpenAI研發(fā)的一款聊天機器人程序，于2022年11月30日發(fā)布。它是基于GPT-3.5模型的一個專門優(yōu)化用于對話生成的語言模型。ChatGPT能夠根據用戶輸入的文本產生智能化的回答，并且具備連續(xù)對話的能力，能夠捕捉用戶的意圖，理解上下文，并在多輪對話中提高準確率。截至2023年12月，ChatGPT已無可爭議地成為全球范圍內增長速度空前的消費級軟件應用典范，其用戶基數在以突破1.8億大關，并在此背景下，促使OpenAI公司的估值躍升至800億美元的新高度。ChatGPT這一劃時代產品的發(fā)布不僅引發(fā)了全球科技界的廣泛關注，還強有力地激發(fā)了市場對同類競品的研發(fā)熱潮，諸如Gemini、ErnieBotLLaMAClaude等項目應運而生。值得注意的是，ChatGPT在線服務提供了兩個迭代版本，分別基于GPT-3.5和更為先進的GPT-4架構構建而成。這兩個版本均隸屬于OpenAI專有的生成預訓練轉換器（GenerativePre-trainedTransformer，GPT）模型系列，該系列的設計靈感與核心技術基礎源自谷歌所研發(fā)的TransformerChatGPTGPTPlus”提供基于GPT-4版本及其后續(xù)優(yōu)化功能的付費訂閱服務。圖8.ChatGPT（2）GeminiGemini是由GoogleDeepMind團隊研發(fā)的人工智能模型，是LaMDA和PaLM2的繼任者，于2023年12月6日發(fā)布。這是一個多模態(tài)模型家族，支持文本、圖像、音頻、視頻和代碼的全方位理解和生成。Gemini模型家族包含三個針對不同應用場景優(yōu)化的版本：GeminiUltra作為旗艦版，專為數據中心級別的高性能計算環(huán)境設計；Gemini Pro則定位為通用型解決方案，能在多種工作任務上展現高效性能，并且特別適用于企業(yè)級應用及云端服務；而小巧靈活的GeminiNano，則通過高度優(yōu)化實現了在資源受限的移動設備上的高效運行，為智能手機和平板電腦等移動平臺帶來了強大且實時的AI交互體驗。Gemini的設計使其能夠原生地支持多模態(tài)能力，即從一開始就在不同模態(tài)上進行預訓練，并利用額外的多模態(tài)數據進行微調，以提高其有效性。ClaudeClaude是由美國人工智能初創(chuàng)公司Anthropic開發(fā)的大語言模型，Anthropic成立于2021年，是一家專注于人工智能安全和研究的公司，旨在建立可靠、可解釋、可操縱的人工智能系統(tǒng)。Claude模型提供了API和Slack機器人兩種訪問方式，其中API問需要申請并通過后才能使用，而Slack機器人目前處于beta版本，不收費。Claude是由Anthropic公司于2023年3編碼、數學推理等方面尚存在一定的性能局限性，但依然在執(zhí)行多樣化任務上展現出了顯著的能力。針對用戶的不同需求，Claude推出了兩種優(yōu)化版本：常規(guī)版Claude和響應速度更快、成本更低廉、運行更為輕巧的ClaudeInstant。后者將輸入上下文的處理能力提升至容納10萬token，約等同于7.5萬個英文單詞的內容量。同年7月11日，Anthropic發(fā)布了Claude系列的重要迭代產品——Claude2，該版本對公眾開放使用，而其前身Claude1則僅限于經Anthropic審核批準的特定用戶群體。Claude2實現了一次重大飛躍，將上下文窗口從原來的9,000個token擴展到了10萬個token，并新增了上傳PDF和其他文檔的功能，使得Claude內容并輔助完成相關任務。11月份發(fā)布的Claude2.1版本中，聊天機器人的處理能力再度翻倍，token擴大至20萬個，相當于500頁的書面材料。Anthropic在2024年3月4日正式推出了革新性的Claude3系列，Claude3分為三個型號，按功能強大程度依次排列為Haiku、Sonnet和旗艦款Opus。默認配置的Claude3Opustoken為20萬個，而在特殊應用場景下，該窗口可擴展至高達100萬個token,處理和復雜任務解決方面展現出了超越GPT-4和Gemini1.0Ultra的實力。LLaMALLaMA（全稱為“大語言模型MetaAI”）是MetaAI于2023年2月推出的自回歸式大語言模型系列，它囊括了多種參數規(guī)模的版本，其參數量分別為7億、130億、330億以及650億。通常情況下，頂級LLM僅能通過有限或專屬API途徑訪問，而Meta則破例在非商業(yè)許可框架下向全球研究社群開放了LLaMA模型權重的下載權限。值得關注的是，在LLaMA發(fā)布后短短一周內，其模型權重即通過BitTorrent在網絡論壇4chan上被公開泄露給了公眾。2023年7月18日，Meta與微軟攜手推出了LLaMA系列的迭代升級產品——LLaMA-2，標志著雙方在大語言模型技術領域的合作邁入了新的階段。當日，Meta正式揭曉了三種不同規(guī)模配置的LLaMA-2模型，參數量分別達到了70億、130億以及700億。盡管在架構設計上，LLaMA-2延續(xù)了前代LLaMA-1的基本框架，但值得注意的是，在構建基礎模型的過程中，Meta引入了相較于LLaMA-1多出40%的數據進行訓練，從而提升了模型對廣泛語境和任務的理解能力。LLaMA-2產品系列不僅包括針對通用自然語言處理任務的基礎模型，而且還推出了經過對話場景微調優(yōu)化的變體——LLaMA-2Chat，專為提升人機交互體驗而打造。相比于其前身LLaMA-1，LLaMA-2的一大突破性舉措在于所有模型權重的全面開放，并且對于廣泛的商業(yè)應用場景，提供免費使用的權限，此舉無疑拓寬了LLaMA-2在業(yè)界的應用范圍和影響力。LLaMA具有以下特點：高效能與靈活性：盡管參數規(guī)模相對較小，但LLaMA模型在許多NLP任務上的性能優(yōu)于同等參數量級的其他模型，展現出高效的參數利用率和優(yōu)秀的泛化能力。開源友好：MetaAI選擇在非商業(yè)許可下向研究界開放LLaMA的模型權重，鼓勵學術研究和應用開發(fā)。模塊化設計：LLaMA框架體現了高度的模塊化設計理念，便于開發(fā)者根據實際需求定制和集成不同的組件。社區(qū)活躍：由于模型開源，社區(qū)可以不斷迭代更新模型版本，LLaMA在性能和適應性方面保持了持續(xù)進步，為人工智能領域的研究和發(fā)展注入新的活力。（5）MixtralMixtral是由MistralAI開發(fā)的一款大語言模型，它采用了專家混合（MoE）種架構通過一個網關網絡將輸入數據分配給被稱為“專家”的特定神經網絡組件。Mixtral8x7B模型由八個各自擁有70訓練和運算的效率及可擴展性。Mixtral8x7B在多個領域表現出色，包括綜合性任務、數據分析、問題解決和編程支持等。2023年9月27日，MistralAI通過官方BitTorrent磁力鏈接以及HuggingFace平臺發(fā)布了Mistral7B模型，該模型采用了擁有7億個訓練參數，并且嚴格遵循Apache2.0可證，為全球開發(fā)者和研究者提供了自由訪問和使用的權限。2023年12月9日，MistralAI發(fā)布了Mixtral8x7B，其構建在稀疏專家混合（MoE）的革新框架之上，盡管總體參數量達到了467億之多，但得益于MoE技術的高效性，對于每個Token僅激活12.9億相關參數進行運算。此款模型支持包括法語、西班牙語、意大利語、英語及德語在內的五大語言環(huán)境，并在多項基準測試中表現卓越，聲稱已功超越了Meta公司的LLaMA270B模型的性能水平。2024年2月26日面世的MistralLarge，則是MistralAI的又一旗艦產品，被定位為緊隨OpenAIGPT-4之后的頂級大模型。它不僅支持多種語言處理任務，還具備編程能力，在多領域應用上展示強大的適應性和創(chuàng)造性。用戶現可通過Microsoft Azure云端平臺便捷使用這款高性能模型。Mistral Medium型號則是在廣泛的多語言文本和代碼數據集上進行深度訓練后推出的，其綜合性能評價位于Claude模型與GPT-4之間，為尋求平衡資源占用與處理效能需求的用戶提供了一個理想的選擇。最后，MistralSmall作為輕量化解決方案，旨在提供低延遲響應且性能不俗的小型模型。相較于Mixtral8x7B，它在保證快速響應的同時，實現了更優(yōu)的性能指標，從而在有限計算資源場景下現出極高的實用價值。圖9.MistralAIStableDiffusionStableDiffusion是2022年發(fā)布的深度學習文本到圖像生成模型。它主要用于根據文本的描述產生詳細圖像，盡管它也可以應用于其他任務，如內補繪制、外補繪制，以及在提示詞指導下產生圖生圖的轉變。它是一種潛在擴散模型，由慕尼黑大學的CompVis研究團體開發(fā)的各種生成性人工神經網絡之一。它是由初創(chuàng)公司StabilityAI、CompVis與Runway合作開發(fā)，并得到EleutherAI和LAION的支持。StableDiffusion由3個部分組成：變分自編碼器（VAE）、U-Net和一個文本編碼器。StableDiffusion算法上基于2021年12月提出的潛在擴散模型（LDM/LatentDiffusionModel）和2015年提出的擴散模型（DM/DiffusionModel，它是基于Google的Transformer模型）。2022年7月Stable Diffusion的問世則震驚了全球，相比前輩們，Stable Diffusion已經成功的解決了細節(jié)及效率問題，通過算法迭代將AI繪圖的精細度提升到了藝術品級別，并將生產效率提升到了秒級，創(chuàng)作所需的設備門檻也被拉到了民用水準。2022年8月Stable Diffusion的開源性質，全球AI繪圖產品迎來了日新月異的發(fā)展，AI繪圖正在走進千家萬戶，輿論熱潮也隨之而來。2023年7月，StabilityAI發(fā)布1.0版本的StableDiffusionXL，1.0基礎模型有35億個參數，使其比以前版本大了約3.5倍。并提到在訓練結束后參數穩(wěn)定后會開源，并改善了需要輸入非常長的提示詞 (prompts)，對于人體結構的處理有瑕疵，經常出現動作和人體結構異常。2023年11月發(fā)布了Turbo版本的StableDiffusionXL，Turbo版提取自XL1.0而以更少擴散步驟運行。MidjourneyMidjourney是一款AI制圖工具，只要關鍵字，就能透過AI算法生成相對應的圖片，和畢加索等，還能識別特定鏡頭或攝影術語。有別于谷歌的Image和OpenAI的DALL-E，Midjourney是第一個快速生成AI制圖并開放予大眾申請使用的平臺。Midjourney材，但對色情、血腥、暴力創(chuàng)作題材的審核還不夠精準。Midjourney由位于美國加州舊金山的同名研究實驗室開發(fā)，于2022年3于2022年7月12日進入公開測試階段，在8月迭代至V3版本并開始引發(fā)一定的關注，而2023年更新的V5版本讓Midjourney及其作品成功“出圈”。2023年4布斯2023年AI50榜單：最有前途的人工智能公司》。2023年5月15日，Midjourney官方中文版已經開啟內測。（8）DALL-EDALL-E是一個可以通過文本描述生成圖像的人工智能程序，由OpenAI發(fā)布。DALL-E通過120億參數版本的GPT-3Transformer模型來理解自然語言輸入并生名字是2008年動畫電影WALL-E（瓦力）和20世紀西班牙加泰羅尼亞畫家薩爾瓦多·達利（SalvadorDalí）之混成詞。自2000年代以來，已有其他許多神經網絡有生成逼真圖像的能力。而DALL-E的特點在于它能夠通過純文本描述生成這樣逼真的圖像。OpenAI尚未發(fā)布DALL-E模型的源代碼，不過OpenAI在其網站上提供了DALL-E演示，可以查看部分文本描述的輸出圖像。DALL-E模型最初于2021年1月5日由OpenAI發(fā)布。2022年4月，OpenAI宣布了新版本的DALL-E2，聲稱它可以從文本描述中生成照片般逼真的圖像，另外還有一個允許對輸出進行簡單修改的編輯器。根據OpenAI的公告，該程序仍處于研究階段，訪問權限僅限于小部分測試版用戶。該模型有時仍會犯一些人類不會犯的嚴重錯誤。OpenAI稱DALL-E2是一個“可以從文本描述中生成原創(chuàng)、逼真的圖像和藝術”的模型。（9）SoraSora是一個能以文本描述生成視頻的人工智能模型，由美國人工智能研究機構OpenAI開發(fā)。Sora這一名稱源于日文“空”（そらsora），即天空之意，以示其無限的創(chuàng)造潛力。其背后的技術是在OpenAI的文本到圖像生成模型DALL-E基礎上開權的著作權視頻，但OpenAIOpenAI于2024年2月15日向公眾展示了由Sora分鐘的視頻。同時，OpenAI也承認了該技術的一些缺點，包括在模擬復雜物理現們可能是經精心挑選的，并不一定能代表Sora生成視頻的普遍水準。由于擔心Sora可能被濫用，OpenAI表示目前沒有計劃向公眾發(fā)布該模型，而是給予小部分研究人員有限的訪問權限，以理解模型的潛在危害。Sora生成的視頻帶有C2PA元數據標簽，以表示它們是由人工智能模型生成的。OpenAI還與一小群創(chuàng)意專業(yè)人士分享了Sora，以獲取對其實用性的反饋。Sora具有以下特點：準確性和多樣性：Sora能夠將簡短的文本描述轉化成長達1樣化的內容。強大的語言理解能力：Sora利用Dall-E模型的re-captioning技術生成視覺訓練數據GPT技術將簡短的用戶提示轉換為更長的詳細轉譯，確保視頻精確地按照用戶提示生成。以圖/視頻生成視頻：Sora入，如已存在的圖像或視頻，使其能夠執(zhí)行廣泛的圖像和視頻編輯任務。視頻擴展功能：Sora視頻或補充現有視頻。優(yōu)異的設備適配性：Sora頻尺寸，為各種設備生成與其原始縱橫比完美匹配的內容。場景和物體的一致性和連續(xù)性：Sora場景元素在三維空間中的移動顯得更加自然，能夠很好地處理遮擋問題。國內大模型（1）百度-文心一言文心一言（英文名：ERNIE Bot）是百度基于文心大模型技術研發(fā)的知識增強大語言模型，被外界譽為“中國版ChatGPT”。其核心理念在于運用深度學習算法和大規(guī)模語料庫，模擬人類的語言理解和生成能力，從而為用戶提供智能化、個性化的服務。能夠實現與人對話互動，回答問題，協(xié)助創(chuàng)作，高效便捷地幫助人們獲取信息、知識和靈感，并且在文學創(chuàng)作、商業(yè)文案創(chuàng)作、數理邏輯推算、中文理解、多模式生成方面有很好的應用前景。文心一言最早應該可以追溯到2010年百度成立的“自然語言處理部”，2019年3月16日，百度正式發(fā)布知識增強的文心大模型ERNIE1.0，該模型基于飛槳深度學習平臺打造，通過將數據與知識融合，提升了大模型學習效率及學習效果。2019年7月31日，百度文心大模型升級到2.0。ERNIE2.0通過持續(xù)學習框架，持續(xù)學習大規(guī)模語料中的詞法、語法、語義等知識，在共計16個中英文任務上取得全球最好效果。2021年7月63.0(ERNIE3.0)。ERNIE3.0首次在千億級預訓練模型中引入大規(guī)模知識圖譜，ERNIE3.0刷新54個中文NLP任務基準，并在國際權威的復雜語言理解評測SuperGLUE0.8個百分點的成績登頂全球榜首。2023年3月16日，百度新一代大語言模型文心一言正式啟動邀測。2023年8月31日，文心一言率先向全社會全面開放。開放首日，文心一言共計回復網友超3342萬個問題。2023年10月17日，百度世界2023大會上，李彥宏宣布文心大模型4.0正式發(fā)布，開啟邀請測試。（2）阿里-通義阿里通義是阿里云推出的一系列人工智能產品和服務平臺，旨在提供類人智慧的通用智能服務。這些產品和服務包括通義千問、通義智文等，它們支持多種API接口，使得AI應用開發(fā)變得更加簡單和高效。通義千問（Qwen）是阿里云推出的一款超大規(guī)模語言模型，采用了阿里云自主研發(fā)的大規(guī)模預訓練語言模型架構，通過先進的深度學習技術和海量數據訓練而成。通義智文是另一個阿里云的AI產品，它可能包含了文本生成、內容理解、自動摘要、情感分析等功能，旨在幫助用戶高效地處理和創(chuàng)造文本內容。目前，通義千問的綜合性能已經超過GPT-3.5，加速追趕GPT-4。2023年12月1日，阿里云舉辦發(fā)布會，正式發(fā)布并開源“業(yè)界最強開源大模型”通義千問720億參數模型Qwen-72B。同時，通義千問開源了18億參數模型Qwen-1.8B和音頻大模型Qwen-Audio。至此，通義千問共開源18億、70億、140億、720億參數的4款大語言模型，以及視覺理解、音頻理解兩款多模態(tài)大模型，實現了“全尺寸、全模態(tài)”開源。自此，阿里云大模型的開源邏輯更加清晰，即通過開源的方式提供技術產品，降低門檻，推動技術普惠，為企業(yè)客戶到個人開發(fā)者提供多元化、全方位的技術服務。在通義千問的基礎上創(chuàng)建的大模型、小模型越豐富，AI生態(tài)就越繁榮。（3）訊飛-星火認知大模型訊飛星火認知大模型是由科大訊飛推出的新一代認知智能大模型?；谟嶏w最新的認知智能大模型技術，經歷了各類數據和知識的充分學習訓練，可以和人類進行自然交流，解答問題，高效完成各領域認知智能需求。訊飛星火V2.0已具備“代碼生成、代碼補齊、代碼糾錯、代碼解釋、單元測試生軍者。星火認知大模型V3.0的快速落地，更是推動著訊飛大模型能力迅速迫近行業(yè)中，為大模型在金融行業(yè)的落地應用帶來全新機遇。2024年1月30日，科大訊飛發(fā)布了基于首個全國產算力平臺「飛行一號」訓練的全民開放大模型——訊飛星火V3.5版本。相較于上一個版本，訊飛星火V3.5版本在文本生成、語言理解、知識問升，進一步逼近GPT-4Turbo的最新水平。圖10.訊飛星火大模型（4）華為-盤古大模型華為盤古大模型是華為云推出的一系列人工智能大模型，旨在通過強大的計算能力和先進的算法，解決行業(yè)難題并釋放AI的生產力。該模型涵蓋了NLP大模型、CV大模型、多模態(tài)大模型、預測大模型和科學計算大模型五大類別，旨在為氣象、醫(yī)藥、水務、機械等領域提供強大的科學計算能力。盤古大模型的研發(fā)不僅體現了華為在AI技術領域的深厚積累，也展示了華為在推進AI技術產業(yè)化應用方面的決心和能力。在2021年4月，盤古大模型1.0就已經發(fā)布，早于今天大部分的大模型。2022年11月7日的華為全聯(lián)接大會2022中國站上發(fā)布了盤古氣象大模型、盤古海浪大模型、盤古礦山大模型、盤古OCR大模型等新服務。2023年7月舉行的華為開發(fā)者大會上，華為云曾發(fā)布了盤古大模型3.0，是中國首個全棧自主的AI大模型，該模型已具備文生圖、文生文、文生代碼、文生視頻等多模態(tài)能力，提供5+N+X的三層解耦架構：L0層有5個基礎大模型，提供滿足行業(yè)場景的多種技能；L1層是N個行業(yè)大模型，提供使用行業(yè)數據訓練的行業(yè)大模型；L2層為客戶提供更多細化場景模型，它更加專注于某個具體應用場景或特定業(yè)務。華為常務董事、華為云CEO張平安表示，盤古大模型聚焦產品研發(fā)、軟件工程、生產供應、市場營銷、客戶運營等價值場景，致力于深耕行業(yè)，如政務、金融、制造、煤礦、鐵路、制藥、氣象等。圖11.盤古大模型（5）騰訊-混元大模型騰訊混元大模型（TencentHunyuan）超過千億參數規(guī)模和超過2萬億tokens的預訓練語料。該模型具備強大的中文理解與創(chuàng)作能力、邏輯推理能力，以及可靠的任務執(zhí)行能力。騰訊混元大模型的主要功能和技術特點包括成為騰訊云MaaS服務的基礎，客戶可以通過API直接調用混元，也可將其作為基礎模型，為不同產業(yè)場景構建專屬應學習框架和AI基礎設施。騰訊在算法層面進行了自研創(chuàng)新，提高了模型可靠性和成熟度，解決了大模型“胡言亂語”的問題。此外，騰訊還自研了機器學習框架Angel，提升了訓練和推理速度。圖，解決事實性、時效性問題，提升內容生成效果。在不同場景下，如文檔、會材創(chuàng)作等，提高工作效率并改善用戶體驗。圖12.混元大模型（6）智譜AI北京智譜華章科技有限公司（簡稱“智譜AI”）專注于新一代認知智能大模型的研發(fā)，致力于在中國推動大模型領域的創(chuàng)新。公司與合作伙伴共同研發(fā)了中英雙語asaService（MaaS）的市場理念，推出了大模型MaaS開放平臺，旨在構建高效率、通用化的“模型即服務”AI開發(fā)新范式。通過認知大模型連接億級用戶的物理世界，智譜AI憑借完整的模型生態(tài)和全流程技術支持，為各行各業(yè)帶來持續(xù)創(chuàng)新與變革，助力加速通用人工智能時代到來。智譜AI的產品包括ChatGLM-6B、GLM-130B、GLM系列、CodeGeeX、CogView、CogVideo等大模型。在2024年01月16日的「智譜AI技術開放日(ZhipuDevDay)」上，智譜AI推出了新一代基座大模型GLM-4。GLM-4相比上一代在整體性能上有了顯著提升，十余項指標接近或達到了GPT-4水平；支持更長上下文、更強的多模態(tài)、更快的推理速度和更多并發(fā)，大幅降低了推理成本；同時，GLM-4還增強了智能體能力。圖13.智譜AI（7）百川智能百川智能公司于2023年4月10日由前搜狗公司CEO王小川創(chuàng)立，旨在以幫助大眾輕軟、字節(jié)、騰訊等知名科技公司的AI頂尖人才組成。不到100能公司發(fā)布了兩款開源可免費商用的中文大模型Baichuan-7B和Baichuan-13B在多個權威評測榜單中名列前茅，下載量更是突破了百萬。隨后，公司繼續(xù)發(fā)布了Baichuan2-7B和Baichuan2-13B等大開源模型。2024年1月29日，百川智能發(fā)布了參數規(guī)模超過千億的大語言模型Baichuan3。在多個權威通用能力評測中，如CMMLU、GAOKAO和AGI-Eval，Baichuan3展現出色的能力，特別是在中文任務上超越了GPT-4。在數學和代碼專項評測中，如MATH、HumanEval和MBPP，Baichuan3同樣表現出色，證明了其在自然語言處理和代碼生成領域的強大實力。Baichuan3極高的MCMLE、MedExam、CMExam等權威醫(yī)療評測中，中文效果超過了GPT-4，成為中文醫(yī)療任務中表現最佳的大模型。此外，Baichuan3邏輯推理等方面表現出色，領先于其他大模型。Baichuan-NPC通過強化模型基礎能力，使用思維鏈對齊技術賦予角色模型類人的思考能力，使模型能夠敏銳地捕捉上下文對話語義，生成更加符合人物性格的對話和行動，呈現出逼真的角色效果。在CharacterEval評測中，Baichuan-NPC在對話能力、角色一致性、扮演吸引力等方面顯著領先，是目前中文領域最強角色模型。第二章：GenAI在生物醫(yī)藥大健康行業(yè)落地應用進展及典型案例32GenAI在生物醫(yī)藥大健康行業(yè)主要應用場景總覽GenAI作為人工智能領域的重要分支，正逐漸引起廣泛關注。GenAI以其獨特的生成能力和創(chuàng)造性，正在改變著生物醫(yī)藥大健康行業(yè)的面貌，并為其帶來了巨大的變革和潛在收益。GenAI已經在醫(yī)療健康開始了應用探索與落地，包括藥物研發(fā)、臨床研究、上市及商業(yè)化、以及用于病人診療等方面：圖14.生物醫(yī)藥大健康行業(yè)全流程場景在藥物研發(fā)方面，GenAI可助力科研人員靶點發(fā)現及驗證、藥物分子生成以及為中醫(yī)藥研發(fā)等，加速藥物發(fā)現和設計進程。在臨床研究方面，GenAI可以優(yōu)化臨床開發(fā)的多個環(huán)節(jié)，包括篩選臨床試驗中心篩選、監(jiān)管合規(guī)、藥物選擇及患者入組、藥物警戒（PV）和臨床研究方案設計等方面。在上市及商業(yè)化方面，GenAl主要體現于學術推廣及患者教育等方面。在臨床疾病診療方面，GenAI可以實現包括在診前、診中、診后等醫(yī)療服務場景的提質和提效。藥物研發(fā)段耗時長、成本高、流程復雜?，F如今，GenAI成為潛在的破局利器，在藥物研發(fā)方面已有越來越多的應用。GenAI可以通過分析大量的基因組學、蛋白質組學、代謝組學等多組學數據，幫助研究人員更快地發(fā)現可能的靶點、藥物分子、藥物合成路線等，從而加速藥物的發(fā)現和設計進程。靶點發(fā)現與驗證藥物靶點指的是藥物與人體內特定分子相互作用的目標位置，也可以是參與疾病發(fā)生和發(fā)展的關鍵蛋白質、酶或細胞結構。靶點的發(fā)現是現代藥物研發(fā)的基礎，在藥物研發(fā)的早期階段，科研人員通過對疾病發(fā)生機制的深入研究，尋找與疾病相關的靶點，通過對這些靶點的深入了解，科研人員可以設計出針對性的藥物，干預其功能，從而達到治療疾病的目的。但疾病的發(fā)生非常復雜，基因冗余和多效性、代償機制、信號反饋等，都會降低靶點被藥物作用造成的影響。藥物立項要經過藥理學、毒理學、遺傳學等多學科的檢驗，成功率非常低。疾病相關的靶點的早期識別和評估可以增加藥物批準的機會。目前業(yè)界在致力于識別與特定疾病相關的生物學上最合理的靶點。近年來，傳統(tǒng)的生信分析方法、多組學因子分析、知識圖譜、圖模型、深度學習等都較多地應用于靶點發(fā)現中，而GenAI的發(fā)展，則提供了更強有力的技術支持去尋找新的靶點、分析信號通路、以及尋求靶點與疾病相互關聯(lián)的證據支撐。2022年，AI制藥公司英矽智能（InsilicoMedicine）在其靶點發(fā)現平臺PandaOmics上增加了知識圖譜的功能，可以從期刊文獻中提取相關信息，將基因、疾病、化合物圖15.PandaOmics頁面和生物過程聯(lián)系起來，并將關系網絡可視化形成知識圖譜。2023年3月，在ChatGPT開放端口后，英矽智能將其接入靶點發(fā)現平臺PandaOmics。通過將知識圖譜與ChatGPT相結合，得到了具有AI問答功能的ChatPandaGPT，支持研究人員在瀏覽和分析大數據集的同時，高效開展基于自然語言的問答，更便捷發(fā)現潛在靶點和生物標志物。2023年底，英矽智能發(fā)布了全球首個“由AI輔助決策的自動化實驗室”，將GenAI應用于高質量自動化實驗，并通過實驗數據反饋推動GenAI模型迭代優(yōu)化。實現在14天內完成靶點發(fā)現和驗證的全自動化干濕實驗閉環(huán)。目前，英矽智能宣布公司研發(fā)的抗特發(fā)性肺纖維化候選藥物INS018_055已完成2是全球首款由GenAI發(fā)現靶點并設計化合物的候選藥物。2023年4月，水木分子開源了輕量科研版BioMedGPT-10B，將文獻、分子、蛋白、測序、知識圖譜等數據壓縮到統(tǒng)一的多模態(tài)大模型框架內，實現了分子性質預測、文本跨模態(tài)信息生成等多項任務性能優(yōu)于單一專用模型。圖16.BioMedGPT-10B的概述分子生成（1）大分子生成大分子藥物的作用機制主要是通過刺激機體免疫系統(tǒng)產生免疫物質（如抗體），從而發(fā)揮其功效，在人體內出現體液免疫、細胞免疫或細胞介導免疫。大分子藥物如抗體有更好的靶向性、mRNA有望帶來更好的疫苗與藥物等。但這些大分子結構復雜，開發(fā)成本高，發(fā)現時間長。GenAI為此提供了新的解決方案，通過學習預測大分子（例如核酸或氨基酸）的下一個子結構，并產生有關大分子的見解，這些見解可用于新藥物載體的計算機設計、以及預測其在各種藥物研發(fā)檢測的效果。人類一直以來都在探索如何更高效、直接、自由地控制細胞功能、甚至生命活動，而運用GenAI預測大分子結構使得這一切的可行性大大提升，并且其預測性能在精度、范圍、耗時等方面正在不斷快速提高。以蛋白質為例，利用GenAI預測結構，為解碼蛋白質的三維奧秘提供了高效手段，從而能夠直接按需制造蛋白質、甚至是創(chuàng)造未知或不存在的蛋白，擴增出近乎無限的、廣闊的蛋白質序列和結構空間，對生命科學和生物醫(yī)藥研究范式的影響將是顛覆性的。目前，GenAI在蛋白質解碼和設計的應用主要有Transformer架構和擴散性模型兩大構建思路。前者的代表是美國初創(chuàng)生物醫(yī)藥公司Profuluent在2023年1月開發(fā)的蛋白質語言模型Progen。該模型基于Transformer架構的12億參數神經網絡，提供了一種可根據所需屬性生成特定蛋白質的方法，從頭合成了自然界中不存在的人工酶，引起了生命科學領域的廣泛關注。而后者構建思路則是采取了圖像生成領域常用的擴散性模型的技術路徑，更加擅長基于文本生成圖像來描述蛋白質序列和結構之間的關系，并以此快速生成蛋白質的骨架結構。例如2022年10月美國斯坦福大學和微軟研究院經受體內蛋白質折疊過程的啟發(fā)，引入了一個折疊擴散模型，通過鏡像蛋白質天然折疊過程實現蛋白質主鏈結構的設計，解決了直接生成結構復雜多樣的蛋白質的難題。掃描跨國大型藥企與科技公司動態(tài)，2023年12月，制藥巨頭阿斯利康與AI2.47AbsciGenAILabs共同發(fā)布了新一代AlphaFold模型，從上一代的預測蛋白質結構，擴展到預測蛋白質數據庫（PDB）中幾乎任何分子的結構，包括配體（小分子）、蛋白質、核酸（DNA和RNA）以及含有翻譯后修飾（PTM）的生物分子。如改變氨基酸序列來改變蛋白質的性能，用于設計和開發(fā)具有特定功能的酶；預測核酸結構，加速mRNA疫苗等醫(yī)療創(chuàng)新；預測配體和蛋白質間的相互作用，幫助鑒定和設計可能成為藥物的新分子等。IsomorphicLabs正在將新一代AlphaFold模型應用于治療藥物設計，快速準確地表征對治療疾病很重要的多種類型的大分子結構。國內頭部藥企與AI制藥企業(yè)也在GenAI生成大分子藥物領域展開布局。2023年8月，深圳晶泰科技宣布與石藥集團在創(chuàng)新藥研發(fā)AI領域達成戰(zhàn)略合作協(xié)議，結合石藥集團深厚藥物研發(fā)經驗，利用晶泰科技開發(fā)的ProteinGPT大分子藥物生成式AI模型，將“類GPT技術”應用于藥物研發(fā)，覆蓋抗體發(fā)現、抗體工程、抗原設計、蛋白結合劑設計等多個藥物研發(fā)關鍵環(huán)節(jié)，一鍵生成符合要求的抗體或蛋白藥物。Cradle(GenAI12Cradle圖17.Cradle公司合成生物學平臺功能示意圖（2）小分子生成小分子藥物研發(fā)中的一大重要難題是如何識別并且篩選出最有可能實現所需療效、值得進一步測試優(yōu)化的化合物，傳統(tǒng)上，藥物化學家會在實驗室制造化合物并進行測試，耗時長、投資大，但人工智能可以改變這個過程。GenAI通過先進的基礎化學模型加速篩選過程，如同GPT-4被訓練來預測句子中可能的下一個單詞，這些模型可以預測小分子結構中的下一部分原子。通過多次迭代，該模型學習了小分子化學的基本原理，即使在很大程度上未探索的化學領域，這些模型也可以提供更精確的預測，醫(yī)藥公司可以通過這些預測來規(guī)劃后續(xù)篩選。國外大型藥企與AI制藥企業(yè)紛紛開展合作，各取所長。2024年1月，默沙東宣布與VariationalAI公司達成合作，利用其Enki技術平臺，共同合作開發(fā)小分子藥物。默沙東為Enki平臺提供目標產品概況（TPP），平臺基于GenAI技術，可在幾天時間內生成符合條件的小分子。生成物是具有多樣化、選擇性和可合成的先導化合物結構，從而快速進入先導化合物優(yōu)化階段。法國藥物化學和新藥設計AI解決方案提供商Iktos則是利用GenAI技術，降低化合物小分子篩選和生成所需的時間和成本。其解決方案包括三個部分，一是通過Makya基于大量生物數據，來創(chuàng)建一種“滿足所有條件”的分子，即在盡可能低的劑量下有效、安全、穩(wěn)定、可申請專利且能夠合成的分子；二是利用Spaya探索合成“配方”和途徑；三是通過Ilaka502022年4月份，華為云計算技術的健康智能實驗室推出了華為盤古藥物分子大模型，該模型訓練了17億個小分子化合物的數據集，這一模型結合了藥物分子的圖形結構和SMILES字符表示法，從兩個不同的角度理解分子，進而構建了一個自監(jiān)督的預訓練大模型。該模型適用于多個分子相關的后續(xù)任務，如預測分子屬性、生成分子虛擬庫以及分子的優(yōu)化等。目前盤古藥物模型的預訓練數據集是最大的，涵蓋了多個公共數據源，盤古模型采用cVAE架構，將小分子的圖形表示轉換成相應的化學式字符串，這樣做避免了在graph2graph模型中遇到的圖形生成的困難，并且相比于seq2seq模型，在訓練階段能夠提供更多的信息。此外，通過設計分層的潛在空間，盤古模型在微調和化學指紋表示方面的能力得到了增強。盤古的創(chuàng)新網絡結構不僅易于訓練，還能夠通過僅更新一個核心網絡來支持所有藥物發(fā)現任務的步驟，展現出顯著的優(yōu)勢。圖18.用于人工智能藥物篩選和分子生成的盤古大模型2023年底，深度勢能團隊聯(lián)合29家單位的通力協(xié)作，發(fā)布了深度勢能預訓練大模型DPA-2。該模型面向豐富的下游任務，在微調DPA-2的"大模型"所需數據量整體上減少了1-2個數量級。此外，經過進一步蒸餾和壓縮，深度勢能團隊還開發(fā)了"小模型"，該模型能夠保持過去模型的精度和效率。與去年發(fā)布的DPA-1相比，DPA-2在模型架構方面有顯著的更新，最大的特點是采用了多任務訓練策略，可以同時學習計算設置不同、標簽類型不同的各類數據集。由此產生的模型在下游任務上展現出極強的few-shot甚至zero-shot遷移能力，顯著超越了過去的解決方案。目前，用于訓練DPA-2模型的數據集已涵蓋了半導體、鈣鈦礦、合金、表面催化、正極材料、固態(tài)電解質、有機分子等多個體系。圖19.DPA-2提出的多任務預訓練、微調、蒸餾全流程示意圖洛桑聯(lián)邦理工學院（EPFL）和美國羅切斯特大學的研究團隊，開發(fā)出了一款名為ChemCrow的語言模型代理，這款代理能夠執(zhí)行包括有機合成、藥物發(fā)現和材料設計在內的多項化學任務。ChemCrow集成了17種由專家精心設計的工具，不僅提升了其在化學領域的表現，還賦予了它新的能力。迄今為止，ChemCrow已成功自行設計出一種驅蟲劑、三種有機催化劑以及其他相關分子。通過語言模型評估和專家的評審，ChemCrow的有效性在自動執(zhí)行各類化學任務方面得到了證實。圖20.ChemCrow的功能示意圖中科大MIRALab團隊與微軟研究院AI4Science團隊共同開發(fā)了一種創(chuàng)新的分子生成模型，名為MiCaM。該模型通過構建一個含有數據驅動的高頻分子片段詞匯庫，顯著優(yōu)化了藥物分子的生成過程。MiCaM模型特別強調了對連接感知的高頻子圖（MinedConnection-awareMotifs）的利用，這些子圖是通過數據驅動算法從分子庫中自動提取的，它們不僅包括常見的分子片段，還細致記錄了這些片段之間的連接信息。利用這一策略，MiCaM設計了一個能夠同時選擇分子片段并確定其連接方式的生成器，從而能夠基于這些高頻子圖構造出全新的分子結構。在進行的兩項基準測試中：一項是生成與訓練集高度相似的新分子（distributionlearning），另一項是創(chuàng)造具備特定目標屬性的新分子（goal-directed）,MiCaM模型展現了其在提高分子生成效率和探索化學空間方面的顯著能力。圖21.高頻分子片段挖掘算法流程圖224中醫(yī)藥研發(fā)2024年全國兩會期間，政府工作報告中提出“促進中醫(yī)藥傳承創(chuàng)新”，有代表提議，大模型與生物醫(yī)藥大健康行業(yè)的結合有望革新藥物研發(fā)范式，通過構建中醫(yī)藥AI大模型，將能夠用于挖掘中藥活性成分、推進中藥循證工作、加速中藥研發(fā)進程。中國擁有自己龐大的醫(yī)學寶庫，中醫(yī)藥的“整體觀”對人體、疾病、藥物的認識積累龐大的實踐經驗。隨著人工智能技術的飛速發(fā)展，中醫(yī)藥領域迎來一場數字化、智能化的革命。中醫(yī)藥領域的大語言模型（中醫(yī)藥大模型）作為這場革命的代表，它通過整合和分析大量的中醫(yī)藥文獻、藥材數據庫、臨床研究和實踐經驗來訓練，旨在將人工智能技術應用于傳統(tǒng)醫(yī)學知識和實踐中。目前，中醫(yī)藥大模型主要用于中醫(yī)臨床輔助診療（病證診斷、處方推薦等）、創(chuàng)新研發(fā)以及中醫(yī)藥知識整合與普及。下面我們將盤點現有的中醫(yī)大模型在創(chuàng)新研發(fā)以及中醫(yī)藥知識問答的應用?！ご竽Ｐ汀皵抵轻S”中醫(yī)藥大模型由華東師范大學、上海中醫(yī)藥大學、華東理工大學、海軍軍醫(yī)大學、臨港實驗室與華潤江中現代中藥全國重點實驗室聯(lián)合開發(fā)，它以《黃帝內經》和《傷寒雜病論》等著名中醫(yī)典籍及1000多本古籍和中醫(yī)藥文獻為核心數據基礎，以高質量中醫(yī)藥知識圖譜為知識寶庫?！皩殠臁敝泻w超過8萬種方劑，超過2000種證候，超過9000種中藥材，超過4萬種中藥成份，超過1.8萬種靶點，超過2000種疾病。該大模型采用預訓練和微調并結合檢索增強生成和插件調用等技術，通過方劑推薦、中藥性質解讀（包括性味歸經、功效與應用、藥物組成、炮制方法等）和證候輔助診斷，實現中醫(yī)藥領域知識智能問答、健康咨詢、中醫(yī)藥知識圖譜動態(tài)交互三大核心功能，助力中醫(yī)藥創(chuàng)新研究和人才培養(yǎng)、臨床輔助診療和中醫(yī)養(yǎng)生保健，推動中醫(yī)藥文化傳承創(chuàng)新發(fā)展。圖22.岐黃問道·大模型北京博奧晶方大模型開發(fā)北京博奧晶方生物科技有限公司（以下簡稱“博奧晶方”）系博奧生物在中醫(yī)藥領域布局的產業(yè)化平臺。博奧晶方通過其核心的“分子本草技術”，構建了“多彈打多靶”的中藥組方篩選大模型（900多種中藥、300多種食物提取物、10億級真實基因表達譜數據、藥物作用信號通路2500多萬條）。博奧晶方首創(chuàng)基于生物芯片技術的中藥組方精準篩洗大模型，用數字化技術賦能精準診療、中藥創(chuàng)新藥研發(fā)、藥食同源健康食品開發(fā)、天然植物化妝品開發(fā)，致力于為中醫(yī)藥現代化和國際化開創(chuàng)全新的科學發(fā)展路徑。數智本草大模型是由天士力與華為云在華為盤古大語言模型和盤古藥物分子大模型基礎上推出。目前數智本草大模型整合了1500+中醫(yī)藥典籍、4000萬篇中英文文獻、10TB中藥以及天然產物現代化研究數據，基于數智本草大模型的數智中藥問答以及報告生成平臺，通過細分向量庫和使用場景、優(yōu)化向量庫、多種檢索方式結合，提升了中醫(yī)藥知識問答的精準性，通過藥典、文獻、指南、醫(yī)案以及中醫(yī)藥現代化數據庫等多種科學證據支持，深度挖掘和整合中藥藥理、配伍、臨床應用等多維度信息，為中藥研發(fā)、復方設計、藥效預測提供科學、高效的信息整合，從而加速中藥創(chuàng)新與轉化。數智本草大模型的天然產物分子大模型，是在300萬天然產物及衍生物結構基礎上微調而成，實現在天然產物的ADMET性質預測、分子生成、分子優(yōu)化等關鍵任務上的性能優(yōu)化，也為中藥復方的深入研究和開發(fā)提供了進一步的技術支撐。同時，還可以結合天士力開發(fā)的星斗云一站式中藥研發(fā)計算平臺，覆蓋了從疾病靶點發(fā)現、轉錄組學與蛋白質組學分析，到天然產物分子篩選、方劑推薦及分析等全方位中藥研發(fā)流程。同時，用于中藥知識問答的中醫(yī)藥大模型數量也在快速增長，例如軒岐問對·大模型是“甘草醫(yī)生”聯(lián)合浙江中醫(yī)藥大學共同推出了中醫(yī)藥經方領域首個基于大語言模型的人工智能對話系統(tǒng)。軒岐問對是一款類chatGPT的中醫(yī)垂直領域問答AI產品，其支持中醫(yī)（經方）領域問題的檢索與回復，包含中醫(yī)基礎理論、相關經典古籍、方劑配伍及臨床疾病辨證選方等。中醫(yī)藥大語言模型項目（TCMLLM）由北京交通大學計算機與信息技術學院醫(yī)學智能團隊開發(fā)開發(fā)。TCMLLM擬通過大模型方式實現中醫(yī)臨床輔助診療（病證診斷、處方推薦等）中醫(yī)藥知識問答等任務，推動中醫(yī)知識問答、臨床輔助診療等領域的快速發(fā)展。本項目針對中醫(yī)臨床智能診療問題中的處方推薦任務，通過整合真實世界臨床病歷等數據得到中醫(yī)處方推薦大模型。仲景中醫(yī)大語言模型的靈感來自中國古代杰出醫(yī)家張仲景的智慧。該模型旨在闡明中醫(yī)博大精深之知識，傳承古代智慧與現代技術創(chuàng)新，最終為醫(yī)學領域提供可信賴和專業(yè)的工具。仲景中醫(yī)大語言模型由復旦大學ROILab完成。它綜合了人類記憶知識和大語言模型的語言表征能力，訓練的主要內容包括患者的病因病機、診療方案、隨訪記錄、處方、藥物用量、治療預期結果等。該模型采用特定的prompt模板，初步測試發(fā)現模型在婦科以外的中醫(yī)臨床?？祁I具備一定診斷和處方能力，提高模型對中醫(yī)方藥數據和診斷思維邏輯的推理能力。經過與文心一言、星火等大語言模型的初步對比，發(fā)現復旦同濟中醫(yī)大語言模型在基于300條中醫(yī)方藥數據構建的診療分解指令數據集上展現出了出色的泛化能力。圖23.仲景大模型介紹以GenAI為代表的基于機器學習、深度神經網絡和多模態(tài)人工智能的應用有望從多個角度優(yōu)化臨床開發(fā)，包括篩選臨床試驗中心、監(jiān)管合規(guī)、藥物選擇和患者入組、臨床研究方案設計和試驗報告生成、以及提高藥物警戒等方面。以此，從根本上改變醫(yī)療事務部和整個生物制藥或醫(yī)療技術行業(yè)管理科學發(fā)現、開發(fā)和商業(yè)化的方式。最近在GenAI的動向總體呈現兩大規(guī)律，一是提升GenAI技術服務能力，通過技術優(yōu)勢獲得大型企業(yè)合作方的青睞；二是利用GenAI賦能自身自研管在臨床研究中，監(jiān)管合規(guī)是一個非常重要的課題。研究人員需要遵守各種法規(guī)和規(guī)定，以確保臨床研究的合法性和可靠性。然而，這些法規(guī)和規(guī)定通常非常復雜，需要花費大量的時間和精力來理解和遵守。同時，不同地區(qū)的監(jiān)管要求也可能存在差異，這使得跨地域合規(guī)變得更加困難。傳統(tǒng)上，研究人員需要手動處理監(jiān)管文本，這非常耗時且容易出錯。如果能夠實現自動化處理監(jiān)管文本，將大大提高研究人員的效率，并減少錯誤的發(fā)生。最后，不合規(guī)可能會導致嚴重的財務風險，這將對研究機構和企業(yè)造成巨大的損失。利用GenAI結合自然語言處理、機器學習、知識圖譜構建等先進技術，能夠從龐大的法規(guī)文本中快速提取與特定目的相關的法規(guī)，加速合規(guī)進程，并實現自動化處理監(jiān)管文本，減少對第三方法律和合規(guī)支持的依賴。2023年3月，Medidata平臺發(fā)布了包含超過30,000項試驗與900萬名患者的Medidata AI，將患者層面數據直接從試驗中的所有病例報告提取，確保臨床試驗產生合規(guī)的數據質量，對數據輸入中的錯誤、異常值、前后不一致和錯誤報告中的不良事件進行排序和分類，以加快藥品審批流程。此外，強生使用的GenAI項目針對新藥上市合規(guī)審查的需求給予全方面的賦能，通過獲取國家藥監(jiān)局、藥物審評中心、中國食品藥品檢定研究所的法律法規(guī)、指導原則、相關公告等內容并定期更新，利用大模型的能力進行智能語義檢索和細節(jié)內容問答，并可通過內置實體模型對法規(guī)文檔進行主題分類和實體抽取。針對用戶對于藥品上市合規(guī)審查指導原則進行全文問答，并溯源至原文段落、針對用戶對于法律法規(guī)中段落內容的提問，能通過檢索問題相關的文檔，可選單篇或多篇進行問答，可準確定位至相應內容，并總結回復、能幫助用戶對于國內藥品技術指導原則中較為專業(yè)復雜的試驗設計進行分析總結。圖24.AcornAI臨床試驗中心分析臨床試驗中心的篩選是為了評估其在臨床試驗方面的資質、專業(yè)性、合作意愿和經驗等方面，以確保在該中心開展的臨床試驗具有可靠性和有效性。這一步驟對于臨床試驗的成功開展至關重要。通過進行可行性研究，可以為項目組提供在該中心開展研究的依據，并提前預判可能會遇到的問題。因此，臨床試驗中心的篩選和評定是臨床試驗開展前必不可少的重要環(huán)節(jié)。生物醫(yī)藥大健康行業(yè)在臨床試驗中心篩選方面存在許多挑戰(zhàn)和痛點，其中，信息不對稱是一個顯著問題，醫(yī)藥企業(yè)需要了解每個臨床試驗中心的實力、經驗、設備和人員等方面的信息，但這些信息并不總是公開或易于獲取。同時，時間成本高和風險控制難度大也是臨床試驗中心篩選的挑戰(zhàn)，醫(yī)藥企業(yè)需要花費大量時間和精力去篩選臨床試驗中心，如若選擇不合適的臨床試驗中心可能會導致試驗失敗或者延期，增加項目的風險和成本。AcornAIIntelligentTrials20000Trials臨床研究中的藥物選擇是指研究人員根據研究目的和研究設計，選擇適當的藥物作為研究對象，進行研究。藥物選擇需要考慮藥物的安全性、有效性、劑量、給藥途徑等因素。而患者入組是指研究人員根據研究設計和入選標準，從符合條件的患者中篩選出符合研究要求的患者，并將其納入研究中。入選標準包括患者的疾病類型、病情嚴重程度、年齡、性別、病史等因素，患者入組的目的是確保研究結果的可靠性和有效性。在臨床試驗研究中，藥物選擇和患者入組是兩個關鍵環(huán)節(jié)，但存在一定的痛點。藥物選擇需要確保藥物的安全性、有效性和適應癥范圍，這需要大量的前期研究和篩選，耗時耗力。而患者入組方面，痛點主要涵蓋招募合適的患者、確?；颊叻先虢M標準、排除患者的合并癥和干擾因素等方面。上述痛點可能導致臨床試驗進度緩慢、成本增加，甚至影響試驗結果的準確性和可靠性。在藥物選擇方面，GenAI可以通過結合多種數據源和模型，實現從分子到人體多層次的模擬和優(yōu)化，為藥物的選擇和評價提供更高的精度和效率。此外，還可通過對藥物分子結構的分析，預測藥物在人體內的藥代動力學和藥效學特性，從而為藥物選擇提供有力支持。英國人工智能公司Benevolent.AI開發(fā)的PrecisionMedicinePlatform系統(tǒng)可以通過自然語言處理，從文獻、數據庫、臨床數據等多種來源，從中提取出有用的信息，利用人工智能和機器學習技術進行模式識別和預測，最終選擇出最適合治療特定疾病的藥物。在篩選患者入組方面，GenAI能夠運用多種數據來源，例如電子病歷、基因組學數據和生物標志物等，對患者進行全面評估和分析。這有助于確定最適合參與臨床試驗的患者群體。此外，GenAI還可以運用機器學習和深度學習等先進技術，對患者的臨床特征等進行深入分析和預測，從而實現對患者的個性化匹配和推薦。在2023年9月，水木分子發(fā)布新一代對話式藥物研發(fā)助手ChatDD(DrugDesign100BChatDD-Trial可輔助臨床試驗研究人員找到最適合入組的患者人群。通過發(fā)現藥物敏感的生物標志物，更好地理解疾病亞型，實現精準的患者分類，確保患者與試驗藥物更匹配，減少不必要的變量干擾，提高臨床試驗成功率。臨床研究方案設計和試驗報告生成

圖25.ChatD