2023大模型落地應(yīng)用案例集-大模型測(cè)試驗(yàn)證與協(xié)同創(chuàng)新中心-2023

大模型落地應(yīng)用FoundationModelPracticalApplicationCollections牽頭單位大模型測(cè)試驗(yàn)證與協(xié)同創(chuàng)新中心/主編單位/中國(guó)信息通信研究院華東分院中國(guó)信息通信研究院人工智能研究中心上海人工智能實(shí)驗(yàn)室開源生態(tài)發(fā)展中心Foundation

ModelPractical

Application

Collections2023大模型落地應(yīng)用案例集牽頭單位大模型測(cè)試驗(yàn)證與協(xié)同創(chuàng)新中心/主編單位/中國(guó)信息通信研究院華東分院中國(guó)信息通信研究院人工智能研究中心上海人工智能實(shí)驗(yàn)室開源生態(tài)發(fā)展中心主編廖運(yùn)發(fā)

喬

宇

魏

凱編輯陳俊琰

許劭華

李

論

牛曉芳

常永波阿里云計(jì)算有限公司九度數(shù)字科技（蘇州）有限公司昆侖萬(wàn)維科技股份有限公司上海人工智能實(shí)驗(yàn)室優(yōu)刻得科技股份有限公司北京百度網(wǎng)訊科技有限公司北京九章云極科技有限公司北京泡泡瑪特文化創(chuàng)意有限公司上海商湯智能科技有限公司上海說(shuō)以科技有限公司云從科技集團(tuán)股份有限公司云南聯(lián)合視覺(jué)科技有限公司云知聲（信陽(yáng)）數(shù)字科技有限公司支付寶（中國(guó)）網(wǎng)絡(luò)技術(shù)有限公司中國(guó)金茂控股集團(tuán)有限公司中國(guó)商飛上海飛機(jī)設(shè)計(jì)研究院中企網(wǎng)絡(luò)通信技術(shù)有限公司竹間智能科技（上海）有限公司螞蟻科技集團(tuán)股份有限公司螞蟻星河(重慶)信息技術(shù)有限公司上海昇騰人工智能生態(tài)創(chuàng)新中心上海特賽發(fā)信息科技有限公司上海天壤智能科技有限公司上海稀宇科技有限公司上海巖芯數(shù)智人工智能科技有限公司上海智象未來(lái)計(jì)算機(jī)科技有限公司上海眾深科技股份有限公司上海卓繁信息技術(shù)股份有限公司壹沓科技（上海）有限公司目

錄CONTENTS（*

案例排名不分先后）東方財(cái)富自研金融大模型........................................................................基于大模型的信息結(jié)構(gòu)化抽取方法...........................................................天津金城銀行金融大模型示范應(yīng)用...........................................................文修大模型助力中文校對(duì)提質(zhì)增效...........................................................新型金融風(fēng)險(xiǎn)防范可信金融大模型...........................................................第一章

通用大模型基于人工智能大模型技術(shù)的開放平臺(tái)可控可信的私域知識(shí)問(wèn)答系統(tǒng)..............................................................................信陽(yáng)市智慧工業(yè)平臺(tái)遙感大模型在農(nóng)業(yè)信貸場(chǎng)景的應(yīng)用...........................................................MiniMax大模型醫(yī)療咨詢解決方案言犀基礎(chǔ)大模型中國(guó)金茂人工智能大模型企業(yè)內(nèi)部場(chǎng)景應(yīng)用..............................................中山大學(xué)附屬醫(yī)院智慧醫(yī)院項(xiàng)目..............................................................國(guó)內(nèi)首款可私有化部署的企業(yè)級(jí)數(shù)據(jù)分析智能體——TableAgent九章云極知識(shí)管家打造企業(yè)專屬大模型智能底座“Pixeling

千象”阿斯利康：基于學(xué)術(shù)文獻(xiàn)溯源的藥品不良反應(yīng)報(bào)告生成助手.......................基于知識(shí)圖譜和大語(yǔ)言模型的制造業(yè)數(shù)字化轉(zhuǎn)型平臺(tái).................................東方翼風(fēng)大模型.....................................................................................書生筑夢(mèng)視頻生成大模型..........................................智己汽車：用大模型打造智能時(shí)代出行變革者書生浦語(yǔ)開源大模型基于山下話童大模型的貸后催收示范應(yīng)用.................................................海淀區(qū)一網(wǎng)統(tǒng)管接訴即辦工程項(xiàng)目...........................................................百川大模型在娛樂(lè)領(lǐng)域的應(yīng)用AnimateDi?：一項(xiàng)基于個(gè)性化文生圖模型擴(kuò)展后的視頻生成框架通義千問(wèn)2.0在企業(yè)場(chǎng)景的應(yīng)用昆侖萬(wàn)維“天工”大模型風(fēng)烏氣象大模型.....................................................................................基于大模型的智能培訓(xùn).....................................................................................................................面向圍手術(shù)期的醫(yī)專大模型研究及其落地應(yīng)用通過(guò)大語(yǔ)言模型與材料領(lǐng)域技術(shù)文件集合對(duì)原材料質(zhì)保書進(jìn)行智能審查..........................................................................智能投顧助手——光子·善策第二章

垂類大模型梧桐·招聘-基于百度智能云千帆大模型平臺(tái)的智能招聘系統(tǒng)面向游戲行業(yè)的圖像內(nèi)容生成式大模型中公網(wǎng)校：小鹿老師，為年輕人創(chuàng)造更多就業(yè)與成長(zhǎng)機(jī)會(huì)新華妙筆AI第三章

大模型服務(wù)支小助-大模型金融專家智能助理......................................................................................................................................小布助手AGI云上模型服務(wù)平臺(tái).......................................................ChatDD新一代對(duì)話式藥物研發(fā)助手大模型數(shù)據(jù)分析智能助理DeepInsightCopilot單晶爐自動(dòng)化工藝識(shí)別多模態(tài)大模型基于NDAI大模型的政務(wù)元宇宙平臺(tái)慧政大模型——面向政務(wù)服務(wù)垂直大模型基于循道政務(wù)大模型的免申即享系統(tǒng)示范應(yīng)用螞蟻集團(tuán)大模型數(shù)據(jù)高質(zhì)量供給平臺(tái)基于大模型的壹沓數(shù)字員工超自動(dòng)化平臺(tái).................................................云原生大模型知識(shí)庫(kù)平臺(tái)........................................................................眾調(diào)科技：營(yíng)銷AI培訓(xùn)產(chǎn)品.................................................................................................................................................信息安全大模型平臺(tái).............................................................全自研AI整合平臺(tái)“HeyLisa”ChapterOne.1通用大模型落地應(yīng)用案例集FoundationModelPracticalApplicationCollections08垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections案例介紹大語(yǔ)言模型開放平臺(tái)旨在為大語(yǔ)言模型技術(shù)的研究和應(yīng)用提供一個(gè)開放、可擴(kuò)展、可協(xié)作的環(huán)境。該平臺(tái)不僅為開發(fā)者提供大型語(yǔ)言模型、大規(guī)模數(shù)據(jù)集、模型微調(diào)工具以及大型語(yǔ)言模型應(yīng)用開發(fā)工具等資源，還加速了大型語(yǔ)言模型的訓(xùn)練過(guò)程，促進(jìn)了大型語(yǔ)言模型在不同領(lǐng)域的應(yīng)用落地?；谌斯ぶ悄艽竽Ｐ图夹g(shù)的開放平臺(tái)核心能力和技術(shù)創(chuàng)新點(diǎn)：上海天壤智能科技有限公司1860億參數(shù)規(guī)模的基礎(chǔ)大模型：該平臺(tái)配備了規(guī)模龐大的基礎(chǔ)大型模型，擁有卓越的內(nèi)容生成、智能推理、語(yǔ)義檢索、情景感知和多語(yǔ)言轉(zhuǎn)換等智能交互能力。這使得用戶能夠在各種應(yīng)用場(chǎng)景中更靈活地應(yīng)用大型語(yǔ)言模型。天壤智能是國(guó)家高新技術(shù)企業(yè)，上海市專精特新企業(yè)。公司聚焦人工智能深度學(xué)習(xí)和大數(shù)據(jù)挖掘技術(shù)，開發(fā)大模型、小樣本、多重迭代的人工智能決策優(yōu)化算法，致力于打造復(fù)雜場(chǎng)景下的智能決策輔助體系和通用人工智能平臺(tái)?，F(xiàn)已成功落地生物制藥、智慧交通、智慧商業(yè)、數(shù)字金融等多個(gè)領(lǐng)域。豐富大模型類型：平臺(tái)提供130

億參數(shù)通用大模型、130億參數(shù)代碼專用大模型、130

億參數(shù)SQL

專用大模型以及130

億參數(shù)10K

上下文專用大模型，以滿足不同領(lǐng)域的需求，從通用應(yīng)用到特定任務(wù)，都能得到支持。大型語(yǔ)言模型服務(wù)接入：平臺(tái)支持大型語(yǔ)言模型服務(wù)的接入，為開發(fā)者提供了廣泛的選擇，使他們能夠根據(jù)具體要求輕松定制模型。概述本項(xiàng)目通過(guò)搭建高性能GPU

計(jì)算集群、訓(xùn)練通用大語(yǔ)言模型、訓(xùn)練垂類大語(yǔ)言模型、搭建大語(yǔ)言模型微調(diào)平臺(tái)、搭建大語(yǔ)言模型應(yīng)用開放平臺(tái)等核心模塊，旨在打造大語(yǔ)言模型服務(wù)和應(yīng)用平臺(tái)，為大語(yǔ)言模型技術(shù)的研究和應(yīng)用提供一個(gè)開放、可擴(kuò)展、可協(xié)作的環(huán)境。這個(gè)平臺(tái)除了通用大語(yǔ)言模型外，還提供大量共享的數(shù)據(jù)集、算法庫(kù)、模型微調(diào)工具等資源供開發(fā)者使用，同時(shí)大語(yǔ)言模型應(yīng)用開放平臺(tái)提供一整套完整的大語(yǔ)言模型生態(tài)應(yīng)用工具鏈，從而加速大語(yǔ)言模型的訓(xùn)練以及大語(yǔ)言模型生態(tài)應(yīng)用的開發(fā)和使用過(guò)程。微調(diào)與部署能力：平臺(tái)提供方便快捷的大型語(yǔ)言模型微調(diào)和部署功能，讓開發(fā)者能夠快速生成多領(lǐng)域的定制模型，以滿足特定應(yīng)用的需求。高效的應(yīng)用開發(fā)能力：平臺(tái)支持多項(xiàng)技術(shù)創(chuàng)新，包括提示詞工程、敏感詞檢測(cè)、多格式文件輸入增強(qiáng)以及文檔集搜索增強(qiáng)，這些技術(shù)創(chuàng)新使應(yīng)用開發(fā)更加高效。多渠道支持：平臺(tái)支持WebAPP

頁(yè)面應(yīng)用以及后臺(tái)API

調(diào)用管理，提供了多種應(yīng)用渠道，以滿足不同應(yīng)用場(chǎng)景的需求。資源動(dòng)態(tài)調(diào)配：基于分布式計(jì)算集群的資源動(dòng)態(tài)調(diào)配，確保平臺(tái)在不同負(fù)載下的高效性能，為用戶提供卓越的體驗(yàn)。需求分析隨著生成式人工智能技術(shù)步入深化階段，以

chatGPT

為代表的大語(yǔ)言模型潛力凸顯，在各個(gè)領(lǐng)域得到了廣泛的認(rèn)同和應(yīng)用。2022年全球GenAI市場(chǎng)整體收入為400億美元，預(yù)計(jì)

2027

年及

2032

年將分別達(dá)到

3990

億美元和

1.3

萬(wàn)億美元，2022~2032

年復(fù)合增長(zhǎng)率高達(dá)42%。而國(guó)內(nèi)眾多行業(yè)企業(yè)受到算力和數(shù)據(jù)等因素的制約，不能快速高效地使用最新的AI

工具和成果。因此，建設(shè)一個(gè)高性能、穩(wěn)定可靠的大模型開放平臺(tái)，從而降低人工智能應(yīng)用的門檻，提高開發(fā)效率和降低開發(fā)成本，促進(jìn)人工智能領(lǐng)域的合作與交流，加快人工智能技術(shù)的創(chuàng)新與應(yīng)用，成為了一個(gè)非常有意義的工作。高效模型訓(xùn)練：平臺(tái)提供適用于不同場(chǎng)景的預(yù)訓(xùn)練模型，基于預(yù)訓(xùn)練模型的專業(yè)模型優(yōu)化，極大地削減了模型開發(fā)周期和資源成本。1011垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections應(yīng)用落地與合作機(jī)構(gòu)：目前，該開放平臺(tái)已進(jìn)入內(nèi)測(cè)階段，吸引了企業(yè)用戶1000+

位，實(shí)現(xiàn)了200+個(gè)大型模型應(yīng)用的開發(fā)。平臺(tái)與多家重要合作機(jī)構(gòu)建立了合作關(guān)系，其中包括中國(guó)人民解放軍軍事科學(xué)院、國(guó)防科技大學(xué)、中科院生命科學(xué)研究院、蘇州超算中心、加拿大Ploytide

生物科技有限公司等等。這些機(jī)構(gòu)基于平臺(tái)提供的大語(yǔ)言模型應(yīng)用建設(shè)能力，共同推動(dòng)了大型語(yǔ)言模型技術(shù)的應(yīng)用和研究。效益分析該平臺(tái)的建成能提高企業(yè)的大語(yǔ)言模型應(yīng)用開發(fā)速度，降低開發(fā)成本，并提供了良好的商業(yè)模式：平臺(tái)可以通過(guò)提供專業(yè)領(lǐng)域增值服務(wù)、付費(fèi)訂閱等方式從用戶中獲取收益，從而推動(dòng)平臺(tái)的可持續(xù)發(fā)展，而平臺(tái)本身的開放性和共享性也能夠吸引更多的開發(fā)者加入，進(jìn)一步擴(kuò)大平臺(tái)的規(guī)模和影響力。此外，本項(xiàng)目可以推動(dòng)人機(jī)交互模式和工作模式的變革，加速

AI

應(yīng)用的落地和普及，從而營(yíng)造大模型產(chǎn)業(yè)生態(tài)。1213垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections案例介紹基本流程：可控可信的私域知識(shí)問(wèn)答系統(tǒng)上海巖芯數(shù)智人工智能科技有限公司RockAI（巖芯數(shù)智）是以認(rèn)知智能為基礎(chǔ)，專注于自然語(yǔ)言理解、人機(jī)交互的科技創(chuàng)新型企業(yè)，是A

股上市公司（002195.SZ）上海巖山科技股份有限公司的控股子公司，公司秉承“新科技改變生活”的理念，致力于構(gòu)建自研基礎(chǔ)AI

大模型+

行業(yè)垂直模型的技術(shù)結(jié)構(gòu)，實(shí)現(xiàn)“1個(gè)

MaaS

平臺(tái)，多種應(yīng)用場(chǎng)景”策略，打造客戶信賴的認(rèn)知智能平臺(tái)。圖1

基本流程主要能力：知識(shí)管理私域的知識(shí)問(wèn)答系統(tǒng)具有強(qiáng)大的知識(shí)管理能力，允許用戶創(chuàng)建、編輯和組織知識(shí)文檔、常見問(wèn)題解答（FAQ）、操作手冊(cè)和培訓(xùn)材料等；概述私域知識(shí)問(wèn)答系統(tǒng)是一種旨在滿足特定組織或團(tuán)隊(duì)內(nèi)部需求的智能信息獲取工具。其產(chǎn)品形式包括：知識(shí)問(wèn)答、企業(yè)助理、辦公助手、智能客服、數(shù)字員工等。巖芯數(shù)智通過(guò)自研構(gòu)建可控可信的通用大模型，緩解了行業(yè)中大模型幻覺(jué)問(wèn)題，提升模型的精準(zhǔn)問(wèn)答能力，回答準(zhǔn)確率達(dá)到

90%，目前已在多家企業(yè)內(nèi)部部署應(yīng)用。多輪點(diǎn)的知識(shí)問(wèn)答系統(tǒng)提供高效的問(wèn)答功能，用戶可以輕松查找所需的信息，以減少時(shí)間浪費(fèi)和提高生產(chǎn)率；權(quán)限管理系統(tǒng)提供靈活的權(quán)限管理，確保只有授權(quán)人員可以訪問(wèn)和編輯特定的知識(shí)文檔，以維護(hù)知識(shí)的安全性和可維護(hù)性。需求分析信息是解決問(wèn)題的基礎(chǔ)，在企業(yè)和組織內(nèi)部，員工和團(tuán)隊(duì)通常需要訪問(wèn)特定領(lǐng)域的知識(shí)和信息，以解決問(wèn)題、獲得支持或做出決策。傳統(tǒng)的知識(shí)庫(kù)和文檔系統(tǒng)可能存在檢索和更新的問(wèn)題，導(dǎo)致信息不易獲取。在傳統(tǒng)的知識(shí)獲取中，用戶將知識(shí)庫(kù)放入到全文索引庫(kù)中，然后用戶利用關(guān)鍵詞獲取全文檢索的結(jié)果，即屬于當(dāng)前傳統(tǒng)搜索引擎的模式，該模式下主要存在以下兩方面的問(wèn)題：技術(shù)創(chuàng)新：技術(shù)上為緩解大模型的幻覺(jué)問(wèn)題以及提升模型回答問(wèn)題的準(zhǔn)確性，巖芯數(shù)智專研模型的可控可信能力。模型結(jié)構(gòu)采用巖芯數(shù)智完全獨(dú)立自研的可線性計(jì)算的自然語(yǔ)言關(guān)聯(lián)特征表示模型，相比基于Attention

機(jī)制的

Transformer

架構(gòu)大模型，可大幅度的提升模型訓(xùn)練效率和應(yīng)用效果。全文檢索的方式需要關(guān)鍵詞精準(zhǔn)命中，對(duì)用戶的輸入要求更高。全文檢索命中的是相關(guān)性，只是找到答案附近的文本，無(wú)法精準(zhǔn)定位答案。本私域知識(shí)問(wèn)答系統(tǒng)的背景是通過(guò)結(jié)合巖芯數(shù)智可控可信的通用大模型，提供一種更智能、互動(dòng)和高效的方式來(lái)訪問(wèn)和共享知識(shí)。1415垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections圖2

自然語(yǔ)言關(guān)聯(lián)特征表示的簡(jiǎn)單示例過(guò)程模型的結(jié)構(gòu)基礎(chǔ)是基于線性計(jì)算的自然語(yǔ)言關(guān)聯(lián)特征表示方法，為了增強(qiáng)的應(yīng)用能力，需對(duì)線性計(jì)算的特征進(jìn)行不斷地疊加。圖4

標(biāo)準(zhǔn)Transformer架構(gòu)訓(xùn)練某一任務(wù)loss變化趨勢(shì)圖5

巖芯數(shù)智自研模型訓(xùn)練某一任務(wù)loss變化趨勢(shì)圖3

自然語(yǔ)言關(guān)聯(lián)特征的現(xiàn)象計(jì)算單元疊加示例1617垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections圖

4

與圖5

是相近參數(shù)量下，針對(duì)同一任務(wù)的訓(xùn)練，標(biāo)準(zhǔn)Transformer

模型與巖芯數(shù)智自研模型的loss

變化趨勢(shì)。效益分析經(jīng)濟(jì)效益私域的知識(shí)問(wèn)答系統(tǒng)有助于提高生產(chǎn)力和效率，減少支持部門的負(fù)擔(dān)，降低了組織的運(yùn)營(yíng)成本；圖

4為基于

Transformer

架構(gòu)的預(yù)訓(xùn)練模型在訓(xùn)練集和驗(yàn)證集上的損失值表現(xiàn)情況，圖5為巖芯數(shù)智自研大模型?？梢园l(fā)現(xiàn)在訓(xùn)練

100

個(gè)

epoch

下，巖芯數(shù)智自研模型已經(jīng)出現(xiàn)過(guò)擬合的現(xiàn)象，其中驗(yàn)證集中的最低損失值在3.5

左右，而基于Transformer

架構(gòu)的大模型，在100

個(gè)

epoch

下未完成收斂，且驗(yàn)證集中損失值依然在

4

以上。商業(yè)模式通過(guò)許可付費(fèi)、訂閱付費(fèi)以及自定義解決方案三種方式實(shí)現(xiàn)用戶付費(fèi)；應(yīng)用推廣前景上述也表明改進(jìn)后的模型具備更快的收斂效率，基本上在第10

個(gè)

epoch

下就達(dá)到了最佳狀態(tài)，因此收斂效率遠(yuǎn)高于

Transformer

架構(gòu)。企業(yè)內(nèi)部應(yīng)用：私域的知識(shí)問(wèn)答系統(tǒng)在企業(yè)內(nèi)部可以用于知識(shí)管理、員工培訓(xùn)、問(wèn)題咨詢以及改善組織內(nèi)部的工作流程；教育領(lǐng)域：學(xué)校、大學(xué)和教育機(jī)構(gòu)可以本系統(tǒng)來(lái)改善教育過(guò)程，促進(jìn)學(xué)生之間和教師之間的知識(shí)共享，提高教育質(zhì)量；實(shí)施效果：提高生產(chǎn)力醫(yī)療健康領(lǐng)域：可以提高醫(yī)療專業(yè)人員之間的知識(shí)共享，改善患者護(hù)理，提高醫(yī)療服處于私域的人員能夠更快地找到所需的信息，解決問(wèn)題，減少工作中的困惑，從而提高生產(chǎn)力；務(wù)質(zhì)量；知識(shí)共享私域的知識(shí)問(wèn)答系統(tǒng)可以在各種領(lǐng)域都有廣泛的應(yīng)用，為組織帶來(lái)經(jīng)濟(jì)效益、社會(huì)效益，同時(shí)提供多樣化的商業(yè)模式選擇。促進(jìn)了內(nèi)部知識(shí)共享和協(xié)作，有助于打破信息孤島，使組織更加協(xié)調(diào)一致；風(fēng)險(xiǎn)降低通過(guò)更好的知識(shí)管理，組織可以減少風(fēng)險(xiǎn)，提高合規(guī)性。應(yīng)用落地情況：本私域的知識(shí)問(wèn)答系統(tǒng)已經(jīng)在多家企業(yè)內(nèi)部落地，回答準(zhǔn)確率達(dá)到

90%

以上。1819垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollectionsMiniMax

大模型醫(yī)療咨詢解決方案上海稀宇科技有限公司MiniMax

成立于2021

年

11

月，是一家專注于通用人工智能的科技創(chuàng)業(yè)公司。成立至今，MiniMax自主研發(fā)了“MiniMax-abab”文本、語(yǔ)音、視覺(jué)三模態(tài)的千億參數(shù)大語(yǔ)言模型，在中、英文服務(wù)領(lǐng)域均已超過(guò)GPT-3.5

的水平。2023

年

8

月，“MiniMax-abab”大模型通過(guò)了國(guó)家首批大模型服務(wù)備案，可以面向社會(huì)公眾提供服務(wù)。

立足自研的大語(yǔ)言模型，MiniMax布局2B、2C

業(yè)務(wù)，是商業(yè)化落地最快的中國(guó)大模型初創(chuàng)企業(yè)之一。在賦能千行百業(yè)方面，公司的MiniMax

開放平臺(tái)已服務(wù)數(shù)百家行業(yè)客戶，是公用云上在線調(diào)用量最大的大模型開放平臺(tái)，在金山辦公、騰訊、小米、閱文、小紅書等多個(gè)行業(yè)頭部客戶取得了實(shí)際落地。在服務(wù)終端用戶方面，已在國(guó)內(nèi)上線“星野”、“應(yīng)事”等多個(gè)

APP。輕松應(yīng)對(duì)個(gè)性化、多樣化的用戶提問(wèn)挑戰(zhàn)2：如何回答個(gè)性化、多樣化的用戶問(wèn)題類型并給予針對(duì)性回復(fù)MiniMax

的解決方案：憑借大模型長(zhǎng)記憶能力，進(jìn)行多輪對(duì)話，提供給個(gè)性化用藥咨詢。概述項(xiàng)目背景在我國(guó)的醫(yī)療健康產(chǎn)業(yè)領(lǐng)域，醫(yī)療咨詢場(chǎng)景對(duì)于專業(yè)度與緊迫性要求極強(qiáng)。MiniMax

發(fā)揮算法優(yōu)勢(shì)，突破應(yīng)用落地，協(xié)同藥師和患者雙方進(jìn)行輔助咨詢，助力實(shí)現(xiàn)全體公民的健康福祉。技術(shù)解決路徑面對(duì)龐大的患者數(shù)量、極高的專業(yè)性要求與人工成本，MiniMax

為醫(yī)療咨詢行業(yè)提供了解決方案，通過(guò)協(xié)助藥師定期回訪并回答患者的專業(yè)問(wèn)題，極大提高了服務(wù)效率和專業(yè)水平。準(zhǔn)確理解問(wèn)題意圖與專業(yè)概念挑戰(zhàn)

3：盡管大型語(yǔ)言模型在處理問(wèn)題意圖和回答問(wèn)題方面取得了進(jìn)展，但對(duì)醫(yī)學(xué)文獻(xiàn)中概念的理解能力仍有待提高精準(zhǔn)學(xué)習(xí)垂類醫(yī)療領(lǐng)域知識(shí)挑戰(zhàn)1：大語(yǔ)言模型在專業(yè)知識(shí)方面缺乏有效回應(yīng)MiniMax的解決方案：通過(guò)提高大語(yǔ)言模型自身的能力、應(yīng)用少樣本提示和模型微調(diào)等方法，結(jié)合多種手段以提升模型對(duì)專業(yè)領(lǐng)域概念的理解。MiniMax

的解決方案：構(gòu)建外掛知識(shí)庫(kù)，提升通用大模型回答垂類領(lǐng)域問(wèn)題的準(zhǔn)確性。2021垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections案例介紹"

高濟(jì)神農(nóng)

"

是高濟(jì)健康與

MiniMax

共同打造的智能患者管理系統(tǒng)?；?/p>

MiniMax-abab

大語(yǔ)言模型，它構(gòu)建了包含數(shù)億條醫(yī)學(xué)專家指南和共識(shí)的腫瘤知識(shí)庫(kù)，同時(shí)包括營(yíng)養(yǎng)、心理、疾病知識(shí)、康復(fù)預(yù)后等內(nèi)容。通過(guò)知識(shí)增強(qiáng)技術(shù)外接到大模型中，以高濟(jì)累積的超80萬(wàn)腫瘤患者真實(shí)服務(wù)場(chǎng)景為基礎(chǔ)，經(jīng)過(guò)200余家藥房藥師的反復(fù)調(diào)試優(yōu)化，對(duì)于腫瘤用藥及不良反應(yīng)問(wèn)題的回答準(zhǔn)確率高達(dá)

97.6%?！案邼?jì)神農(nóng)”智能患者管理體系三大落地應(yīng)用：專為藥師打造的高濟(jì)HealthMate智能助手、智能隨訪系統(tǒng)、數(shù)字人用藥指導(dǎo)解讀。高濟(jì)HealthMate可以根據(jù)患者檔案，在用藥、不良反應(yīng)、不良反應(yīng)指導(dǎo)、飲食營(yíng)養(yǎng)等多個(gè)維度輔助藥師做出更準(zhǔn)確、迅速、個(gè)性化的判斷和建議，并建設(shè)流式回答來(lái)減少患者等待時(shí)間。通過(guò)智能隨訪系統(tǒng)，藥師只需要輸入對(duì)患者的基本情況、不良反應(yīng)癥狀等信息，系統(tǒng)會(huì)給出相對(duì)應(yīng)的處理建議。藥師評(píng)估判斷患者的健康情況，它便能生成更人性化、個(gè)性化以及易讀性的隨訪小結(jié)，提升藥師工作效率和患者體驗(yàn)度。給患者的用藥指導(dǎo)、隨訪小結(jié)等相關(guān)內(nèi)容都經(jīng)過(guò)專業(yè)藥師審核。同時(shí)，“高濟(jì)神農(nóng)”還利用數(shù)字人技術(shù)為老年患者提供易理解的藥品說(shuō)明和營(yíng)養(yǎng)建議視頻，幫助他們享受更便捷的互聯(lián)網(wǎng)醫(yī)療體驗(yàn)。需求分析醫(yī)療咨詢行業(yè)的困境——以腫瘤治療為例“高濟(jì)神農(nóng)”是一次對(duì)腫瘤患者安全用藥管理未來(lái)方向的探索。在進(jìn)博會(huì)上發(fā)布最新“高濟(jì)神農(nóng)

2.0”，增加了智能院外患者管理體系，旨在通過(guò)持續(xù)不斷洞察患者需求，提升患者服務(wù)體驗(yàn)。腫瘤治療的成功是實(shí)現(xiàn)全民健康的關(guān)鍵環(huán)節(jié)中國(guó)每年新增腫瘤患者超過(guò)400

萬(wàn)，每年去世腫瘤患者大約300

萬(wàn)。這一數(shù)據(jù)表明，腫瘤治療已成為全民健康實(shí)現(xiàn)的關(guān)鍵環(huán)節(jié)。效益分析經(jīng)濟(jì)效益院外個(gè)性化用藥咨詢對(duì)腫瘤患者不可或缺高濟(jì)神農(nóng)產(chǎn)品的使用，可以有效提升高濟(jì)藥師咨詢服務(wù)的專業(yè)水平，提升服務(wù)質(zhì)量。同時(shí)，擴(kuò)大可服務(wù)病患人群，覆蓋數(shù)倍于之前規(guī)模，助力提升全民健康。在腫瘤患者就醫(yī)的全周期中，院內(nèi)時(shí)間僅占

10%

左右，而其余

90%

的時(shí)間都在院外度過(guò)。在此期間，患者的用藥依存性、轉(zhuǎn)移情況、療效追蹤、不良反應(yīng)、營(yíng)養(yǎng)情況、心理狀態(tài)等方面都需要藥師或醫(yī)生及時(shí)隨訪，并提供相應(yīng)的咨詢服務(wù)。商業(yè)模式針對(duì)知識(shí)庫(kù)構(gòu)建和調(diào)優(yōu)服務(wù)一次性收費(fèi)，同時(shí)，按照問(wèn)答消耗的token

數(shù)量，依照實(shí)際調(diào)用量按量計(jì)費(fèi)。以患者為中心的人工服務(wù)面臨挑戰(zhàn)以患者為中心的人工服務(wù)在專業(yè)度、成本和可擴(kuò)展性方面存在諸多挑戰(zhàn)。首先，數(shù)十種腫瘤病種和數(shù)百種抗腫瘤藥物的知識(shí)體系龐大且復(fù)雜；其次，單病種就有成百上千篇知識(shí)文檔，對(duì)藥師的持續(xù)學(xué)習(xí)能力要求很高；最后，1名藥師每個(gè)月最多能服務(wù)300-350位患者，這意味著需要數(shù)千名藥師來(lái)滿足患者的需求。以上如此龐大且急切的需求單憑人工手段無(wú)法得到全部滿足。應(yīng)用推廣前景高濟(jì)神農(nóng)合作項(xiàng)目的知識(shí)庫(kù)解決方案，有效提升了藥師的專業(yè)性，可覆蓋更多人群。知識(shí)庫(kù)方案在醫(yī)療行業(yè)中，針對(duì)需要為患者提供專業(yè)咨詢服務(wù)的場(chǎng)景，具備很強(qiáng)的可復(fù)制性，市場(chǎng)潛力很大。2223垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections對(duì)企業(yè)實(shí)施、運(yùn)營(yíng)、維護(hù)的一體化覆蓋，同時(shí)言犀大模型中的小型化技術(shù)能夠使企業(yè)具備云管邊端協(xié)同運(yùn)營(yíng)的能力，增強(qiáng)企業(yè)面對(duì)非標(biāo)準(zhǔn)化、算力通訊資源受限場(chǎng)景的應(yīng)對(duì)能力，和面對(duì)業(yè)務(wù)變化的快速響應(yīng)能力。言犀基礎(chǔ)大模型需求分析目前基礎(chǔ)大模型正處于蓬勃發(fā)展階段，各行業(yè)、各領(lǐng)域以構(gòu)建數(shù)字化、線上化、搭建虛擬仿真場(chǎng)景為主要應(yīng)用。在當(dāng)前階段下，基礎(chǔ)大模型面臨著以下問(wèn)題：京東云一、

由于基礎(chǔ)技術(shù)的限制以及大部分企業(yè)在大模型應(yīng)用和硬件設(shè)備開發(fā)能力的不足，從而導(dǎo)致無(wú)法自主生產(chǎn)原生

AI

模型。京東科技是京東集團(tuán)旗下專注于以技術(shù)為政企客戶服務(wù)的業(yè)務(wù)子集團(tuán)，秉承科技引領(lǐng)、助力城市及產(chǎn)業(yè)數(shù)智化升級(jí)的使命，我們致力于為政府、企業(yè)、金融機(jī)構(gòu)等各類客戶提供全價(jià)值鏈的技術(shù)性產(chǎn)品與服務(wù)?；谌斯ぶ悄?、云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等前沿科技，依托京東多年耕耘供應(yīng)鏈的積累，京東科技是最懂產(chǎn)業(yè)的數(shù)智化解決方案提供商，面向不同行業(yè)提供以供應(yīng)鏈為基礎(chǔ)的數(shù)智化解決方案。二、

除了用戶單點(diǎn)大模型開發(fā)技術(shù)能力的不足，在各行業(yè)鏈條中的軟硬件互通、數(shù)據(jù)標(biāo)準(zhǔn)化和應(yīng)用功能融合等問(wèn)題中都存在著無(wú)法克服的壁壘。三、

大模型訓(xùn)練硬件的能源消耗問(wèn)題，在當(dāng)前全球綠色經(jīng)濟(jì)的背景下，平穩(wěn)運(yùn)行離不開大規(guī)模的數(shù)據(jù)中心和云計(jì)算中心等基礎(chǔ)設(shè)施的支撐，而大部分企業(yè)則無(wú)法滿足以上的要求，從而無(wú)法實(shí)現(xiàn)大模型的應(yīng)用。2021

年

1

月，京東科技在原京東數(shù)科與京東智聯(lián)云基礎(chǔ)上重組完成，融合了兩大技術(shù)業(yè)務(wù)板塊的綜合實(shí)力，京東科技現(xiàn)已成為整個(gè)京東集團(tuán)對(duì)外提供技術(shù)服務(wù)的核心平臺(tái)，擁有豐富的產(chǎn)業(yè)理解力、深厚的風(fēng)險(xiǎn)管理能力、用戶運(yùn)營(yíng)能力和企業(yè)服務(wù)能力，能面向不同行業(yè)為客戶提供行業(yè)應(yīng)用、產(chǎn)品開發(fā)與產(chǎn)業(yè)數(shù)字化服務(wù)。針對(duì)以上情況，開發(fā)言犀基礎(chǔ)大模型，以實(shí)現(xiàn)低門檻構(gòu)建基于人工智能技術(shù)的解決方案，是本項(xiàng)目需要解決的問(wèn)題。案例介紹京東推出的言犀基礎(chǔ)大模型，將著力圍繞內(nèi)容生成、人機(jī)對(duì)話、用戶意圖理解、信息抽取、情感分類等幾大類任務(wù)，圍繞零售、物流、金融、健康、政務(wù)場(chǎng)景進(jìn)行落地應(yīng)用。1)優(yōu)質(zhì)的場(chǎng)景和數(shù)據(jù)讓模型產(chǎn)業(yè)屬性更強(qiáng)概述京東作為一家新型實(shí)體企業(yè)，擁有著深厚的產(chǎn)業(yè)基因和供應(yīng)鏈場(chǎng)景，源于真實(shí)的業(yè)務(wù)需求、深度復(fù)雜的場(chǎng)景任務(wù)和廣泛的實(shí)體經(jīng)濟(jì)發(fā)展要求，促使京東的AI

技術(shù)是面向知識(shí)密集型、任務(wù)型場(chǎng)景，解決真實(shí)產(chǎn)業(yè)問(wèn)題的技術(shù)。且京東云旗下的言犀團(tuán)隊(duì)在任務(wù)型智能對(duì)話交互關(guān)鍵技術(shù)方向擁有豐富的積累和廣泛的落地，擁有包括文本生成、語(yǔ)音生成、對(duì)話生成等系列領(lǐng)先技術(shù)，并打造出了智能客服系統(tǒng)、京小智平臺(tái)商家服務(wù)系統(tǒng)、智能政務(wù)熱線、言犀數(shù)字人等系列產(chǎn)品和解決方案。京東的言犀大模型，是扎根產(chǎn)業(yè)的原生大模型。憑借著從基礎(chǔ)設(shè)施、模型層、MaaS層、SaaS

層全棧的技術(shù)布局，打造多款端到端的大模型技術(shù)產(chǎn)品。言犀大模型擁有三個(gè)差異化的特性：第一，它是產(chǎn)業(yè)原生的，有更強(qiáng)的產(chǎn)業(yè)屬性。第二，它是價(jià)值驅(qū)動(dòng)的，有更高的應(yīng)用價(jià)值。第三，它是開放協(xié)同的，有更快的迭代效率。京東科技深耕人工智能領(lǐng)域多年，形成了從算法到應(yīng)用場(chǎng)景的鏈路，并通過(guò)自研推出言犀基礎(chǔ)大模型，賦予客戶在各自行業(yè)中快速構(gòu)建、部署，應(yīng)用人工智能的能力。通過(guò)言犀基礎(chǔ)大模型，企業(yè)可以建立從業(yè)務(wù)的大量數(shù)據(jù)中自我學(xué)習(xí)、自驅(qū)迭代的能力，并實(shí)現(xiàn)2425垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections2)京東言犀大模型技術(shù)架構(gòu)京東言犀大模型是基于京東云的高性能計(jì)算集群，采用Megatron+DeepSpeed

的分布式訓(xùn)練框架，訓(xùn)練的

Decoder-Only

架構(gòu)模型。在通用知識(shí)獲取方面，言犀大模型添加了約30%

的京東域自身的產(chǎn)業(yè)數(shù)據(jù)，并通過(guò)構(gòu)建高質(zhì)量的指令數(shù)據(jù)，幫助模型具備更強(qiáng)的產(chǎn)業(yè)屬性。除了模型訓(xùn)練本身，京東言犀大模型還在模型的轉(zhuǎn)換層和服務(wù)層進(jìn)行了自研算法的深耕，提升了大模型本身的推理速度和部署性能，讓大模型的能力能夠充分的下沉到業(yè)務(wù)端，并通過(guò)集成平臺(tái)能力打造真正的模型及服務(wù)。圖1

京東言犀大模型概覽另一方面，京東連接著產(chǎn)業(yè)互聯(lián)網(wǎng)和消費(fèi)互聯(lián)網(wǎng)，在對(duì)內(nèi)實(shí)踐和對(duì)外產(chǎn)業(yè)數(shù)智化過(guò)程中積累了眾多優(yōu)質(zhì)的數(shù)據(jù)，區(qū)別于一些通用域數(shù)據(jù)的靜態(tài)數(shù)據(jù)，京東的數(shù)據(jù)是“鮮活的”，憑借每年產(chǎn)生數(shù)百億的交互數(shù)據(jù)，保證了模型的持續(xù)迭代和優(yōu)化。京東的大模型是在預(yù)訓(xùn)練階段就接了70%

通用域數(shù)據(jù)和接近30%

京東特有的產(chǎn)業(yè)數(shù)據(jù)相結(jié)合去做訓(xùn)練，這就保證了模型擁有大模型的“常識(shí)”，并擁有產(chǎn)業(yè)模型的“專業(yè)”。圖3

京東言犀大模型架構(gòu)3)前沿的算法能力保證模型具備高應(yīng)用價(jià)值預(yù)訓(xùn)練層面源于業(yè)務(wù)應(yīng)用需求，京東在

2020

年就提出了

K-PLUG

模型，將領(lǐng)域知識(shí)注入大模型中，以提高大模型的專業(yè)性和忠實(shí)度，并在2021

年對(duì)該項(xiàng)工作進(jìn)行了發(fā)表。K-PLUG方法是基于

Transformer

模型架構(gòu)X

京東的產(chǎn)業(yè)知識(shí)進(jìn)行的預(yù)訓(xùn)練。該算法幫助模型在實(shí)體屬性抽取準(zhǔn)確率為

96%；在生成式多輪對(duì)話

ROUGE-L（指標(biāo)主要是對(duì)比機(jī)器生成的內(nèi)容與人類的標(biāo)準(zhǔn)內(nèi)容的匹配度），以27%

領(lǐng)先于斯坦福經(jīng)典的Pointer-Generator；在上下文多輪問(wèn)答知識(shí)檢索率以

74%

準(zhǔn)確率領(lǐng)先于行業(yè)。圖2

京東言犀大模型數(shù)據(jù)概覽2627垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections4)澎湃算力打造開放協(xié)同的大模型生態(tài)為了訓(xùn)練大模型，京東早在2021

年就在重慶建成了大模型集群，也是全國(guó)首個(gè)基于DGX

SuperPOD架構(gòu)的超大規(guī)模計(jì)算集群—天琴

，該集群在保障京東自身大模型訓(xùn)練的同時(shí)，還將集群的每秒浮點(diǎn)運(yùn)算次數(shù)提升

40%，多卡線性加速比提升

90%，為后續(xù)大模型的持續(xù)發(fā)展打下良好的基礎(chǔ)。另一方面，為了更好的應(yīng)對(duì)大模型背景下的海量數(shù)據(jù)存儲(chǔ)問(wèn)題，京東還自研了向量數(shù)據(jù)庫(kù)Vearch，支持百億級(jí)向量監(jiān)檢索，召回實(shí)現(xiàn)毫秒級(jí)延遲，智能儲(chǔ)存分層實(shí)現(xiàn)成本降低

60%，大幅提升了模型推理泛化能力與推理效率。效益分析該解決方案以京東全產(chǎn)業(yè)鏈為核心優(yōu)勢(shì)，從產(chǎn)業(yè)場(chǎng)景、軟件平臺(tái)、安全合規(guī)等多個(gè)方面為用戶帶來(lái)價(jià)值。產(chǎn)業(yè)場(chǎng)景方面

:用戶將借助京東積累的歷史行業(yè)知識(shí)，低成本快速構(gòu)建該用戶所在細(xì)分領(lǐng)域大模型應(yīng)用，使用戶快速取得局部市場(chǎng)的先發(fā)優(yōu)勢(shì)（量化標(biāo)準(zhǔn)為縮短開發(fā)周期及成本降低）。圖4

京東言犀大模型K-PLUG算法推理部署層面除了在大模型的預(yù)訓(xùn)練階段，言犀大模型通過(guò)上述算法增強(qiáng)了產(chǎn)業(yè)領(lǐng)域知識(shí)，在模型的推理層面，京東言犀采用量化矩陣算子融合、自適應(yīng)參數(shù)矩陣量化、自動(dòng)算子切分與卡間并行、內(nèi)存優(yōu)化與緩存等多種策略，將推理速度提升6.2倍，且在“首字”推理速度的大模型推理難點(diǎn)上，京東言犀大模型采用自研的算法，極大程度的提升了大模型在推理方面的性能。在部署方向，依靠流式推理有效解碼傳輸機(jī)制、動(dòng)態(tài)批處理、異構(gòu)集群部署等方法，將部署成本降低了

90%。軟件應(yīng)用方面

:為了讓模型有更好的能力和應(yīng)用，京東將開發(fā)言犀大模型過(guò)程中積累下來(lái)的能力解耦整合出來(lái)，以大模型開發(fā)平臺(tái)的形式開放給京東的合作伙伴。該平臺(tái)以京東云的私有云、公有云和混合云等高性能計(jì)算集群為底座，內(nèi)置了包括數(shù)據(jù)、模型訓(xùn)練和部署推理等工具能力，不僅支持京東自身的言犀框架，也同時(shí)會(huì)支持各個(gè)主流的開源模型框架，促進(jìn)大模型生態(tài)的發(fā)展。此外，京東言犀大模型還擁有配套的AI

開發(fā)計(jì)算平臺(tái)，用于快速的模型迭代，效率提升10

倍以上，讓模型能夠不斷的學(xué)習(xí)新的知識(shí)。安全合規(guī)方面：言犀

AI

大模型具備數(shù)據(jù)隱私和內(nèi)容安全可控的價(jià)值：5)數(shù)據(jù)隱私安全我司在人機(jī)交互研究中進(jìn)行訓(xùn)練數(shù)據(jù)處理、人工智能模型的訓(xùn)練時(shí)，嚴(yán)格遵守使用深度合成技術(shù)中的個(gè)人隱私保護(hù)要求，確保訓(xùn)練數(shù)據(jù)數(shù)據(jù)來(lái)源合法性，并使用脫敏數(shù)據(jù)進(jìn)行模型訓(xùn)練。6)內(nèi)容生成可控性惡意代碼、插件和網(wǎng)絡(luò)釣魚電子郵件有可能被ChatGPT生成。為了杜絕此安全隱患，京東云言犀團(tuán)隊(duì)會(huì)在模型訓(xùn)練時(shí)引入人工反饋機(jī)制降低和杜絕模型生成有害信息的回復(fù)。同時(shí)引入審核API

來(lái)阻止某些有害內(nèi)容的輸出，例如，當(dāng)收到要求編寫用于從被黑客攻擊的設(shè)備竊取數(shù)據(jù)的代碼或制作網(wǎng)絡(luò)釣魚電子郵件時(shí)，模型會(huì)拒絕該要求并指出此類內(nèi)容是“非法、不道德且有害的”。圖5

京東言犀大模型推理部署2829垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections需求分析數(shù)字化時(shí)代，數(shù)據(jù)分析的重要性猶如空氣般無(wú)處不在。商業(yè)數(shù)據(jù)分析是數(shù)字化管理、智能決策的基礎(chǔ)，同時(shí)數(shù)據(jù)分析又是一個(gè)專業(yè)性極強(qiáng)的工作，描述性分析、診斷性分析、預(yù)測(cè)性分析，會(huì)讓大多數(shù)只會(huì)用

Excel

的人望而生畏。國(guó)內(nèi)首款可私有化部署的企業(yè)級(jí)數(shù)據(jù)分析智能體——TableAgent作為一款企業(yè)級(jí)應(yīng)用，業(yè)務(wù)數(shù)據(jù)的安全性、合規(guī)性不可忽略，一款可以私有化部署的方案在企業(yè)利用大模型技術(shù)進(jìn)行數(shù)據(jù)分析應(yīng)用落地迫在眉睫。九章云極DataCanvas公司自主研發(fā)的TableAgent

數(shù)據(jù)分析智能體，可以實(shí)現(xiàn)私有化部署，保障安全、合規(guī)的前提下，讓大模型對(duì)個(gè)人生產(chǎn)力的賦能，從寫紀(jì)要、做總結(jié)上升到新的臺(tái)階，只要會(huì)提問(wèn)，就能成為一個(gè)高級(jí)的數(shù)據(jù)分析師，洞察數(shù)據(jù)奧秘。北京九章云極科技有限公司北京九章云極科技有限公司（簡(jiǎn)稱：九章云極

DataCanvas）以“創(chuàng)造智能，探索未知”為使命，以“助力全球企業(yè)智能升級(jí)”為愿景，是中國(guó)人工智能基礎(chǔ)軟件領(lǐng)軍者。公司致力通過(guò)自主研發(fā)的人工智能基礎(chǔ)軟件產(chǎn)品系列和解決方案為用戶提供人工智能基礎(chǔ)服務(wù)，助力用戶在數(shù)智化轉(zhuǎn)型中輕松完成模型和數(shù)據(jù)的雙向賦能，低成本高效率地提升企業(yè)決策能力，實(shí)現(xiàn)企業(yè)級(jí)

AI

規(guī)?；瘧?yīng)用。案例介紹一、主要能力TableAgent

是在

DataCanvas

Alaya

九章元識(shí)大模型基礎(chǔ)上開發(fā)的能夠?qū)崿F(xiàn)私有化部署的企業(yè)級(jí)數(shù)據(jù)分析的智能體，有非常強(qiáng)大的意圖理解能力、分析建模能力和洞察力。TableAgent

在充分的理解用戶意圖后，自主的利用統(tǒng)計(jì)科學(xué)、機(jī)器學(xué)習(xí)、因果推斷等高級(jí)建模技術(shù)從數(shù)據(jù)中挖掘價(jià)值，進(jìn)而提供分析觀點(diǎn)和指導(dǎo)行動(dòng)的深刻見解。九章云極DataCanvas

的核心產(chǎn)品系列AIFS

人工智能基礎(chǔ)軟件和DataPilot

數(shù)據(jù)領(lǐng)航員具有高度的靈活性和可擴(kuò)展性，能夠處理各種類型和規(guī)模的數(shù)據(jù)，簡(jiǎn)化了數(shù)據(jù)處理和分析的復(fù)雜性。產(chǎn)品集成了一系列先進(jìn)人工智能技術(shù)，包括多模態(tài)向量數(shù)據(jù)庫(kù)、因果學(xué)習(xí)、思維件等，為企業(yè)提供AI

軟件開發(fā)新范式。二、技術(shù)創(chuàng)新點(diǎn)TableAgent

是從

0

到

1

的交互式結(jié)構(gòu)化數(shù)據(jù)分析的突破，是企業(yè)數(shù)據(jù)分析的全新方式?；诤诵难邪l(fā)團(tuán)隊(duì)豐富的數(shù)據(jù)分析經(jīng)驗(yàn)和技術(shù)創(chuàng)新探索，TableAgent

能夠在強(qiáng)大的Alaya

九章元識(shí)大模型上微調(diào)出功能穩(wěn)定、高效的數(shù)據(jù)分析能力。1、在

Alaya-ZeroX

模型組開發(fā)的同時(shí)，TableAgent

針對(duì)企業(yè)用戶領(lǐng)域微調(diào)的需求配套設(shè)計(jì)了T+

系統(tǒng)，能夠高效的實(shí)現(xiàn)定制化的微調(diào)工作，系統(tǒng)性的體系支撐更高效的實(shí)現(xiàn)數(shù)據(jù)分析各個(gè)環(huán)節(jié)的升級(jí)，讓用戶在無(wú)感知的情況下即可獲得不斷升級(jí)的數(shù)據(jù)分析體驗(yàn)。概述大模型技術(shù)催生了數(shù)據(jù)分析技術(shù)的進(jìn)一步跨越，通過(guò)將大模型技術(shù)和具體的業(yè)務(wù)深度融合，數(shù)據(jù)分析成為直接為企業(yè)用戶產(chǎn)生更富有商業(yè)價(jià)值的應(yīng)用領(lǐng)域?；贒ataCanvasAlaya

九章元識(shí)大模型微調(diào)出

Alaya-ZeroX

模型組，開發(fā)的

TableAgent

數(shù)據(jù)分析智能體，是從

0

到

1

的交互式結(jié)構(gòu)化數(shù)據(jù)分析的突破，提供私有化部署方案，保障了業(yè)務(wù)數(shù)據(jù)的安全合規(guī)，是企業(yè)數(shù)據(jù)分析的全新方式。作為國(guó)內(nèi)首款可以實(shí)現(xiàn)私有化部署的企業(yè)級(jí)數(shù)據(jù)分析智能體，TableAgent

在充分理解用戶意圖后，可自主的利用統(tǒng)計(jì)科學(xué)、機(jī)器學(xué)習(xí)、因果推斷等高級(jí)建模技術(shù)從數(shù)據(jù)中挖掘價(jià)值，進(jìn)而提供分析觀點(diǎn)和指導(dǎo)行動(dòng)的深刻見解，賦予企業(yè)用戶具備數(shù)據(jù)分析師的能力。2、TableAgent

融合了公司多個(gè)前沿技術(shù)成果，除了在Alaya

大模型的基礎(chǔ)，還同時(shí)運(yùn)用了自研開源大模型工具鏈、融合了

DAT

自動(dòng)機(jī)器學(xué)習(xí)和YLearn

因果學(xué)習(xí)算法成果，因此融合了強(qiáng)大的自動(dòng)化、因果可解釋的

AI

能力。3、TableAgent

提供了效率提升明顯的、確保數(shù)據(jù)分析成果更可用的數(shù)據(jù)分析和能力，為企業(yè)場(chǎng)景的數(shù)據(jù)利用帶來(lái)更多可能性。2023

年

11

月

21日，九章云極DataCanvasTableAgent

產(chǎn)品面向社會(huì)開放公測(cè)（地址：），助力企業(yè)借助大模型技術(shù)發(fā)揮數(shù)據(jù)價(jià)值，提高企業(yè)生產(chǎn)經(jīng)營(yíng)效率。3031垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections三、應(yīng)用落地情況TableAgent

前身為九章云極DataCanvas

公司在6

月

30

日發(fā)布的TableGPT，該產(chǎn)品已經(jīng)在公司內(nèi)部經(jīng)過(guò)四個(gè)多月的內(nèi)測(cè)試用，期間我們不斷升級(jí)能力和體驗(yàn)。在算力準(zhǔn)備充沛之際，于11

月

21

日面向社會(huì)開放公測(cè)。截至目前，已經(jīng)在金融行業(yè)的客戶流失預(yù)警、產(chǎn)品定價(jià)，互聯(lián)網(wǎng)行業(yè)外賣平臺(tái)的推薦優(yōu)化、訂單轉(zhuǎn)化，以及油氣、零售、地產(chǎn)等多個(gè)業(yè)務(wù)場(chǎng)景得到應(yīng)用，幫助數(shù)據(jù)分析師更加高效賦能業(yè)務(wù)，提高企業(yè)經(jīng)營(yíng)效能。未來(lái)，TableAgent將進(jìn)一步融合非結(jié)構(gòu)化數(shù)據(jù)的分析能力，并與公司自研的DingoDB

多模向量數(shù)據(jù)庫(kù)、DataCanvas

Alaya

九章元識(shí)大模型聯(lián)合創(chuàng)新，在復(fù)雜分析任務(wù)、自動(dòng)化、人機(jī)交互、智能體協(xié)同等方面進(jìn)一步升級(jí)。效益分析一、經(jīng)濟(jì)社會(huì)效益1、促進(jìn)產(chǎn)業(yè)升級(jí)：企業(yè)在生產(chǎn)經(jīng)營(yíng)過(guò)程中，每天將產(chǎn)生大量的數(shù)據(jù)，尤其是互聯(lián)網(wǎng)行業(yè)，數(shù)據(jù)量將達(dá)到近百億規(guī)模。在數(shù)智化升級(jí)過(guò)程中，面向業(yè)務(wù)的人員的需求，技術(shù)人員需要快速響應(yīng)。TableAgent

的應(yīng)用，可以助力企業(yè)高質(zhì)量的完成分析工作，賦予智能化決策測(cè)能力，提高企業(yè)經(jīng)營(yíng)效能，為企業(yè)催生巨大的商業(yè)價(jià)值，推動(dòng)產(chǎn)業(yè)升級(jí)發(fā)展。2、加強(qiáng)AI數(shù)據(jù)分析人才培養(yǎng)：當(dāng)前業(yè)務(wù)的競(jìng)爭(zhēng)更是技術(shù)人才的競(jìng)爭(zhēng)，大模型時(shí)代的到來(lái)，重塑了

AI

人才的培養(yǎng)。TableAgent

可提高

AI

技術(shù)人才能力，賦予人人都是數(shù)據(jù)分析師的能力。二、商業(yè)模式目前，TableAgent

面向社會(huì)免費(fèi)開放，公眾均可注冊(cè)申請(qǐng)?jiān)囉皿w驗(yàn)。三、應(yīng)用推廣前景TableAgent

使用0

門檻，開箱即用，用戶僅需要把企業(yè)屬性數(shù)據(jù)上傳到應(yīng)用后臺(tái)即可對(duì)業(yè)務(wù)數(shù)據(jù)開展專業(yè)性的分析。基于九章云極自有的Alaya

元識(shí)大模型和底層體系，可以適用于各類行業(yè)的數(shù)據(jù)分析，實(shí)現(xiàn)對(duì)任何特定領(lǐng)域內(nèi)個(gè)性化數(shù)據(jù)分析情景下的微調(diào)，對(duì)行業(yè)沒(méi)有限制。目前已經(jīng)在金融、制造、交通、互聯(lián)網(wǎng)、地產(chǎn)、能源等多個(gè)行業(yè)進(jìn)行應(yīng)用驗(yàn)證，通過(guò)近期的公測(cè)表現(xiàn)，我們相信TableAgent

在未來(lái)會(huì)有更廣泛的應(yīng)用和更具商業(yè)價(jià)值的產(chǎn)出。3233垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections需求分析1、知識(shí)碎片化隨著信息的爆炸式增長(zhǎng)，知識(shí)變得碎片化和分散。企業(yè)需要一個(gè)知識(shí)管家系統(tǒng)來(lái)收集、整理和連接這些碎九章云極知識(shí)管家打造企業(yè)專屬大模型智能底座片化的知識(shí)。2、信息過(guò)載隨著企業(yè)業(yè)務(wù)的快速發(fā)展和創(chuàng)新，大量信息和數(shù)據(jù)不斷涌現(xiàn)，缺乏有效的信息篩選處理機(jī)制，導(dǎo)致大量信息被堆積和遺忘，無(wú)法得到及時(shí)有效的利用。3、數(shù)據(jù)及信息安全難北京九章云極科技有限公司隨著企業(yè)知識(shí)信息量的不斷增加，信息安全風(fēng)險(xiǎn)也不斷增加，企業(yè)的核心知識(shí)和敏感信息在知識(shí)管理過(guò)程中可能泄露。4、知識(shí)共享交流難北京九章云極科技有限公司（簡(jiǎn)稱：九章云極

DataCanvas）以“創(chuàng)造智能，探索未知”為使命，以“助力全球企業(yè)智能升級(jí)”為愿景，是中國(guó)人工智能基礎(chǔ)軟件領(lǐng)軍者。公司致力通過(guò)自主研發(fā)的人工智能基礎(chǔ)軟件產(chǎn)品系列和解決方案為用戶提供人工智能基礎(chǔ)服務(wù)，助力用戶在數(shù)智化轉(zhuǎn)型中輕松完成模型和數(shù)據(jù)的雙向賦能，低成本高效率的提升企業(yè)決策能力，實(shí)現(xiàn)企業(yè)級(jí)

AI

規(guī)?；瘧?yīng)用。知識(shí)共享機(jī)制不足、知識(shí)交流渠道不暢、知識(shí)共享和交流意愿不足、語(yǔ)言和溝通障礙。5、知識(shí)與業(yè)務(wù)融合難知識(shí)管理系統(tǒng)和業(yè)務(wù)系統(tǒng)各自獨(dú)立，知識(shí)和業(yè)務(wù)之間缺乏緊密的關(guān)聯(lián)和互動(dòng)，企業(yè)的知識(shí)與業(yè)務(wù)難融合，會(huì)導(dǎo)致業(yè)務(wù)知識(shí)的滯后。九章云極DataCanvas

的核心產(chǎn)品系列AIFS

人工智能基礎(chǔ)軟件和DataPilot

數(shù)據(jù)領(lǐng)航員具有高度的靈活性和可擴(kuò)展性，能夠處理各種類型和規(guī)模的數(shù)據(jù)，簡(jiǎn)化了數(shù)據(jù)處理和分析的復(fù)雜性。產(chǎn)品集成了一系列先進(jìn)人工智能技術(shù)，包括多模態(tài)向量數(shù)據(jù)庫(kù)、因果學(xué)習(xí)、思維件等，為企業(yè)提供AI

軟件開發(fā)新范式。案例介紹一、主要能力九章云極知識(shí)管家包括結(jié)合大模型并融合企業(yè)專有知識(shí)的

QA問(wèn)答功能、可自定義角色的定制化對(duì)話助手、針對(duì)上傳文檔的智能分析ChatDoc

以及后臺(tái)相應(yīng)的模型&

微調(diào)管理、知識(shí)數(shù)據(jù)管理、智能應(yīng)用Agent

管理等功能。九章云極知識(shí)管家作為企業(yè)的專屬大模型智能底座可面向不同場(chǎng)景定義相應(yīng)職位、角色的大模型特色應(yīng)用，比如智能合同審核、營(yíng)銷文案創(chuàng)作等，幫助企業(yè)逐步打造自己的大模型應(yīng)用體系。概述在大模型技術(shù)浪潮的推動(dòng)下，企業(yè)知識(shí)的處理和應(yīng)用正在發(fā)生全新變化。企業(yè)知識(shí)管理面臨著知識(shí)碎片化，信息過(guò)載，數(shù)據(jù)及信息安全難，知識(shí)共享交流難，知識(shí)與業(yè)務(wù)融合難等挑戰(zhàn)。九章云極DataCanvas

以

AIFS（AI

Foundation

Software）為根基，發(fā)揮Alaya

九章元識(shí)大模型和多模向量數(shù)據(jù)庫(kù)的核心能力，打造企業(yè)級(jí)知識(shí)管家，通過(guò)數(shù)據(jù)收集，數(shù)據(jù)處理，寫入向量數(shù)據(jù)庫(kù)，集成、微調(diào)大語(yǔ)言模型，知識(shí)助手應(yīng)用，以及反饋與迭代優(yōu)化六步過(guò)程，為企業(yè)構(gòu)建高度自動(dòng)化與智能化的企業(yè)知識(shí)庫(kù)。在六步過(guò)程中，企業(yè)知識(shí)管家支持全規(guī)模、全類型的企業(yè)知識(shí)數(shù)據(jù)收集，并通過(guò)數(shù)據(jù)處理將企業(yè)知識(shí)轉(zhuǎn)化為高維向量，儲(chǔ)存到DingoDB

多模向量數(shù)據(jù)庫(kù)中。根據(jù)企業(yè)需求，企業(yè)知識(shí)管家微調(diào)DataCanvasAlaya

九章元識(shí)大模型并與向量化企業(yè)知識(shí)庫(kù)進(jìn)行交互，通過(guò)知識(shí)助手將構(gòu)建好的知識(shí)庫(kù)應(yīng)用于企業(yè)多元業(yè)務(wù)場(chǎng)景。同時(shí)為用戶提供便捷的反饋渠道，不斷對(duì)企業(yè)知識(shí)庫(kù)進(jìn)行迭代優(yōu)化，保證其準(zhǔn)確性和時(shí)效性。圖1

產(chǎn)品架構(gòu)圖3435垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections二、技術(shù)創(chuàng)新點(diǎn)作為大模型時(shí)代的數(shù)據(jù)處理新范式，基于九章云極元識(shí)大模型和向量數(shù)據(jù)庫(kù)

DingoDB

前沿技術(shù)能力打造的九章云極知識(shí)管家，在金融、制造、通信、能源等眾多行業(yè)擁有豐富的應(yīng)用場(chǎng)景，并已經(jīng)在某頭部汽車制造廠商和城商行進(jìn)行落地化應(yīng)用，助力用戶企業(yè)構(gòu)建高度自動(dòng)化與智能化的企業(yè)知識(shí)庫(kù)。更多豐富行業(yè)應(yīng)用場(chǎng)景，包括：1、自研的多模態(tài)大模型底座支撐——DataCanvasAlaya

九章元識(shí)大模型DataCanvas

Alaya

是九章云極DataCanvas

自研的“通識(shí)

+

產(chǎn)業(yè)”白盒大模型矩陣，支持多種模態(tài)模式，高效微調(diào)訓(xùn)練，以及Flash

attention

技術(shù)。九章元識(shí)提供了一系列不同配置和參數(shù)的，具備業(yè)界前沿能力和技術(shù)的預(yù)訓(xùn)練大模型，可聯(lián)合企業(yè)訓(xùn)練面向金融、通信、制造等行業(yè)的領(lǐng)域垂類多模態(tài)大模型，更好地應(yīng)對(duì)行業(yè)復(fù)雜專業(yè)的問(wèn)題。秉持開放友好的開源理念，九章元識(shí)大模型矩陣中的Alaya-7B

已在GitHub

進(jìn)行開源，開源地址為：/DataCanvasIO/Alaya。金融行業(yè)應(yīng)用場(chǎng)景：金融知識(shí)智能問(wèn)答、智能反欺詐、智能客戶聊天機(jī)器人、NL2SQL、代碼生成等、智能

BI

及分析決策、文案創(chuàng)作、文檔生成等；制造行業(yè)應(yīng)用場(chǎng)景：制造工藝問(wèn)答、售后服務(wù)知識(shí)問(wèn)答、文檔輔助編寫、智能談判、合同審核等；2、大模型時(shí)代的數(shù)據(jù)引擎——自研多模向量數(shù)據(jù)庫(kù)

DingoDB交通行業(yè)應(yīng)用場(chǎng)景：高速知識(shí)問(wèn)答、司乘人員知識(shí)問(wèn)答、航空專業(yè)知識(shí)問(wèn)答、機(jī)電系統(tǒng)維護(hù)、道路病害養(yǎng)護(hù)、文檔輔助編寫等。DingoDB

是九章云極自研的多模向量數(shù)據(jù)庫(kù)，同時(shí)提供結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、分析和科學(xué)計(jì)算的能力?？芍握⒔鹑?、傳統(tǒng)行業(yè)構(gòu)建企業(yè)級(jí)的知識(shí)庫(kù)，實(shí)現(xiàn)語(yǔ)義的精準(zhǔn)搜索與聯(lián)合分析。作為行業(yè)首批，DingoDB

以同批次最好成績(jī)完成中國(guó)信通院向量數(shù)據(jù)庫(kù)技術(shù)標(biāo)準(zhǔn)的測(cè)試。DingoDB

多模向量數(shù)據(jù)庫(kù)也在

GitHub

進(jìn)行開源，開源地址：/DingoDB。效益分析一、社會(huì)效益3、靈活豐富的大模型智能體

Agent

擴(kuò)展能力，支持

Agent

擴(kuò)展和可視化

Agent

編排。4、易用的知識(shí)管理及模型微調(diào)功能，可實(shí)現(xiàn)企業(yè)知識(shí)多模式智能對(duì)話問(wèn)答。1.

私有化部署，實(shí)現(xiàn)企業(yè)數(shù)據(jù)隱私保護(hù)采取數(shù)據(jù)脫敏、匿名化等技術(shù)手段，確保在訓(xùn)練過(guò)程中不泄露個(gè)人身份和敏感信息。使用加密算法或差分隱私技術(shù)來(lái)保護(hù)數(shù)據(jù)的隱私。5、是行業(yè)垂類多模態(tài)大模型基座?；诰耪略茦O

Alaya

元識(shí)大模型，可聯(lián)合企業(yè)訓(xùn)練面向金融、通信、制造等行業(yè)的領(lǐng)域垂類多模態(tài)大模型，更好地應(yīng)對(duì)行業(yè)復(fù)雜專業(yè)的問(wèn)題。采用安全多方計(jì)算等技術(shù)，使得多個(gè)參與方能夠在不泄露數(shù)據(jù)的情況下進(jìn)行計(jì)算和模型訓(xùn)練。2.訪問(wèn)控制和權(quán)限管理6、支持混合多模態(tài)檢索匹配，支持多副本存儲(chǔ)策略和持續(xù)可用的存儲(chǔ)方案，減少數(shù)據(jù)丟失的風(fēng)險(xiǎn)。具備良好的可擴(kuò)展性和海量存儲(chǔ)能力。是高性能知識(shí)向量存儲(chǔ)記憶體。7、面向企業(yè)提供定制化的軟硬一體解決方案，全面覆蓋底層算力到上層應(yīng)用的全鏈路，支持一體化部署、產(chǎn)品開箱即用。建立嚴(yán)格的訪問(wèn)控制機(jī)制，限制對(duì)大模型數(shù)據(jù)的訪問(wèn)權(quán)限，確保只有經(jīng)過(guò)授權(quán)的人員可以訪問(wèn)和操作數(shù)據(jù)。二、商業(yè)模型三、實(shí)施效果可提供軟硬件一體化部署模式，支持永久使用許可和訂閱許可兩種服務(wù)方式。三、應(yīng)用推廣前景隨著大模型技術(shù)的日漸成熟及生成式AI

應(yīng)用的熱度的持續(xù)走高，如何借力新技術(shù)、加速數(shù)智化轉(zhuǎn)型，構(gòu)建差異化競(jìng)爭(zhēng)力，是企業(yè)當(dāng)下必須深入思考的命題。企業(yè)想要安全可靠的應(yīng)用大模型技術(shù)，那么通過(guò)知識(shí)管家融合企業(yè)內(nèi)部的知識(shí)體系便是企業(yè)必須邁出的第一步。九章云極知識(shí)管家以此為目標(biāo)，基于九章云極在人工智能領(lǐng)域多行業(yè)的長(zhǎng)期深耕實(shí)踐，打造了包括底層算力框架、垂類微調(diào)大模型、存儲(chǔ)記憶體到智能

QA問(wèn)答應(yīng)用等全鏈路一體化的大模型應(yīng)用解決方案。通過(guò)九章云極構(gòu)建的企業(yè)大模型智能底座可全面支撐企業(yè)“無(wú)限創(chuàng)想、觸手可得”的大模型應(yīng)用愿景。目前，大模型產(chǎn)品應(yīng)用市場(chǎng)正在迅速增長(zhǎng)。根據(jù)某研究數(shù)據(jù)預(yù)測(cè)，預(yù)計(jì)2023

年，全球人工智能大模型市場(chǎng)規(guī)模將達(dá)到

210

億美元，并在

2028

年使大模型市場(chǎng)規(guī)模達(dá)到

1095

億美元。此外，隨著人工智能技術(shù)的不斷發(fā)展，大模型產(chǎn)品的應(yīng)用范圍和功能也在不斷拓展，九章云極知識(shí)管家產(chǎn)品可快速完成企業(yè)私有化部署、開箱即用，通過(guò)提供軟硬結(jié)合的一體化解決方案，將在大模型時(shí)代充分挖掘數(shù)據(jù)價(jià)值，助力用戶在數(shù)智化浪潮中輕松完成模型和數(shù)據(jù)的雙向賦能，為用戶帶來(lái)靈活高效的數(shù)據(jù)驅(qū)動(dòng)決策和更加優(yōu)質(zhì)的業(yè)務(wù)發(fā)展，打通企業(yè)應(yīng)用大模型的最后一公里。四、應(yīng)用落地情況3637垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections針對(duì)這一背景，“Pixeling

千象”應(yīng)運(yùn)而生。它集成了圖片生成、視頻生成、圖片編輯等功能，助力用戶零基礎(chǔ)掌握AIGC

一站式能力。平臺(tái)基于自研的AIGC

視覺(jué)多模態(tài)基礎(chǔ)模型，實(shí)現(xiàn)文本、圖片、視頻等多模態(tài)內(nèi)容生成。簡(jiǎn)潔易用的界面讓設(shè)計(jì)師能更快地完成從構(gòu)思到成品的全過(guò)程，提高工作效率?！癙ixeling千象”“Pixeling

千象”還為設(shè)計(jì)師打造了活躍的互動(dòng)社區(qū)，便于分享經(jīng)驗(yàn)、獲取靈感、拓展人脈。用戶在此可以充分發(fā)揮創(chuàng)意，共同成長(zhǎng)。此外，平臺(tái)還可滿足用戶的個(gè)性化需求，讓設(shè)計(jì)師在創(chuàng)作過(guò)程中實(shí)現(xiàn)更多可能性。上海智象未來(lái)計(jì)算機(jī)科技有限公司HiDream.a（i

智象未來(lái)），是一家專注于構(gòu)建視覺(jué)多模態(tài)基礎(chǔ)模型及應(yīng)用的生成式人工智能初創(chuàng)公司，由加拿大工程院外籍院士、原京東集團(tuán)副總裁梅濤博士創(chuàng)立。致力于圍繞視覺(jué)打造生成式多模態(tài)基礎(chǔ)模型及應(yīng)用，激發(fā)從業(yè)者創(chuàng)造力，提升創(chuàng)作生產(chǎn)力，打造交互式智能內(nèi)容創(chuàng)作新范式。案例介紹“Pixeling

千象”目前包含圖片生成、視頻生成、圖片編輯、3D

生成等功能，是一個(gè)面向設(shè)計(jì)師的通用設(shè)計(jì)工具，同時(shí)也是一個(gè)服務(wù)于

AIGC

創(chuàng)作的泛設(shè)計(jì)內(nèi)容社區(qū)。圖片生成支持核心業(yè)務(wù)是基于自研的生成式視覺(jué)多模態(tài)基礎(chǔ)模型，實(shí)現(xiàn)文本、圖片、視頻、3D

模型等多模態(tài)內(nèi)容的生成；打造了面向所有設(shè)計(jì)師的通用創(chuàng)作工具及泛設(shè)計(jì)內(nèi)容社區(qū)“Pixeling（千象）”支持創(chuàng)意生成、藝術(shù)創(chuàng)作、在線編輯等全過(guò)程的可視化，幫助用戶實(shí)現(xiàn)交互的智能化、作品的個(gè)性化，讓用戶的創(chuàng)意得以最大化的釋放；同時(shí)面向電商商家推出AI

制圖工具PixMaker，目前支持固定商品

SKU

生成場(chǎng)景圖和人像模特圖生成。文字生成圖片、參考圖生成圖片，支持用戶基于在平臺(tái)生成的圖片持續(xù)進(jìn)行生成創(chuàng)作。概述“Pixeling

千象”是一款全中文、易上手的AIGC

創(chuàng)作平臺(tái)和社區(qū)，專為設(shè)計(jì)師的需求而打造。平臺(tái)包含圖片生成、視頻生成、圖片編輯（智能重繪、智能拓圖）等功能，旨在幫助用戶零基礎(chǔ)輕松掌握AIGC

一站式能力，喚醒創(chuàng)造力，解放生產(chǎn)力，全面提升設(shè)計(jì)全流程工作效率?！癙ixeling

千象”依托智象未來(lái)自研的視覺(jué)多模態(tài)生成式基礎(chǔ)模型，實(shí)現(xiàn)文本、圖片、視頻等多模態(tài)內(nèi)容生成。模型參數(shù)超過(guò)百億，技術(shù)水平行業(yè)領(lǐng)先，為用戶創(chuàng)作提供強(qiáng)大支持（）。圖1

千象首頁(yè)視頻生成支持需求分析在數(shù)字化時(shí)代，AIGC

技術(shù)迅猛發(fā)展，設(shè)計(jì)師對(duì)易用、高效的中文AIGC

創(chuàng)作平臺(tái)需求日益凸顯。市場(chǎng)急需一款全中文界面、一站式服務(wù)、易用且具備互動(dòng)社區(qū)的

AIGC

創(chuàng)作平臺(tái)，以滿足設(shè)計(jì)師的多樣化需求。文字生成視頻、圖片生成視頻，用戶可以從本地上傳圖片、或者基于在平臺(tái)生成的圖片歷史記錄生成視頻；此外還支持智能運(yùn)鏡，使畫面更加生動(dòng)。3839垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections圖2

智能運(yùn)鏡圖4

智能拓圖圖片編輯支持智能拓圖：“Pixeling

千象”將會(huì)自動(dòng)為用戶進(jìn)行畫面拓展，并保持細(xì)節(jié)的清晰和準(zhǔn)確性。通過(guò)智能拓圖，用戶可以將一幅小尺寸的繪畫作品擴(kuò)展至更大的畫布尺寸，而無(wú)需擔(dān)心失真或模糊。通過(guò)使用智能拓圖，用戶能夠豐富畫面背景、優(yōu)化圖片格局、增加畫面層次，“Pixeling

千象”在創(chuàng)作思路上為用戶提供了更開闊、更浩瀚的想象空間，讓創(chuàng)作更加自由暢快。圖5

智能拓圖智能重繪：智能重繪允許用戶對(duì)生成的圖片作品的特定區(qū)域進(jìn)行修改和改進(jìn)。用戶可以通過(guò)調(diào)整顏色、線條和細(xì)節(jié)等，對(duì)選中的部分進(jìn)行精細(xì)調(diào)整。通過(guò)智能重繪功能，用戶可以輕松實(shí)現(xiàn)對(duì)細(xì)節(jié)的精益求精，讓作品更加完美。圖3

智能拓圖4041垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections效益分析Pixeling

千象”作為一款全中文AIGC

創(chuàng)作平5

例線臺(tái)，憑借卓越的技術(shù)實(shí)力和實(shí)用的功能體驗(yàn)，滿足了設(shè)計(jì)師在多樣化、個(gè)性化方面的需求，為國(guó)內(nèi)設(shè)計(jì)產(chǎn)業(yè)業(yè)的發(fā)展注入新活力。根據(jù)數(shù)據(jù)，“Pixeling

千象”能夠在質(zhì)量、效率、資產(chǎn)等多方面為用戶和客戶持續(xù)提供價(jià)值，上手難度降低99%，創(chuàng)意維度增加

75%，節(jié)省

98%的出圖時(shí)間，100%

增加內(nèi)容沉淀。經(jīng)濟(jì)社會(huì)效益方面平臺(tái)提供的圖片生成、視頻生成、圖片編輯等功能，能有效幫助設(shè)計(jì)師提高工作效率，降低創(chuàng)作成本。依托智象未來(lái)自研的視覺(jué)多模態(tài)生成式基礎(chǔ)模型，平臺(tái)為用戶創(chuàng)作提供強(qiáng)大支持，使設(shè)計(jì)師能夠快速完成從構(gòu)思到成品的全過(guò)程。商業(yè)模式方面圖6

智能重繪“Pixeling千象”通過(guò)提供一站式AIGC服務(wù)，吸引設(shè)計(jì)師入駐，形成穩(wěn)定的用戶群體。平臺(tái)可以進(jìn)一步挖掘用戶需求，推出更多針對(duì)性功能和服務(wù)，提高用戶粘性，實(shí)現(xiàn)持續(xù)盈利。應(yīng)用推廣方面“Pixeling

千象”充分利用平臺(tái)上的豐富資源和活躍社區(qū)，助力設(shè)計(jì)師拓展人脈、獲取靈感。同時(shí)，借助行業(yè)領(lǐng)先的技術(shù)水平和對(duì)用戶需求的精準(zhǔn)把握，平臺(tái)在設(shè)計(jì)師群體中形成良好口碑，實(shí)現(xiàn)自發(fā)推廣。通過(guò)不斷創(chuàng)新和優(yōu)化服務(wù)，“Pixeling

千象”將在設(shè)計(jì)領(lǐng)域發(fā)揮更大作用，推動(dòng)行業(yè)繁榮發(fā)展。圖7

智能重繪圖8

智能重繪4243垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections書生筑夢(mèng)視頻生成大模型上海人工智能實(shí)驗(yàn)室上海人工智能實(shí)驗(yàn)室是我國(guó)人工智能領(lǐng)域的新型科研機(jī)構(gòu)，開展戰(zhàn)略性、原創(chuàng)性、前瞻性的科學(xué)研究與技術(shù)攻關(guān)，突破人工智能的重要基礎(chǔ)理論和關(guān)鍵核心技術(shù)，打造“突破型、引領(lǐng)型、平臺(tái)型”一體化的大型綜合性研究基地，支撐我國(guó)人工智能產(chǎn)業(yè)實(shí)現(xiàn)跨越式發(fā)展，目標(biāo)建成國(guó)際一流的人工智能實(shí)驗(yàn)室，成為享譽(yù)全球的人工智能原創(chuàng)理論和技術(shù)的策源地。多樣化生成方式，夠美夠方便概述書生筑夢(mèng)視頻生成大模型，通過(guò)設(shè)計(jì)大規(guī)模視頻生成模型的基礎(chǔ)模型結(jié)構(gòu)，機(jī)器學(xué)習(xí)方法，建立大規(guī)模數(shù)據(jù)集，構(gòu)建數(shù)據(jù)處理工具，實(shí)現(xiàn)了文生視頻大模型系統(tǒng)，并在通用場(chǎng)景下實(shí)現(xiàn)了

2K

分辨率、支持轉(zhuǎn)場(chǎng)與鏡頭語(yǔ)言的分鐘級(jí)長(zhǎng)視頻生成。作為一款融合文本、圖像、視頻等多模態(tài)數(shù)據(jù)的視頻生成大模型，書生·筑夢(mèng)支持由“文生視頻”與“圖生視頻”多樣化任務(wù)。為實(shí)現(xiàn)通用文本視頻生成

(Text-to-Video

Generation,T2V),

團(tuán)隊(duì)在與訓(xùn)練文生圖大模型基礎(chǔ)上引入時(shí)空建模模塊，并使用圖像視頻聯(lián)合訓(xùn)練的方式，使模型具備了

T2V

能力。在模型中輸入通用文本，書生·筑夢(mèng)生成了以下視頻。需求分析案例介紹隨著生成式人工智能技術(shù)的發(fā)展，圖像生成模型正在日漸成熟，以

Midjourney

和Stable

Di?usion

為代表的文生圖模型為使用者提供了全新的創(chuàng)作模式。視頻生成，由于其更加廣泛的應(yīng)用場(chǎng)景，以及更加生動(dòng)的表現(xiàn)方式，受到了越來(lái)越多的關(guān)注和需求。因此，設(shè)計(jì)能夠生成高畫質(zhì)，長(zhǎng)視頻的大規(guī)模視頻生成模型，對(duì)于廣告設(shè)計(jì)、電影制作、以及藝術(shù)創(chuàng)作將產(chǎn)生革命式的變革。作為首個(gè)支持故事性、多鏡頭的視頻生成大模型，包含超過(guò)30

億參數(shù)的書生·筑夢(mèng)將全面賦能視頻創(chuàng)作，拓展創(chuàng)意空間。書生·筑夢(mèng)將AI

生成視頻時(shí)長(zhǎng)由秒級(jí)提升至分鐘級(jí)，并使所生成視頻內(nèi)容具備“轉(zhuǎn)場(chǎng)流暢、故事連貫、畫質(zhì)高清”特質(zhì)。憑借強(qiáng)大的語(yǔ)義、圖像理解和生成能力，在多維度評(píng)測(cè)指標(biāo)中綜合領(lǐng)先。輸入文本（提示詞）：海底，魚群，珊瑚礁4445垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections與此同時(shí)，團(tuán)隊(duì)基于掩碼的條件視頻擴(kuò)散模型，將特定圖片作為即將生成視頻的第一幀和對(duì)應(yīng)掩碼，實(shí)現(xiàn)了由圖片驅(qū)動(dòng)的視頻生成能力（Image-to-VideoGeneration,I2V)。本項(xiàng)目相關(guān)研究成果已應(yīng)用于央視聽媒體大模型（CMG

Media

GPT）中。該大模型為首個(gè)專注于視聽媒體內(nèi)容生產(chǎn)的AI大模型，由上海

AI實(shí)驗(yàn)室與中央廣播電視總臺(tái)聯(lián)合推出。于此同時(shí)，書生筑夢(mèng)視頻生成大模型已與商湯科技、想法流、北京電影學(xué)院等單位達(dá)成合作意向，正成為推動(dòng)視聽媒體編創(chuàng)方式變革的

AI

工具。效益分析書生筑夢(mèng)視頻生成大模型具備生成多樣性和創(chuàng)造性視頻內(nèi)容的非凡能力，為創(chuàng)意和創(chuàng)新開辟了嶄新的可能性。該模型有助于廣告公司、娛樂(lè)制作公司等行業(yè)生成獨(dú)特的廣告創(chuàng)意、電影特效、虛擬角色等，為觀眾帶來(lái)獨(dú)具魅力的視覺(jué)體驗(yàn)。傳統(tǒng)的影視制作通常需要投入大量人力、物力和時(shí)間。然而，引入該模型作為輔助工具，可以通過(guò)自動(dòng)化和智能化的方式，降低人力成本并加速視頻生成速度。該模型能夠協(xié)助企業(yè)和影視從業(yè)者更快地生成所需的視頻內(nèi)容，從而節(jié)約時(shí)間和成本。輸入靜態(tài)圖片，書生·筑夢(mèng)可讓其生動(dòng)真實(shí)地“流動(dòng)”起來(lái)創(chuàng)新性生成階段，夠清夠流暢連貫的轉(zhuǎn)場(chǎng)鏡頭、生動(dòng)波折的故事、充滿美感的高清畫質(zhì)缺一不可在影視巨作中缺一不可。在書生·筑夢(mèng)中，運(yùn)用AI

直接生成長(zhǎng)視頻“巨作”將成為可能。研發(fā)完成轉(zhuǎn)場(chǎng)視頻生成模型，為其輸入多段給定視頻或場(chǎng)景圖片，書生·筑夢(mèng)可根據(jù)提示詞（prompt）和擴(kuò)散模型（Di?usion

Model）自動(dòng)生成轉(zhuǎn)場(chǎng)視頻，從而實(shí)現(xiàn)不同場(chǎng)景和視頻之間的“絲滑”連接。在生成多段視頻時(shí)，為保證視頻中的主體一致性，研發(fā)團(tuán)隊(duì)提出了保持主體一致性模塊。該模塊的輸入內(nèi)容一張包含主體的圖片和一段文字描述，圖片信息作為文本的一部分，或作為額外的信息加入到網(wǎng)絡(luò)注意力模塊中，即可保證多段視頻中的主體一致。實(shí)現(xiàn)生成視頻的“多機(jī)位”效果，使長(zhǎng)視頻中的故事一致性成為可能。在多個(gè)鏡頭的長(zhǎng)視頻中，“花朵”主體保持了一致性4647垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections需求分析浪潮之上，大模型的應(yīng)用價(jià)值日趨受到關(guān)注。正如歷史上的任何一項(xiàng)新技術(shù)，其生命力終究要回歸到是否可以廣泛落地，為世界帶來(lái)積極且真實(shí)的變化。書生浦語(yǔ)開源大模型相比于國(guó)內(nèi)社區(qū)之前陸續(xù)開源的7B

和

13B

規(guī)格的模型，20B量級(jí)模型具備更為強(qiáng)大的綜合能力，在復(fù)雜推理和反思能力上尤為突出，因此可為實(shí)際應(yīng)用帶來(lái)更有力的性能支持；同時(shí)，20B

量級(jí)模型可在單卡上進(jìn)行推理，經(jīng)過(guò)低比特量化后，可運(yùn)行在單塊消費(fèi)級(jí)

GPU

上，因而在實(shí)際應(yīng)用中更為便捷。上海人工智能實(shí)驗(yàn)室在此背景下，上海人工智能實(shí)驗(yàn)室聯(lián)合多家機(jī)構(gòu)推出了中量級(jí)參數(shù)的InternLM-20B

大模型，性能先進(jìn)且應(yīng)用便捷，以不足三分之一的參數(shù)量，達(dá)到了當(dāng)前被視為開源模型標(biāo)桿的

Llama2-70B

的能力水平。上海人工智能實(shí)驗(yàn)室是我國(guó)人工智能領(lǐng)域的新型科研機(jī)構(gòu)，開展戰(zhàn)略性、原創(chuàng)性、前瞻性的科學(xué)研究與技術(shù)攻關(guān)，突破人工智能的重要基礎(chǔ)理論和關(guān)鍵核心技術(shù)，打造“突破型、引領(lǐng)型、平臺(tái)型”一體化的大型綜合性研究基地，支撐我國(guó)人工智能產(chǎn)業(yè)實(shí)現(xiàn)跨越式發(fā)展，目標(biāo)建成國(guó)際一流的人工智能實(shí)驗(yàn)室，成為享譽(yù)全球的人工智能原創(chuàng)理論和技術(shù)的策源地。案例介紹相比于此前的開源模型，InternLM-20B的能力優(yōu)勢(shì)主要體現(xiàn)在：優(yōu)異的綜合性能概述書生浦語(yǔ)開源大模型涵蓋70

億參數(shù)的輕量級(jí)版本InternLM-7B，以及

200

億參數(shù)的中量級(jí)版本和

InternLM-20B，以及完整的開源工具鏈體系。強(qiáng)大的工具調(diào)用能力更長(zhǎng)的語(yǔ)境InternLM-7B

在包含40

個(gè)評(píng)測(cè)集的全維度評(píng)測(cè)中展現(xiàn)出卓越且平衡的性能，它在兩個(gè)被廣泛采用的基準(zhǔn)

MMLU

和

CEval

上分別取得了

50.8

和

52.8

的高分，開源一度刷新了7B

量級(jí)模型的紀(jì)錄。更安全的價(jià)值對(duì)齊全線升級(jí)的開源工具、數(shù)據(jù)體系InternLM-20B

是基于

2.3T

token

預(yù)訓(xùn)練語(yǔ)料從頭訓(xùn)練的中量級(jí)語(yǔ)言大模型。相較于InternLM-7B，訓(xùn)練語(yǔ)料經(jīng)過(guò)了更高水平的多層次清洗，補(bǔ)充了高知識(shí)密度和用于強(qiáng)化理解及推理能力的訓(xùn)練數(shù)據(jù)。因此，在考驗(yàn)語(yǔ)言模型技術(shù)水平的理解能力、推理能力、數(shù)學(xué)能力、編程能力等方面，InternLM-20B都有顯著提升，以不足三分之一的參數(shù)量，達(dá)到

Llama2-70B

水平。架構(gòu)增強(qiáng)：深結(jié)構(gòu)、長(zhǎng)語(yǔ)境相對(duì)有限的參數(shù)規(guī)模下，研究人員在架構(gòu)設(shè)計(jì)時(shí)面臨重要的取舍——提高模型的深度還是寬度？通過(guò)廣泛的對(duì)照實(shí)驗(yàn)，書生·浦語(yǔ)團(tuán)隊(duì)發(fā)現(xiàn)，更深的模型層數(shù)更有利于復(fù)雜推理能力的培養(yǎng)。因此在架構(gòu)設(shè)計(jì)時(shí)，研究人員把模型層數(shù)設(shè)定為60層，超過(guò)7B

與13B

模型通常采用的

32

層或者

40

層設(shè)計(jì)；同時(shí)內(nèi)部維度保持在

5120，處于適中水平。通過(guò)架構(gòu)設(shè)計(jì)上的新取舍，InternLM-20B

在較高計(jì)算效率的條件下實(shí)現(xiàn)了復(fù)雜推理能力的顯著提升。書生浦語(yǔ)開源且可免費(fèi)商用，基于書生浦語(yǔ)開源代碼、模型、開源工具鏈體系，商業(yè)場(chǎng)景可定制高精度行業(yè)模型。4849垂類大模型大模型服務(wù)大模型落地應(yīng)用案例集通用大模型FoundationModelPracticalApplicationCollections綜合性能增強(qiáng)：多個(gè)評(píng)測(cè)中領(lǐng)先基于

OpenCompass

大模型評(píng)測(cè)平臺(tái)，研究人員在涵蓋語(yǔ)言、知識(shí)、理解、推理和學(xué)科能力等五大維度的

50

個(gè)主流評(píng)測(cè)集上，對(duì)

InternLM-20B

及相近量級(jí)的開源模型進(jìn)行了全面測(cè)試比較。評(píng)測(cè)結(jié)果顯示，InternLM-20B在全維度上領(lǐng)先于開源13B量級(jí)模型，平均成績(jī)不僅明顯超越

Llama-33B，甚至優(yōu)于被稱為開源模型的標(biāo)桿

Llama2-70B。調(diào)用工具能力增強(qiáng)：不會(huì)也能學(xué)工具調(diào)用是拓展大語(yǔ)言模型能力邊界的重要手段，也是

OpenAI

近期推出大模型的重點(diǎn)特性之一。InternLM-20B對(duì)話模型支持了日期、天氣、旅行、體育等數(shù)十個(gè)方向的內(nèi)容輸出及上萬(wàn)個(gè)不同的

API。在清華大學(xué)等機(jī)構(gòu)聯(lián)合發(fā)布的大模型工具調(diào)用評(píng)測(cè)集

ToolBench

中，Inter