億歐智庫+-+2024年企業(yè)AI大模型應用落地白皮書

億歐智庫/researchCopyrightreservedtoEOIntelligence,Nov.2024研究研究報告CONTENTS011.1驅動因素:政策牽引、技術突破與數(shù)字化轉型1.2落地挑戰(zhàn):工具/解決方案不足、多元多模適配、全流程開發(fā)復雜Al大模型落地探索與成功路徑洞察2.1落地嘗試:市場針對企業(yè)Al大模型應用落地痛點的嘗試2.2能力建設:大模型服務商需具備全流程解決方案和全面的專業(yè)能力2.3他山之石:一站式解決方案是當前行業(yè)的優(yōu)秀做法未來趨勢預判及策略建議3.1趨勢研判:企業(yè)未來落地Al大模型應用部署的趨勢分析3.2策略建議:基于全流程開發(fā)平臺底座實現(xiàn)Al大模型落地下,中國企業(yè)紛紛開始探索并實踐Al對于業(yè)務的賦能,用與落地,與此同時對大模但另一方面,企業(yè)在落地大和需求,并對其面臨的痛點和挑戰(zhàn)進行梳理。多重因素驅動下,企業(yè)對Al大模型的應用需求不斷提高u在快速發(fā)展的數(shù)字化時代背景下,Al大模型正在成為眾多企業(yè)轉型升級的關鍵,同時,政策牽引、技術三大因素驅動Al大模型B端應用加速2021年以來,2021年以來,國家和地方層面加速出臺Al應用和大模型相關政策,聚焦數(shù)據(jù)安全、技術創(chuàng)新、應用落地等方面,旨在降低Al應用門檻,加速大模型落地破,為Al大模型的開發(fā)和應用提供了強大的基礎支撐,驅動大模型落地場景的多樣性和業(yè)務賦能效率的提高在日益激烈的市場競爭和多變的需求下,在日益激烈的市場競爭和多變的需求下,企業(yè)亟需AI賦能運營效率和創(chuàng)新能力提升,Al大模型作為數(shù)字化轉型重要工具,將幫助企業(yè)更好地洞察市場、優(yōu)化決策中國大語言模型市場規(guī)模及增速(單位:億元)680.2680.2320.8210.2210.2132.363.0202220232024E2025E2026E2027EuAIGC時代的第一波浪潮是大模型的預訓練和訓練集群規(guī)模的不斷擴大,緊隨其后,第二波浪潮接踵而至,當前和未來將更加聚焦Al大模型的應用落地。算力、網絡等基礎設施構筑起高效的計算和存儲能力,基于自然語言處理、算法與模型優(yōu)化等底層技術保障大模型穩(wěn)定運行,在此基礎上,通用大模型能力逐步完善,并基于專業(yè)領域數(shù)據(jù)涌現(xiàn)出垂直行業(yè)和細分場景大模型。uAl大模型在B端企業(yè)的應用落地離不開數(shù)據(jù)、算力和算法的協(xié)同支撐。其中,數(shù)據(jù)作為大模型應用的基石,算力是Al大模型的落地保障?算力是算法創(chuàng)新的工具,算力是Al大模型的落地保障?算力是算法創(chuàng)新的工具,算力不僅源自芯片,更源自系統(tǒng)性的技術創(chuàng)新求極高,但在業(yè)務場景不斷復雜的背景下,未來企業(yè)Al大模型的數(shù)據(jù)是Al大模型應用的原料大規(guī)模高質量的數(shù)據(jù)支撐,并構成模型優(yōu)化的基礎型能學習更多知識,具備更專業(yè)的能力,精準高效賦能具體的業(yè)務場景優(yōu)化及決策算法是Al大模型發(fā)展的核心?智能涌現(xiàn)來自于算法,有了高業(yè)可以優(yōu)化Al大模型的性能,提u企業(yè)落地AI大模型應用的過程就是基于數(shù)據(jù)、算力和算法的支撐,將大模型能力賦能到業(yè)務的過程,但并不意味著擁有了數(shù)據(jù)、算力和算法,就具備了大模型應用落地的能力,企業(yè)還面臨從數(shù)據(jù)到應用、從企業(yè)在落地Al大模型應用過程中面臨諸多挑戰(zhàn),難以一己之力實現(xiàn)全流程開發(fā)落地u對于大部分企業(yè)來說,Al大模型應用的實際開發(fā)落地面臨較高的門檻,從數(shù)據(jù)的處理到模型的微調,再u企業(yè)在大模型應用過程中面臨數(shù)據(jù)處理工具不足、端到端解決方案缺乏以及數(shù)據(jù)隱私與安全難題,對企企業(yè)落地Al大模型應用過程中面臨的痛點數(shù)據(jù)處理工具不足數(shù)據(jù)處理工具不足缺少端到端解決方案形式接入企業(yè)業(yè)務,涉及多序和業(yè)務系統(tǒng)兼容,當前還數(shù)據(jù)隱私與安全難題?企業(yè)需要私有化部署,但云平臺鎖定效應強,遷移成本高,隱私與安全要求算力多元化算力多元化現(xiàn)階段,Al大模型產業(yè)鏈呈現(xiàn)算力多元化、模型多樣化的發(fā)展趨勢,多元算力融合及多種模型的應用將為企業(yè)帶來適配難度大和成本控制等問題模型多樣化檢索準確率和效率低2.微調6.運維1.數(shù)據(jù)如何及時響應故障及持續(xù)迭代優(yōu)化企業(yè)落地Al大模型應用流程復雜,門檻高,環(huán)節(jié)間協(xié)同不足5.上線用戶體驗及安全問題4.部署領域知識不專業(yè),人才不足數(shù)據(jù)量不足、質量低落地痛點的訴求,中國市場上已涌現(xiàn)出眾多服務商,但署過程中單一痛點,難以覆蓋全流程,且不具備全方面全球生成式Al應用尚處早期,本與性能(延遲等)因素,署與運維全流程,集成豐富授權軟件,保障應用性與高效性,有效推動大模型在中發(fā)部署全流程的痛點與挑戰(zhàn),法論,以幫助企業(yè)高效地落針對企業(yè)落地Al大模型應用的痛點,市場已有初步實踐與嘗試u為助力企業(yè)解決Al大模型在應用開發(fā)落地過程中面臨的痛點,當前市場上已涌現(xiàn)出各類服務市面上針對大模型應用落地的實踐總結?強大的基礎能力:云廠商通常具備強大的技術研發(fā)和訓練能力,能夠提供解決大模型幻覺、多元算力調度等復雜問題的基礎技術支持。?通用能力支撐:云廠商在研發(fā)和訓練側構建了通用化能力支持,以滿足不同企業(yè)業(yè)特別是中小企業(yè)提供必要的算力支持。?全面的服務能力:云廠商不僅提供大模型技術,還具備應用服務和交付能力,能夠提供從研發(fā)到部署的全方位服務。?更順暢的用戶體驗:Al應用企業(yè)在開發(fā)大模型應用平臺時,更注重用戶體驗的流暢性,使得用戶在使用過程中能夠獲得更加直觀和便捷的操作體驗。?深入的行業(yè)理解:Al應用企業(yè)通常對特定行業(yè)有更深入的理解和更豐富的經驗,能夠提供更加貼合行業(yè)特點和需求的解決方案。?豐富的場景經驗:由于專注于特定的應用場景,Al應用企業(yè)能夠提供更符合實際過具備較強的軟硬件優(yōu)化技術和多元異構算力適配技術,可以賦能Al應用性能的提升。u從現(xiàn)階段市場對于企業(yè)Al大模型應用落地服務的實踐來看,各類產品和解決方案各有優(yōu)勢足和提升的方面,企業(yè)需基于自身實際業(yè)務需求選擇合適的解決方案。但對于企業(yè)來說,需要的更多是聚焦全流程且能力全面的解決方案,真正幫助其解決Al大模型應用開發(fā)落地過程中各環(huán)節(jié)各決方案和全面的專業(yè)能力u大模型技術正逐漸成為推動企業(yè)創(chuàng)新和提升競爭力的關鍵因素。然而,企業(yè)在應用大模型時面臨著諸多挑戰(zhàn),包括數(shù)據(jù)處理工具不足、數(shù)據(jù)隱私與安全挑戰(zhàn)、多元算力的適配、多模型的匹配與精調,以及全流程的服務能力等。為了幫助企業(yè)克服這些挑戰(zhàn),億歐智庫對企業(yè)Al大模型應用落地所需的核心能力進行了梳理,提出了一系列關鍵能力要求,以確保企業(yè)能夠高效、經濟地利用大模型技術,實現(xiàn)業(yè)務的優(yōu)企業(yè)Al大模型應用落地所需的核心能力梳理成能力,確保模型訓練效果;3)強大的隱私保護與安全支持,滿足本地化部署和數(shù)據(jù)合規(guī)需求;以及與企業(yè)系統(tǒng)的無縫集成和?硬件算力支撐多元化可能是未來的一個發(fā)展趨勢,除了傳統(tǒng)的英偉達芯片外,未來AMD以及國產GPU、ASIC市占率也將得到提算資源,并快速適應不斷變化的業(yè)務需求。??夠根據(jù)不同的業(yè)務場景選擇或調整最適合的模型,從而提高業(yè)務效率和效果庫構建,再到最后的應用部署和上線運維等以確保大模型應用的性能優(yōu)化與精度提升于企業(yè)自身實際應用場景不斷優(yōu)化,幫助企業(yè)持續(xù)優(yōu)化模型應用性能和效果企業(yè)平臺最佳實踐:為企業(yè)提供Al大模型落地平臺,全流程支撐企業(yè)各階段需求uAmazonBedrock:是一項完全托管的服務,通過單個API提供來自人工智能公司的高性能基礎模型,以及通過安全性、隱私性和負責任的人工智能構建生成式人工智能應用程序所需AmazonBedrock,開發(fā)者可以試驗和評估適合業(yè)務的基礎模型,通過微調和檢索增強生成等技術利用企業(yè)數(shù)據(jù)對其進行私人定制,并構建使用企業(yè)系統(tǒng)和數(shù)據(jù)來源執(zhí)行任務的代理。模型適配和模型調整(Fine模型適配和模型調整(Fine-tuning)應用程序集成跨公司系統(tǒng)和數(shù)據(jù)源執(zhí)行多步驟任務管理必要的基礎設施,并制定數(shù)據(jù)安全和隱私策略。這些步驟耗時且門檻高,模型調整Amazoncohere結合業(yè)務應用場景選擇適合的基礎模型AmazoncohereAI21AI21LabsMetaMetaMistralMistralAlu浪潮信息元腦企智EPAI為企業(yè)Al大模型落地應用提供端到端開發(fā)平臺,囊括力工具,能夠幫助企業(yè)有效降低大模型應用門檻,幫助伙伴提升模型開發(fā)效能,打造智能生產力。礎設施的邏輯解耦,降低企業(yè)跨算力平臺遷移、多元模型部署適配的試錯成本,助力企業(yè)輕松跨越Al應用開發(fā)與部署門檻,加速智能應用創(chuàng)新。提供數(shù)據(jù)準備、模型訓練、知識檢索、應用框架等系列工具,數(shù)據(jù)浪潮信息元腦企智EPA數(shù)據(jù)長上下文基礎知識行業(yè)知識大模型庫LLMS編程個源2.0LLaMABaichuan檢索生成長上下文基礎知識行業(yè)知識大模型庫LLMS編程個源2.0LLaMABaichuan檢索生成預言風格代碼執(zhí)行計算工具工具微調數(shù)據(jù)微調chatGLM代碼執(zhí)行計算工具工具微調數(shù)據(jù)微調面向多模和多元算力的計算框架面向多模和多元算力的計算框架多元算力管理與調度多元算力高吞吐分布式存儲低延遲無損網絡多元算力多元算力Infra基于標桿案例梳理提煉Al大模型應用的路徑u結合國內外優(yōu)秀案例,Al大模型落地服務廠商可以提供一站式解決方案,覆蓋數(shù)據(jù)準備、模型選擇、模型訓練、模型定制、模型部署、應用集成、測試驗證以及上線運維等各個環(huán)節(jié)。但在此之前,企業(yè)需要uAl大模型的真正價值和投資回報率取決于應用如何為企業(yè)帶來業(yè)務層面的改變。企業(yè)應該盡快評估準備情況,制定人工智能戰(zhàn)略與落地路線圖,為生成式Al的應用奠定必要的基礎,從而在中長期內通過差異化和重點戰(zhàn)略來建立競企業(yè)落地Al大模型應用的路徑梳理1.需求梳理及規(guī)劃1.需求梳理及規(guī)劃首先,企業(yè)需詳細梳理業(yè)務場景及需求,并快速構建應用原型,通過用戶測試或內部評審來驗證需求的可行性和用戶接受度。并提前對可能用到的技術棧進行預研,包括模型能力、數(shù)據(jù)處理技術、全流程打通能力的供應商。2.基礎大模型部署2.基礎大模型部署基于企業(yè)業(yè)務場景實際應用需求,選擇合適的基礎大模型和形式進行部署,如采用Apl模式部署,環(huán)境的兼容性,提高部署效率。3.模型微調與定制3.模型微調與定制雜且專業(yè)度高的場景還需引入RAG技術,內部構建或接入知識庫,增強模型理解和生成能力。在此過程中,還會涉及到數(shù)據(jù)處理流程的優(yōu)化,包括數(shù)據(jù)清洗、標注、增強等,提升數(shù)據(jù)質量,并實施嚴格的數(shù)據(jù)訪問控制和加密措施,確保數(shù)據(jù)處理、存儲、傳輸過程中的安全性。4.應用測試及驗證4.應用測試及驗證Al大模型應用正式上線前需做測試,包括單元測試、集成測試、性能測試、安全測試等,確保應用各模塊功能正常、性能達標,并保證安全可靠。5.應用上線及運維5.應用上線及運維并將A應用與企業(yè)現(xiàn)有業(yè)務系統(tǒng)做集成,實現(xiàn)數(shù)據(jù)共享等在企業(yè)內部搭建運維團隊,負責應用的日常維護、性能監(jiān)控、故障排查及持續(xù)優(yōu)化,并建立用戶反饋機制,定期收集用戶意見,不斷優(yōu)化應用功能和用戶體驗隨著數(shù)字化轉型的快速發(fā)展,勢,且隨著應用的不斷深入,效賦能,同時將對數(shù)據(jù)、算模型應用,讓其能夠真正賦本的降低,不僅需要選擇和自身更匹配的大模型,更需要高效的算力基礎設施支撐,同時,高效的數(shù)據(jù)的采集和勢,并為企業(yè)更高效的大模企業(yè)未來落地Al大模型應用部署的四大趨勢研判1、企業(yè)已經感知到大模型的價值,未來將逐步關注ROIu全球75%的CIO增加了2024年的人工智能預算。然而,當談到生成式Al時,許多組織并沒有以正確的方式部署和利用它來釋放其潛力。過往在小模型時代,從應用場景到賦能效果都存在清晰可參考的落地路線,然而大模型在這個方面來還沒有形成標準案例。u目前,多數(shù)企業(yè)處在大模型的探索階段,已經在場景應用上感知到大模型的應用價值。未來企業(yè)逐步關注大模型投入的Rol上,即大模型是否能真正幫助企業(yè)業(yè)務實現(xiàn)降本提效。根據(jù)Gartner調研,企業(yè)領導2、多模態(tài)大模型應用解決多維度業(yè)務問題u在當前的應用中,大語言模型仍是主流,但世界是多模態(tài)的,多模態(tài)協(xié)同更符合人類感知與表達方式。在實際業(yè)務場景中,通過引入圖片、語音、視頻等數(shù)據(jù)形態(tài),大模型可幫助企業(yè)解決更多維度的問題,多模態(tài)也是當前業(yè)界的重點發(fā)展趨勢。由于多模態(tài)模型可以捕獲跨模態(tài)的復雜數(shù)據(jù)關系,將融合不同信息產生更多樣化的結果,參與到更深層次的任務中,因此相比單模態(tài)模型具有更廣闊的應用場景,如醫(yī)信息的豐富性和完整性增強任務表現(xiàn)人機交互的自然化和智能化具有局限性,表現(xiàn)為信息不全面和上下文缺失:?信息不全面:例如僅依賴文本描述可能無法準確理解一個場景;僅依賴圖像可能無法準備獲取文字內容和背后的含義信息無法理解其內容單一模態(tài)的數(shù)據(jù)可能會導致部分歧義,如在網絡上看到一張圖片,描述和人的想象可能完全不同交互僵化具有豐富性,表現(xiàn)為信息互補和上下文增強:提供視覺信息,文本提供詳細描述,兩者結合效能對任務進行增強,比如提升準確性和擴展任務范圍其次,多模態(tài)可以執(zhí)行跨模態(tài)任務和復雜任務,如自動駕駛領域需要大模型能同時處理視覺、文本、雷達交互更自然,可以通過自然的表達,來讓大模型理解3、將RAG與知識圖譜相結合,進一步提升Al在復雜查詢處理中的性能u當前面向文檔類數(shù)據(jù)檢索增強的方法以基于向捕捉實體間的復雜關系知識圖譜通過節(jié)點和邊的結構清晰地表示實體及其相互關系,使得RAG能夠理解和利用這些關系來生成更準確的回答支持個性化和推薦系統(tǒng)知識圖譜能夠根據(jù)用戶的行為和偏好提供個性化的內容推薦和服務匹配,提升用戶體驗捕捉實體間的復雜關系知識圖譜通過節(jié)點和邊的結構清晰地表示實體及其相互關系,使得RAG能夠理解和利用這些關系來生成更準確的回答支持個性化和推薦系統(tǒng)知識圖譜能夠根據(jù)用戶的行為和偏好提供個性化的內容推薦和服務匹配,提升用戶體驗提供全局上下文理解知識圖譜的全局性視角使得RAG能夠跨越文檔界限,整合分散在不同文本塊中的信息,提供更全面的上下文理解企業(yè)未來落地Al大模型應用部署的四大趨勢研判4、智能體朝單一智能體能力擴展與多智能體協(xié)作方向發(fā)展u智能體的應用場景廣泛,包括但不限于機器人、自動駕駛、智能家居等,現(xiàn)在各類應用中或多或少都在構建讓用戶去使用的智能體,未來會形成更加復雜的智能體使用情況。擴展單一智能體邊界使其能夠兼顧多類任務,或者構建多智能體協(xié)作機制可能是未來兩大落地方向。u其中,多智能體框架開始利用層次結構,使一些智能體專注于高級目標,而其他智能體則負責特定于任務的工作,然后向上報告,從效率提升角度看,多智體系統(tǒng)通過智能調度、自動化流程顯著提高工作效策略建議:基于全流程開發(fā)平臺底座,實現(xiàn)高效低門檻落地AI大大模型應用u在當今數(shù)字化轉型的浪潮中,Al大模型的應用已成為企業(yè)提升競爭力、優(yōu)化業(yè)務流程的重要手段。面對Al大模型在企業(yè)端落地的困難需要基于全流程開發(fā)底座來實現(xiàn)聚焦業(yè)務場景需求并合理選擇模型企業(yè)首要任務是深入剖析業(yè)務需求,定位核心難題。鑒于大語言模型在文本處理、自然語言理解上的高成熟度和實用性,常被企業(yè)視為首選,能明確任務性質結合業(yè)務邏輯優(yōu)化流程確定業(yè)務需求與模型后,企業(yè)需明確任務性質:輔助生成與決策性任務。輔助生成如文檔、代碼補全,應利用大模型提升內容質量與效率,市場預測,則采取混合智能,結合大模型預測與企業(yè)決策邏輯,確保大模型輸出為決策輔助,而非替代人類判斷,以維持企業(yè)控制力并提升若業(yè)務涉及多模態(tài)處理(如圖文生成、視頻處理明確任務性質結合業(yè)務邏輯優(yōu)化流程確定業(yè)務需求與模型后,企業(yè)需明確任務性質:輔助生成與決策性任務。輔助生成如文檔、代碼補全,應利用大模型提升內容質量與效率,市場預測,則采取混合智能,結合大模型預測與企業(yè)決策邏輯,確保大模型輸出為決策輔助,而非替代人類判斷,以維持企業(yè)控制力并提升評估自身數(shù)據(jù)豐富度及質量明確技術選型與適配性在梳理業(yè)務場景、選擇模型和優(yōu)化流程之后,