網(wǎng)絡(luò)大模型白皮書2023

《網(wǎng)絡(luò)大模型白皮書(2023)》1 2 2 3 4 4 4 5 5 6 6 7 9 9 10 10 10 15 16 1821.大模型發(fā)展趨勢1.1大模型爆發(fā)增長大型模型的發(fā)展經(jīng)歷了一個漫長的演進(jìn)過程，隨著深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù)的不斷進(jìn)步，大型模型的大規(guī)模數(shù)據(jù)集的出現(xiàn)：大規(guī)模數(shù)據(jù)集的出現(xiàn)為大型模型的訓(xùn)練提供了充足的數(shù)據(jù)支持，使得模型的性計算能力的提升：隨著硬件和計算技術(shù)的不斷進(jìn)步，特別是GPU和TPU等專門用于深度學(xué)習(xí)計算的3工智能等戰(zhàn)略性新興產(chǎn)業(yè)局力度，科技部要求推進(jìn)人工智能場景創(chuàng)新，著力解決重大應(yīng)用和產(chǎn)業(yè)化問題。網(wǎng)絡(luò)大模型可以為各種領(lǐng)域的應(yīng)用提供強大的技術(shù)支持，例如自然語言處理、計算機視覺、語音識別網(wǎng)絡(luò)大模型的研發(fā)和應(yīng)用需要大量的數(shù)據(jù)和計算資源，這促進(jìn)了網(wǎng)絡(luò)基礎(chǔ)設(shè)施的建設(shè)和提升。為支持網(wǎng)絡(luò)大模型的訓(xùn)練和部署，需要高速、穩(wěn)定的網(wǎng)絡(luò)連接和大容量的存儲設(shè)備。這推動了網(wǎng)絡(luò)技術(shù)和設(shè)施的網(wǎng)絡(luò)大模型的研究和應(yīng)用也需要大量的人才和創(chuàng)新能力。為了培養(yǎng)和吸引優(yōu)秀的人才，需要建設(shè)良好1.2行業(yè)大模型一片藍(lán)海大型模型在發(fā)展到一定階段時需要與行業(yè)結(jié)合，網(wǎng)絡(luò)大模型是其中的一種。網(wǎng)絡(luò)大模型是指在通信運營領(lǐng)域，通過深度學(xué)習(xí)算法，用于處理大規(guī)模的網(wǎng)絡(luò)數(shù)據(jù)和任務(wù)。大模型與行業(yè)的結(jié)合對于行業(yè)發(fā)展和創(chuàng)行業(yè)大模型在許多領(lǐng)域中展現(xiàn)出了巨大的潛力和發(fā)展空間。能夠大模型可以通過分析海量的金融數(shù)據(jù)，提供更精確的風(fēng)險評估和投資建議；在醫(yī)療領(lǐng)域，大模型可以輔助醫(yī)生進(jìn)行疾病診斷和治療方案選擇；在制造領(lǐng)域，大模型可以優(yōu)化生產(chǎn)計劃和供應(yīng)鏈管理，提高生產(chǎn)效率《網(wǎng)絡(luò)大模型白皮書(2023)》41.3網(wǎng)絡(luò)大模型未來已來隨著行業(yè)大模型在各個領(lǐng)域不斷推進(jìn)和發(fā)展，信息通信領(lǐng)域?qū)τ诖竽Ｐ偷膽?yīng)用需求也不斷涌現(xiàn)，為網(wǎng)網(wǎng)絡(luò)優(yōu)化等網(wǎng)絡(luò)領(lǐng)域?qū)I(yè)場景的智能化需求。網(wǎng)絡(luò)大模型的出現(xiàn)具有重要意義：可以幫助運營商解決更加復(fù)雜的任務(wù)，例如自然語言生成、問答系統(tǒng)、語可從更多的數(shù)據(jù)中學(xué)習(xí)到更多的知識和規(guī)律。網(wǎng)絡(luò)大模型也可以促進(jìn)模型的可解釋性和可視化，讓運維人網(wǎng)絡(luò)大模型的研究和發(fā)展還面臨著許多挑戰(zhàn)，例如模型的訓(xùn)練和部署成本高昂、模型的可解釋性和嚴(yán)運營商積極布局大模型，集中于智能客服、圖像分析、方案提供2.網(wǎng)絡(luò)大模型愿景和整體思路2.1網(wǎng)絡(luò)大模型的愿景網(wǎng)絡(luò)大模型通過構(gòu)建更強大的深度學(xué)習(xí)模型，推動人工智能和機器學(xué)習(xí)的發(fā)展，實現(xiàn)更準(zhǔn)確、更智能中國電信提前布局大模型算力，在“東數(shù)西算、算網(wǎng)一體”整體規(guī)劃下，以網(wǎng)絡(luò)大模型為網(wǎng)絡(luò)固元注《網(wǎng)絡(luò)大模型白皮書(2023)》5中國電信優(yōu)先研發(fā)網(wǎng)絡(luò)大模型，同時布局算力市場，對內(nèi)賦能生產(chǎn)，對外服務(wù)社會，致力于為千行百2.2網(wǎng)絡(luò)大模型的定位網(wǎng)絡(luò)大模型是信息通信領(lǐng)域的行業(yè)大模型，位于云網(wǎng)操作系統(tǒng)的內(nèi)核層，基于強大的算力和云網(wǎng)知識對于運營商聚焦實際問題，通過網(wǎng)絡(luò)大模型解決生產(chǎn)痛點，服務(wù)于關(guān)鍵流程和場景，從輔助運營逐步2.3網(wǎng)絡(luò)大模型的內(nèi)涵63.網(wǎng)絡(luò)大模型技術(shù)特征3.1算法特征則理解和決策等特點，形成大模型算法矩陣，同時具備多個模型工具鏈和大小模型協(xié)同功能，有效賦能網(wǎng)4)精準(zhǔn)意圖識別：深入理解用戶通過模型工具鏈實現(xiàn)高效訓(xùn)練和調(diào)優(yōu)，增加生態(tài)開放度，同時借助多任務(wù)編排實現(xiàn)大模型可控場景化分光器端口占用識別模型和質(zhì)差小區(qū)識別模型，這些小模型可以在場景化應(yīng)用中進(jìn)行組合后被大模型的API調(diào)用。AI小模型可以作為網(wǎng)絡(luò)大模型的輔助工具或擴展模塊，為網(wǎng)絡(luò)大模息和技能。AI小模型也可以彌補網(wǎng)絡(luò)大《網(wǎng)絡(luò)大模型白皮書(2023)》7的數(shù)據(jù)，幫助大模型更好地理解特定領(lǐng)域的規(guī)律和知識，從而提升大模型的泛化能力和表現(xiàn)。同時，4)優(yōu)化協(xié)同：小模型和大模型可以共享優(yōu)化算3.2知識/數(shù)據(jù)特征知識庫和案例庫，海量的專業(yè)知識和數(shù)據(jù)，有效減少大模型幻覺現(xiàn)象和邏輯性錯誤通病，具有強大專業(yè)領(lǐng)域認(rèn)知能力，是專業(yè)的網(wǎng)絡(luò)大模型.1)初始階段：大模型飛輪為少數(shù)用戶服務(wù)，數(shù)據(jù)治理飛輪《網(wǎng)絡(luò)大模型白皮書(2023)》82)提升階段：優(yōu)化后的大模型，服務(wù)更多的用戶，產(chǎn)生更多數(shù)據(jù)，大模3)成熟階段：形成一個雙向良性循環(huán)，大模型服務(wù)更多的用戶，帶來更輪持續(xù)運轉(zhuǎn)，為大模型飛輪提供源源不斷的“營養(yǎng)”，最終數(shù)據(jù)質(zhì)量越來越高，幻覺逐漸消除。網(wǎng)絡(luò)大模型通過疊加海量網(wǎng)絡(luò)專業(yè)知識的知識圖譜，發(fā)揮知識圖譜的強領(lǐng)域性、標(biāo)準(zhǔn)化、可信、可解知識管理是網(wǎng)絡(luò)大模型的認(rèn)知基礎(chǔ)能力，是網(wǎng)絡(luò)大模型統(tǒng)一知識、統(tǒng)一語料加工底座，知識管理提供包括知識圖譜自動構(gòu)建流水線、知識文檔采編加工、大模型語料加工、問答對自動生成等系列知識加工工具，對全網(wǎng)對加工后的知識進(jìn)行分類組織及生命周期管理，基于生產(chǎn)的知識圖譜、知識文檔等知識，開放用戶意圖補全、知識檢索、知識溯源、智能推薦及根因定位等知識融合應(yīng)用，增強網(wǎng)絡(luò)大模型從預(yù)訓(xùn)練到推理應(yīng)用全流程，提升其嚴(yán)肅性。同時，網(wǎng)絡(luò)大模型可基于已有知識生成新的知識，支持知識管理的知識《網(wǎng)絡(luò)大模型白皮書(2023)》9網(wǎng)絡(luò)大模型通常需要大規(guī)模的計算資源，這些資源包括計算能力、內(nèi)存、存儲和網(wǎng)絡(luò)帶寬等。以下是網(wǎng)絡(luò)2)大內(nèi)存需求：網(wǎng)絡(luò)大模型的參數(shù)量通常非常龐大，因此需要大量內(nèi)存來存儲這些參數(shù)和相3)高速存儲：訓(xùn)練大模型需要頻繁地讀寫大量的數(shù)據(jù)，因此需要高速的存儲設(shè)備，如4)分布式計算：為了加速訓(xùn)練過程有效利用計算資源，網(wǎng)絡(luò)大模型通常將模型劃分并在多個5)大規(guī)模數(shù)據(jù)集：大模型需要大規(guī)模的數(shù)據(jù)集進(jìn)行訓(xùn)練，這可能需要大量的存儲容量和數(shù)據(jù)6)高帶寬網(wǎng)絡(luò)：在多節(jié)點訓(xùn)練中，需要高帶寬的網(wǎng)絡(luò)連接，以便節(jié)點之間可以快速共享模型7)自動化和調(diào)優(yōu)工具：管理和優(yōu)化這些資源通常3.4MaaS服務(wù)無需關(guān)心模型的訓(xùn)練、優(yōu)化和維護(hù)，只需發(fā)送輸入數(shù)據(jù)并接收模型的輸出預(yù)測結(jié)果。優(yōu)勢在于可以快速使用或集成模型能力，加速應(yīng)用開發(fā)周期且無需深入到模型內(nèi)部工作原理中。通過構(gòu)建工具鏈平臺，打造MaaS模式，實現(xiàn)網(wǎng)絡(luò)大模型高可用性、易用性和成熟度，促進(jìn)與產(chǎn)業(yè)融合，從內(nèi)生到外溢l聚焦實際問題，通過網(wǎng)絡(luò)大模型解決生產(chǎn)痛點l服務(wù)于關(guān)鍵流程和場景，從輔助運營逐步向核心能力演進(jìn)l從內(nèi)部應(yīng)用走向能力交付，服務(wù)云網(wǎng)自智體系l網(wǎng)絡(luò)自動化是AI在網(wǎng)絡(luò)運行維護(hù)4.網(wǎng)絡(luò)大模型應(yīng)用4.1應(yīng)用場景規(guī)劃傳統(tǒng)無線網(wǎng)優(yōu)依賴大量的固定規(guī)則模型實現(xiàn)問題識別及定位，存在效率低、成本高、智慧水平不足的助+人工決策，決策時間縮短70%；傳統(tǒng)依賴人工的執(zhí)行和效果評估將由大題診斷、自動配參、自動執(zhí)行、自動追蹤基站狀態(tài)，自動判斷是否恢復(fù)并自動生成問題閉環(huán)處置4.2應(yīng)用案例態(tài)勢感知聚焦云網(wǎng)運行態(tài)勢及業(yè)務(wù)變化趨勢相關(guān)指標(biāo)，指標(biāo)建模、匯集數(shù)據(jù)、整合信息，整體呈現(xiàn)云網(wǎng)運營態(tài)勢情況，隨時隨地掌握全網(wǎng)運行情況。在對用戶輸入的內(nèi)容進(jìn)行意圖識別、分析該意圖涉及到的效率較低且步驟繁瑣。且傳統(tǒng)基于規(guī)則和模式匹配的方法，無法實現(xiàn)對未知和新型網(wǎng)絡(luò)威脅的智能預(yù)測和標(biāo)數(shù)據(jù)進(jìn)行計算，獲得所需指標(biāo)值，通過不同指標(biāo)綜合分析和需求定制化開發(fā)，實現(xiàn)多維度指標(biāo)管理及呈后，具備多維度指標(biāo)快速準(zhǔn)確查詢獲取、管理、呈現(xiàn)、優(yōu)化分析及智能決策等多項能力。有效支撐網(wǎng)絡(luò)運營態(tài)勢感知等場景應(yīng)用，具備態(tài)勢感知分析和報告生成等功能，同時根據(jù)中國電信內(nèi)部實際情況出發(fā)，針應(yīng)急保障場景是指在緊急情況下，為了保障公眾生命安全和財產(chǎn)安全，應(yīng)急部門和相關(guān)機構(gòu)采取的一當(dāng)前，應(yīng)急保障指標(biāo)數(shù)據(jù)離散存儲于各個專業(yè)部門中，協(xié)調(diào)獲取耗時長、難度大；應(yīng)急預(yù)案智能分析基于網(wǎng)絡(luò)大模型實現(xiàn)的應(yīng)急保障管理應(yīng)用在具備海量云網(wǎng)領(lǐng)域?qū)I(yè)知識的基礎(chǔ)上，特別學(xué)習(xí)了面向不同緊急情況的網(wǎng)絡(luò)應(yīng)急保障知識，能夠?qū)崿F(xiàn)重大災(zāi)情及緊急事件的定位、分析及信息跟進(jìn)；針對性應(yīng)急預(yù)《網(wǎng)絡(luò)大模型白皮書(2023)》通信網(wǎng)絡(luò)現(xiàn)狀和損害情況，自動發(fā)出故障告警和預(yù)警信息。對災(zāi)害等級、位置和影響范圍進(jìn)行合可視化的應(yīng)急通信資源，自動生成自然災(zāi)害應(yīng)急通信組網(wǎng)方案和處置方案，按照應(yīng)急預(yù)網(wǎng)絡(luò)大模型全面介入自然災(zāi)害應(yīng)急通信保障事前、事中、事后等各個環(huán)節(jié)細(xì)分場景，通過指標(biāo)自動分害監(jiān)測信息，結(jié)合電信網(wǎng)絡(luò)監(jiān)控告警信息、自然災(zāi)害故障工單3)制定自然災(zāi)害應(yīng)急通信組網(wǎng)方案：獲得當(dāng)前的集群共網(wǎng)應(yīng)急通信組網(wǎng)拓?fù)浣Y(jié)構(gòu)，根據(jù)應(yīng)急通信需電信網(wǎng)絡(luò)維護(hù)作業(yè)場景中存在大量工單、告警、日志、案例等數(shù)據(jù)，記錄了日常運維的業(yè)務(wù)數(shù)據(jù)。這些運維數(shù)據(jù)存在著數(shù)據(jù)量大、結(jié)構(gòu)多樣、缺乏規(guī)范、專業(yè)術(shù)語等特點，是數(shù)據(jù)分析和挖掘的難點區(qū)域。目《網(wǎng)絡(luò)大模型白皮書(2023)》1)網(wǎng)絡(luò)應(yīng)用開發(fā)投入大、周期長：各個業(yè)務(wù)場景需要分別進(jìn)行數(shù)2)已有的網(wǎng)絡(luò)AI算法泛化性不佳、不利于快速復(fù)雜推廣：各業(yè)務(wù)場景需分別訓(xùn)練模型，模型難共目前業(yè)內(nèi)主流基礎(chǔ)大模型基于互聯(lián)網(wǎng)文本數(shù)據(jù)（包括網(wǎng)頁、新聞文章、論壇帖子、維基百科打造具有豐富運維知識的智能客服助手，集團(tuán)/省公司分級部署，以被集成的方式接入集團(tuán)綜合調(diào)度系面向態(tài)勢感知相關(guān)指標(biāo)，制備專家知識語料合五屏平臺指標(biāo)及用戶意圖理解語料，促使網(wǎng)絡(luò)大模型具《網(wǎng)絡(luò)大模型白皮書(2023)》任務(wù)模型網(wǎng)絡(luò)知識覆蓋率提升5倍以上，研發(fā)上線周期從月級縮短至天級，網(wǎng)絡(luò)大模些缺點包括無法進(jìn)行事實驗證、缺乏領(lǐng)域知識、隱性知識難以掌握、模型幻覺問題、黑盒特性以及及時更新困難等。相比之下，知識圖譜具有結(jié)構(gòu)化、更準(zhǔn)確、可解釋性強、包含專業(yè)領(lǐng)域數(shù)據(jù)和更新成本低等優(yōu)基于“啟明”大模型構(gòu)建無線網(wǎng)自智機器人，可以實現(xiàn)感知智能、分析智能、預(yù)測智能、控制智能，《網(wǎng)絡(luò)大模型白皮書(2023)》在多方面提高無線網(wǎng)優(yōu)效果，降本提質(zhì)增效。結(jié)果一步即達(dá)：網(wǎng)優(yōu)平臺上存在大量的能力，傳統(tǒng)上通過頁面跳轉(zhuǎn)的方式調(diào)用，存在入口深，步驟繁瑣、耗時長的問題。而以大模型為統(tǒng)一入口的自智機器人，能夠?qū)F(xiàn)存大量無線網(wǎng)能力與大模型結(jié)合，解決網(wǎng)絡(luò)原子能力分布散亂問題，同時可以通過流程編排保證結(jié)果網(wǎng)質(zhì)差檢測、根因分析、知識抽取、智能推薦和智能問答等）與知識圖譜技術(shù)的結(jié)合，為一線業(yè)務(wù)人員提供知識查詢、解決方案推薦、智能問答等功能。利用知識圖譜擴展問句背景知識，提高無線網(wǎng)優(yōu)案例檢索當(dāng)前已實現(xiàn)的智能問答機器人已可以準(zhǔn)確識的數(shù)據(jù)分析能力，自動分析KPI/MR等多維數(shù)據(jù)問分析報告，提升質(zhì)差分析效率。在跟蹤階段，傳統(tǒng)依賴人工的執(zhí)行和效果評估由大模型自智機器人取代，一鍵自動配參、自動執(zhí)行、自動追蹤基站狀態(tài)，自動判斷是否恢復(fù)并自5.網(wǎng)絡(luò)大模型能力演進(jìn)網(wǎng)絡(luò)大模型作為云網(wǎng)運營自智等級向高階演進(jìn)的核心關(guān)鍵能力，基于云網(wǎng)運營自智代際特征演進(jìn)，我們將網(wǎng)絡(luò)大模型能力演進(jìn)劃分為4個演進(jìn)階段，細(xì)化各個等級的能力特征和目標(biāo)，《網(wǎng)絡(luò)大模型白皮書(2023)》6.網(wǎng)絡(luò)大模型展望6.1生態(tài)構(gòu)建方式第一階段：中國電信全流程研發(fā)與應(yīng)用。網(wǎng)絡(luò)大模型研發(fā)，依托中國電信研究院研發(fā)力量，在全專業(yè)專家隊伍的參與下，攻堅關(guān)鍵技術(shù)，實現(xiàn)從語料準(zhǔn)備到模型精調(diào)、反饋優(yōu)化、推理部署、部署應(yīng)用全流程第二階段：與產(chǎn)業(yè)合作伙伴緊密協(xié)同。接下來，我們還將攜手科技6.2網(wǎng)絡(luò)大模型生態(tài)展望中國電信結(jié)合自身在行業(yè)大模型領(lǐng)域的思考和實踐，打造了中國電信網(wǎng)絡(luò)大模型生態(tài)，以客戶需求為導(dǎo)向，深入網(wǎng)絡(luò)規(guī)劃、網(wǎng)絡(luò)建設(shè)、網(wǎng)絡(luò)維護(hù)、網(wǎng)絡(luò)優(yōu)化、運營決策等運營場景，通過網(wǎng)絡(luò)大模型的算力、數(shù)據(jù)、模型、場景大模型能力，構(gòu)建專屬大模型及智能應(yīng)用，注智生產(chǎn)和決策，推動云網(wǎng)運營效率提升，大模型正在重塑電信網(wǎng)絡(luò)及服務(wù)，網(wǎng)絡(luò)大模型將以客戶需求為驅(qū)動，深耕運營決策場景，持續(xù)完善產(chǎn)品核心功能，優(yōu)化用戶體驗。未來中國電信將聯(lián)合產(chǎn)業(yè)各方合作伙伴，在基礎(chǔ)研究、算力環(huán)境、應(yīng)用部署《網(wǎng)絡(luò)大模型白皮書2023》基于中國電信網(wǎng)絡(luò)大模型研發(fā)探索，在運營