大模型專(zhuān)題：大模型在華為云數(shù)字化運(yùn)維的全面探索和實(shí)踐

02大模型使能運(yùn)維規(guī)劃 04 04總結(jié)和規(guī)劃 從單點(diǎn)，到復(fù)雜，再到自動(dòng)化華為云AIOps發(fā)展之路-從單點(diǎn)，到復(fù)雜，再到?單場(chǎng)景智能運(yùn)維，傳統(tǒng)ML算 數(shù)據(jù)服務(wù)分析報(bào)表數(shù)據(jù)服務(wù)分析報(bào)表 聚焦高價(jià)值高門(mén)檻高人力場(chǎng)景，面向長(zhǎng)期規(guī)劃聚焦高門(mén)檻，高價(jià)值，高人力場(chǎng)景，擁抱大模型場(chǎng)景事件單處理流水線階段事件受理事件分流事件解決案例總結(jié)場(chǎng)景事件單處理流水線階段事件受理事件分流事件解決案例總結(jié)痛點(diǎn)級(jí)機(jī)會(huì)點(diǎn)案場(chǎng)景WR故障處理流水線階段起會(huì)故障通報(bào)影響評(píng)估故障定界故障恢復(fù)恢復(fù)驗(yàn)證故障復(fù)盤(pán)痛點(diǎn)機(jī)會(huì)點(diǎn)警，監(jiān)控指標(biāo)，息薦況構(gòu)建運(yùn)維盤(pán)古助手，聚焦運(yùn)維人效提升，打造智能運(yùn)維大模型輔助運(yùn)維子場(chǎng)景變更規(guī)范事件規(guī)范運(yùn)維知識(shí)檢索WR規(guī)范故障分析根因診斷大模型輔助運(yùn)維子場(chǎng)景變更規(guī)范事件規(guī)范運(yùn)維知識(shí)檢索WR規(guī)范故障分析根因診斷故障處理預(yù)案推薦事件處理方案生成?定位：沉淀大模型使能運(yùn)維標(biāo)準(zhǔn)方案，建設(shè)全面輔助問(wèn)答交互能力，打多觸點(diǎn)構(gòu)建：構(gòu)建運(yùn)維助手多種觸點(diǎn)模式，全面輔助運(yùn)維場(chǎng)景，支持web，WeLink機(jī)器人和運(yùn)維工具系統(tǒng)集成運(yùn)維CopilotStack：構(gòu)建運(yùn)維Copilot能力集，實(shí)現(xiàn)端到端運(yùn)維對(duì)話(huà)，意圖理解，Agent和Tools建設(shè)，和運(yùn)維大模型集成，實(shí)現(xiàn)運(yùn)維大語(yǔ)言模型端到端構(gòu)建；運(yùn)維大小模型協(xié)同計(jì)算：小模型聚焦確定性量化分析，大模型注重內(nèi)容理解和生成高質(zhì)量運(yùn)維知識(shí)語(yǔ)料中心：圍繞運(yùn)維知識(shí)數(shù)據(jù)收集，知識(shí)規(guī)范，知識(shí)管理和運(yùn)維語(yǔ)料標(biāo)注全面建設(shè)運(yùn)維信息查詢(xún)查監(jiān)控指標(biāo)查告警查資源查日志查事件查關(guān)系23運(yùn)維“小”模型確定性量化23運(yùn)維“小”模型確定性量化-4運(yùn)維知識(shí)語(yǔ)料中心獨(dú)立Web獨(dú)立Web端WeLink機(jī)器人運(yùn)維工具系統(tǒng)集成運(yùn)維Skill故障根因推薦運(yùn)維內(nèi)容檢索意圖識(shí)故障報(bào)告生成運(yùn)維Skill故障根因推薦運(yùn)維內(nèi)容檢索意圖識(shí)故障報(bào)告生成運(yùn)維信息查詢(xún)變更命令評(píng)估別運(yùn)維信息查詢(xún)Agent故障根因推運(yùn)維信息查詢(xún)Agent故障根因推薦AgentAgent故障報(bào)告生成Agent變更評(píng)估運(yùn)維大小模型協(xié)同計(jì)算RAG運(yùn)維提示應(yīng)用運(yùn)維的確定性圍繞運(yùn)維大模型4大難點(diǎn)，構(gòu)建6大方案運(yùn)維助手標(biāo)注平臺(tái)端運(yùn)維助手標(biāo)注平臺(tái)端操作類(lèi)回復(fù)操作類(lèi)回復(fù)知識(shí)類(lèi)回復(fù)模型作答結(jié)果 標(biāo)準(zhǔn)答案知識(shí)類(lèi)回復(fù)模型作答結(jié)果路由分發(fā)中控解標(biāo)注路由）標(biāo)準(zhǔn)術(shù)寫(xiě)知識(shí)完備度標(biāo)注分發(fā)結(jié)果知識(shí)完備度標(biāo)注分發(fā)結(jié)果任務(wù)匹配運(yùn)維操作類(lèi)服務(wù)任務(wù)匹配運(yùn)維操作類(lèi)服務(wù)知識(shí)增強(qiáng)檢索知識(shí)增強(qiáng)檢索知識(shí)檢索標(biāo)注標(biāo)準(zhǔn)問(wèn)答對(duì)高頻語(yǔ)料匹配知識(shí)檢索前改寫(xiě)知識(shí)檢索標(biāo)注標(biāo)準(zhǔn)問(wèn)答對(duì)高頻語(yǔ)料匹配知識(shí)檢索前改寫(xiě)搜索召回精排模型作答RAG搜索召回精排模型作答RAG模型作答標(biāo)注模型作答標(biāo)注模型管理模型訓(xùn)練模型部署模型管理模型訓(xùn)練模型部署知識(shí)管理知識(shí)完整度知識(shí)管理知識(shí)訓(xùn)練知識(shí)管理知識(shí)完整度知識(shí)管理知識(shí)訓(xùn)練標(biāo)準(zhǔn)問(wèn)答對(duì)切量化片向語(yǔ)料管理料數(shù)據(jù)真真實(shí)應(yīng)用階段冷啟動(dòng)階段語(yǔ)料少，如何獲取真實(shí)問(wèn)答語(yǔ)料段運(yùn)維語(yǔ)料少運(yùn)維語(yǔ)料數(shù)據(jù)配比和有效性證偽難真實(shí)語(yǔ)料意圖標(biāo)注分析真實(shí)語(yǔ)料意圖標(biāo)注分析答答符合預(yù)期運(yùn)維語(yǔ)料生產(chǎn)過(guò)程增強(qiáng)運(yùn)維語(yǔ)料數(shù)據(jù)集語(yǔ)料訓(xùn)練意識(shí)別圖模型評(píng)估增強(qiáng)運(yùn)維語(yǔ)料數(shù)據(jù)集語(yǔ)料訓(xùn)練意識(shí)別圖模型評(píng)估數(shù)據(jù)集修正檢索行為通過(guò)提示詞模版生成語(yǔ)料關(guān)鍵點(diǎn)三：構(gòu)建真實(shí)語(yǔ)料意圖標(biāo)注能力，持續(xù)進(jìn)行運(yùn)維語(yǔ)料的有效治理關(guān)鍵點(diǎn)二：采用大模型合成數(shù)據(jù)快速構(gòu)建語(yǔ)料數(shù)據(jù)模擬問(wèn)答原始語(yǔ)料數(shù)據(jù)集關(guān)鍵點(diǎn)一：圍繞運(yùn)維實(shí)際活動(dòng)構(gòu)建冷啟動(dòng)原始語(yǔ)料集，確保使用真實(shí)性和有效性效果：1個(gè)月完成運(yùn)維領(lǐng)域10+運(yùn)維語(yǔ)料數(shù)據(jù)集的建設(shè)，語(yǔ)料質(zhì)量80%華為云運(yùn)維領(lǐng)域涉及多種知識(shí)：流程規(guī)范知識(shí)，產(chǎn)品使用知識(shí)，內(nèi)部案例關(guān)鍵點(diǎn)一：確定知識(shí)地圖關(guān)鍵點(diǎn)二：明確知識(shí)Owner和知識(shí)責(zé)任人通用流程/規(guī)范/指導(dǎo)書(shū)知識(shí)關(guān)鍵點(diǎn)一：確定知識(shí)地圖關(guān)鍵點(diǎn)二：明確知識(shí)Owner和知識(shí)責(zé)任人通用流程/規(guī)范/指導(dǎo)書(shū)知識(shí)知識(shí)責(zé)任人對(duì)知識(shí)投稿評(píng)審確認(rèn)。事件通報(bào)規(guī)范事件管理流程WR運(yùn)作規(guī)范應(yīng)急預(yù)案管理案例庫(kù)云服務(wù)事件解決方案案例庫(kù)產(chǎn)品介紹文檔云服務(wù)產(chǎn)品說(shuō)明文檔關(guān)鍵點(diǎn)三：統(tǒng)一知識(shí)管理和存儲(chǔ)關(guān)鍵點(diǎn)三：統(tǒng)一知識(shí)管理和存儲(chǔ)知識(shí)推薦知識(shí)搜索知識(shí)推薦知識(shí)搜索智能問(wèn)答知識(shí)創(chuàng)建知識(shí)創(chuàng)建知識(shí)審核知識(shí)發(fā)布統(tǒng)計(jì)分析統(tǒng)計(jì)分析知識(shí)權(quán)限問(wèn)題監(jiān)控 關(guān)鍵點(diǎn)四：知識(shí)消費(fèi)治理關(guān)鍵點(diǎn)四：知識(shí)消費(fèi)治理用戶(hù)原始問(wèn)題用戶(hù)原始問(wèn)題標(biāo)注知識(shí)管理產(chǎn)品文檔運(yùn)維流程規(guī)范故障預(yù)案知識(shí)解析 標(biāo)注知識(shí)管理產(chǎn)品文檔運(yùn)維流程規(guī)范故障預(yù)案知識(shí)解析 倒排索引庫(kù)資料索引問(wèn)題通用改寫(xiě)搜索召回精排模型作答知識(shí)檢索BadCase集知識(shí)覆蓋率知識(shí)檢索準(zhǔn)確率【提效果】效果：圍繞事件知識(shí)，運(yùn)維流程規(guī)范知識(shí)和產(chǎn)品知識(shí)，達(dá)成知識(shí)完整度：90%，知識(shí)準(zhǔn)確率：85+%確定性運(yùn)維意圖理解：多層路由，結(jié)合大小模運(yùn)維助手覆蓋20+意圖類(lèi)別，新增意圖周級(jí)迭代運(yùn)維助手覆蓋20+意圖類(lèi)別，新增意圖周級(jí)迭代效果：意圖識(shí)別準(zhǔn)確率事件知識(shí)問(wèn)答Agent事件知識(shí)問(wèn)答Agent故障處理故障處理Agent默認(rèn)默認(rèn)Agent層知識(shí)問(wèn)答糾偏意圖識(shí)別層運(yùn)維通用意圖識(shí)別層查詢(xún)告警查詢(xún)指標(biāo)語(yǔ){查詢(xún)變更語(yǔ)查詢(xún)拓?fù)渲R(shí)問(wèn)答運(yùn)維skill問(wèn)答 運(yùn)維私域知識(shí)檢索 相似意圖精確匹配 模糊意圖分類(lèi)模型知識(shí)問(wèn)答糾偏意圖識(shí)別層運(yùn)維通用意圖識(shí)別層查詢(xún)告警查詢(xún)指標(biāo)語(yǔ){查詢(xún)變更語(yǔ)查詢(xún)拓?fù)渲R(shí)問(wèn)答運(yùn)維skill問(wèn)答 運(yùn)維私域知識(shí)檢索 相似意圖精確匹配 模糊意圖分類(lèi)模型意圖改寫(xiě)公域知識(shí)檢索基于提示詞參數(shù)提取槽位提取模塊基于算法提取通用embedding意圖相似匹配分類(lèi)提示詞工程-知識(shí)問(wèn)答or操作判斷提示詞工程-知識(shí)問(wèn)答or操作判斷關(guān)鍵點(diǎn)三：構(gòu)建意圖糾偏層，結(jié)合BadCase實(shí)現(xiàn)小概率錯(cuò)意圖糾偏層意圖糾偏層從從65%提升至80%+能力執(zhí)行層盤(pán)古大模型作答查詢(xún)告警查詢(xún)變更單查詢(xún)監(jiān)控指標(biāo)查詢(xún)交換機(jī)設(shè)備全棧拓?fù)涮嵘P(guān)鍵點(diǎn)一：結(jié)合提示詞工程實(shí)現(xiàn)問(wèn)題標(biāo)準(zhǔn)化和分類(lèi)改寫(xiě)，明確檢索意圖提升關(guān)鍵點(diǎn)一：結(jié)合提示詞工程實(shí)現(xiàn)問(wèn)題標(biāo)準(zhǔn)化和分類(lèi)改寫(xiě)，明確檢索意圖用戶(hù)問(wèn)答事件咨詢(xún)問(wèn)題標(biāo)準(zhǔn)化用戶(hù)問(wèn)答事件咨詢(xún)問(wèn)題標(biāo)準(zhǔn)化故障咨詢(xún)類(lèi)信息咨詢(xún)類(lèi)協(xié)助操作類(lèi)RAG故障咨詢(xún)類(lèi)故障咨詢(xún)類(lèi)信息咨詢(xún)類(lèi)協(xié)助操作類(lèi)RAG故障咨詢(xún)類(lèi)RAG信息查詢(xún)類(lèi)信息查詢(xún)類(lèi)RAG協(xié)助操作類(lèi)協(xié)助操作類(lèi)意圖缺失，影響知識(shí)檢索的意圖缺失，影響知識(shí)檢索的回答存在幻覺(jué)問(wèn)題產(chǎn)品文檔知識(shí)解析精排模型作答精排模型作答搜索召回搜索召回關(guān)鍵詞搜索關(guān)鍵詞搜索知識(shí)管理知識(shí)管理運(yùn)維流程運(yùn)維流程倒排索引庫(kù)倒排索引庫(kù)故障預(yù)案例?原始事件單信息云主機(jī)被釋放了，但是沒(méi)有通知，不應(yīng)該是現(xiàn)在被釋放？云主機(jī)被釋放了，但是沒(méi)有通知，不應(yīng)該是現(xiàn)在被釋放？?大模型可能理解的意圖如何預(yù)防云主機(jī)被意外如何預(yù)防云主機(jī)被意外云主機(jī)釋放之后，如果快速恢復(fù)服務(wù)?云主機(jī)釋放之后，如果快速恢復(fù)服務(wù)?云主機(jī)被釋放沒(méi)有通知原因是什么??意圖改寫(xiě)后結(jié)果大模型生成結(jié)果大模型生成結(jié)果為什么云主機(jī)被釋放?效果：?jiǎn)栴}理解準(zhǔn)確率：50%+提升至80%+，AI答準(zhǔn)率：30%+提升至70%+基于確定性編排構(gòu)建大小模型協(xié)同的故障分析方案面臨的問(wèn)題：故障診斷涉及多種監(jiān)控?cái)?shù)據(jù)查詢(xún)，異常檢測(cè)，根因聚類(lèi)定界，故障報(bào)告總結(jié)等多個(gè)環(huán)節(jié)，傳統(tǒng)大模型難以構(gòu)建復(fù)雜推理決策能力端解決運(yùn)維復(fù)雜任步驟處理列表：【查告警】：告警ID【診斷模型路由】：數(shù)據(jù)庫(kù)【數(shù)據(jù)庫(kù)診斷】：告警ID【根因問(wèn)題改寫(xiě)】：可疑根因關(guān)鍵點(diǎn)一：借助COT，結(jié)合故障案例，確定故障分析步驟…關(guān)鍵點(diǎn)二：結(jié)合編排框架，實(shí)現(xiàn)執(zhí)行鏈的確定性編關(guān)鍵點(diǎn)二：結(jié)合編排框架，實(shí)現(xiàn)執(zhí)行鏈的確定性編查告警診斷路由查變更查指標(biāo)查日志查告警Q故障預(yù)案RAG檢索縮算法法法薦拓?fù)涓蚋蚨ㄎ贿\(yùn)維助手使用頻次低，用戶(hù)習(xí)慣難以改變效果：運(yùn)維使用人群整體覆蓋率達(dá)成30%，整體運(yùn)維人效提升20%+工作群：智能答疑機(jī)器人工作群：智能答疑機(jī)器人@運(yùn)維助手：查詢(xún)變更列表改變交互行為，提高運(yùn)維生產(chǎn)力運(yùn)維助手運(yùn)維工具界面運(yùn)維助手運(yùn)維工具界面運(yùn)維助手運(yùn)維助手運(yùn)維工具界面流程集成運(yùn)維工具界面大模型大模型薦結(jié)合人機(jī)協(xié)同，基于LLM和AIAgent構(gòu)建運(yùn)維數(shù)字助理驅(qū)動(dòng)運(yùn)維智能?大模型使能運(yùn)維重點(diǎn)圍繞提升運(yùn)維生產(chǎn)力為主：選擇高門(mén)檻，高人力，高價(jià)值點(diǎn)場(chǎng)景?大模型加速智能運(yùn)維快速走向下一個(gè)階段，運(yùn)維助手將改變運(yùn)維的交互模式，從而真實(shí)實(shí)現(xiàn)從自動(dòng)化運(yùn)維走向無(wú)人化?大模型只是一個(gè)算法手段，降低模型應(yīng)用的復(fù)雜度，但面向運(yùn)維場(chǎng)景應(yīng)用需要構(gòu)建從知識(shí)語(yǔ)料>運(yùn)維大小模型算法調(diào)優(yōu)>編排框架>CopilotStack>產(chǎn)品集成應(yīng)用>數(shù)據(jù)化運(yùn)營(yíng)端到端構(gòu)建?業(yè)務(wù)演進(jìn)：運(yùn)維大模型使能三階段，輔助運(yùn)維-》運(yùn)維工作流集成-》運(yùn)維數(shù)字助理?算法架構(gòu)：運(yùn)維大小模型協(xié)同將是未來(lái)運(yùn)維算法架構(gòu)的常態(tài)?未來(lái)技術(shù)：從自動(dòng)化運(yùn)維走向無(wú)人化運(yùn)維，核心需要實(shí)現(xiàn)人機(jī)協(xié)同技術(shù)和AIAgent技術(shù)的集3云超系統(tǒng)運(yùn)維孿生數(shù)據(jù)底座3云超系統(tǒng)運(yùn)維孿生數(shù)據(jù)底座故障處理事件處理變更處理日常運(yùn)營(yíng)分析決策智能算法人工決策+智能體（人+機(jī)）站點(diǎn)風(fēng)控規(guī)則運(yùn)維決策編排運(yùn)維決策計(jì)算運(yùn)維統(tǒng)一數(shù)據(jù)接入變更評(píng)估規(guī)則故障診斷規(guī)則大小模型協(xié)同計(jì)算檢測(cè)算法變更異常檢測(cè)算法指標(biāo)異常檢測(cè)算法指標(biāo)趨勢(shì)預(yù)測(cè)算法人工決策+智能體（人+機(jī)）站點(diǎn)風(fēng)控規(guī)則運(yùn)維決策編排運(yùn)維決策計(jì)算運(yùn)維統(tǒng)一數(shù)據(jù)接入變更評(píng)估規(guī)則故障診斷規(guī)則大小模型協(xié)同計(jì)算檢測(cè)算法變更異常檢測(cè)算法指標(biāo)異常檢測(cè)算法指標(biāo)趨勢(shì)預(yù)測(cè)算法根因分析算法運(yùn)維專(zhuān)業(yè)領(lǐng)域小模型運(yùn)維決策運(yùn)維決策Agent運(yùn)維信息查詢(xún)Agent故障處理Agent變更Agent事件Agent運(yùn)維知識(shí)Agent事件大模型運(yùn)維知識(shí)數(shù)據(jù) 事件大模型運(yùn)維知識(shí)數(shù)據(jù) 運(yùn)維語(yǔ)料數(shù)據(jù)華為云行業(yè)大模型華為云盤(pán)古大模型運(yùn)維孿生數(shù)據(jù)統(tǒng)一建模統(tǒng)一建模運(yùn)維實(shí)時(shí)數(shù)據(jù)