基于大語(yǔ)言模型的AI Agent架構(gòu)及金融行業(yè)實(shí)踐-周健

周健2024.8.17模型的智能化水平與使用成本的演進(jìn)趨勢(shì)?具備任務(wù)拆解與實(shí)現(xiàn)能力??具備任務(wù)拆解與實(shí)現(xiàn)能力??將數(shù)據(jù)轉(zhuǎn)化成知識(shí)表達(dá)?大模型帶來(lái)推理能力提升信息（感知）系統(tǒng)行（實(shí)）系統(tǒng)?數(shù)據(jù)作為信息媒介?信息獲取效率提升Agent具備角色識(shí)別，規(guī)劃及任務(wù)拆解、記憶及知識(shí)沉淀、工具/技能使用、執(zhí)行動(dòng)作等能力用戶LMAgent具備角色識(shí)別，規(guī)劃及任務(wù)拆解、記憶及知識(shí)沉淀、工具/技能使用、執(zhí)行動(dòng)作等能力用戶LM對(duì)話式編程時(shí)代，我們相信新的更優(yōu)雅的基于大語(yǔ)言模型的軟件架構(gòu)必將誕生AutonomousAgent感知State+PolicyQuestions Action從人機(jī)協(xié)同模式角度結(jié)度初級(jí)形態(tài)：把AI嵌入到人的工作中中級(jí)形態(tài)：AI作為人的輔助工具的依賴性在降低，且越來(lái)越像真人。人的大部分用于繁瑣日常工作的技能被AI取能被瞬間強(qiáng)化生產(chǎn)力提升生產(chǎn)力提升業(yè)務(wù)流程自動(dòng)化生產(chǎn)效率提升基礎(chǔ)設(shè)施層模型層2C應(yīng)用層基礎(chǔ)設(shè)施層模型層2C應(yīng)用層ΔAzureΔAzure文本問答創(chuàng)意生成CLLaMA2算力芯片云服務(wù)平臺(tái)大語(yǔ)言模型算力芯片云服務(wù)平臺(tái)大語(yǔ)言模型專家知識(shí)業(yè)務(wù)數(shù)據(jù)……價(jià)值主張 價(jià)值主張自主研發(fā)的基于大語(yǔ)言模型的企業(yè)級(jí)AlAgent平臺(tái)，集Agent與工作流設(shè)計(jì)、開發(fā)、使用、管理，與知識(shí)沉淀于一體。幫助企業(yè)快速定制企業(yè)級(jí)AlAgent來(lái)完成各類任務(wù)，從而實(shí)現(xiàn)業(yè)務(wù)運(yùn)營(yíng)的提質(zhì)增效。d』可信的企業(yè)級(jí)數(shù)d』場(chǎng)景兼容模型中立模型中立社會(huì)性知識(shí)（Society)企服場(chǎng)景下專家知識(shí)的五層模型在企服領(lǐng)域內(nèi)一致認(rèn)同的共性知識(shí)企業(yè)內(nèi)的約定規(guī)則和指導(dǎo)原則企業(yè)內(nèi)進(jìn)行特定操作或流程的步驟和方法在企業(yè)特定領(lǐng)域的專業(yè)知識(shí)和從業(yè)技能4組織內(nèi)部和外部社交規(guī)則、合適的溝通方式金融行業(yè)建設(shè)思路建設(shè)運(yùn)營(yíng)體系制定技術(shù)合規(guī)標(biāo)準(zhǔn)?統(tǒng)一技術(shù)實(shí)現(xiàn)路徑?制定統(tǒng)一的標(biāo)準(zhǔn)和制定技術(shù)合規(guī)標(biāo)準(zhǔn)?統(tǒng)一技術(shù)實(shí)現(xiàn)路徑?制定統(tǒng)一的標(biāo)準(zhǔn)和基于規(guī)則的知識(shí)解構(gòu)完善全流程應(yīng)用?引入對(duì)已有業(yè)務(wù)流程挖掘和治理基于規(guī)則的知識(shí)解構(gòu)完善全流程應(yīng)用?完成業(yè)務(wù)全流程應(yīng)用升級(jí)（如信貸，銷售?完成業(yè)務(wù)全流程應(yīng)用升級(jí)（如信貸，銷售Agent推廣應(yīng)用群體智能涌現(xiàn)Agent推廣應(yīng)用群體智能涌現(xiàn)景，帶來(lái)更多價(jià)值?完成不同業(yè)務(wù)領(lǐng)域試點(diǎn)應(yīng)用封裝應(yīng)用試點(diǎn)落地產(chǎn)品技術(shù)驗(yàn)證?全單位進(jìn)行試點(diǎn)應(yīng)用應(yīng)用試點(diǎn)落地產(chǎn)品技術(shù)驗(yàn)證應(yīng)用場(chǎng)景（如知識(shí)問答）業(yè)務(wù)信息收集樣例數(shù)據(jù)梳理應(yīng)用場(chǎng)景評(píng)估業(yè)務(wù)信息收集樣例數(shù)據(jù)梳理應(yīng)用場(chǎng)景評(píng)估資源評(píng)估系統(tǒng)集成設(shè)計(jì)模型效果評(píng)測(cè)系統(tǒng)集成設(shè)計(jì)模型效果評(píng)測(cè)算力評(píng)測(cè)算力評(píng)測(cè)模型部署模型部署算力適配 實(shí)施計(jì)劃研討知識(shí)整理Agent實(shí)施驗(yàn)收--移交優(yōu)化壓測(cè)監(jiān)控項(xiàng)目管理和服務(wù)集成項(xiàng)目管理和服務(wù)集成Agent應(yīng)用落地實(shí)例-某大型國(guó)有銀行金融交易場(chǎng)景額析析據(jù)據(jù)析 程據(jù) 程據(jù)OO●O(●OO(●●((((((●●●●XX((●●(O●O((OO(↓↓傳自目用戶提問用戶提問向量庫(kù)!全文索引庫(kù)向量庫(kù)!全文索引庫(kù)PCPC端。。。瀾碼科技作為大模型應(yīng)用落地的領(lǐng)先企業(yè)，在ABI應(yīng)用板塊率先擁有成熟產(chǎn)品以及行業(yè)成功案例，用戶通過應(yīng)用瀾碼ABI產(chǎn)品，大幅降低員工用數(shù)成本，使得80%以上的數(shù)據(jù)分析任務(wù)都通過ABI來(lái)完成。準(zhǔn)確可靠的查數(shù)基于瀾碼開發(fā)的ABI對(duì)話框架，通過大模型與指標(biāo)庫(kù)的結(jié)合，圍繞業(yè)務(wù)人員的數(shù)據(jù)達(dá)到查數(shù)成功率90%以上的業(yè)界領(lǐng)先效果。強(qiáng)大的數(shù)據(jù)分析瀾碼ABI產(chǎn)品充分發(fā)掘指標(biāo)庫(kù)與大模型結(jié)合的能力，在完成查數(shù)的基礎(chǔ)上，為用戶提供了各類數(shù)據(jù)分析能力，讓業(yè)務(wù)人員可以快速找到數(shù)據(jù)異常的根源。富有洞察力的數(shù)據(jù)解讀瀾碼ABI同時(shí)為用戶提供了查詢結(jié)果的解讀能力。業(yè)務(wù)人員得到數(shù)據(jù)結(jié)果后沒有分析思路，大模型可以幫助用戶快速發(fā)現(xiàn)數(shù)據(jù)中的關(guān)鍵細(xì)節(jié)，解讀數(shù)據(jù)的特征，幫助用戶快速理解數(shù)據(jù)狀況。營(yíng)銷輔助助手-健康產(chǎn)品推薦 健康保障產(chǎn)品 健康保障產(chǎn)品保的成本降低保的成本降低科技賦能保險(xiǎn)精準(zhǔn)過濾并鎖率數(shù)據(jù)分析Agent案例-某頭部消費(fèi)金融公司普惠金、，基于數(shù)據(jù)中臺(tái)的數(shù)據(jù)分析類業(yè)務(wù)逐年升高，數(shù)據(jù)服務(wù)需求旺盛，支撐數(shù)據(jù)服務(wù)與數(shù)據(jù)分析等工作的人員任務(wù)繁重，導(dǎo)致業(yè)務(wù)獲取數(shù)據(jù)周期長(zhǎng)業(yè)務(wù)運(yùn)營(yíng)效率低等問題需要通過一種更加靈活智、， 通過生成式SQL及生成式BI的方案，可以通過對(duì)話實(shí)現(xiàn)靈活豐富的數(shù)據(jù)獲取。交付瀾碼的SQL代碼生成微調(diào)模型，目前準(zhǔn)確率已l需要完成一個(gè)模擬一個(gè)真實(shí)的客戶經(jīng)理，幫助用戶進(jìn)行l(wèi)需要完成一個(gè)模擬一個(gè)真實(shí)的客戶經(jīng)理，幫助用戶進(jìn)行對(duì)公開戶的復(fù)雜Agentl需要同時(shí)處理信息收集、格式核驗(yàn)、字段問答、OCR、輔助填寫、API上報(bào)、信息確認(rèn)等多種要求，用戶可隨時(shí)問答，實(shí)現(xiàn)一個(gè)像客戶經(jīng)理一樣輔助用戶對(duì)開開戶，具備復(fù)雜的行為準(zhǔn)則AgenAgen短期記憶長(zhǎng)期記憶rt Question智能決策任務(wù)執(zhí)行觀察結(jié)果記憶存儲(chǔ)獲取記憶推理回復(fù)結(jié)果參數(shù)匹配執(zhí)行調(diào)用工作流Agent 選擇action Answer短期記憶長(zhǎng)期記憶rt Question智能決策任務(wù)執(zhí)行觀察結(jié)果記憶存儲(chǔ)獲取記憶推理回復(fù)