曾禹飛：增強AI能力的Agent實踐RAG與Tool Use的協(xié)同效應

增強AI能力的Agent實踐曾禹飛58同城AILabAlAl應用智能對話平臺智能體平臺靈犀大語言模型大語言模型平臺推理Al計算平臺訓練D總結與展望58同城平臺業(yè)務背景介紹58同城生活服務平臺介紹●房產、招聘、汽車、黃頁四大業(yè)務找工作附近兼職租房二手房二手車本地服務家政新房家政公司平臺銷售售賣會員●第二曲線～產業(yè)化(交易業(yè)務)●產業(yè)化就是把整個鏈條所有的信息流程全部在線化、數(shù)字化，并且能夠無縫地將上下游協(xié)同起來。●需要提供客戶需要的所有服務，讓客戶在房產、<Q搜索家電維修◎熱門商家，現(xiàn)場實測實拍，選他!四擁查看全部>北京百惠家電維修·家電維修北京誠順君越空調維修管道疏通·家電大山子中央空調加藏清洗假日不休快速上門日服務于大山子>◎朝陽-安貞-安貞醫(yī)院中央空調維修定頻掛機維修空調拆卸移機空調清洗安裝空調中央空調維修加氟空調不制冷你好，在嗎?您好，在的，很高興為您服務~請問您的具體位置是在哪里?酒仙橋您留下聯(lián)系方式，我讓師傅先給您報個價你們在哪里您好，目前商家告訴小助手，本公司詳細地址是：安貞醫(yī)院朝陽安貞，若未滿足您的需求，麻煩聯(lián)系買家咨詢哦常用語發(fā)送帖子發(fā)送手機號想對他說點什么呢?構建模型領先、敏捷易用的Al平臺，加速AI應用落地銷售客服產品運營辦公在房產、招聘、汽車、黃頁各業(yè)務線廣泛落地AI應用平臺智能對話VR/ARAIGC數(shù)字人Agent語音對話文本對話拼接建模漫游渲染圖片生成視頻生成形象克隆實時互動插件知識庫建設敏捷易用的Al應用平臺，提供各類解決方案，助力Al應用快速落地Al基礎平臺圖像算法語音算法NLP算法3D建模大語言模型多模態(tài)大模型Al平臺是連接Al算力和AI算法模型預訓練微調應用的重要橋梁，有效彌合對齊評測了兩者之間的鴻溝計算引擎算力管理集群調度離線訓練在線推理離在線混部應用數(shù)70+Al應用銷售客服產品體驗內部辦公銷售客服Al應用層Al平臺層Al平臺層靈犀大語言模型ChatLing商用大模型靈犀大語言模型ChatLing開源通用大語言模型微調AIAgent智能體概述·AlAgent是以大語言模型為大腦驅動，具有自主理解、感知、規(guī)劃、記憶和使ChainofChainofGraphofMore..Reasngfom·業(yè)界各大廠商推出的AlAgent是一個一站式AI開發(fā)平臺，用戶無需編程，只需要通過簡單配置即可快捷創(chuàng)建Al機器人，代表性的平臺有GPTs(OpenAl)、扣子(字節(jié))、文心智能體平臺(百度)等?；糜X知識覆蓋數(shù)據(jù)安全幻覺知識覆蓋數(shù)據(jù)安全時效性AlAl應用生成生成創(chuàng)建機器人工作流ChatLing領域大模型基座升回答能力輸入輸入輸出#12三數(shù)據(jù)庫重排后片段&分段相似片段√ToolUse能力建設：工具調用，基于大輸入輸入多輪對話解析API參數(shù)獲得結果U:北京文本數(shù)據(jù)關鍵詞元數(shù)據(jù)拆解字符級遞歸字符級五險一金文檔級多模態(tài)…索引h小重排DataFun.RAG檢索-FLARERetrieverRetriever茗茗92Searchresults:Dxi[1]:...s?'JoeBiden(bornNovemberts3|JoeBidenannouncedhiscandidacyfor25,2019.Retriever正確句子q2低置信度WhatuniversitydidJoeJoeBidenattended"和"whereheearActiveRetrievalAugmentedGeneration,EMNLP,2023,CarnegieRAG檢索-DRAGINBelowaretheexternalBelowaretheexternalexternalknowledge:UniversityofZurich,wherehebegantoleadingphysicist.DuringhistimeattheUniversityofZurich××1ALlSRIND<θAnySRIND>θModuleQuery.Einstein1RetrievedExternalKnowX×0X0××1sLHDRAGN:DynamicRetrievalAugmentedGenACL,2024,DepartmentofComputerScienceandTechnology,TsinghuaUniversity多輪對話API元信息√ToolUse能力建設：工具調用，基U:明天我穿什么衣服?A:你在哪個城市?[需調用查詢天氣API,缺乏地點參數(shù)]A:明天北京晴天，氣溫6~19度，建議別穿太多。[調用API,查詢北京天氣，查詢結果交給大模型組織答案]ToolUse調用方式ToolUse實現(xiàn)方式英偉達股價蘋果股價2024年英偉達股價蘋果股價當前英偉達和蘋果的股價是多少?當前英偉達和蘋果的股價是多少?冠軍是誰?英偉達財報英偉達財報蘋果財報繪制圖表查詢去年英偉達和查詢去年英偉達和查詢去年英偉達和公司cancontrolthepdesignedtointeractw Answer:iPod Answer:iPoddiscontinuedmediacenterbystep.AppleRemotewasbyiPhone,iPad,andiPod (1d)ReAct(Reason+Act)October2005byApple..originallyThought2:AppleRemotheFrontRowmediacenterprogram.IneedtosearchSeattoEarth','FrontRowMotorsports','FroAct3:Search[FrontRow(softwareAct3:Search[FrontRow(software)]Obs3:FrontRowisaRemoteorthekeyboardAct4:Finish[keyboardfunSingle-Step…請概括/p/46990010和/Anooyman/article/deta1:不能提供幻覺數(shù)據(jù)。幻覺數(shù)據(jù)：不在客戶提供的內容里，屬于模型自己生成的數(shù)據(jù)。2:需要用戶意圖，調用對應的工具(不限制調用一次),且給出工具所需的參數(shù)5-defget_from_chatgpt(GPT_MODEL,me6completion=openai,不要假設函數(shù)中需要的值，如果用戶請求不明確，應該要求澄清。"}19{"role":"user","content":"20/Anooyman/article/details/135729372"}22res=get_from_chatgpt(GPT{"description":"根據(jù)user輸入的link或者html網頁來網獲取信息","description":"user輸入的網頁url、link、html鏈接""description":"檢索語句，當search_type為search時有效""content":"不要假設函數(shù)中需要的值，如果用戶請求不明確，應該要求澄清。""content":"請概括https://zhuanla/Anooyman/article/details/13572{"id":"call_ytZbFgJBjZsF{"id":"call_AtT8NOfpL5pF"arguments":"{"url":"/p/46990010"arguments":"{"url":"/Anooyman/article/de"search_type":"full",}"content":"不要假設函數(shù)中需要的值，如果用戶請求不明確，應該要求澄"content":"請概括https://zhuanlan.zhihu.co/Anooyman/article/details/13572關鍵信息。這樣我才能更好地幫助你概括網頁."{"arguments":"{\n\"url\":\"/p/46990}\"/Anooyman/article/details/135729372ToolUse數(shù)據(jù)構造業(yè)務指令數(shù)據(jù)：合成工具：種子指令+模版合成微調數(shù)據(jù)方式1:根據(jù)問題和工具，生成輸出·Self-QA:直接根據(jù)工具，生成輸入問題，以及與問題和工具相符的輸出。過濾和后處理·去除輸入輸出完全相同、或者輸入相同輸出不同的數(shù)據(jù)；>每輪對話會給到1到3個工具>每個工具的參數(shù)在3個以內>每輪對話會給到1到3個工具>每個工具的參數(shù)在3個以內>每輪對話給到1到4個工具>工具的參數(shù)量分布在1到12個。調用(并行調用的數(shù)據(jù)量只有50條)測試集版本-0.14%-14.12%模型模型>每輪對話包含多個工具，需要多次并行調用單個工具才能完成任務。比如輸入兩個鏈接，總結兩個鏈接的內容>工具參數(shù)分布在1到7之間>每輪對話包含多個工具，需要并行調用多個工具才能完成任務。比如查詢英偉達公司去年的財務報表，并繪制成圖表。>工具參數(shù)分布在1到7個之間-1.12%>每輪對話包含多個工具，模型根據(jù)用戶的輸入選擇調用單個工具>工具參數(shù)分布在1到7個之間Agent方案設計相關文檔相關文檔檢索片段1:結局1:天命人戴上金箍，繼承了大圣意志…向量化智能解析文檔，支持圖片、表格等多種形式向量化片段2:第二個結局是在二周目中，玩家再次對戰(zhàn)二郎神…否否索引效果優(yōu)化否是是否有足夠自信是是否有足夠自信片段2:..請參考以上信息，回答下面的問題：黑神話悟空有幾個結局?輸入問題黑神話結局?改寫輸入問題黑神話結局?改寫、拆解…黑神話悟空有幾個結局?根據(jù)資料，黑神話悟空有提到2個結局的，也有說3個結局的。但較為一致的說法內置多種RAG強化模型，提供自定義工作流、溯源能力強是游戲有2個主要結局…AgentAgent插件和工具便捷使用·支持用戶自定義插件·提供內置插件選項AgentAgent流程編排·提供自定義工作流，思考過程可視化·響應過程可追溯且可控支持多輪會話以及向量檢索支持多輪會話以及向量檢索·通過多輪對話和向量數(shù)據(jù)庫實現(xiàn)全鏈路記憶管理請輸入插件名稱Header列表⑦+新增創(chuàng)建日結束直據(jù)中>直據(jù)中>無套路網約司機自提免押10000-15000元/月薪資參考回跑車政策回跑車政策租賃模式電話聊一聊申請職位無套路網約司機自提…10000-15000元/月您具備哪些駕駛優(yōu)勢?你們公司在哪里北京順義佳聯(lián)時代廣場A座是我們的主要工作地點。您可以點擊下方卡片，我們盡快與您聯(lián)系進行詳細溝通~常用語預約看車)想對他說點什么呢?悅黛藍翰軒更多信息>待售住宅小型社區(qū)低容積公園配套純熟商業(yè)街已變價通知開盤通知已變價通知開盤通知致電售樓處了解更多信息致電售樓處了解更多信息樓盤時刻樓盤時刻已開盤已開盤微聊微聊致電售樓處致電售樓處新房智能客服新房智能客服837000元/m2109-237m2悅黛藍翰軒售價待定新房住宅小型社區(qū)低容積公園小區(qū)是多少層的?Q住宅的層高有6層；容積率是多少Q住宅的容積率是1.47;周邊有什么配套?Q交通配套：1km內公交站有22個生活配套：8個學校，2個醫(yī)院，詳見樓盤評測內容+智能聊天—招聘職位問答B(yǎng)端需求信息在結構化(職位字段)和非結構化(職位JD、用戶和企業(yè)聊天記錄)數(shù)據(jù)中體現(xiàn)：用戶用戶9000-14000元3日前更新管飯嗎?據(jù)非常低效，流程冗長，且不能實時化。年底雙薪交通年底雙薪交通補助非結構飯補包住包吃加班補助數(shù)據(jù)挖掘標簽建設標技能要求：公司提供車直招，承諾面試到入職不收取任何費用。主要配送門店3公里內的買菜訂單，系統(tǒng)派單，不用分揀打包，只管配送。駐店配送，只送一家店訂單，不用四處搶單，不￥心找不到商家直招，承諾面試到入職不收取任何費用。主要配送門店3公里內的買菜訂單，系統(tǒng)派單，不用分揀打包，只管配送。駐店配送，只送一家店訂單，不用四處搶單，不￥心找不到商家JD文JD文本用戶提供住宿提供車，還可預支工資!!!新人保底6000元1,訂單多：每天保證少能送50單以上，人均能達到60單，有經驗的能過百單。用戶2,路途近：基本都是3公里以內訂單，好送。電話錄音文本漕師傅…打電話①打電話①聊一聊租房家政瀏覽瀏覽潛在客戶銷售場景—智能陪練：話術對練、考試、評分通話中00:50您已進入考試模式，請參考通話中00:50您已進入考試模式，請參考假設我們現(xiàn)在是58同城員工小李，電話中聯(lián)系到了，沈陽市沈河區(qū)尚座料理餐飲店的張老板，我們該如何一步步引導張老板合作購買58招聘會員呢?你好，請問是張經理嗎?小呃，是這樣的，你在我們。發(fā)了五八上發(fā)了一個帖子。你們招到人了嗎?小中我發(fā)的帖子有啥問題，你們這么說還不就是為了讓花錢開會員。不是的，你那個帖子那個標題不是很好。小中那要怎么發(fā)帖呀?您已進入陪練模式，請參考提示語和提示流程進行作答，當前任務的客戶畫像是：假設我們現(xiàn)在是58同城員工小李，電話中聯(lián)系到了，沈陽市沈河區(qū)尚座料理督飲店的張老板，我們該如何一步步引導張老板合作購買58招聘會員呢?●開場白-引出發(fā)帖存在問題你好，老板，我看你們最近在招人是最近我們有同事給您打過電話嗎?小小你們怎么老打電話。實在不好意思啊經理，那我的同事有跟您說，咱們的帖子發(fā)布有有問題了嗎?小小我發(fā)的帖子有啥問題，你們這么說還不就是為了讓花錢開會員答案提示：咱們的標題寫的比較簡單，對求職者是沒有什么吸引力的，本來咱們發(fā)的就是免費帖子曝光比較低，如果標題沒有吸引力的話肯定更沒有效果的。而且我看咱們帖子里崗位描述也不是很清晰，只是簡單的說了幾句話。曰提交練習◎點擊【空格】可錄入語音E退出詢問招聘崗位O詢問招聘人數(shù)O提出加微信流程提示》很遺憾，您未通過練習別灰心~繼續(xù)努力，成為下一個銷冠吧!1開場白-引出發(fā)帖存在問題◎10分銷售場景一知識查閱曰SQL解釋297(7.28%)通過自然語言對話，輔助進行數(shù)據(jù)分析刀hdp_teu_dpd_feature_db.dwd_task_yc_query_tahdp_teu_dpd_feature_db.dwd_job_supin_resume_凸SUH(o.order_total)AStotal_orCOUNT(o.order_id)AStotal_orders,ROUND(SUM(o.order_total)/cOUNT(o.order_id),2)ASaverage_order_amoMHENSUN(o.order_total)>1880eTHBNWHENSUN(o.order_total)>=5000THEENDAScustomer_valu0.order_date>'2022-01-01'ANDo.order_datetotaL_order_amountDESCSQL生成SQL解釋應用四：美事智能助手消息總結消息總結享、外網鏈接)RAG和ToolUse協(xié)同作用·支持領域特定的知識美事超級助手我是美事超級助手，歡迎提問如何預定會議室在美事中，你可以通過以下步驟預定會議室：1.創(chuàng)建日程時，美事會自動幫你檢測其他伙伴的時間是否有沖突，并且可以預定線下會議室。2.預定會議室時，可以查看會議室的設