構建企業(yè)級+RAG+系統(tǒng)的創(chuàng)新實踐-阿里云+費躍

構建企業(yè)級RAG系統(tǒng)阿里云/PAI人工智能平臺模塊化RAG架構企業(yè)級RAG能力集成檢索增強生成（RetrievalAugmentedGeneration,RAG）從數(shù)據(jù)源中檢索信息來輔助大語言模型（LargeLanguageModel,LLM）生成答案。?準確性?數(shù)據(jù)安全?需求具有多樣性，常規(guī)RAG鏈路難以滿足不同場景的企業(yè)級RAG系統(tǒng)架構模塊化RAG架構高級高級RAG模塊化模塊化RAG圖片來源:/pdf/2407.21059?白盒化：模塊可以靈活添加/修改?快速構建：可通過配置文件/UIdashboard修改模塊配置?代碼開源：兼容LlamaIndex開源協(xié)議?模塊編排：通過編排和路由匹配不同場景需求評估端到端和各模塊性能格式多樣性：企業(yè)級數(shù)據(jù)格式多樣，需要適配不同類型文件的結構和內(nèi)容內(nèi)容復雜性：文檔內(nèi)容可能包含文塊等多種復雜元素。非結構化文本：PDF或者掃描類文檔解析難度高知識庫中內(nèi)容會過期失效結構化文件JSON結構化文件JSON編碼?存儲表格key-value信息非結構化文件轉(zhuǎn)MarkdownPDF解析算法閉源PDF解析API?DocumentMind?LlamaParse開源PDF解析模型?EasyOcr?PDF-Extract-Kit-embedding的序列長度限制1.Markdown輸入，降低解析復雜度3.特殊元素處理?減少查詢和文檔之間的語義差異?假設文檔（HyDE）?回溯提示（STEP-BACKPrompting)?LLM?AgentPrompt路由：根據(jù)問題選擇對應的prompt?不同問題場景切換prompt?多語言查詢的prompt切換向量檢索–Embedding模型選擇?MTEB榜單?知識庫的語言（中文/英文/多語言）?關鍵字檢索：BM25，稀疏embeddingEmbedding模型微調(diào)權重和閾值比較困難。?交叉編碼器，比Embedding更精準?開源模型：bge-reranker,bce-reranker,gte-reranker等LLM重排序如何選擇合適的LLM?文本塊順序：lostinthemiddle?輸出固定格式（JSONformat)?高質(zhì)量FAQ召回多模態(tài)多模態(tài)RAG離線解析：?兩種embedding：文本embedding,CLIPembedding在線查詢?兩路查詢，text_top_k,image_top_k?多模態(tài)大模型進行文圖推理應的RAGpipeline?對RAGpipeline的運行企業(yè)級RAG能力集成?企業(yè)自有身份供應商集成阿里云SSO?基于角色SSO的訪問控制，只讀/編輯/管理員?PrivateLink訪問?在線服務/可觀測數(shù)據(jù)反饋?生產(chǎn)環(huán)境有嚴格的權限管控?A/B實驗LLM-LLM-as-a-Judge:量的輔助模型。?HitRate?MAP(Faithfulness)(Correctness)BladeLLM/vLLM推理加速場景1.客服+FAQ-Q1:忘記賬戶密碼如何重置？-Q2:打印機安裝指南。-Q1:上個月杭州門店的銷量情況-Q2:哪個門店的會員增長數(shù)量最多場景1.多模態(tài)RAG問答-Q1:A款和B