電商大模型及搜索應用實踐-京東+翟周偉

貨架電商(阿里,京東,拼多多等)內容電商（抖音,快手,小本質上都是通過技術驅動大幅降低了商品流通成本，顯著提升了購物需求電商平臺物流售后 即興購物需求非購物需求購物需求電商平臺物流售后 即興購物需求非購物需求購中購后購前購中購后內容平臺：內容平臺：以抖音，快手，小紅書等為主的內容分發(fā)平臺，也是當前的新興內容電商平臺，處于消費鏈路上游電商平臺：以阿里，京東，拼多多為主的商品分發(fā)平臺，也是當前的貨架電商平臺，處于消費鏈路中下游滲透發(fā)展在消費決策鏈路中用戶購買需求產(chǎn)生后搜索是決策的關鍵環(huán)節(jié)，而電商搜索的核心就是基于用戶需求的商品分發(fā)，電商搜索技術就是主要解決商品分發(fā)效率的問題，優(yōu)化的目標就是GMV和UCVR，和一般的信息搜索（如百度）有很大的區(qū)別。產(chǎn)品形態(tài)：京東主站三大搜索產(chǎn)品形態(tài)2.動態(tài)價格,促銷,物流等AGI導購助手AGI導購助手模1234512345強大的語言理解和生成能力顯著遷移學習和多任務能力強大的語言理解和生成能力顯著遷移學習和多任務能力邏輯推理和分析能力多語言多模態(tài)建模算法算力算法算力效果和個性化?直接應用沒絕對效果優(yōu)勢?效果和個性化?直接應用沒絕對效果優(yōu)勢?理解購物歷史，偏好，評論，商品細節(jié)等個性化挑戰(zhàn)時效性?大模型本身更新很慢，知識陳舊?新商品，促銷，價格等更新時效性很高成本和速度?訓練和推理成本難大規(guī)模商用?在線推理速度很難滿足實時性安全性?用戶敏感數(shù)據(jù)泄露風險?生成商品相關內容的安全合規(guī)電商知識理解?通用大模型商品商品類目,品牌,屬性等?通用知識和商品的對齊問題?圖像商品理解差電商知識圖譜用戶畫像電商知識圖譜用戶畫像索基于聚類和分基于聚類和分類類目過濾↓安全性過濾拒絕采樣配比均衡策略數(shù)據(jù)去重分析評分器用戶行征過濾文法引擎過濾質量評分器知識積累教育個體學習新知知識積累教育個體學習新知識知識繼承祖先/前輩教師,家庭,社會教師,家庭,社會獲取知識研究和創(chuàng)新等下一代繼承技平臺和框架參數(shù)擴展長上下文擴展持續(xù)預訓練基座大模型?基于對知識學習的認知，成本和效率的考量平臺和框架參數(shù)擴展長上下文擴展持續(xù)預訓練基座大模型?增加長上下文數(shù)據(jù)配比?分塊緩存工程架構優(yōu)化?退火學習?數(shù)據(jù)配比群?高效訓練框架?通用指令：數(shù)萬級?通用指令：數(shù)萬級?電商指令：數(shù)十萬級?電商反饋數(shù)據(jù)數(shù)百萬千萬級?通用指令:一級數(shù)十，二級數(shù)百類，數(shù)十萬級?電商指令:數(shù)十級，規(guī)模數(shù)萬級從潛在安全事件發(fā)生前后可以劃分為被動安全和主動安全?被動安全：安全檢測服務，從檢測方向，對用戶輸入的prompt和大模型生成的內容進行安全檢測?主動安全：大模型生成安全性，從生成方向，對于任何輸入保證大模型生成的回復內容是安全可控的，包括11數(shù)據(jù)標注平臺數(shù)據(jù)標注平臺安全日志安全日志記錄安全攻擊挖掘22安全性-被動安全融合策略?安全干預平臺:目標是快速干預實現(xiàn)緊急安全問題?文法規(guī)則引擎:以句法分析模板+詞典進行識別，側重關鍵詞特征明顯的文本識別?大模型安全檢測：通過SFT等技術通過大模型來檢測，為了滿足低時延往往低于13B參數(shù)實現(xiàn)安全性-主動安全 ?準確性，泛化效果很難進一步提升搜索交互-以糾錯/Sug等為例?基于電商知識增強的電商大模型進一步結合業(yè)務任務對齊?搜索交互日志利用+對齊優(yōu)化目標小流量應用電商大模型?小流量應用電商大模型?收集反饋數(shù)據(jù)?基于小流量用偏序數(shù)據(jù)索系統(tǒng)收益指導、、、決........電商知識圖譜電商知識圖譜反用戶畫像 用戶畫像交互式匹配網(wǎng)絡也稱單塔模型，特點：?不可離線計算，在線速度慢，效果相對好?交互式匹配網(wǎng)絡也稱單塔模型，特點：?不可離線計算，在線速度慢，效果相對好孿生網(wǎng)絡也稱雙塔模型，特點：?完全獨立編碼，上層相關性交互?可離線計算編碼，在線速度快 等購后購后物流售后購物需求非購物需求即興購物