知識圖譜構(gòu)建實踐

3連通企業(yè)內(nèi)外部異構(gòu)數(shù)據(jù)連通大數(shù)據(jù)技術(shù)與AI連通企業(yè)內(nèi)外部異構(gòu)數(shù)據(jù)連通大數(shù)據(jù)技術(shù)與AI技術(shù)連通人類智能和人工智能勢通過“眼睛”“耳朵”數(shù)字化轉(zhuǎn)型趨勢數(shù)字化轉(zhuǎn)型趨勢銷存、人財物數(shù)據(jù)化，應(yīng)用場景碎片化問題；解決知識資產(chǎn)化問題，13）：）：結(jié)詞嵌入層OB-LOCI-LOCcccbbbhhhwww愛中國cbOOB-LOCI-LOCcccbbbhhhwww愛中國cbOhhww我我依存層(關(guān)系)序列層(實體)依存層(關(guān)系)序列層(實體)于于……..... .…表示學(xué)習G=(V,E)特征節(jié)點分類鏈接預(yù)測節(jié)點相似度xi八(1)yiyi(k)yi(1)xi無監(jiān)督組件無監(jiān)督組件……參數(shù)共享有監(jiān)督組件……拉普拉斯拉普拉斯特征映射……參數(shù)共享……節(jié)點j節(jié)點節(jié)點j節(jié)點ixj(1)yjyj(k)jy(1)jxjf(t):=f(t|H(f(t):=f(t|H(t))t時刻之前的概率F(t)t=Tt1t2t3tt+dtt=Tt時刻之后的概率歷史H(t)歷史H(t)）：參數(shù)數(shù)據(jù)映射清洗對齊結(jié)果先驗對齊清洗對齊結(jié)果先驗對齊知識庫知識融合結(jié)構(gòu)化數(shù)據(jù)庫≤>格式轉(zhuǎn)換知識庫知識融合結(jié)構(gòu)化數(shù)據(jù)庫≤>格式轉(zhuǎn)換信息抽取資源預(yù)處理識別抽取資源聯(lián)合訓(xùn)練模型預(yù)訓(xùn)練語言模型聯(lián)合訓(xùn)練模型預(yù)訓(xùn)練語言模型非結(jié)構(gòu)化文本化文本類別屬性子類不相交傳播(a)圖嵌入模型(b)圖匹配網(wǎng)絡(luò)據(jù)很多時候需要全圖計算，文檔管理文檔管理知識按照預(yù)先的約定（結(jié)構(gòu)體系、符號體系）去表人類所生產(chǎn)和表達的知識能夠讓機器可讀、可執(zhí)行。機器可以從數(shù)據(jù)源中抽取、歸納出知識并形式化的 配置文件模型抽取業(yè)務(wù)指標標簽邏輯E多類別多類別少數(shù)類別多類別有周期無周期單元素多變量少數(shù)類別多類別有周期無周期少數(shù)類別少數(shù)類別長期時序短期時序長期時序短期時序 單元素單變量不同時刻不同時刻不同元素 少量數(shù)據(jù)不同元素 少量數(shù)據(jù)單變量兩個變量 大量數(shù)據(jù)可視化單變量兩個變量 大量數(shù)據(jù)可視化三個變量組成兩個變量三個變量組成兩個變量動態(tài)動態(tài)靜態(tài)靜態(tài)長期短期長期短期絕對組成相對比例絕對組成相對比例相對增減含子元素絕對組成相對比例絕對組成相對比例相對增減含子元素組成及絕對差簡單份額組成及絕對差簡單份額 ·從洞察到行動；信息檢索常用框架知識庫增強的檢索算法知識增強:知識增強:文檔檢索:文檔重排序:文檔檢索:文檔重排序:排序特征集成排序特征集成相關(guān)文檔……嵌入表示增強的實體嵌入表示MwwMewMweM……嵌入表示增強的實體嵌入表示MwwMewMweMee注意力>>…………朱元璋家族族譜朱元璋描述類型增強的實體>>家族族譜描述類型嵌入表示交互矩陣M……………最終排序得分………Φ(M)?LIUZ,XIONGC,SUNM,etal.Entity-DuetNeuralRanking:UnderstandingtheRoleofKnowledgeGraphSemanticsinNeuralIn?XIONGC,POWERR,CALLANJ.Explicitsemanticrankingforacademicsearchviaknowledge推薦算法發(fā)展歷程：協(xié)同過濾、矩陣分解、邏輯回歸、特征交叉、GBDT+LR、大加入 加入 >基于單隱層自動編碼器用神經(jīng)網(wǎng)絡(luò)替代協(xié)同過濾中的點積操作基于ResNet的基于單隱層自動編碼器用神經(jīng)網(wǎng)絡(luò)替代協(xié)同過濾中的點積操作推薦系統(tǒng)與強化學(xué)習結(jié)合DRN在嵌入層與MLP之間加入注意力機制 >DIN推薦系統(tǒng)與強化學(xué)習結(jié)合DRN在嵌入層與MLP之間加入注意力機制 >DIN將因子分解機的隱向量作為嵌入表示初始化值DNN/MLPFNN加入ARGRU序列FNN加入ARGRU序列模型,對興趣演化過程建模將LR作為wide部分,將MLP作為Deep部分在Deep部分替換成有雙向交在Deep部分替換成有雙向交互層的MLPNFMDeep部分改進DIENwideDeep部分改進DIENwide部分改進將wide部分由將wide部分由LR替換為FM在Deep部分加入注意力網(wǎng)絡(luò)將wide部分替換為跨層網(wǎng)絡(luò)處理特征交叉AFMAFMKGEKGE引入學(xué)習>>>推薦系統(tǒng)用戶向量物品向量知識庫實體向量關(guān)系向量推薦系統(tǒng)用戶向量物品向量知識庫實體向量關(guān)系向量(a)依次學(xué)習實體向量關(guān)系向量學(xué)習>知識庫KGE實體向量實體向量關(guān)系向量學(xué)習>知識庫KGE實體向量關(guān)系向量用戶向量物品向量知識庫KGE >推薦系統(tǒng)用戶向量物品向量推薦系統(tǒng)用戶向量物品向量推薦系統(tǒng)推薦系統(tǒng)(b)聯(lián)合學(xué)習(c)交替學(xué)習?YUB,ZHOUC,ZHANGC,etal.APrivacy-PreservingMulti-TaskFrameworkforKnowledgeGraphEnhancedRecommendatio知識庫問答可以分為：>>≤≤得分s得分s(q,a)=f(q)Tg(a)候選答案與問句的匹配度嵌入模型 ①-嵌入模型 ①-嵌入矩陣W嵌入矩陣W嵌入矩陣W嵌入矩陣W問句的嵌入式表示f(q)子圖的嵌入式表示g(a)子圖的二進制編碼子圖的二進制編碼問句的二進制編碼唐朝唐朝素葉城素葉城碎葉城李白碎葉城李白安西都護府候選答案子圖a(碎葉城)安西都護府候選答案子圖a(碎葉城)問句中的實體FAQ問答的一般框架BORDESA,CHOPRAS,WESTONJ.QuestionAnsweringwithS演繹推理技術(shù)演繹推理技術(shù)歸納推理技術(shù) 本體推理方法基于規(guī)則推理 本體推理方法基于規(guī)則推理 邏輯編程推理 查詢重寫方法 混合推理 產(chǎn)生式規(guī)則方法算法學(xué)習推理 邏輯編程推理 查詢重寫方法 混合推理 產(chǎn)生式規(guī)則方法算法學(xué)習推理基于圖結(jié)構(gòu)基于表示學(xué)習時序預(yù)測推理元學(xué)習小樣本強化學(xué)習推理 y> y> z> z> z>xxxxxxxymarriedTo>zhasChild>xxymarriedTo-zhasChild:x真值 >≤邏輯連接真值 >≤邏輯連接邏輯知識實體嵌入關(guān)系嵌入GUOS,WANGQ,WANGL,etal.Jointlyembeddingknowledgegra√√√出生于出生于^坐落于??(圖靈,國籍,英國)×√×√觀察到的√真。隱藏的×假?待預(yù)測權(quán)重QUM,TANGJ.Probabilisticlogicneuralnetworksforreasoning//arXiv:1906.08495實體預(yù)測關(guān)系路徑推理ηη>>頭實體描述ξ w1>τξ w1>τ w2η w2η w3 w3η> >w4η> >w4ηηw5 w6w5 w6ξ>τ w7ξ>τ w7θθ6ηθ7ηθ7>Ψ(t)…>ηητξiθθθθ詞嵌入查詢語義平均掩碼融合上下文特征抽取特征isA-1isA-1ATaleofATaleof>>>>>publish-1>publish-1>>SHIB,WENINGERT.Open-worldknowledgegraphcompletion[C]//AAAI2018LAON,COHENW.Relationalretrievalusingacombinationofpath-constrainedrandomwalks[J].Machinelearning,2010KaaS建設(shè)經(jīng)驗總結(jié)（1）數(shù)據(jù)源分析schema設(shè)計人工標注模型開發(fā)錯誤分析圖譜構(gòu)?理解業(yè)務(wù)：資深的業(yè)務(wù)專家比蹩腳的數(shù)據(jù)分析師更有價值KaaS建設(shè)經(jīng)驗總結(jié)（2）產(chǎn)出收益產(chǎn)出收益投入成本需求分析'方案設(shè)計'開發(fā)'標注'訓(xùn)練'運維簡單規(guī)則規(guī)則引擎簡單模型復(fù)雜模型特征工程集成學(xué)習3 地物人事地物人事場人貨場人貨營銷活動 TA媒體TA媒體渠道類型投放代言人投放代言人指標體系廣告指標體系廣告人群標簽人群標簽興趣標簽性別延展屬性興趣標簽性別延展屬性成分基礎(chǔ)屬性功效成分基礎(chǔ)屬性功效行為使用關(guān)系行為使用關(guān)系年齡輿情輿情作者來源作者來源原文產(chǎn)品人群痛點產(chǎn)品人群痛點場景數(shù)據(jù)服務(wù)系統(tǒng)模型參數(shù)配置工作流配置可視化導(dǎo)航半自動化經(jīng)營報告數(shù)據(jù)服務(wù)系統(tǒng)模型參數(shù)配置工作流配置可視化導(dǎo)航半自動化經(jīng)營報告拖拽查詢SQL查詢規(guī)則集配置報表系統(tǒng)(明細報表、指標體系)銷售直銷技能培訓(xùn)直銷績效考核渠道質(zhì)量監(jiān)控渠道分級管理貸后培訓(xùn)考核培訓(xùn)考核材料核驗保全策略離線加工異構(gòu)數(shù)據(jù)管理決策引擎語義層(指標體系、集市)主題層數(shù)據(jù)模型(資產(chǎn)目錄)文件交換區(qū)規(guī)則引擎工作流引擎異構(gòu)查詢反欺詐CRM催收策略鏡像同步業(yè)務(wù)系統(tǒng)信用評估分類回歸異常檢測數(shù)據(jù)修復(fù)全量存儲時序表示關(guān)系圖譜爬蟲消息隊列實時清洗衍生加工實時畫像運營客群細分客群凈值提升交叉銷售銷售直銷技能培訓(xùn)直銷績效考核渠道質(zhì)量監(jiān)控渠道分級管理貸后培訓(xùn)考核培訓(xùn)考核材料核驗保全策略離線加工異構(gòu)數(shù)據(jù)管理決策引擎語義層(指標體系、集市)主題層數(shù)據(jù)模型(資產(chǎn)目錄)文件交換區(qū)規(guī)則引擎工作流引擎異構(gòu)查詢反欺詐CRM催收策略鏡像同步業(yè)務(wù)系統(tǒng)信用評估分類回歸異常檢測數(shù)據(jù)修復(fù)全量存儲時序表示關(guān)系圖譜爬蟲消息隊列實時清洗衍生加工實時畫像運營客群細分客群凈值提升交叉銷售流失預(yù)警挽留特征工程三方在線學(xué)習離線文件模型管理數(shù)據(jù)路由資源管控服務(wù)監(jiān)控任務(wù)調(diào)度元數(shù)據(jù)維護數(shù)據(jù)規(guī)范特征工程三方在線學(xué)習離線文件模型管理數(shù)據(jù)路由資源管控服務(wù)監(jiān)控任務(wù)調(diào)度元數(shù)據(jù)維護數(shù)據(jù)規(guī)范質(zhì)量監(jiān)控權(quán)限與加解密控制檢索告警風控客戶畫像統(tǒng)一授信資產(chǎn)質(zhì)量監(jiān)控規(guī)則有效性模型穩(wěn)定性數(shù)據(jù)資源數(shù)據(jù)資產(chǎn)-變量分布情況-變量分布情況-存量客戶數(shù)據(jù)探索性分析-潛在客戶數(shù)據(jù)探索性分析數(shù)據(jù)預(yù)處理>>>數(shù)據(jù)預(yù)處理>>>數(shù)據(jù)獲取模型評估模型開發(fā)模型評估模型開發(fā)信用評分信用評分-對接業(yè)務(wù)系統(tǒng)-對接業(yè)務(wù)系統(tǒng)o-分值刻度設(shè)置o-穩(wěn)定性監(jiān)控壞賬率壞賬率(a)寬度學(xué)習