知識圖譜構(gòu)建實踐建設(shè)方案

知識圖譜構(gòu)建實踐建設(shè)方案概念框架建設(shè)步驟3案例介紹技術(shù)趨勢數(shù)字化轉(zhuǎn)型趨勢數(shù)字化轉(zhuǎn)型趨勢計算智能計算智能信息化信息化感知智能感知智能通過“眼睛”“耳朵”認(rèn)知智能認(rèn)知智能智能化智能化知識圖譜知識圖譜連通企業(yè)內(nèi)外部異構(gòu)數(shù)據(jù)>連通大數(shù)據(jù)技術(shù)與AI技術(shù)連通人類智能和人工智能數(shù)據(jù)中臺式數(shù)據(jù)湖式知識中臺式數(shù)據(jù)中臺式數(shù)據(jù)湖式知識中臺式知識圖譜服務(wù)化帶來哪些好處研究對象：組織內(nèi)的知識知識的不同類型知識的循環(huán)過程知識的不同類型參考：概念框架建設(shè)步驟3案例介紹?層次化?循環(huán)迭代數(shù)據(jù)類型問題現(xiàn)象問題實質(zhì)技術(shù)任務(wù)結(jié)構(gòu)化非結(jié)構(gòu)化信息重疊結(jié)......CRF層詞嵌入層OI-LOCOI-LOChh序列層(實體)序列層(實體)b≤≤b≤≤hh>>>hhh>>>hwww中愛我國中愛我國 >依存層(關(guān)系)標(biāo)簽嵌入 >依存層(關(guān)系)標(biāo)簽嵌入>>依存嵌入詞/詞性嵌入層清華大學(xué)坐落于北京。輸入句子輸入句子詞嵌入詞嵌入表示學(xué)習(xí)G=(V,E)網(wǎng)絡(luò)嵌入特征節(jié)點分類鏈接預(yù)測節(jié)點相似度xi八(1)yiy(k)iyi(1)xi無監(jiān)督組件無監(jiān)督組件……參數(shù)共享……有監(jiān)督組件拉普拉斯拉普拉斯特征映射……參數(shù)共享……節(jié)點j節(jié)點節(jié)點j節(jié)點ixjyj(k)yjyj(1)xj[t,t+dt]時刻之間的概率ft):=f(ft):=f(t|H(t))t時刻之前的概率*F(t)t1t2t3tt+dt\t=TF(t)t時刻之后的概率歷史歷史H(t)S(t)參數(shù)知識庫1參數(shù)知識庫1數(shù)據(jù)映射對齊結(jié)果知識庫格式轉(zhuǎn)換知識融合資源對齊結(jié)果知識庫格式轉(zhuǎn)換知識融合資源先驗對齊信息抽取預(yù)訓(xùn)練語言模型聯(lián)合訓(xùn)練模型信息抽取預(yù)訓(xùn)練語言模型聯(lián)合訓(xùn)練模型知識庫2知識庫2化文本化文本類別屬性>子類不相交圖向量傳播向量空間相似度(a)圖嵌入模型向量空間相似度(b)圖匹配網(wǎng)絡(luò)?異構(gòu)數(shù)據(jù)庫組合：融合后的增刪改查，及效率提升方案；?分層次的數(shù)據(jù)倉庫：大而全，存歷史、存全量；小而美，支持特定應(yīng)用，實時響應(yīng)、批量同步；?知識溯源：溯源元數(shù)據(jù)，血緣關(guān)系記錄與分析，可溯源哈希；據(jù)知識按照預(yù)先的約定（結(jié)構(gòu)體系、符號體系）去表人類所生產(chǎn)和表達(dá)的知識能夠讓機(jī)器可讀、可執(zhí)行。機(jī)器可以從數(shù)據(jù)源中抽取、歸納出知識并形式化的文檔管理文檔管理 4相關(guān)性1概念定義檢索推薦(關(guān)聯(lián)的)概念體系下的事實(零散的)事實抽象具體幾類常見知識的執(zhí)行規(guī)范指標(biāo)指標(biāo)規(guī)則規(guī)則機(jī)器學(xué)習(xí)模型機(jī)器學(xué)習(xí)模型基于SCM的推理引擎工作流工作流WfMC參考實現(xiàn)一切知識管理相關(guān)的問題，歸根結(jié)底都是知識表示可視化的一般框架知識庫增強(qiáng)的可視化可視化的一般框架知識庫增強(qiáng)的可視化少數(shù)類別多類別多類別有周期無周期 單元素多變量少數(shù)類別多類別多類別有周期無周期少數(shù)類別少數(shù)類別長期時序短期時序長期時序短期時序單元素單變量單元素單變量不同時刻不同時刻不同元素不同元素少量數(shù)據(jù)單變量兩個變量少量數(shù)據(jù)單變量兩個變量大量數(shù)據(jù)可視化大量數(shù)據(jù)可視化三個變量兩個變量三個變量兩個變量 動態(tài) 靜態(tài) 短期長期 簡單份額相對增減含子元素組成及絕對差 簡單份額相對增減含子元素組成及絕對差·從洞察到行動；信息檢索常用框架知識庫增強(qiáng)的檢索算法2.數(shù)據(jù)增強(qiáng)1.神經(jīng)網(wǎng)絡(luò)模型2.預(yù)訓(xùn)練模型2.稠密方法排序特征集成排序特征集成相關(guān)文檔…N-gram嵌入表示增強(qiáng)的實體嵌入表示…MwwMweMewM…N-gram嵌入表示增強(qiáng)的實體嵌入表示…MwwMweMewMee>>…Bigrams…Trigramsunigrams…Bigrams…Trigrams朱元璋朱元璋增強(qiáng)的實體 家族族譜MsoftMatchFeatureΦ(M)?LIUZ,XIONGC,SUNM,etal.Entity-DuetNeuralRanking:UnderstandingtheRoleofKnowledgeGraphSemanticsinNeuralInformationRetrieval[C]//ACL2018.?XIONGC,POWERR,CALLANJ.Explicitsemanticrankingforacademicsearchviaknowledgegraphembedding[C]//WWW2017.知識庫增強(qiáng)的推薦算法推薦算法發(fā)展歷程：知識庫增強(qiáng)的推薦算法實體向量關(guān)系向量知識庫用戶向量物品向?qū)嶓w向量關(guān)系向量知識庫用戶向量物品向量推薦系統(tǒng) >AutRecNeuralcFPNN加入Deepcrossing(a)依AutRecNeuralcFPNN加入Deepcrossing >知識庫知識庫 >知識庫知識庫實體向量關(guān)系向量實體向量關(guān)系向量用戶向量物品向量實體向量關(guān)系向量用戶向量物品向量>基于ResNet的學(xué)習(xí)用戶向量物品向量推薦系統(tǒng)推薦系統(tǒng)學(xué)習(xí) >用神經(jīng)網(wǎng)絡(luò)替代協(xié)同過濾中的點積操作基于單隱層自動編碼器推薦系統(tǒng)與強(qiáng)化學(xué)習(xí)結(jié)合DRN >(c)交推薦系統(tǒng)與強(qiáng)化學(xué)習(xí)結(jié)合DRN >(c)交替學(xué)習(xí) DIN將因子分解機(jī)的隱向量作為嵌入表示初始化值DIN將因子分解機(jī)的隱向量作為嵌入表示初始化值將將LR作為wide部分,FNNFNN化過程建模廠在Deep部分替換成有雙向交VVDeep部分Deep部分改進(jìn)DIENwide部分改進(jìn)在Deep部分加在Deep部分加入注意力網(wǎng)絡(luò)換為跨層網(wǎng)絡(luò)處理特征交叉NFMDeepFMAFMDeep&crossNFMDeepFMAFMDeep&crossFMFM?王喆．深度學(xué)習(xí)推薦系統(tǒng)[M]．北京：電子工業(yè)出版社，2020?YUB,ZHOUC,ZHANGC,etal.APrivacy-PreservingMulti-TaskFrameworkforKnowledgeGraphEnhancedRecommendation[J].IEEEAccess,2020?知識庫問答。?基于語義解析?基于信息抽取?基于向量建模得分s(q,a)得分s(q,a)=f(q)Tg(a)候選答案與問句的匹配度①嵌入模型①嵌入模型問句的嵌入式表示f(q)查詢點積問句的嵌入式表示f(q)查詢點積檢索模塊子圖的嵌入式表示g(a) >問句的二進(jìn)制編碼子圖的二進(jìn)制編碼 >問句的二進(jìn)制編碼子圖的二進(jìn)制編碼候選相似Freebase子圖唐朝問句q相似問句選擇模塊碎葉城素葉城≤候選相似Freebase子圖唐朝問句q相似問句選擇模塊碎葉城素葉城≤李白Tokmok——標(biāo)準(zhǔn)問題答案李白Tokmok——標(biāo)準(zhǔn)問題答案在Freebase中檢測在Freebase中檢測問句中的實體候選答案子圖安西都護(hù)府BORDESA,CHOPRAS,WESTONJ.QuestionAnsweringwithSubgraphEmbeddings[J].ComputerScience知識推理技術(shù)路線知識推理技術(shù)路線演繹推理技術(shù)歸納推理技術(shù)演繹推理技術(shù)歸納推理技術(shù)基于規(guī)則推理算法學(xué)習(xí)推理基于規(guī)則推理算法學(xué)習(xí)推理混合推理本體推理方法本體推理方法邏輯編程推理邏輯編程推理查詢重寫方法查詢重寫方法產(chǎn)生式規(guī)則方法產(chǎn)生式規(guī)則方法基于圖結(jié)構(gòu)基于表示學(xué)習(xí)時序預(yù)測推理元學(xué)習(xí)小樣本強(qiáng)化學(xué)習(xí)推理marriedToinfluences……添加懸掛邊添加閉合邊hasChildsupervises y>marriedTo y>hasChild z>hasChild z>hasChild z>xxxxxxxmarriedToxmarriedTohasChildyzxmarriedTohasChildxy-z:hasChildhasChild(z,x)←marriedTo(y,z)∧hasChild(y,x)傳統(tǒng)的規(guī)則推理中的AMIE算法規(guī)則與知識聯(lián)合訓(xùn)練邏輯知識真值≤ >≤邏輯連接(巴黎,坐落于,法國)關(guān)系嵌入實體嵌入關(guān)系嵌入GUOS,WANGQ,WANGL,etal.Jointlyembeddingknowledgegraphsandlogicalrules[C]//EMLP2016概率邏輯神經(jīng)網(wǎng)絡(luò)√√國籍←國籍←居住地√出生于^坐落于←國籍←國籍←從政于√×√×。觀察到的隱藏的×假待預(yù)測權(quán)重QUM,TANGJ.Probabilisticlogicneuralnetworksforreasoning//arXiv:1906.08495實體預(yù)測關(guān)系路徑推理ηη>>頭實體描述..頭實體描述..…..——心w1iξi>ττw2ηw3ηw3>>ηw4>>ηw4ηwηw5尾實體描述w6>尾實體描述w6>ξiτw7ξiτw7η尾實體名η>>…詞嵌入查詢η語義平均τ掩碼ξi融合θθ上下文特征θ抽取特征isAisA-1ATaleofATaleof>>>>>>>>SHIB,WENINGERT.Open-worldknowledgegraphcompletion[C]//AAAI2018LAON,COHENW.Relationalretrievalusingacombinationofpath-constrainedrandomwalks[J].Machinelearning,20102.人機(jī)協(xié)同：3.主動學(xué)習(xí)：降低相似樣本的重復(fù)標(biāo)注成本VROI=產(chǎn)出收益=應(yīng)用價值?復(fù)用性投入成本需求分析'方案設(shè)計'開發(fā)'標(biāo)注'訓(xùn)練'運維VSSM簡單規(guī)則規(guī)則引擎簡單模型復(fù)雜模型特征工程集成學(xué)習(xí)概念框架建設(shè)步驟3案例介紹售前售中售后金融營銷、反欺詐、信用評分智能投顧、智能投研、反洗錢、行為評分、貸中提醒、核保核賠催收、審計、智能客服智能分診、藥物挖掘智能問診、影像診療、健康管理教育營銷、自適應(yīng)學(xué)習(xí)、智能排課智能評測、分級閱讀視頻分析零售營銷物流管理、自主結(jié)算、數(shù)字供應(yīng)商顧客行為分析、銷售復(fù)盤工業(yè)安全防護(hù)缺陷監(jiān)測、生產(chǎn)優(yōu)化、供應(yīng)鏈優(yōu)化、機(jī)器人智能維保政務(wù)重點人員監(jiān)控、消防應(yīng)急交通指揮、自動駕駛、一網(wǎng)通辦、一網(wǎng)通管、團(tuán)伙發(fā)現(xiàn)、訴訟輔助消費品營銷公安地鐵制造業(yè)餐飲、零售 事地人物事地人物車輛工務(wù)機(jī)電信號人機(jī)料法人場人場貨貨消費品營銷公安地鐵制造業(yè)餐飲、零售人群人群曝光效果代言人媒體效果代言人媒體體系廣告體系廣告推廣推廣成分產(chǎn)品生產(chǎn)者消費者客戶成分產(chǎn)品生產(chǎn)者消費者客戶步驟場景步驟場景輿情洞察輿情洞察原文原文維度維度痛點場景情情感產(chǎn)品人群痛點產(chǎn)品人群痛點場景渠道質(zhì)量監(jiān)控渠道分級管理直銷技能培訓(xùn)直銷績效考核培訓(xùn)考核培訓(xùn)考核材料核驗保全策略反欺詐催收策略信用評估渠道質(zhì)量監(jiān)控渠道分級管理直銷技能培訓(xùn)直銷績效考核培訓(xùn)考核培訓(xùn)考核材料核驗保全策略反欺詐催收策略信用評估數(shù)據(jù)修復(fù)流失預(yù)警挽留客群凈值提升客群細(xì)分交叉銷售客戶畫像統(tǒng)一授信資產(chǎn)質(zhì)量監(jiān)控規(guī)則有效性模型穩(wěn)定性產(chǎn)品、運營、風(fēng)控、審計作業(yè)、銷管、產(chǎn)品、運營、風(fēng)控、審計策略配置與管理模型參策略配置與管理模型參數(shù)配置規(guī)則集工作流數(shù)據(jù)服務(wù)系統(tǒng)拖拽查詢SQL查詢API查詢報表系統(tǒng)(明細(xì)報表、指標(biāo)體系)半自動化經(jīng)營報告離線加工異構(gòu)數(shù)據(jù)管理決策引擎數(shù)據(jù)源工作流引擎分類回歸關(guān)系圖譜在線學(xué)習(xí)數(shù)據(jù)路由離線加工異構(gòu)數(shù)據(jù)管理決策引擎數(shù)據(jù)源工作流引擎分類回歸關(guān)系圖譜在線學(xué)習(xí)數(shù)據(jù)路由規(guī)則引擎模型管理特征工程異常檢測文件交換區(qū)主題層數(shù)據(jù)模型語義層(指標(biāo)體系、集市)異構(gòu)查詢鏡像同步鏡像同步全量存儲實時加工消息隊列全量存儲實時加工消息隊列實時清洗實時畫像衍生加工質(zhì)量監(jiān)控質(zhì)量監(jiān)控檢索告警數(shù)據(jù)規(guī)范檢索告警數(shù)據(jù)規(guī)范質(zhì)量監(jiān)控權(quán)限與加解密控制元數(shù)據(jù)任務(wù)調(diào)度資源管控服務(wù)監(jiān)控數(shù)據(jù)資源數(shù)據(jù)資產(chǎn)知識資產(chǎn)數(shù)據(jù)獲取數(shù)據(jù)獲取>數(shù)據(jù)預(yù)處理>探索性分析>正<——<正