工業(yè)級知識圖譜構(gòu)建實踐

06-2021明略科學院版權(quán)所有112018年-至今務臺譜2018年-至今務臺譜2014年-至今市2008年-至今上數(shù)據(jù)的整合、分析洞察、智能化應用20202020年-至今型戶服務部?2006-2021明略科學院版權(quán)所有122§營銷實踐§§營銷實踐§金融實踐§地鐵實踐§媒資實踐§政務實踐1§為什么要用知識圖譜§兩類用戶、三類知識§技術(shù)框架2§六步建設法§經(jīng)驗總結(jié)?2006-2021明略科學院版權(quán)所有233技術(shù)趨勢§存儲和處理海量數(shù)據(jù)。助人類完成大量是感知和認知的§無紙化辦公，使得進銷存、人財物數(shù)據(jù)化，在線，提升決策效率§通過“眼睛”“耳朵”官，機器也擁有視聽覺、觸覺等感知。能夠幫助人類完看”和“聽”的簡§整合業(yè)務系統(tǒng)、物聯(lián)網(wǎng)數(shù)據(jù)，使析參與到生環(huán)節(jié)，決策§機器具備像人類一樣的能力，能夠決策和采取行分或全部替類的工作§釋放AI紅利，并解決AI應用場景碎片化問題；§解決知識資產(chǎn)化問題，解知識難分享、難傳承、難管理；譜AI?2006-2021明略科學院版權(quán)所有344臺式中臺式臺式中臺式湖式圖譜服務化帶來哪些好處復用性強：員工間、問題間、領域間穩(wěn)定性高：數(shù)據(jù)源變化知識庫增強的檢索、推薦、可視化、規(guī)劃新聯(lián)→語義空間距離→二階推理反事實干預、問答?2006-2021明略科學院版權(quán)所有455的循環(huán)過程象：組織內(nèi)的知識的循環(huán)過程的不同類型?野中郁次郎：《創(chuàng)造知識的企業(yè)》?國家標準委：知識管理框架，GB/T23703?2006-2021明略科學院版權(quán)所有566?事實知識Know-what原理知識Know-why決策知識Know-how?2006-2021明略科學院版權(quán)所有677系統(tǒng)架構(gòu)：KaaS(KnowledgeasaService)?2006-2021明略科學院版權(quán)所有788§營銷實踐§§營銷實踐§金融實踐§地鐵實踐§媒資實踐§政務實踐1§為什么要用知識圖譜§兩類用戶、三類知識§技術(shù)框架2§六步建設法§經(jīng)驗總結(jié)?2006-2021明略科學院版權(quán)所有8991.知識建模2.知識抽取3.知識管理4.知識計算5.知識應用6.知識演化?2006-2021明略科學院版權(quán)所有9六步建設法(1)：知識建模示例?2006-2021明略科學院版權(quán)所有10六步建設法(1)：知識建模?原則：?層次化?一般性?約束性?可維護?可協(xié)作?方式：?循環(huán)迭代?2006-2021明略科學院版權(quán)所有11六步建設法(2)：知識抽取?2006-2021明略科學院版權(quán)所有12取技術(shù)路線圖型不穩(wěn)定理射疊、備結(jié)表示?2006-2021明略科學院版權(quán)所有13件抽取RF詞嵌入層OB-LOCO 愛中我 hwcccbbbhhhwwwcbI-LOCOB-LOCO 愛中我 hwcccbbbhhhwwwcbI-LOC國國BiLSTM-CRF模型依存層(關系)依存層(關系)B.oRGI.oRG于于序列樹結(jié)構(gòu)LSTM模型a......…?2006-2021明略科學院版權(quán)所有14表示學習 特征節(jié)點分類鏈接預測節(jié)點相似度…xi(1)yi(k)yi(1)yixi無監(jiān)督組件無無監(jiān)督組件參數(shù)共享有監(jiān)督組件....拉普拉斯拉普拉斯特征映射..參數(shù)共享..節(jié)點i節(jié)點ixjyj(1)(k)yj(1)yjjxjttdt]時刻之間的概率f**t時刻之前的概率(tf**t時刻之前的概率(t):=f(t|H(t))fF(t)t+dtt=Tt1t2t+dtt=T歷史H(歷史H(t)?2006-2021明略科學院版權(quán)所有15六步建設法(3)：知識管理?2006-2021明略科學院版權(quán)所有16知識庫結(jié)構(gòu)化數(shù)據(jù)庫知識融合非結(jié)構(gòu)化文本知識庫l對齊結(jié)果格式轉(zhuǎn)換融合知識庫結(jié)構(gòu)化數(shù)據(jù)庫知識融合非結(jié)構(gòu)化文本知識庫l對齊結(jié)果格式轉(zhuǎn)換數(shù)據(jù)映數(shù)據(jù)映射清洗理信息抽取信息抽取預訓練語言模型聯(lián)合訓練模型預處理識別抽取合類別屬性子類不相交實例/關系融實例/關系融合參數(shù)先先驗對齊資源合傳播(b)圖匹配網(wǎng)絡((b)圖匹配網(wǎng)絡?2006-2021明略科學院版權(quán)所有17存儲?異構(gòu)數(shù)據(jù)庫組合：融合后的增刪改查，及效率提升方案；量；小而美，支持特定應用，實時響應、批量同步；點方便，易于支持SQL低，固定的表結(jié)板Cassandra，的文件系統(tǒng)存在一起更容易進行分布式擴展局限dis理大量數(shù)據(jù)的高訪問負載，些日志系統(tǒng)等Key指向Value的鍵值對，通常用Hashtable快結(jié)構(gòu)化，通常只被據(jù)數(shù)據(jù)結(jié)構(gòu)要求不嚴格，表結(jié)構(gòu)詢語法OpenTSDB，維由數(shù)據(jù)源(標簽)、度局限d址等很多時候需要全圖計算，實現(xiàn)分布式集群?2006-2021明略科學院版權(quán)所有18六步建設法(4)：知識計算?2006-2021明略科學院版權(quán)所有19L化知識表示：處于這一層次的知識，無論是言傳身教，還是文字圖表，都屬于非結(jié)構(gòu)化表達，需要人去閱讀、理解、吸收，然后加以利用。L化知識表示：知識按照預先的約定(結(jié)構(gòu)體系、符號體系)去表讀者快速檢索和理解。如：藥品說明書L知識表示：人類所生產(chǎn)和表達的知識能夠讓機器可讀、可執(zhí)行。L4：從機到機的結(jié)構(gòu)化知識表示：機器可以從數(shù)據(jù)源中抽取、歸納出知識并形式化的表達，然后在應用環(huán)節(jié)自動化執(zhí)行。相關性規(guī)則模型工作流概念定義檢索推薦數(shù)倉集市語義庫數(shù)據(jù)圖譜可視化探索模型抽取業(yè)務指標標簽邏輯ETL邏輯?2006-2021明略科學院版權(quán)所有20執(zhí)行規(guī)范 因果模型SCM理引擎模型 工作流模型PMML規(guī)范WfMC參考實現(xiàn) 所有2121六步建設法(5)：知識應用?2006-2021明略科學院版權(quán)所有22?2006-2021明略科學院版權(quán)所有23長期時序比單變量兩個變量 大量數(shù)據(jù)可視化兩個變量長期相對增減含子元素相對比例簡單份額絕對組成絕對組成組成及絕對差庫增強的可視化長期時序比單變量兩個變量 大量數(shù)據(jù)可視化兩個變量長期相對增減含子元素相對比例簡單份額絕對組成絕對組成組成及絕對差庫增強的可視化架少數(shù)類別多類別多類別有周期無周期單元少數(shù)類別多類別多類別有周期無周期少數(shù)類別少數(shù)類別短短期時序 單元素單變量不同時刻不同時刻不同元素不同元素 少量數(shù)據(jù)三個變量三個變量組組成動態(tài)動態(tài)靜靜態(tài)短短期相對比相對比例·從洞察到行動；?2006-2021明略科學院版權(quán)所有24文檔檢索:……增強的實體嵌入表示朱元璋家族族譜朱元文檔檢索:……增強的實體嵌入表示朱元璋家族族譜朱元璋描述類型家族族譜描述類型注意力…信息檢索常用框架知識庫增強的檢索算法知知識增強:文文檔重排序:排序特征集排序特征集成相關文檔查詢文查詢嵌入表示…增強的實體嵌入表示……MM MM MM MM 交互矩陣M…………最排序得分……Φ(M)?LIUZ,XIONGC,SUNM,etal.Entity-DuetNeuralRanking:UnderstandingtheRoleofKnowledgeGraphSemanticsinNeuralInformationRetrieval[C]//ACL2018.?XIONGC,POWERR,CALLANJ.Explicitsemanticrankingforacademicsearchviaknowledgegraphembedding[C]//WWW2017.?2006-2021明略科學院版權(quán)所有25加入t基于單隱層自動編碼器基于ResNet的經(jīng)典DNN結(jié)構(gòu)用神經(jīng)網(wǎng)絡替代協(xié)同過濾中的點積操作推薦系統(tǒng)與強化學習結(jié)合DRN在嵌入層與MLp之間加入注意力機制將因子分解機的隱向量作為嵌入表示初始化值DIN將LR作為wide部分,將MLp作為Deep加入t基于單隱層自動編碼器基于ResNet的經(jīng)典DNN結(jié)構(gòu)用神經(jīng)網(wǎng)絡替代協(xié)同過濾中的點積操作推薦系統(tǒng)與強化學習結(jié)合DRN在嵌入層與MLp之間加入注意力機制將因子分解機的隱向量作為嵌入表示初始化值DIN將LR作為wide部分,將MLp作為Deep部分加入ARGRU序列模型,對興趣演化過程建模Deep部分改進wide部分改進DIEN將wide部分替換為跨層網(wǎng)絡處理特征交叉將wide部分由LR替換為FM在Deep部分加入注意力網(wǎng)絡AFMM推薦算法發(fā)展歷程：推薦DNNDNN/MLPFNNFNN在在Deep部分替換成有雙向交互層的MLpNFM引入學習推薦系統(tǒng)用戶向量物品向量KGE實體向量關系向量KGE實體向量關系向量用戶向量物品向量知識庫知識庫引入學習推薦系統(tǒng)用戶向量物品向量KGE實體向量關系向量KGE實體向量關系向量用戶向量物品向量知識庫知識庫KGE學習推薦系統(tǒng)學習推薦系統(tǒng)知知識庫(a)依次學習實實體向量關系向量用戶向量用戶向量物品向量(c)交替學習((c)交替學習交替學習KR?王喆．深度學習推薦系統(tǒng)[M]．北京：電子工業(yè)出版社，2020?YUB,ZHOUC,ZHANGC,etal.APrivacy-PreservingMulti-TaskFrameworkforKnowledgeGraphEnhancedRecommendation[J].IEEEAccess,2020?2006-2021明略科學院版權(quán)所有26得分s(q,a)=f(q)Tg(a)子圖的嵌入式表示g(a)問句的嵌入式表示f(q)積嵌入矩陣W問句的二進制編碼子圖的二進制編碼唐朝素葉城李白"詩得分s(q,a)=f(q)Tg(a)子圖的嵌入式表示g(a)問句的嵌入式表示f(q)積嵌入矩陣W問句的二進制編碼子圖的二進制編碼唐朝素葉城李白"詩人李白的出生地是哪里:"問句中的實體安西都護府候選答案子圖a系統(tǒng)可以分為：?信息檢索式問答、?FAQ問答、?知識庫問答。模塊句知識庫問答可以分為：?基于語義解析?基于信息抽取?基于向量建模候選答案與問句的匹配候選答案與問句的匹配度嵌嵌入模型嵌入矩陣嵌入矩陣W碎葉碎葉城BORDESA,CHOPRAS,WESTONJ.QuestionAnsweringwithSubgraphEmbeddings[J].ComputerScience?2006-2021明略科學院版權(quán)所有27六步建設法(6)：知識演化?2006-2021明略科學院版權(quán)所有28演繹推理技術(shù)基于圖結(jié)構(gòu)基于表示學習時序預測推理元學習小樣本強化學習推理 基于規(guī)則推理算法學習推理 混合推理zzz推理演繹推理技術(shù)基于圖結(jié)構(gòu)基于表示學習時序預測推理元學習小樣本強化學習推理 基于規(guī)則推理算法學習推理 混合推理zzz歸納推理技歸納推理技術(shù)本體推理方法本體推理方法邏邏輯編程推理查詢重寫方查詢重寫方法產(chǎn)生式規(guī)則方產(chǎn)生式規(guī)則方法marriedToinfluenceshasChildsuperviseszxasChildzxyxhyxrriedTorriedToyrriedTorriedToyxyxasChildyxmarriedTohasChild yzxasChilddyx推理中的AMIE算法?2006-2021明略科學院版權(quán)所有29?國籍?居住地國籍?從政于真值邏輯連接推理?國籍?居住地國籍?從政于真值邏輯連接聯(lián)合訓練邏輯知識實體嵌入關系嵌入真值[0,1lGUOS,WANGQ,WANGL,etal.Jointlyembeddingknowledgegraphsandlogicalrules[C]//EMLP2016神經(jīng)網(wǎng)絡√√√?(圖靈,國籍,出生于出生于××觀察到的隱藏的√真?待預測權(quán)重tQUM,TANGJ.Probabilisticlogicneuralnetworksforreasoning//arXiv:1906.08495?2006-2021明略科學院版權(quán)所有30η12 τηη 4 ητ5η7velATaleofTwoCitieswrotehasFathershθθθη12 τηη 4 ητ5η7velATaleofTwoCitieswrotehasFathershθθθθθθθ頭實體名Ψ(h)…頭實體描述Φ(h)…33關系名 r 尾實體描述t…尾實體描述66尾實體名t…ηηττθθθθ嵌入查詢詞融合掩碼抽取特征語義平均上下文特征ConMask算法示意圖SHIB,WENINGERT.Open-worldknowledgegraphcompletion[C]//AAAI2018LAON,COHENW.Relationalretrievalusingacombinationofpath-constrainedrandomwalks[J].Machinelearning,2010?2006-2021明略科學院版權(quán)所有31大到位保障無用功本高致性差KaaS建設經(jīng)驗總結(jié)(大到位保障無用功本高致性差發(fā)新析 數(shù)據(jù)源分析schema設計發(fā)新析高家經(jīng)驗1.領域schema：先自上而下確定一級主題，再自下而上針對分解2.人機協(xié)同：?理解業(yè)務：資深的業(yè)務專家比蹩腳的數(shù)據(jù)分析師更有價值?理解技術(shù)的局限性：歷史≠未來，關聯(lián)≠因果，一階智能?先機器反向標注，再人工修正3.主動學習：降低相似樣本的重復標注成本KG，如：獵豹穿越森林?2006-2021明略科學院版權(quán)所有32KaaS建設經(jīng)驗總結(jié)(2)2.解決實際問題，不全是訓練模型：?管理手段+技術(shù)手段?數(shù)據(jù)質(zhì)量、標注成本、現(xiàn)場考察?場景容錯性：技術(shù)上限v.s.商用下限3.訓模型不全是高大上的算法：?規(guī)則、線性模型不一定比非線性模型差，關鍵在特征?提高泛化能力是永遠的追求，加快速度也是?傳統(tǒng)行業(yè)中多數(shù)場景下可解釋性很重要習ROI=產(chǎn)出收益應用價值ROI=投入成本需求分析+方案設計+開發(fā)+標注+訓練+運維MFsVMLRMFsVMLRNB簡單規(guī)則規(guī)則引擎簡單模型復雜模型特征工程集成學習?2006-2021明略科學院版權(quán)所有33§營銷實踐§§營銷實踐§金融實踐§地鐵實踐§媒資實踐§政務實踐1§為什么要用知識圖譜§兩類用戶、三類知識§技術(shù)框架2§六步建設法§經(jīng)驗總結(jié)?2006-2021明略科學院版權(quán)所有34保核賠、智能客服、藥物挖掘、影像診療、健康管理、智能排課、分級閱讀流管理、自主結(jié)算、數(shù)字供應商析、銷售復盤、消防應急交交?2006-2021明略科學院版權(quán)所有35企業(yè)的核心價值創(chuàng)造活動應鏈 破 理急處置企業(yè)的核心價值創(chuàng)造活動應鏈 破 理急處置料環(huán)人法機 生產(chǎn)制造運營調(diào)度供應鏈協(xié)同人貨 動 應鏈 場業(yè)的核心生產(chǎn)要素物事人地?2006-2021明略科學院版權(quán)所有36?2006-2021明略科學院版權(quán)所有37人群曝光TA效果媒體代言人指標體系廣成分功效場景步驟延展屬性品使用輿情作者原文痛點維度情感人群標簽興趣標簽戶關系性別基礎屬性年齡行為人群曝光TA效果媒體代言人指標體系廣成分功效場景步驟延展屬性品使用輿情作者原文痛點維度情感人群標簽興趣標簽戶關系性別基礎屬性年齡行為渠渠道類型投投放廣廣告來來源場場景?2006-2021明略科學院版權(quán)所有38察察的原因產(chǎn)品人群痛點察場景?2006-2021明略科學院版權(quán)所有390。這款車有痕顯，特意多上?2006-2021明略科學院版權(quán)所有401工作流配置模型參數(shù)配置規(guī)則集配置可視化導航數(shù)據(jù)服務系統(tǒng)策略配置與管理引擎規(guī)則引擎異常檢測時序表示在線學習數(shù)據(jù)路由模型管理工作流配置模型參數(shù)配置規(guī)則集配置可視化導航數(shù)據(jù)服務系統(tǒng)策略配置與管理引擎規(guī)則引擎異常檢測時序表示在線學習數(shù)據(jù)路由模型管理工作流引擎分類回歸關系圖譜特征工程構(gòu)數(shù)據(jù)管理語義層(指標體系、集市)文件交換區(qū)主題層數(shù)據(jù)模型鏡像同步全量存儲實時畫像消息隊列實時清洗衍生加工?數(shù)據(jù)質(zhì)量問題：跨系統(tǒng)、歷史遺留；?手工報表：零散的需求很多，提數(shù)周期長；?數(shù)據(jù)利用度低：無法加工復雜邏輯的衍生變量；銷銷售流失預警挽留直銷績效考核客群凈值提升直銷技能培訓渠道質(zhì)量監(jiān)控渠道分級管理培訓考核培訓考核保全策略催收策略數(shù)據(jù)修復信用評估材料核驗客群細分交叉銷售反欺詐運營貸后風風控資產(chǎn)質(zhì)量監(jiān)控模型穩(wěn)定性規(guī)則有效性客戶畫像統(tǒng)一授信源RM業(yè)務系統(tǒng)爬蟲三方離線文件資源?打通內(nèi)外部數(shù)據(jù)，構(gòu)建關系網(wǎng)絡；?統(tǒng)一建模平臺與系統(tǒng)接口，消除煙囪；?縮短建模周期；財務、高管產(chǎn)品、運營、風控、審計報表系報表系統(tǒng)(明細報表、指標體系)SQL查詢半自動化經(jīng)營報告拖拽查詢I異異構(gòu)查詢ID聯(lián)打通控元數(shù)據(jù)維護數(shù)據(jù)規(guī)范質(zhì)量監(jiān)控收集檢索告警權(quán)限與加解密控制服務監(jiān)控資源管控任務調(diào)度資產(chǎn)資產(chǎn)?2006-2021明略科學院版權(quán)所有412分析分析量選擇-變量分布情況-中位數(shù)、均值探索性分析跟蹤模型開發(fā)散化-sK.變換模型評估曲線指標-分值刻度設置分析分析量選擇-變量分布情況-中位數(shù)、均值探索性分析跟蹤模型開發(fā)散化-sK.變換模型評估曲線指標-分值刻度設置XTYX=第第一階段：?數(shù)據(jù)：人行征信報告?技術(shù)：線性模型第第二階段：?數(shù)據(jù)：人行征信報告第第三階段：?數(shù)據(jù)：人行征信+外部數(shù)據(jù)第第四階段：?數(shù)據(jù)：人行征信+外部數(shù)據(jù)?算法：在線學習?重點：客戶特征漂移問題-存量客戶數(shù)據(jù)-潛w客戶數(shù)據(jù)數(shù)據(jù)獲取處理處理數(shù)據(jù)預處理信用評分信用評分-對接業(yè)務系統(tǒng)監(jiān)控-穩(wěn)定性監(jiān)控 (a)寬度學習 ( (a)寬度學習 (c)深度學習MM偏置梯度支持向量?2006-2021明略科學院版權(quán)所有423乏統(tǒng)籌規(guī)劃?應用規(guī)劃層次不清晰，通用抽象，標準不一致規(guī)劃?數(shù)據(jù)挖掘分析能力不足，未類型數(shù)據(jù)?車輛系統(tǒng)數(shù)據(jù)協(xié)議復雜，各相同量大?為維修、檢護人員提供最佳參考實踐，時長?降低檢護人力成本，由每日一檢變?yōu)?2006-2021明略科學院版權(quán)所有434P案例描述：XX車亮XXP案例描述：XX車亮XX(零部件)故障燈，儀維修：電腦檢查有故障碼001，換擋拔叉4位燈亮，XX零件學習后，故障又出模塊后故障依舊，申請更換XX閥體總成.譜：圖譜構(gòu)建索案推薦析?2006-2021明略科學院版權(quán)所有445產(chǎn)品知識圖譜：智能型錄→知識在線→產(chǎn)品智能選型?2006-2021明略科學院版權(quán)所有