智能客服方案及技術(shù)架構(gòu)課件

智能客服

——聊天機(jī)器人

智能客服1問題解決型實(shí)現(xiàn)技術(shù)解決方案架構(gòu)及開發(fā)流程小Y（智能機(jī)器人）問題解決型實(shí)現(xiàn)技術(shù)解決方案架構(gòu)及開發(fā)流程小Y（智能機(jī)器人）2問題解決型機(jī)器人問題解決型機(jī)器人3問題解決型機(jī)器人，存在的目的是為了幫用戶解決具體問題，例如：售前咨詢、售后報(bào)修、訂機(jī)票、酒店、餐廳座位等等需要提供給用戶自己都不知道的信息--知識(shí)庫1.理解用戶問題，知道用戶在問什么2.將用戶的問題轉(zhuǎn)化為對(duì)知識(shí)庫的查詢問題解決型機(jī)器人，存在的目的是為了幫用戶解決具體問題，需要提4問題理解查詢知識(shí)庫構(gòu)建知識(shí)庫查詢多輪對(duì)話的上下文管理提問：今天北京多少度??？回答：35度提問：有霧霾嗎？（北京有霧霾嗎？）回答：空氣質(zhì)量優(yōu)。提問：那上海呢？（上海有霧霾嗎？）回答：空氣質(zhì)量也是優(yōu)。結(jié)合上下文問題理解查詢知識(shí)庫構(gòu)建知識(shí)庫查詢多輪對(duì)話的上下文管理提問：今5聊天機(jī)器人解決方案聊天機(jī)器人解決方案6自然語言處理、文本挖掘、知識(shí)圖譜自然語言處理、文本挖掘、知識(shí)圖譜7知識(shí)庫中存儲(chǔ)的是一對(duì)對(duì)的“問題-答案”對(duì)（QAPair）。這些Pair可以是人工構(gòu)建的，源于客戶系統(tǒng)或者舊有知識(shí)庫的，也可以是從互聯(lián)網(wǎng)上爬取下來的。當(dāng)用戶輸入問題后，將其和知識(shí)庫現(xiàn)有的標(biāo)準(zhǔn)問題進(jìn)行一一比對(duì)，尋找與用戶問題最相近的標(biāo)準(zhǔn)問題，然后將該問題組對(duì)的答案返回給用戶。用戶問題->標(biāo)準(zhǔn)問題->答案解決方案一知識(shí)庫中存儲(chǔ)的是一對(duì)對(duì)的“問題-答案”對(duì)（QAPair）。8用戶問題->標(biāo)準(zhǔn)問題的匹配方法可以是關(guān)鍵詞匹配（包括正則表達(dá)式匹配）；也可以是先將用戶問題和標(biāo)準(zhǔn)問題都轉(zhuǎn)化為向量，再計(jì)算兩者之間的距離（余弦距離、歐氏距離、交叉熵、Jaccard距離等），找到距離最近且距離值低于預(yù)設(shè)閾值的那個(gè)標(biāo)準(zhǔn)問題，作為查找結(jié)果。但關(guān)鍵字匹配覆蓋面太小。距離計(jì)算的話，在實(shí)踐中比對(duì)出來的最近距離的兩句話，可能在語義上毫無關(guān)聯(lián)，甚至滿擰（比如一個(gè)比另一個(gè)多了一個(gè)否定詞）“關(guān)鍵詞”用戶問題->標(biāo)準(zhǔn)問題的匹配方法可以是關(guān)鍵詞匹配（包括正則表達(dá)9解決方案二知識(shí)庫中存儲(chǔ)的不是問題-答案對(duì)，而僅存儲(chǔ)答案（文檔）。當(dāng)接收到用戶問題后，直接拿問題去和知識(shí)庫中的一篇篇文檔比對(duì)，找到在內(nèi)容上關(guān)聯(lián)最緊密的那篇，作為答案返回給用戶。用戶問題->答案解決方案二知識(shí)庫中存儲(chǔ)的不是問題-答案對(duì)，而僅存儲(chǔ)答案（文檔10解決方案三從用戶的問題當(dāng)中識(shí)別出用戶的意圖，并抽取這個(gè)意圖針對(duì)的實(shí)體。相應(yīng)的，知識(shí)庫內(nèi)存儲(chǔ)的知識(shí)，除了包含知識(shí)內(nèi)容本身之外，還應(yīng)該在結(jié)構(gòu)上能夠表示知識(shí)之間的關(guān)聯(lián)關(guān)系。在提取了意圖和實(shí)體后，構(gòu)造出對(duì)知識(shí)庫的查詢（Query），實(shí)施查詢，得出結(jié)果后生成回答，回復(fù)給用戶。用戶問題->語義理解->知識(shí)庫查詢->查詢結(jié)果生成答案解決方案三從用戶的問題當(dāng)中識(shí)別出用戶的意圖，并抽取這個(gè)意圖針11聊天機(jī)器人實(shí)現(xiàn)技術(shù)聊天機(jī)器人實(shí)現(xiàn)技術(shù)12語義理解NLU意圖識(shí)別實(shí)體抽取用來識(shí)別用戶所提問題的意圖，也就是用戶希望做一件什么事用于提取用戶對(duì)話中所提供的和意圖相關(guān)的參數(shù)(實(shí)體)，例如時(shí)間、地點(diǎn)等語義理解NLU意圖識(shí)別實(shí)體抽取用來識(shí)別用戶所提問題的意圖，也13Case1：有粉色的手機(jī)殼嗎？——意圖：商品推薦；實(shí)體：商品類型-手機(jī)，商品顏色-粉色。Case2：00183號(hào)商品快遞到伊犁郵費(fèi)多少？——意圖：查詢郵費(fèi)；實(shí)體：目的地-伊犁，商品Id-00183。Case3：02465號(hào)商品有保修嗎？——意圖：保修查詢；實(shí)體：商品Id-02465。舉個(gè)例子，小明是一家小淘寶店主，他要為自己的淘寶店開發(fā)一款客服機(jī)器人，主要回答和商品屬性（品牌、價(jià)格、郵費(fèi)、售后等）相關(guān)的問題。Case2’：00183號(hào)商品快遞到伊犁郵費(fèi)多少？——意圖：商品查詢；實(shí)體：目的地-伊犁，商品Id-00183，商品屬性-郵費(fèi)。Case3’：02465號(hào)商品有保修嗎？——意圖：商品查詢；實(shí)體：商品Id-02465，商品屬性-保修。具體怎么定義，要與知識(shí)庫的結(jié)構(gòu)及中間控件（語義理解+對(duì)話管理）結(jié)合起來決定，怎么簡單怎么來Case1：有粉色的手機(jī)殼嗎？——意圖：商品推薦；實(shí)體：商14意圖識(shí)別-分類模型分類模型和seq2seq判別模型的訓(xùn)練都屬于有監(jiān)督學(xué)習(xí)，因此，所有的訓(xùn)練數(shù)據(jù)都是標(biāo)注數(shù)據(jù)。因此，在進(jìn)入訓(xùn)練階段前必須要經(jīng)過一個(gè)步驟：人工標(biāo)注。如果大家真的在工作中應(yīng)用機(jī)器學(xué)習(xí)，標(biāo)注就是無法逾越的臟活累活。實(shí)體抽取-Seq2Seq判別模型意圖識(shí)別-分類模型分類模型和seq2seq判別模型的訓(xùn)15人工標(biāo)記語料(Utterance)意圖(Intent)[00183]{商品Id}號(hào)商品快遞到[伊犁]{目的地}[郵費(fèi)]{商品屬性}多少？商品查詢[02465]{商品Id}號(hào)商品有[保修]{商品屬性}嗎？商品查詢訂[一張]{數(shù)量}[2018.12.1]號(hào){時(shí)間}[北京]{出發(fā)地}到[南京]{目的地}的機(jī)票訂機(jī)票人工標(biāo)記語料(Utterance)意圖(Intent)[0016知識(shí)庫、知識(shí)查詢和結(jié)果返回知識(shí)庫用于存儲(chǔ)知識(shí)，本身可以是各種形式：數(shù)據(jù)庫，API，或者文本文件等。用戶的問題經(jīng)過語義理解，被提取成了意圖和若干實(shí)體。知識(shí)庫類型構(gòu)造查詢回答生成關(guān)系型數(shù)據(jù)庫根據(jù)意圖和實(shí)體，確定tabmeName,where條件，和目標(biāo)column等要素，構(gòu)建SQLQuery將SQLQuery的結(jié)果填注到答案模板中，生成回答問題的自然語言API根據(jù)意圖和實(shí)體，確定要調(diào)用的API類型和參數(shù)，構(gòu)造HttpRequest將API返回的結(jié)果填注到答案模板中，生成回答問題的自然語言文本文件(json/xml等)根據(jù)意圖和實(shí)體，確定對(duì)應(yīng)的文件路徑和對(duì)其中存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)的查詢將獲取的內(nèi)容填注到模板中，生成回答問題的自然語言知識(shí)庫、知識(shí)查詢和結(jié)果返回知識(shí)庫用于存儲(chǔ)知識(shí)，本身可以是各種17例如，我們選擇MySQL作為小明的淘寶店小助手的知識(shí)庫。則商品相關(guān)數(shù)據(jù)都存儲(chǔ)在table中。知識(shí)庫里有一個(gè)Table，名字叫product_query，其中每一個(gè)row對(duì)應(yīng)一種產(chǎn)品，每個(gè)column對(duì)應(yīng)一個(gè)屬性。Case2’：00183號(hào)商品快遞到伊犁郵費(fèi)多少？——意圖：商品查詢；實(shí)體：目的地-伊犁，商品Id-00183，商品屬性-郵費(fèi)。Case3’：02465號(hào)商品有保修嗎？——意圖：商品查詢；實(shí)體：商品Id-02465，商品屬性-保修。table_name:product_querycolumn: 目的地->destination 商品Id->product_id 郵費(fèi)->postage 保修->guaranteeCase2’：SELECTpostageFROMproduct_queryWHEREproduct_id='00183'ANDdestination='伊犁'Case3’：SELECTguaranteeFROMproduct_queryWHEREproduct_id='02465'Query在MySQL中運(yùn)行的結(jié)果（比如是26元），被放到一個(gè)預(yù)置的針對(duì)商品查詢的答案模板里，生成答案。預(yù)置模板:${商品Id}號(hào)商品的${商品屬性}是${Query_Result}。生成答案:00183號(hào)商品的郵費(fèi)是26元。例如，我們選擇MySQL作為小明的淘寶店小助手的知識(shí)庫。18上下文管理例如：在商品查詢的目標(biāo)屬性為郵費(fèi)時(shí)，目的地缺失，這時(shí)候就需要主動(dòng)要求用戶輸入對(duì)應(yīng)的值。思路：1.在配置意圖和實(shí)體模板時(shí)，需設(shè)置[郵費(fèi)]相依賴的實(shí)體（商品ID、目的地）2.創(chuàng)建意圖表，實(shí)體表，建立意圖表與實(shí)體表間的關(guān)系，實(shí)體與實(shí)體間的關(guān)系3.識(shí)別出意圖后，提取實(shí)體，如果發(fā)現(xiàn)缺失，則一個(gè)接一個(gè)提示用戶輸入對(duì)應(yīng)的指（配置回答模板）機(jī)器人反問每次用戶新輸入的信息都要先進(jìn)行語言理解，再結(jié)合目前已經(jīng)存儲(chǔ)的上下文信息，或更新Context，或讀取之前的Context作為補(bǔ)充信息。可以將意圖，和幾種實(shí)體類型對(duì)應(yīng)的實(shí)體值存儲(chǔ)在Context中。當(dāng)新的用戶語句輸入后，若能從中提取出新的意圖或?qū)嶓w值，則用新值更新Context，否則，讀入現(xiàn)有的對(duì)應(yīng)實(shí)體值，作為本次語言理解的補(bǔ)充。上下文管理例如：在商品查詢的目標(biāo)屬性為郵費(fèi)時(shí)，目的地缺失，這19架構(gòu)及開發(fā)流程架構(gòu)及開發(fā)流程20問答咨詢......知識(shí)主力銷售引導(dǎo)業(yè)務(wù)辦理Web微信APP聊天工具......應(yīng)用場(chǎng)景接入渠道中控調(diào)度策略第三方系統(tǒng)行業(yè)知識(shí)互聯(lián)網(wǎng)數(shù)據(jù)用戶畫像搜索引擎（語義檢索/文檔檢索...）靜態(tài)知識(shí)FAQFAQ管理動(dòng)態(tài)知識(shí)KGKG構(gòu)建管理意圖訓(xùn)練實(shí)體抽取流程設(shè)計(jì)高頻問題突增問題滿意度NLP知識(shí)包智能知識(shí)庫會(huì)話管理數(shù)據(jù)監(jiān)控客服大腦產(chǎn)品架構(gòu)問答咨詢......知識(shí)主力銷售引導(dǎo)業(yè)務(wù)辦理Web微信APP21用戶問題AIML格式常見問題模板匹配構(gòu)建查詢意圖識(shí)別實(shí)體抽取語義理解查詢知識(shí)庫填注模板答案處理關(guān)鍵詞提取自然語言處理ES文檔查詢構(gòu)造Jena查詢構(gòu)建知識(shí)圖譜用戶問題AIML格式常見問題模板匹配構(gòu)建查詢意圖識(shí)別實(shí)體抽取22語料獲取網(wǎng)絡(luò)爬取開源語料庫用戶日志語料人工編寫語料預(yù)處理人工標(biāo)記模板配置業(yè)務(wù)咨詢閱讀用戶日志模型訓(xùn)練分詞Word2Vec卷積神經(jīng)網(wǎng)絡(luò)Keras文本分類命名實(shí)體識(shí)別詞性標(biāo)注TensorFlow語義理解NLU保存模型語料獲取網(wǎng)絡(luò)爬取開源語料庫用戶日志語料人工編寫語料預(yù)處理人工23知識(shí)圖譜KnowledgeGraph本體構(gòu)建網(wǎng)絡(luò)爬取客戶文檔本體庫實(shí)體詞典語義解析本體查詢查詢陳述構(gòu)造查詢語句執(zhí)行查詢語句謂語消歧陳述本體庫命名實(shí)體識(shí)別歧義陳述構(gòu)建依存句法分析實(shí)體消歧陳述語義圖構(gòu)建語義圖陳述構(gòu)建謂語消歧陳述知識(shí)圖譜本體構(gòu)建網(wǎng)絡(luò)爬取客戶文檔本體庫實(shí)體詞典語義