自然語言處理導(dǎo)論 課件 第13章 問答系統(tǒng)

《自然語言處理導(dǎo)論》第13章問答系統(tǒng)問答系統(tǒng)：一個(gè)能回答任意自然語言形式問題的自動機(jī)。輸入：任何自然語言形式的問題輸出：一個(gè)簡潔的答案或者可能答案的列表輸入：新中國是多久成立的？輸出：1949年10月1日。1.基于符號的表示方法問句：哪些軟件是由美國加利福尼亞州成立的公司開發(fā)的。軟件開發(fā)公司問句短語檢測主要所用技術(shù)：分詞最簡單方法：N-gram匹配蜘蛛俠蜘蛛俠自然語言句子知識圖譜知識圖譜最常用方法：Bi-LSTM+CRF后期的神經(jīng)網(wǎng)絡(luò)漢語分詞編碼嵌入后，計(jì)算兩個(gè)向量之間的余弦相似度1.OneHot獨(dú)熱碼紅色[0,0,0,0,0,0,0,…..,1,0,0,0,0]2.詞袋模型3.Word2vec、Skip-Thought4.各神經(jīng)網(wǎng)絡(luò)模型1.基于符號的表示方法問句：哪些軟件是由美國加利福尼亞州成立的公司開發(fā)的。軟件開發(fā)公司問句軟件開發(fā)者公司知識圖譜余弦相似度、Ngram問句知識圖譜But！2.基于分布式的表示方法知識圖譜圖數(shù)據(jù)嵌入1.DeepWalk（KDD2014）2.Node2vec（KDD2015）3.LINE（WWW2015）4.圖卷積神經(jīng)網(wǎng)絡(luò)ShenYing,DengYang,YangMin,LiYaliang,DuNan,FanWei,LeiKai.Knowledge-awareAttentiveNeuralNetworkforRankingQuestionAnswerPairs.InThe41stInternationalACMSIGIRConferenceonResearch&DevelopmentinInformationRetrieval(SIGIR2018).SIGIR:AnnArbor,Michigan,USA,July8-12,2018.pp.901-904.ACM.嵌入層融合層隱含層Softmax層問題答案嵌入層問題：詞向量、知識向量答案：詞向量、知識向量技術(shù)點(diǎn)：文本嵌入技術(shù)點(diǎn)：知識圖譜圖數(shù)據(jù)嵌入嵌入層問題的文本向量答案的文本向量BiLSTMBiLSTM嵌入層問題的知識圖譜向量答案的知識圖譜向量CNNCNN融合層隱含層Softmax層問題答案問答系統(tǒng)評價(jià)指標(biāo)-MRR平均倒數(shù)排名假設(shè)有兩個(gè)主題，主題①有4個(gè)相關(guān)網(wǎng)頁，主題②有5個(gè)相關(guān)網(wǎng)頁。某系統(tǒng)對于主題①檢索出4個(gè)相關(guān)網(wǎng)頁，其rank分別為1,2,4,7對于主題②檢索出3個(gè)相關(guān)網(wǎng)頁，其rank分別為1,3,5對于主題1，平均準(zhǔn)確率為(1/1+2/2+3/4+4/7)/4=0.83對于主題2，平均準(zhǔn)確率為(1/1+2/3+3/5+0+0)/5=0.45則

MAP=(0.83+0.45)/2=0.64MAP是反映系統(tǒng)在全部相關(guān)文檔上性能的單值指標(biāo)。系統(tǒng)檢索出來的相關(guān)文檔越靠前，MAP就越高。如果系統(tǒng)沒有返回相關(guān)文檔，則準(zhǔn)確率默認(rèn)為0。MeanAveragePrecision平均精度問答系統(tǒng)評價(jià)指標(biāo)-MAP

MAP和MRR值越高，問答效果越好知識圖譜內(nèi)容越完備，問答效果越好知識圖譜嵌入詞嵌入編碼層BiLSTMCNN拼接DengYang,XieYuexiang,LiYaliang,YangMin,DuNan,FanWei,LeiKai,ShenYing*.Multi-TaskLearningwithMulti-ViewAttentionforAnswerSelectionandKnowledgeBaseQuestionAnswering.InTheThirty-ThirdAAAIConferenceonArtificialIntelligence(AAAI-19).Honolulu,Hawaii,USA,January27–February1,2019.33,pp.6318-6325.ACM.共享表示學(xué)習(xí)層BiLSTMKBQA和AS之間，共享相互的文本向量和知識圖譜向量特定任務(wù)分類器KBQA簡單版本單選題KBQA多模態(tài)任務(wù)模態(tài)（modal）是事情經(jīng)歷和發(fā)生的方式，我們生活在一個(gè)由多種模態(tài)（Multimodal）信息構(gòu)成的世界，包括視覺信息、聽覺信息、文本信息、嗅覺信息等等，當(dāng)研究的問題或者數(shù)據(jù)集包含多種這樣的模態(tài)信息時(shí)我們稱之為多模態(tài)問題，研究多模態(tài)問題是推動人工智能更好的了解和認(rèn)知我們周圍世界的關(guān)鍵。多模態(tài)任務(wù)多模態(tài)研究中，通常遵循以下步驟：首先需要考慮對于單個(gè)模態(tài)的信息的獲取與處理，緊接著需要研究如何實(shí)現(xiàn)模態(tài)間信息的融合，聯(lián)合表示，共同學(xué)習(xí)等，最后將得到的信息再對于不同的任務(wù)進(jìn)行后續(xù)的處理。多模態(tài)問答系統(tǒng)當(dāng)前，智能問答系統(tǒng)的研究仍舊集中在文本信息的交互上，問題和答案的呈現(xiàn)模式都是文本信息。然而，隨著互聯(lián)網(wǎng)及移動互聯(lián)網(wǎng)的快速發(fā)展，多媒體信息量的急劇增長，對于智能問答系統(tǒng)在信息的多模態(tài)、直觀性和豐富性上提出了更高的要求，基于文本的智能問答新系統(tǒng)無法滿足目前多媒體問答的需求。傳統(tǒng)基于文本智能問答系統(tǒng)主要存在以下問題：1）無法滿足用戶對多模態(tài)信息的查詢，只能以單一的文本信息進(jìn)行交互；2）問答系統(tǒng)的答案的呈現(xiàn)模式為文本模式，展示方式不夠直觀形象，缺乏多媒體形式的展示；3）缺乏多模態(tài)處理的流程和模式，不能滿足智能問答系統(tǒng)的可擴(kuò)展性多模態(tài)問答系統(tǒng)問答系統(tǒng)對于智能化的需求越來越明顯，尤其是在智能問答系統(tǒng)中多模態(tài)信息的查詢和直觀展示。多模態(tài)的智能問答系統(tǒng)，可以允許用戶進(jìn)行多媒體信息的查詢，包括圖片、音頻、視頻、圖片加文本和視頻加本文等信息，從而滿足用戶多媒體輸入的需求，提高用戶信息查詢的豐富性。同時(shí)，它也支持答案的多媒體形式的展示，利用豐富的媒體形式，對用戶提出的問題給出一個(gè)準(zhǔn)確和形象的答案。視覺問答系統(tǒng)視覺問答（visualquestionanswering，簡稱為VQA）是典型的多模態(tài)問答系統(tǒng)之一，也是整個(gè)多模態(tài)領(lǐng)域的經(jīng)典任務(wù)之一。一個(gè)VQA系統(tǒng)以一張圖片和一個(gè)關(guān)于這張圖片的形式自由、開放式的自然語言問題作為輸入，以生成一條自然語言答案作為輸出。簡單來說，VQA就是給定的圖片進(jìn)行問答。視覺問答系統(tǒng)需要四個(gè)部分完成：視覺/文本理解，多模態(tài)特征交互，答案檢索，答案生成。StackedAttentionNetworksforImageQuestionAnswering視覺理解文本理解多模態(tài)特征交互答案檢索與答案生成視覺問答系統(tǒng)數(shù)據(jù)集VQAv1是使用最廣泛的數(shù)據(jù)集之一，它包含來自COCO的204，721幅真實(shí)圖像數(shù)據(jù)集(用于訓(xùn)練的123287幅圖像和用于測試的81434幅圖像)。它涵蓋了614，163個(gè)自由形式的問題和7984119個(gè)問題答案，允許是/否、多項(xiàng)選擇和開放式問題。VQAv2是VQAv1數(shù)據(jù)集的增強(qiáng)版本，它包含204721幅圖像，這些圖像來自

COCO數(shù)據(jù)集。它在訓(xùn)練集、驗(yàn)證集和測試集上有443757，214354和447793個(gè)問題注釋。VQAv2共有1105904個(gè)由人類注釋的自由形式問答對，是VQAv1的兩倍，并且為每個(gè)問題提供一個(gè)補(bǔ)充圖像，以便同一問題可以與兩個(gè)相似的圖像組合產(chǎn)生不同的答案。與VQAv1相比，VQAv2減少了數(shù)據(jù)集的偏差和不平衡以上改進(jìn)。KB-VQA是第一個(gè)需要外部知識庫的VQA數(shù)據(jù)集，其中包括來自COCO的700幅圖像數(shù)據(jù)集和2402個(gè)問答對(每張圖片3－4個(gè)問題)。KB-VQA有23個(gè)問題模板，每個(gè)問題由五名研究者根據(jù)其中一個(gè)合適的模板提出。提議者給不同的標(biāo)簽不同知識水平的問題?；卮稹爸R庫”級別的問題需要使用知識庫比如DBpedia。KB-VQA中的“KB-knowledge”級問題遠(yuǎn)遠(yuǎn)多于同時(shí)期的其他VQA

數(shù)據(jù)集。多輪對話系統(tǒng)近年來，對話系統(tǒng)以其巨大的潛力和誘人的商業(yè)價(jià)值吸引了越來越多的關(guān)注。目前，對話系統(tǒng)在各個(gè)領(lǐng)域越來越引起人們的重視，也取得了迅速的發(fā)展，各大公司相繼推出了自己的智能對話應(yīng)用，如蘋果公司的Siri，微軟公司的Cortana，百度公司的度秘等。多輪對話是指根據(jù)上下文內(nèi)容，進(jìn)行連續(xù)的，以達(dá)到解決某一類特定任務(wù)為目的的對話，是對話系統(tǒng)中的一個(gè)重要組成部分。相對于單輪對話，多輪對話的模式通常表現(xiàn)為有問有答的形式。在對話過程中，機(jī)器人也會發(fā)起詢問，而且在多輪對話中，機(jī)器人還會涉及“決策”的過程，與單輪對話相比會顯得更加的智能，應(yīng)用場景也更加的豐富多樣。通常來說，多輪對話與一件事情的處理相對應(yīng)。多輪對話系統(tǒng)傳統(tǒng)的多輪對話系統(tǒng)通常由三個(gè)模塊組成：口語理解模塊（SpokenLanguageUnderstanding,SLU，包括語音