自然語言處理理論與實踐 課件 第6、7章 信息抽取

第六章信息抽取自然語言處理理論與實踐實體抽取關(guān)系抽取信息抽取評價標(biāo)準(zhǔn)發(fā)展概況現(xiàn)狀與挑戰(zhàn)目錄第43次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》截止2018年12月，我國網(wǎng)站數(shù)量為523萬個。截止2018年12月，我國網(wǎng)頁數(shù)量為2816億個。發(fā)展概況信息抽取信息抽?。↖nformationExtraction）從非結(jié)構(gòu)化的文本中抽取出特定的事實信息，然后進行結(jié)構(gòu)化處理，變成統(tǒng)一的組織形式信息抽取系統(tǒng)原始文本固定格式的信息點實體抽取關(guān)系抽取實體抽取的目標(biāo)命名實體文本中基本的信息元素現(xiàn)實世界中的具體的或抽象的實體時間，數(shù)量表達式等……MUC-7人名、地名、組織名、時間、日期、貨幣和百分數(shù)IREX項目增加了ArtifactCoNLL2002-2003PER（人名），LOC（地名），ORG（組織名）和MIS（其他）ACE項目PER（人名），LOC（地名），ORG（組織名），GPE（地理和政治實體）和FAC（公共設(shè)施）實體抽取方法手工編制規(guī)則的方法通過編寫一系列類似正則表達式的模式串來尋找各種命名實體例如title[capitalized-token+]person“title”可以匹配“Mr.”，“Mrs.”，“Ms.”，和“Dr.”等等“capitalized-token+”可以匹配一個或多個大寫符號串早期的典型的基于規(guī)則的NER系統(tǒng)Proteus系統(tǒng)[1]：MUC-6NetOwl系統(tǒng)[2]：MUC-7Lasie-II系統(tǒng)[3]：MUC-7基于規(guī)則的中文命名實體抽取研究譚紅葉[4]：地名孫茂松等[5]：人名構(gòu)建規(guī)則集的難點需要將大量的實用經(jīng)驗轉(zhuǎn)化適合的規(guī)則規(guī)則集的迭代和更新在構(gòu)建時會非常頻繁規(guī)則集的完備性和領(lǐng)域性是成正比的實體抽取方法基于統(tǒng)計的方法隱馬爾可夫模型（HiddenMarkovModel,HMM）支持向量機（SuppertVectorMachine,SVM）最大熵（MaximumEntropy,ME）條件隨機場（ConditionalRandomFields,CRF）序列標(biāo)注BIO和BILOU模式代表性工作Florian等[9]：CoNLL-2003的“不依賴語言的命名實體抽取”任務(wù)的冠軍McCallum等[13]：條件隨機場模型Ando和Zhang[14]：半監(jiān)督學(xué)習(xí)實體抽取方法深度學(xué)習(xí)方法代表性工作SENNA系統(tǒng)，即Collobert等[18]提出了窗口方法與句子方法兩種網(wǎng)絡(luò)結(jié)構(gòu)來進行NER后來的許多相關(guān)工作把這個思想結(jié)合了一層CRF層，為流行的NN/CNN-CRF模型Lample等[19]提出了一個使用Stack-LSTM的基于轉(zhuǎn)移的移進規(guī)約命名實體抽取系統(tǒng)使用的是雙向RNN代替了NN/CNNRei等[20]在RNN-CRF模型結(jié)構(gòu)基礎(chǔ)上，重點改進了詞向量與字符向量的拼接關(guān)系抽取的目標(biāo)關(guān)系抽取從無結(jié)構(gòu)的自然語言文本中抽取出格式統(tǒng)一的關(guān)系數(shù)據(jù)建立多個實體之間廣泛的信息關(guān)聯(lián)進一步理解和匹配用戶的查詢意圖頭實體尾實體上下文關(guān)系關(guān)系抽取方法基于模式匹配的方法生成模板庫文本處理成片段，與模板庫匹配代表性方法FASTUS抽取系統(tǒng)[24]：MUC-6Culotta[27]：概率抽取張葦如等[29]：對模式進行過濾與泛化關(guān)系抽取方法基于機器學(xué)習(xí)的關(guān)系抽取方法所需要人工參與的部分較少能較好利用大量關(guān)系的統(tǒng)計特征代表性方法Kambhatla[30]：ACE2004Zhou[31]：句法分析樹董靜[32]：條件隨機場Sun[33]：采用詞語聚類的方法減小特征稀疏帶來的問題關(guān)系抽取方法深度學(xué)習(xí)模型人工標(biāo)注數(shù)據(jù)少代表性方法Socher等人[63]使用遞歸神經(jīng)網(wǎng)絡(luò)來解決關(guān)系抽取問題Zeng等人[67]基于卷積神經(jīng)網(wǎng)絡(luò)的關(guān)系抽取模型擴展到遠程監(jiān)督數(shù)據(jù)上Lin等人[68]一種基于句子級別注意力機制的神經(jīng)網(wǎng)絡(luò)模型小結(jié)信息抽取介紹什么是命名實體手工編制規(guī)則的實體抽取方法基于統(tǒng)計的實體抽取方法深度學(xué)習(xí)的實體抽取方法基于模式匹配的關(guān)系抽取方法基于機器學(xué)習(xí)的關(guān)系抽取方法深度學(xué)習(xí)關(guān)系抽取方法實體抽取關(guān)系抽取信息抽取評價標(biāo)準(zhǔn)發(fā)展概況現(xiàn)狀與挑戰(zhàn)目錄實體抽取方法實體抽取基于統(tǒng)計的實體抽取模型基于雙向LSTM和CRF的實體抽取模型基于柵格LSTM的中文實體抽取模型條件隨機場CRF一種條件概率分布模型，其由兩組隨機變量組組成Lafferty等[69]在2001年提出，條件隨機域可以用來解答標(biāo)注問題設(shè)X與Y是兩個隨機變量組，假如隨機變量Y構(gòu)成一個滿足式（6-1）對任意節(jié)點成立的圖??，那么可以說給定X時Y的條件概率分布構(gòu)成條件隨機域線性鏈條件隨機場LCCRFX和Y具有相同圖結(jié)構(gòu)，且都是線性鏈概率分布在LCCRF中，各因子就是相鄰節(jié)點的函數(shù)，假如隨機變量X取值為x，那么隨機變量Y取值為y的概率可以表示為CRF計算概率計算前向和后向算法學(xué)習(xí)算法梯度下降擬牛頓的BFGS算法改進的迭代尺度法IIS預(yù)測——解碼Viterbi算法特征展示提取得到的實體詞性標(biāo)注特征上下文特征句法分析特征詞表特征特征的實現(xiàn)和意義沒有固定的實現(xiàn)，大多數(shù)是利用規(guī)則的方式進行模板匹配特征——如何將數(shù)據(jù)從樣本空間映射到特征空間去優(yōu)秀的特征很強的靈活性和適應(yīng)性使用簡單高效運行效率快容易理解和維護小結(jié)條件隨機場序列標(biāo)注特征的實現(xiàn)特征的意義實體抽取方法實體抽取基于統(tǒng)計的實體抽取模型基于雙向LSTM和CRF的實體抽取模型基于柵格LSTM的中文實體抽取模型雙向LSTM抽取特征的好處縮小了特征的維度，將離散特征轉(zhuǎn)變?yōu)檫B續(xù)特征，從而更高效率地利用特征空間利用雙向的性質(zhì)為特征添加了上下文信息BiLSTM-CRF架構(gòu)向量表示層在一個大語料庫上預(yù)訓(xùn)練的詞向量模型word2vecfasttextGloVe詞向量是一種查表的形式權(quán)重在訓(xùn)練過程中保持不變或者按照梯度和學(xué)習(xí)率進行更新雙向編碼層計算輸入向量計算門更新隱狀態(tài)解碼層

模型特點啟動快需要的標(biāo)注數(shù)據(jù)資源少適合作為一個生產(chǎn)和研究環(huán)境下的baseline模型可擴展性強，可以將更多的特征結(jié)合進CRF解碼層適合應(yīng)急處理一些錯誤輸出模型不夠復(fù)雜，在復(fù)雜數(shù)據(jù)集上能達到的效果還是有限小結(jié)雙向LSTM作為特征抽取器的好處BiLSTM-CRF架構(gòu)模型特點實體抽取方法實體抽取基于統(tǒng)計的實體抽取模型基于雙向LSTM和CRF的實體抽取模型基于柵格LSTM的中文實體抽取模型模型架構(gòu)避免分詞錯誤而傳導(dǎo)的誤差輸入

字符級LSTM循環(huán)結(jié)構(gòu)

加入詞匯信息

控制詞匯信息貢獻

解碼方法

小結(jié)柵格LSTM架構(gòu)引入詞匯信息的方法如何控制詞匯信息的貢獻實體抽取關(guān)系抽取信息抽取評價標(biāo)準(zhǔn)發(fā)展概況現(xiàn)狀與挑戰(zhàn)目錄關(guān)系抽取方法關(guān)系抽取基于分段卷積神經(jīng)

網(wǎng)絡(luò)的關(guān)系抽取模型基于實例選擇性注意力

機制的關(guān)系抽取模型遠程監(jiān)督關(guān)系抽取的問題基于知識庫的實體關(guān)系對齊方法可能會產(chǎn)生對齊錯誤以往的統(tǒng)計學(xué)習(xí)模型依靠的管道式特征抽取方法可能會將誤差往下傳遞本模型的解決方法將遠程監(jiān)督關(guān)系抽取問題建模為一個多實例學(xué)習(xí)的過程使用卷積神經(jīng)網(wǎng)絡(luò)和分段池化的方法來自動學(xué)習(xí)和抽取特征模型架構(gòu)向量表示

卷積

分段最大池化

多實例學(xué)習(xí)網(wǎng)絡(luò)的輸入是一個實例包，包中含有多個句子實例，每個句子實例都被獨立地進行考慮但是最終的目的是對整個包進行分類這樣的好處是可以以一種投票的方式修正遠程監(jiān)督方式產(chǎn)生的小部分數(shù)據(jù)標(biāo)簽錯誤的問題小結(jié)遠程監(jiān)督關(guān)系抽取存在的問題分段卷積計算方式多實例學(xué)習(xí)關(guān)系抽取方法關(guān)系抽取基于分段卷積神經(jīng)

網(wǎng)絡(luò)的關(guān)系抽取模型基于實例選擇性注意力

機制的關(guān)系抽取模型模型架構(gòu)上個模型的缺點包含錯誤標(biāo)簽的句子仍然會參與計算從而使用錯誤的標(biāo)簽進行梯度反向更新本模型優(yōu)點使用注意力機制為包中每個句子實例進行權(quán)重估計的方法減少誤差模型架構(gòu)句子編碼實例選擇詳細描述

小結(jié)上一個模型的問題本模型的改進模型架構(gòu)實體抽取關(guān)系抽取信息抽取評價標(biāo)準(zhǔn)發(fā)展概況現(xiàn)狀與挑戰(zhàn)目錄TIPSTER項目與MUC系列會議TIPSTER（1991-1998）文檔偵測信息抽取摘要MUC（1987-1998）MUC-1沒有明確的任務(wù)定義MUC-2規(guī)定了模板和槽填充MUC-3確定使用的評測標(biāo)準(zhǔn)MUC-4更復(fù)雜的模板（24個槽）MUC-5最復(fù)雜的模板（47個槽）MUC-6強調(diào)系統(tǒng)的可移植性MUC-7模板關(guān)系任務(wù)TIPSTER項目與MUC系列會議TIDES跨語言信息偵測信息抽取摘要ACE（1999-2005）Pilot階段：實體偵測與追蹤Phase-1Phase-2階段：實體和關(guān)系基于指稱匹配的評價標(biāo)準(zhǔn)混淆矩陣精確率、召回率、F1值遠程監(jiān)督模式中的評價標(biāo)準(zhǔn)Precision-Recall曲線（PR曲線）比較PR曲線下的面積（AreaUnderCurve，AUC）來評價效果的好壞Precision@N看top-N的分類結(jié)果中是否具有正類上一頁介紹的Precision可以看做是Precision@1一般多使用Precision@100、Precision@200、Precision@300以及三值的平均作為評價標(biāo)準(zhǔn)小結(jié)TIPSTER項目與MUC系列會議TIDES項目與ACE系列會議基于指稱匹配的評價標(biāo)準(zhǔn)遠程監(jiān)督模式中的評價標(biāo)準(zhǔn)實體抽取關(guān)系抽取信息抽取評價標(biāo)準(zhǔn)發(fā)展概況現(xiàn)狀與挑戰(zhàn)目錄實體抽取難點與挑戰(zhàn)命名實體抽取的難點是多方面的命名實體是一個開放的類，數(shù)量十分龐大，難以完全列舉命名實體并非一個穩(wěn)定的類，隨著時間的推移，不斷有新的命名實體產(chǎn)生并沒有可被共同遵循的嚴(yán)格命名規(guī)范關(guān)系抽取難點與挑戰(zhàn)目前可以投入使用的關(guān)系抽取方案大多是有監(jiān)督模式下的關(guān)系抽取對標(biāo)注語料的規(guī)模和覆蓋范圍有較嚴(yán)格的要求會使得一個領(lǐng)域下的關(guān)系抽取系統(tǒng)很難遷移到其他領(lǐng)域中去類別不平衡現(xiàn)象也對有監(jiān)督關(guān)系抽取的效果具有很大影響遠程監(jiān)督模式下的關(guān)系抽取目前離投入工業(yè)使用還存在一定的距離所依賴的數(shù)據(jù)構(gòu)造方法會引入極大的噪聲小結(jié)實體抽取的難點與挑戰(zhàn)關(guān)系抽取的難點與挑戰(zhàn)思考題句子“JamesSmithwasborninCanada”中存在兩個實體指稱，分別是PER類型的“JamesSmith”和GEP類型的“Canada”。若使用BIO模式標(biāo)注該如何標(biāo)注這個句子？若實體間存在重疊或嵌套的情況，該做如何改進？除了序列標(biāo)注之外，還有哪些可能的枚舉符號區(qū)間的模式？僅利用python3下的PyTorch和Numpy實現(xiàn)基于雙向LSTM和CRF的實體識別模型，在CoNLL2003數(shù)據(jù)集上進行實驗，序列使用BIO模式。分析CoNLL2003數(shù)據(jù)集，思考如何標(biāo)注一份NER數(shù)據(jù)？以及如何控制標(biāo)注質(zhì)量？簡述關(guān)系抽取中遠程監(jiān)督的假設(shè)，并分析遠程監(jiān)督關(guān)系抽取的優(yōu)缺點。僅利用python3下的PyTorch和Numpy實現(xiàn)基于分段卷積的關(guān)系抽取模型,在SemEval2010-Task8數(shù)據(jù)集的9類關(guān)系上進行實驗。當(dāng)一對實體在句子中存在多個關(guān)系時，該如何修改現(xiàn)有方法？如果輸入是純文本，該如何設(shè)計架構(gòu)，使得能得到實體識別和關(guān)系抽取結(jié)果？分析關(guān)系抽取數(shù)據(jù)集，思考數(shù)據(jù)標(biāo)注過程與NER有什么區(qū)別，對比NER是更簡單還是更難？為什么？問答系統(tǒng)人工智能導(dǎo)論智能問答系統(tǒng)---例子（1）智能問答系統(tǒng)---例子（2）如何判斷系統(tǒng)是否具有智能？圖靈測試本質(zhì)是問答形式因此，人工智能研究水平集中體現(xiàn)在智能問答能力上！匯報提綱：智能問答系統(tǒng)發(fā)展歷程輕量級知識圖譜的構(gòu)建對話系統(tǒng)問答系統(tǒng)輸入:問題，來源于用戶；數(shù)據(jù)集合，包含在系統(tǒng)中，如已有的語料等輸出:答案或者可能答案的集合例子描述Q&A系統(tǒng)的三個維度可以接受的問題

?

限定領(lǐng)域（指定主題）vs.開放領(lǐng)域（任意主題）系統(tǒng)包含的數(shù)據(jù)形式

?

結(jié)構(gòu)（e.g.,關(guān)系數(shù)據(jù)）vs.無結(jié)構(gòu)（e.g.,文本）形成答案的機制

?

抽?。╡.g.,文本片段）vs.產(chǎn)生式（e.g.,對話）Q&A研究的基本問題Q&A的發(fā)展歷程早期,基于結(jié)構(gòu)數(shù)據(jù)的問答系統(tǒng)問題答案語法分析語義分析數(shù)據(jù)查詢語句數(shù)據(jù)庫基本原理

–

將問題轉(zhuǎn)化為數(shù)據(jù)庫的查詢語言；?語法分析

(語言規(guī)則，啟發(fā)式規(guī)則等)?語義分析

(映射解析的請求為正式的查詢語言)

–

提交查詢到數(shù)據(jù)庫上得到結(jié)果AI時期去“映”例子-1LUNAR是回答關(guān)于Apollo11采集回來的巖石問題的系統(tǒng)；問題:

–

有樣本中鋁含量大于13%嗎??

查詢:

–(TEST(FORSOMEX1/(SEQSAMPLES):T;(CONTAINX1(NPR*X2/‘AL203)(GREATERTHAN13PCT))))?

答案:

–Yes例子-2問題：

“Listtheauthorswhohavewrittenbooksaboutbusiness”查詢：SELECTfirstname,lastnameFROMauthors,titleauthor,titlesWHEREauthors.id=titleauthor.authors_idANDtitleauthor.title_id=titles.id強調(diào)句法解析強調(diào)領(lǐng)域知識構(gòu)建花費巨大很脆弱?特別是在領(lǐng)域知識邊界的地方

?

所以在80年代慢慢轉(zhuǎn)為NLP風(fēng)格特點這類系統(tǒng)強調(diào)利用計算語言學(xué)的技術(shù)去減輕構(gòu)建Q&A系統(tǒng)的代價，同時利用Q&A系統(tǒng)作為框架去測試計算語言學(xué)理論代表系統(tǒng)是BerkeleyUnixConsultantproject(UC)早期：基于結(jié)構(gòu)化數(shù)據(jù)的問答系統(tǒng)計算語言學(xué)時期%UCWelcometoUC(UnixConsultant)version3.23ToaUC'#'prompt,pleasetypeinyourquestionsabouttheUnixfilesysteminEnglish.Toleave,justtypea'AD'or'(exit)'.Hi.HowcanIhelpyou?#HowcanIdeleteafile?Userm.Forexample,todeletethefilenamedfoo,type'rmfoo'.#Whatdoesrwhodo?

Rwhoisusedtolistallusersonthenetwork,theusers'tty,theusers'logintime,andtheusers'idletime.BerkeleyUnixConsultantproject(UC)90年代末以前的Q&A屬于限定域；---強調(diào)領(lǐng)域知識---構(gòu)建花費巨大---很脆弱?特別是在領(lǐng)域知識邊界的地方轉(zhuǎn)折點：QAtrackintheTREC-8（1999）Q&A研究從AI角度出發(fā)進入到從IR角度出發(fā)的時代同時，也進入了開放域研究的時代評論中期,基于自由文本的問答系統(tǒng)基本原理

1.問題分析

2.信息檢索

3.答案抽取去“抽”TRECQATrackhttp://日語問答評測平臺NTCIRhttp://research.nii.ac.jp/ntcir/workshop/多語言問答評測平臺CLEFhttp://r.it/評測QuestionExtract

KeywordsQuerySearch

EngineCorpusDocsPassage

ExtractorAnswersAnswer

SelectorAnswer“A50-bytepassagelikely

tocontainthedesiredanswer”(TRECQAtrack)“Asimplefactoid

question”TypicalTRECQAPipelineMeanReciprocalRank(MRR):Findtheordinal

positionofthecorrectanswerinyouroutput(1st

answer,2ndanswer,etc.)anddividebyone;average

overentiretestsuite.Sample

results自由文本可以是來自較好的封閉集合（如TREC），也可以是網(wǎng)絡(luò)數(shù)據(jù)；網(wǎng)絡(luò)文檔的缺點：---錯誤信息很多---日期信息不能很準(zhǔn)確地得到網(wǎng)絡(luò)文檔的優(yōu)點：---數(shù)量大---更新快評論FAQ在網(wǎng)絡(luò)上開始大量出現(xiàn)；CQA橫空出世；現(xiàn)代：基于問題答案對的問答系統(tǒng)基于FAQ的Q&A研究基于CQA的Q&A研究

質(zhì)量用語規(guī)范總量特定領(lǐng)域的數(shù)量社會網(wǎng)絡(luò)FAQ高規(guī)范大小無CQA良莠不齊口語化，不規(guī)范巨大大有FAQ與CQA的區(qū)別分類目錄問題title問題body答案1答案2投票投票用戶網(wǎng)絡(luò)頭銜CQA的特點用戶—問題，用戶—回答的網(wǎng)絡(luò)鼓勵用戶參與和互動的投票/頭銜等機制社會網(wǎng)絡(luò)專家網(wǎng)絡(luò)和社會評價系統(tǒng)CQA獨有的特點現(xiàn)代：基于問題答案對的問答系統(tǒng)問題分類關(guān)鍵詞提取關(guān)鍵詞擴展問題檢索查找候選問題返回最佳答案選擇候選答案QA對相關(guān)問題答案問題網(wǎng)絡(luò)用戶網(wǎng)絡(luò)交互模塊去“找”問題答案語法分析語義分析數(shù)據(jù)查詢語句數(shù)據(jù)庫去“映”去“抽”問題分類關(guān)鍵詞提取關(guān)鍵詞擴展問題檢索查找候選問題返回最佳答案選擇候選答案QA對相關(guān)問題答案問題網(wǎng)絡(luò)用戶網(wǎng)絡(luò)交互模塊去“找”①②③不同（時代）類型的QA系統(tǒng)早期,基于結(jié)構(gòu)數(shù)據(jù)中期,基于自由文本現(xiàn)代,基于QA對最近發(fā)展趨勢（1）問題答案語法分析語義分析數(shù)據(jù)查詢語句數(shù)據(jù)庫去“映”①問題答案語法分析語義分析大規(guī)模圖查詢知識圖譜去“映”④最近發(fā)展趨勢（2）DeepLearning最近發(fā)展趨勢（3）DeepL