2024機(jī)器閱讀理解技術(shù)及應(yīng)用

2017賽變成了一個類似于ImageNet一樣大家可以刷榜的競賽，所有的人都在爭取第一，但這也同時變相的促進(jìn)了技術(shù)的進(jìn)步；最早MSA周銘老師的隊伍，后來科大訊飛和哈工大的老師一起做，成績也都不錯；SQuAD1.0的時候榜單上最好的成績是83%左右，但是后來斯關(guān)注Google出了個模型叫做Bert，我們內(nèi)部笑稱它是大力出奇跡，它的具體原理很簡單就是找一個model能夠融合我所有的數(shù)據(jù)，然后不管讓它自己訓(xùn)練去，Google資金充足算力強(qiáng)，需要等兩周，但對于我們普通公司來說，會等待更長的時間。NLP是一件比較綜合的事情，做好還是比較難的，我們這一行有兩個不太好的狀況我們現(xiàn)在拿到的GPU最早是給Image設(shè)計的，都是四四方方的，它對圖像處理是得天獨(dú)厚的NVDIA對圖像的處理20NLPDNNImage我們語言不是一個規(guī)則的東西，做結(jié)構(gòu)化分析和鏈?zhǔn)椒治龆疾皇呛芎米?，這些事情在GPU上運(yùn)行是非常非常難受的，需要做很多額外的預(yù)處理操作；回到Bert，它真的是大力出奇問答系統(tǒng)在自然語言處理里其實(shí)已經(jīng)有很多很多年了，他是一個NLP的標(biāo)桿性應(yīng)用，我們學(xué)生們的理解水平；現(xiàn)在問答在NLP里面有很多作為核心技術(shù)的應(yīng)用，比如說智能客服和siri圖1實(shí)用問答系統(tǒng)的舉例WolframAlpha圖2問題“明天需要帶傘嗎？”然后Bingbot，比較傳統(tǒng)的結(jié)構(gòu)它是一個模塊化的系統(tǒng)，第一步，有了用戶的query以后，我們并行計算querygoogledocs，然后我們在其中根據(jù)query匹配答案；閱讀理解跟基于搜索的問答非常像，只不過這個問答不用你圖3基于搜索的自動問答圖4接下來是端到端閱讀理解，閱讀理解數(shù)據(jù)集sQuAD我之前已經(jīng)講過，它是以Wikipedia（span）。還有一個不太有名的比較復(fù)雜的數(shù)據(jù)集是MSMARCO，它的問題來自搜索引span，還需要做一些提取和綜合答案，因?yàn)楸容^復(fù)雜，所以做圖5詞Focuswords，焦點(diǎn)詞分為顯性和隱性兩種，它聲明了答案的類型；第二步驟是在文章預(yù)期答案類型，同樣的問答類型的識別可以用粗顆粒答案類型和直接使用query中的焦點(diǎn)圖6模型整體結(jié)構(gòu)示意圖成四塊：最底層是Representation（特征表示層），作用是看這個詞在這個場景中是什么答案，我們要在model中把問題的信息通過這個機(jī)制對每一個字進(jìn)行重新表示，利用注意力機(jī)制融合問題和篇章信息，我們用的模型是Match-LSTM、BiDAF和DCA等；最后我spanSpan應(yīng)的細(xì)節(jié)大家可以再paper上面找，我這里就不詳細(xì)講了。如果大家想做這個方面的問答AI真正的落地。對話的用戶體驗(yàn)是一個更自然的體驗(yàn)，我對和個對話用戶體驗(yàn)很認(rèn)同。因?yàn)閷θ魏稳藖碚f最重要的事情就是時間；因?yàn)檫@個時間都是24小時，時間過去了再也不會學(xué)習(xí)App如何使用其實(shí)是我們并不關(guān)心的。我們年輕人來說還好，但是對于我們的父母和吃，我們并不關(guān)心App是在哪里？怎么用？如何選取優(yōu)惠現(xiàn)在慢慢的大家都開始關(guān)注小程popularApp吸引力了，有了小程序，可以慢