TEXEM一種基于實(shí)體的郵件任務(wù)提取策略

1、TEXEM：一種基于實(shí)體的郵件任務(wù)提取策略張相於，陳繼東，李玉坤，孟小峰中國(guó)人民大學(xué)WAMDM實(shí)驗(yàn)室http:/EMC中國(guó)實(shí)驗(yàn)室演示綱要 研究動(dòng)機(jī) 相關(guān)工作 處理流程 事件提取 基于事件聚類(lèi)的任務(wù)構(gòu)造 任務(wù)空間向量 實(shí)驗(yàn)評(píng)估 總結(jié)&未來(lái)工作演示綱要 研究動(dòng)機(jī)研究動(dòng)機(jī) 相關(guān)工作 處理流程 事件提取 基于事件聚類(lèi)的任務(wù)構(gòu)造 任務(wù)空間向量 實(shí)驗(yàn)評(píng)估 總結(jié)&未來(lái)工作研究動(dòng)機(jī)（1） 電子郵件數(shù)據(jù)量劇增 IDC ：5 Exabyte商業(yè)郵件（1 Exabyte = 1 billion Gigabyte），2007四月。 電子郵件作用越來(lái)越豐富 任務(wù)管理任務(wù)管理，協(xié)作管理，存檔管理，聯(lián)系人管

2、理 人們處理郵件的時(shí)間十分有限 現(xiàn)有工具不能滿(mǎn)足需求 Outlook，Gmail 人們?nèi)孕枰止す芾磬]件中的任務(wù)。研究動(dòng)機(jī)（2）dear bhaiya i was making a list of all my contact addresses in USA. could u pls send ur complete address& ph/mobile. i am scheduled to come to US on 25th.regardsgautam5三個(gè)事件：1. Making a list.2. Send your address & number3. Schedu

3、led to come to US on 25th研究動(dòng)機(jī)（3） 我們提出一種基于實(shí)體的郵件任務(wù)提取框架TEXEM。 充分考慮電子郵件中的結(jié)構(gòu)信息。 從郵件中提取屬于不同實(shí)體的任務(wù)。 對(duì)任務(wù)進(jìn)行重要性評(píng)估。 提高用戶(hù)郵件管理的效率。6演示綱要 研究動(dòng)機(jī) 相關(guān)工作相關(guān)工作 處理流程 事件提取 基于事件聚類(lèi)的任務(wù)構(gòu)造 任務(wù)空間向量 實(shí)驗(yàn)評(píng)估 總結(jié)&未來(lái)工作相關(guān)工作（1） Gmail，Hotmail 可以提取形式較為規(guī)范的事件信息。相關(guān)工作（2） 演示綱要 研究動(dòng)機(jī) 相關(guān)工作 處理流程處理流程 事件提取 基于事件聚類(lèi)的任務(wù)構(gòu)造 任務(wù)空間向量 實(shí)驗(yàn)評(píng)估 總結(jié)&未來(lái)工作處理流程事件提取任

4、務(wù)構(gòu)造重要性評(píng)估11演示綱要 研究動(dòng)機(jī) 相關(guān)工作 處理流程 事件提取事件提取 基于事件聚類(lèi)的任務(wù)構(gòu)造 任務(wù)空間向量 實(shí)驗(yàn)評(píng)估 總結(jié)&未來(lái)工作事件提?。?） 每句話(huà)都可能包含一個(gè)事件。 一個(gè)事件具有如下結(jié)構(gòu)：Event=O, V, T, L, P, DO：事件所有者V：事件中的動(dòng)詞集合T：事件發(fā)生的時(shí)間L：事件發(fā)生的地點(diǎn)P：事件涉及的人的集合D：事件中的其他關(guān)鍵字事件提?。?）電子郵件詞性標(biāo)注標(biāo)識(shí)實(shí)意動(dòng)詞標(biāo)識(shí)人名標(biāo)識(shí)地名標(biāo)識(shí)時(shí)間事件集合事件提?。?） 事件合并 將不含有實(shí)意動(dòng)詞的句子與離它最近的事件合并：He is busy tomorrow for the meeting. 事件分解

5、如果句子含有and或but等連詞，并且連接的是分句而不是短語(yǔ)或詞。演示綱要 研究動(dòng)機(jī) 相關(guān)工作 處理流程 事件提取 基于事件聚類(lèi)的任務(wù)構(gòu)造基于事件聚類(lèi)的任務(wù)構(gòu)造 任務(wù)空間向量 實(shí)驗(yàn)評(píng)估 總結(jié)&未來(lái)工作基于事件聚類(lèi)的任務(wù)構(gòu)造（1） 實(shí)體識(shí)別 I，We，You。 第三人稱(chēng)實(shí)體。 基于實(shí)體的事件聚類(lèi) 將屬于某個(gè)實(shí)體的事件進(jìn)行聚類(lèi)。基于事件聚類(lèi)的任務(wù)構(gòu)造（2） 實(shí)體識(shí)別 識(shí)別出I，we和you。 識(shí)別出第三人稱(chēng)的名字：人名，組織名。 識(shí)別出第三人稱(chēng)代詞指代的實(shí)體：在該代詞前面，并且離它最近的對(duì)應(yīng)實(shí)體。 Mike is coming tomorrow, and he will bring som

6、e beers.基于事件聚類(lèi)的任務(wù)構(gòu)造（3） 基于實(shí)體的事件聚類(lèi) 基于事件構(gòu)造階段提取出來(lái)的事件所有者，進(jìn)行事件聚類(lèi)。 屬于同一實(shí)體的事件被聚類(lèi)到一起。 所有者為代詞的按照上述方法識(shí)別所有者。 無(wú)法識(shí)別的事件聚到一起。19基于事件聚類(lèi)的任務(wù)構(gòu)造（2）演示綱要 研究動(dòng)機(jī) 相關(guān)工作 處理流程 事件提取 基于事件聚類(lèi)的任務(wù)構(gòu)造 任務(wù)空間向量任務(wù)空間向量 實(shí)驗(yàn)評(píng)估 總結(jié)&未來(lái)工作任務(wù)空間向量(1) 每個(gè)人任務(wù)中的事件具有不同的重要性。 基于TF-IDF對(duì)任務(wù)中的事件進(jìn)行排序： Score(e) = Mean(weight(term in e) Weight(term) = factor*(TF

7、(term)*log(N/DF(term)任務(wù)空間向量(2)演示綱要 研究動(dòng)機(jī) 相關(guān)工作 處理流程 事件提取 基于事件聚類(lèi)的任務(wù)構(gòu)造 任務(wù)空間向量 實(shí)驗(yàn)評(píng)估實(shí)驗(yàn)評(píng)估 總結(jié)&未來(lái)工作實(shí)驗(yàn)評(píng)估（1） 實(shí)驗(yàn)環(huán)境 實(shí)驗(yàn)平臺(tái)：Java 數(shù)據(jù)集：Enron郵件數(shù)據(jù)集，1.2GB，150個(gè)用戶(hù)的500 000封郵件。 詞性標(biāo)注：PoSTagger。 實(shí)體標(biāo)注：ANNIE。實(shí)驗(yàn)評(píng)估（2） Enron郵件數(shù)據(jù)集 在安然公司出事后為調(diào)查案件被向公共開(kāi)放。 被MIT的研究者加工整理形成。 已知的最大的真實(shí)郵件數(shù)據(jù)集。26實(shí)驗(yàn)評(píng)估（3）實(shí)驗(yàn)評(píng)估（4）實(shí)驗(yàn)評(píng)估（5） 以人工對(duì)郵件進(jìn)行處理的結(jié)果為基準(zhǔn)值，對(duì)我們的方法從三個(gè)方面進(jìn)行評(píng)估： 任務(wù)提取召回率：能夠提取出多少任務(wù)。 任務(wù)評(píng)估準(zhǔn)確率：事件排序的準(zhǔn)確率。 實(shí)體識(shí)別準(zhǔn)確率：能正確識(shí)別多少實(shí)體。29任務(wù)提取召回率任務(wù)提取召回率73.27%任務(wù)評(píng)估準(zhǔn)確率任務(wù)評(píng)估準(zhǔn)確率54.49%實(shí)體識(shí)別準(zhǔn)確率實(shí)體識(shí)別準(zhǔn)確率66.48%演示綱要 研究動(dòng)機(jī) 相關(guān)工作 處理流程 事件提取 基于事件聚類(lèi)的任務(wù)構(gòu)造 任務(wù)空間向量 實(shí)驗(yàn)評(píng)估 總結(jié)總結(jié)