垃圾郵件過濾

文本分析之垃圾郵件過濾系統(tǒng)小組成員：馬力15241043郝殊宇15241033陳思宇14261031林尹棋15241040李文哲15241038李文強15241037張佳慧15241058目錄Content文本分析簡介簡要介紹文本分析的概念、如何運作、主要功能和應(yīng)用貝葉斯垃圾郵件過濾算法原理介紹貝葉斯算法背后的數(shù)學(xué)模型與公式貝葉斯垃圾郵件過濾算法的應(yīng)用案例通過實際案例展示讓大家加深對該算法的理解簡述與總結(jié)概括貝葉斯算法運作規(guī)則，展望垃圾郵件過濾功能的未來1Part文本分析簡介簡要介紹文本分析的概念、如何運作、主要功能和應(yīng)用。Part1文本分析簡介

文本分析是指對文本的表示及其特征項的選取，即對文本進行科學(xué)的抽象，建立它的數(shù)學(xué)模型，用以描述和代替文本。使計算機能夠通過對這種模型的計算和操作來實現(xiàn)對文本的識別?；靖拍钊绾芜\作Part1文本分析簡介應(yīng)用：電子郵件管理文檔管理自動問答系統(tǒng)市場研究情報收集主要功能：文本總結(jié)文本分類文本聚類關(guān)聯(lián)分析分布分析趨勢預(yù)測Part1文本分析簡介今天，我們主要介紹文本分析在垃圾郵件過濾中的應(yīng)用，介紹如何通過貝葉斯算法對垃圾郵件進行過濾。2Part貝葉斯垃圾郵件過濾算法原理介紹貝葉斯算法背后的數(shù)學(xué)模型與公式。Part2貝葉斯垃圾郵件過濾算法原理Part2貝葉斯垃圾郵件過濾算法原理√

基于多項式模型和低風(fēng)險的貝葉斯垃圾郵件處理主要是利用兩個模型，將判別出的垃圾郵件不看作是一個準(zhǔn)確事件。再進一步的判別和確定，最終得出一個準(zhǔn)確率高的答案。采用貝葉斯多項式模型來對特征項利用率進行改進，同時采用低風(fēng)險策略來對郵件進行分類。我們的理解：3Part貝葉斯垃圾郵件過濾算法的應(yīng)用案例通過實際案例展示讓大家加深對該算法的理解。Part3貝葉斯垃圾郵件過濾算法的應(yīng)用案例例如：一封含有“法輪功”字樣的垃圾郵件A

和一封含有“法律”字樣的非垃圾郵件B

根據(jù)郵件A生成hashtable_bad，該哈希表中的記錄為

法：1次

輪：1次

功：1次

計算得在本表中：

法出現(xiàn)的概率為0.3

輪出現(xiàn)的概率為0.3

功出現(xiàn)的概率為0.3

根據(jù)郵件B生成hashtable_good，該哈希表中的記錄為：

法：1

律：1

計算得在本表中：

法出現(xiàn)的概率為0.5

律出現(xiàn)的概率為0.5

綜合考慮兩個哈希表，共有四個TOKEN串：法輪功律Part3貝葉斯垃圾郵件過濾算法的應(yīng)用案例當(dāng)郵件中出現(xiàn)“法”時，該郵件為垃圾郵件的概率為：

P=0.3/（0.3+0.5）=0.375

出現(xiàn)“輪”時：

P=0.3/（0.3+0）=1

出現(xiàn)“功“時：

P=0.3/（0.3+0）=1

出現(xiàn)“律”時

P=0/（0+0.5）=0；

由此可得第三個哈希表：hashtable_probability其數(shù)據(jù)為：

法：0.375輪：1功：1律：0

當(dāng)新到一封含有“功律”的郵件時，我們可得到兩個TOKEN串，功律

查詢哈希表hashtable_probability可得

P（垃圾郵件|功）=1

P（垃圾郵件|律）=0

此時該郵件為垃圾郵件的可能性為：

P=（0*1）/[0*1+（1-0）*（1-1）]=0（ps:實際應(yīng)用時應(yīng)該不能出現(xiàn)0，否則一項為零會影響全局）

由此可推出該郵件為非垃圾郵件4Part簡述與總結(jié)概括貝葉斯算法運作規(guī)則，展望垃圾郵件過濾功能的未來Part4簡述與總結(jié)簡述：1.收集大量垃圾郵件和非垃圾郵件，建立二者數(shù)據(jù)集分類2.編碼3.計算字符串出現(xiàn)概率4.自我學(xué)習(xí)5.接收郵件+判斷Part4簡述與總結(jié)Start技術(shù)系統(tǒng)客戶端“錯糾率”依舊較高，因此，要過濾垃圾郵件，必須將兩種或以上的技術(shù)合并使用,以達到有較好的過濾效果,降低誤判率。今客戶端郵件過濾器，重點考慮用戶個性化特征