反垃圾郵件技術(shù)分析與中文垃圾郵件過濾規(guī)則研究-PPT課件

1、反垃圾郵件技術(shù)分析與中文垃圾郵件過濾規(guī)則研究孫東紅 陳光英中國教育和科研計(jì)算機(jī)網(wǎng)緊急響應(yīng)組（Computer Emergency Response Team of China Education and Research Network)清華大學(xué)信息網(wǎng)絡(luò)工程研究中心(Network Research Center of Tsinghua Univ.)主要內(nèi)容 垃圾郵件的情況 反垃圾郵件技術(shù)分析垃圾郵件的定義垃圾郵件歷史現(xiàn)狀分析 中文垃圾郵件過濾規(guī)則研究 CCERT開展的反垃圾郵件工作垃圾郵件的定義 垃圾郵件：普通意義上的垃圾郵件指的是未經(jīng)主動請求的大量的電子郵件, SPAM, UBE(Unso

2、licited Bulk Email), UCE (Unsolicited Commercial Email) 收件人事先沒有提出要求或者同意接收的廣告、電子刊物、各種形式的宣傳品等宣傳性的電子郵件;收件人無法拒收的電子郵件； 隱藏發(fā)件人身份、地址、標(biāo)題等信息的電子郵件；含有虛假的信息源、發(fā)件人、路由等信息的電子郵件。主要內(nèi)容 垃圾郵件的情況 反垃圾郵件技術(shù)分析垃圾郵件的定義垃圾郵件歷史現(xiàn)狀分析 中文垃圾郵件過濾規(guī)則研究 CCERT開展的反垃圾郵件工作1985 年8 月一封通過電子郵件發(fā)送的鏈鎖信，一直持續(xù)到1993 年，這是首次關(guān)于垃圾郵件的記錄。1993 年6 月份，在Internet 上

3、出現(xiàn)了名為“Make Money Fast”的電子郵件。 1994 年4 月份，Canter &Siegel 的法律事務(wù)所把一封移民顧問服務(wù)廣告郵件發(fā)到6000 多個新聞組，一時間群情激奮。-首次用spam稱呼垃圾郵件。2019 年5 月出現(xiàn)第一個專門的垃圾郵件群發(fā)軟件Floodgate。分析：簡單郵件傳輸協(xié)議(SMTP)協(xié)議安全性存在不足： SMTP基于RFC 524發(fā)展而來，RFC524是在1973年提出的，它不是一個安全的命令集。這使得SMTP缺乏安全性保障。 發(fā)展歷史主要內(nèi)容 垃圾郵件的情況 反垃圾郵件技術(shù)分析垃圾郵件的定義垃圾郵件歷史現(xiàn)狀分析 中文垃圾郵件過濾規(guī)則研究 CCERT開展

4、的反垃圾郵件工作現(xiàn)狀分析-數(shù)據(jù)統(tǒng)計(jì)全球范圍統(tǒng)計(jì)，2019年垃圾郵件僅占電郵總量的7%，到2019年即達(dá)到29%，至2019年7月就超過了51%，2019年1月高達(dá)60%垃圾郵件的數(shù)量已經(jīng)超過了合法電子郵件的數(shù)量 ?，F(xiàn)狀分析-我國垃圾郵件形勢嚴(yán)峻2019年終統(tǒng)計(jì)顯示：中國郵件服務(wù)器總計(jì)接收到的垃圾郵件為1500億封，用戶實(shí)際共計(jì)收到垃圾郵件470億封，經(jīng)濟(jì)損失48億。第十四次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告顯示，我國網(wǎng)民在2019年7月份每周收到13.8封電子郵件，其中正常電子郵件為4.6封，垃圾郵件數(shù)卻達(dá)到9.2封。網(wǎng)民每周收到的垃圾郵件數(shù)是非垃圾郵件數(shù)的兩倍！商業(yè)宣傳郵件政治宣傳郵件色情宣傳郵件

5、病毒郵件現(xiàn)狀分析-常見垃圾郵件類型 愛蟲（ 2000-2-14）、 nimda（2019-9-19）、 求職信（2019-10-26）、 中文版求職信（2019-年5-10）、 怪物（2019-10-02）、 sobig（2019-1-11）、 愛情后門（2019-2-25）、 小郵差（2019-8-04）、 斯文（2019-9-19）、 MyDoom (SCO炸彈)（2019-1-27） Netsky及其變種（2019-今）發(fā)件人地址隨機(jī)變化郵件主題隨機(jī)變化偽造郵件頭干擾信息信體內(nèi)容隨機(jī)變化內(nèi)容正文以圖片方式顯示，難以識別對垃圾郵件的定義和分類因人而異垃圾郵件在不同時段內(nèi)的傳播內(nèi)容不一樣垃圾

6、郵件在不同范圍內(nèi)的傳播內(nèi)容不一樣現(xiàn)狀分析垃圾郵件的特點(diǎn)寬帶網(wǎng)絡(luò)的快速發(fā)展網(wǎng)絡(luò)通信成本的下降硬件性能的提高并且成本不斷降低成本與產(chǎn)出的巨大反差郵件的易偽造缺乏法律與規(guī)范的約束現(xiàn)狀分析-泛濫原因現(xiàn)狀分析危害國家層面：政治、經(jīng)濟(jì)、文化用戶層面：學(xué)習(xí)、工作、生活對于CERNET 內(nèi)的高校而言： 網(wǎng)絡(luò)安全性、穩(wěn)定性、高效性； 占用帶寬、存儲空間； 被列入各種黑名單； 被投訴；聲譽(yù)、國際影響；現(xiàn)狀分析- Spammers 的手段獲取目標(biāo)地址掃描、猜測、購買利用病毒從本地郵箱獲取聯(lián)絡(luò)人Email地址逃避檢測、追蹤和過濾的技術(shù)Open-Relay 自架設(shè) MTA服務(wù)采用動態(tài)IP地址偽造或隱藏信源地址逃避內(nèi)容過

7、濾： Graphics , URL, mis-spelling, etc. 欺騙（Phishing）技術(shù)If the message will not displayed automatically,follow the link to read the delivered message.Received message is available at:/inbox/dhx/read.php?sessionid-17370 郵件欺詐技術(shù)欺詐偽造的網(wǎng)頁主要內(nèi)容 垃圾郵件的情況 反垃圾郵件技術(shù)分析技術(shù)概覽垃圾郵件的響應(yīng)環(huán)節(jié)及措施郵件的傳輸過程及對垃圾郵件的控制 中文垃圾郵件過濾規(guī)則研究 CCER

8、T開展的反垃圾郵件工作技術(shù)概覽郵件服務(wù)系統(tǒng)的安全加固垃圾郵件過濾技術(shù)熱點(diǎn)討論技術(shù)增強(qiáng)郵件服務(wù)器的安全性，防止漏洞及時補(bǔ)丁提高系統(tǒng)防病毒能力提供郵件服務(wù)安全身份認(rèn)證添加反垃圾郵件的專用設(shè)備或插件IP、域名、郵件地址的黑白名單及BBL方式SMTP通信鏈接速率、頻度的設(shè)定反向域名驗(yàn)證基于信頭、信體、附件的內(nèi)容關(guān)鍵詞基于貝葉斯算法的統(tǒng)計(jì)分析基于匹配判定規(guī)則的方式電子郵票Challenge-ResponseDomainkeys、SenderIDSPF (sender policy framework)主要內(nèi)容 垃圾郵件的情況 反垃圾郵件技術(shù)分析技術(shù)概覽垃圾郵件的響應(yīng)環(huán)節(jié)及措施郵件的傳輸過程及對垃圾郵件的

9、控制 中文垃圾郵件過濾規(guī)則研究 CCERT開展的反垃圾郵件工作反垃圾郵件的技術(shù)環(huán)節(jié) 預(yù)防增強(qiáng)郵件服務(wù)器的安全性，防止漏洞及時補(bǔ)丁提高系統(tǒng)防病毒能力提供郵件服務(wù)安全身份認(rèn)證添加反垃圾郵件的專用設(shè)備或插件IP、域名、郵件地址的黑白名單及BBL方式SMTP通信鏈接速率、頻度的設(shè)定反向域名驗(yàn)證法基于信頭、信體、附件的內(nèi)容關(guān)鍵詞基于貝葉斯算法的統(tǒng)計(jì)分析基于垃圾郵件判定規(guī)則電子郵票Challenge-ResponseDomainkeys、SenderIDSPF (sender policy framework) 檢測 響應(yīng)丟棄(Drop)標(biāo)記（Lable）隔離（Quarantine主要內(nèi)容 垃圾郵件的情況

10、 反垃圾郵件技術(shù)分析技術(shù)概覽垃圾郵件的響應(yīng)環(huán)節(jié)及措施郵件的傳輸過程及對垃圾郵件的控制 中文垃圾郵件過濾規(guī)則研究 CCERT開展的反垃圾郵件工作郵件的傳輸過程OriginatorReceiverExternal-Relay布控點(diǎn)及相關(guān)措施（一）Originator端： 在發(fā)送郵件的服務(wù)器上采取措施：限制服務(wù)器發(fā)送郵件的速率、頻率規(guī)定郵件服務(wù)器開放服務(wù)的端口，關(guān)閉不必要的服務(wù)使用經(jīng)過認(rèn)證的MTA轉(zhuǎn)發(fā)郵件設(shè)定郵件用戶身份認(rèn)證方式 與郵件用戶間互簽安全協(xié)議對轉(zhuǎn)發(fā)郵件過程中的Relay 服務(wù)器身份認(rèn)證：布控點(diǎn)及相關(guān)技術(shù)（二）：可信任的信道，即每次中轉(zhuǎn)都采用可信賴的實(shí)體SSL/TLSPPP LogicSS

11、H：合法的對象源，對郵件信息可以做確認(rèn)S/MIMEPGP設(shè)置不同方式的過濾措施 Receiver 端：布控點(diǎn)及相關(guān)技術(shù)（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(Benefit Blackhole List)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗(yàn)證基于信頭、信體、附件的內(nèi)容關(guān)鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計(jì)分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在討論中的:SPF、 DMP、 RMXDomain keys訂制第三方服務(wù) 例如:DSBL、DCC、Razor、APFChallenge-res

12、ponse黑名單不占用計(jì)算機(jī)資源，易于實(shí)施 。需要手動維護(hù)的IP地址清單。垃圾郵件發(fā)送者經(jīng)常修改他們的IP地址，并采用一個廣泛的IP地址區(qū)間以逃避反垃圾郵件手段的檢測，因此該方案在總體的垃圾郵件解決方案中僅起補(bǔ)充作用。黑名單、白名單、灰名單設(shè)置不同方式的過濾措施 Receiver 端：布控點(diǎn)及相關(guān)技術(shù)（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(Benefit Blackhole List)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗(yàn)證基于信頭、信體、附件的內(nèi)容關(guān)鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計(jì)分析基于規(guī)則評分系統(tǒng)的過濾平臺例如

13、：SpamAssassin郵件病毒掃描正在討論中的:SPF、 DMP、 RMXDomain keys訂制第三方服務(wù) 例如:DSBL、DCC、Razor、APFChallenge-responseRBLs (實(shí)時黑名單)也被稱為DNS-RBLs, 檢查所有收到郵件的IP地址，與在RBL中的IP地址核對來阻斷與spammer 的連接。RBL服務(wù)運(yùn)營商維護(hù)公共RBLs, 使用單位僅需訂閱實(shí)時黑名單服務(wù)。 RBLs的計(jì)算開銷非常低，同時它們通常采用一個類似與DNS的協(xié)議實(shí)施，所以它們的網(wǎng)絡(luò)開銷也非常低。 RBLs缺點(diǎn)易于產(chǎn)生誤報(bào)，須謹(jǐn)慎。RBL工作原理SMTP服務(wù)器接收到鏈接請求對鏈接地址進(jìn)行DNS反

14、向查詢與RBL服務(wù)器建立查詢查詢得到肯定的結(jié)果，則拒絕該連接查詢無結(jié)果，繼續(xù)進(jìn)行連接設(shè)置不同方式的過濾措施 Receiver 端：布控點(diǎn)及相關(guān)技術(shù)（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(Benefit Blackhole List)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗(yàn)證基于信頭、信體、附件的內(nèi)容關(guān)鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計(jì)分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在討論中的:SPF、 DMP、 RMXDomain keys訂制第三方服務(wù) 例如:DSBL、DCC、Razor、AP

15、FChallenge-response檢查郵件內(nèi)容中含有的URL鏈接定義受益黑名單基于BBL過濾設(shè)置不同方式的過濾措施 Receiver 端：布控點(diǎn)及相關(guān)技術(shù)（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(Benefit Blackhole List)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗(yàn)證基于信頭、信體、附件的內(nèi)容關(guān)鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計(jì)分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在討論中的:SPF、 DMP、 RMXDomain keys訂制第三方服務(wù) 例如:DSBL、DCC、Ra

16、zor、APFChallenge-responseDOS(拒絕服務(wù))攻擊-垃圾郵件發(fā)送者經(jīng)常試圖通過在很短一段時間發(fā)送大量郵件阻塞郵件服務(wù)器 。速率控制允許在一段時間內(nèi)從相同IP試圖的聯(lián)接數(shù)量控制在設(shè)置的范圍內(nèi) 。鏈接頻度控制設(shè)置不同方式的過濾措施 Receiver 端：布控點(diǎn)及相關(guān)技術(shù)（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(Benefit Blackhole List)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗(yàn)證基于信頭、信體、附件的內(nèi)容關(guān)鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計(jì)分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAs

17、sassin郵件病毒掃描正在討論中的:SPF、 DMP、 RMXDomain keys訂制第三方服務(wù) 例如:DSBL、DCC、Razor、APFChallenge-response反向域名驗(yàn)證對收到郵件的來源IP地址采用反向DNS查找驗(yàn)證真實(shí)性 如果反向DNS查找提供的域與郵件上的來源IP地址相符合，該郵件被接受。如果不符合，該郵件被拒絕。由于很多反向DNS目錄未被有效建立 ，或無法正常建立，比如，任何”vanity”域名決大多數(shù)情況下沒有一個正確的反向DNS查找。在這種情況下，由這些域發(fā)送的郵件將被阻斷，造成不可接受的高誤報(bào)告率。簡單有效、可以阻斷絕大多數(shù)垃圾郵件；詞語過濾識別包含特定關(guān)鍵字

18、的所有郵件，比如“免費(fèi)”、“色情”等在垃圾郵件中經(jīng)常發(fā)現(xiàn)的詞語； 例如在MUA可以自定義過濾關(guān)鍵詞關(guān)鍵詞過濾集能夠持續(xù)升級Q：垃圾郵件發(fā)送者經(jīng)常將一些單詞拼錯，以圖饒過詞語過濾器，所以詞語過濾器需要經(jīng)常升級，加入關(guān)鍵字的變更。關(guān)鍵詞過濾法設(shè)置不同方式的過濾措施 Receiver 端：布控點(diǎn)及相關(guān)技術(shù)（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(Benefit Blackhole List)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗(yàn)證基于信頭、信體、附件的內(nèi)容關(guān)鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計(jì)分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：

19、SpamAssassin郵件病毒掃描正在討論中的:SPF、 DMP、 RMXDomain keys訂制第三方服務(wù) 例如:DSBL、DCC、Razor、APFChallenge-response貝葉斯過濾法貝葉斯算法：以著名數(shù)學(xué)家托馬斯貝葉斯（1702-1761)命名，一種基于概率分析的可能性推論理論。 分析過去事件的知識，預(yù)測未來事件 。貝葉斯過濾器與以前收到的垃圾郵件和合法郵件的中相同詞語及短語出現(xiàn)的概率對比來確定垃圾郵件的可能性。貝葉斯過濾法強(qiáng)大，是阻斷垃圾郵件最為精確的技術(shù)過濾準(zhǔn)確率可達(dá)到99%過濾準(zhǔn)確性依賴大量的歷史數(shù)據(jù)。設(shè)置不同方式的過濾措施 Receiver 端：布控點(diǎn)及相關(guān)技術(shù)（

20、三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(Benefit Blackhole List)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗(yàn)證基于信頭、信體、附件的內(nèi)容關(guān)鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計(jì)分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在討論中的:SPF、 DMP、 RMXDomain keys訂制第三方服務(wù) 例如:DSBL、DCC、Razor、APFChallenge-response基于規(guī)則評分的過濾系統(tǒng)系統(tǒng)代表SpamAssassin；集合人工智能技術(shù)的應(yīng)用系統(tǒng)；對發(fā)現(xiàn)的每一個關(guān)鍵詞賦予分

21、數(shù)，分?jǐn)?shù)越高，該郵件是垃圾郵件的可能性就越高 ；得分超過一定值時，該郵件將被分類為垃圾郵件?？梢郧宄?0%的收到郵件中的垃圾郵件。局限性：和詞語過濾面臨同樣的挑戰(zhàn)，為使評分有效，規(guī)則必須經(jīng)常更新。 設(shè)置不同方式的過濾措施 Receiver 端：布控點(diǎn)及相關(guān)技術(shù)（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(Benefit Blackhole List)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗(yàn)證基于信頭、信體、附件的內(nèi)容關(guān)鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計(jì)分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在

22、討論中的:SPF、 DMP、 RMXDomain keys訂制第三方服務(wù) 例如:DSBL、DCC、Razor、APFChallenge-response對于垃圾郵件的偽造域地址或偽造回復(fù)地址的有效阻斷技術(shù)SPF (Sender Policy Framework / Sender Permitted From ) 這是對SMTP協(xié)議的一個補(bǔ)充，防止發(fā)件人假冒,開放的標(biāo)準(zhǔn)，免費(fèi)。域(Domain)通過DNS發(fā)布反向MX記錄，告訴Internet哪些計(jì)算機(jī)可以從該域發(fā)送電子郵件。接收方收到郵件后，通過DNS查詢郵件來源是否符合源域的郵件發(fā)送策略。DMP (目標(biāo)發(fā)件人協(xié)議)、 RMX (反向郵件交換)

23、SPF、 DMP、 RMX -1SPF、RMX、DMP分別定義各自的反向MX記錄，以確定一封從某一特定域發(fā)送的郵件是否允許從特定的IP地址發(fā)出。不是從正確MX/SPF/DMP 地址區(qū)間產(chǎn)生的郵件地址被識別為偽造，郵件自身被標(biāo)記為垃圾郵件。 標(biāo)識：“RMX” for RMX, “SPF” for SPF, and “DMP” for DMP例如，可以定義SPF 記錄：v=spf2.0/pra ptr mx: mx: mx allSPF、 DMP、 RMX -2設(shè)置不同方式的過濾措施 Receiver 端：布控點(diǎn)及相關(guān)技術(shù)（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測

24、IP、域名、郵件地址的黑白名單、RBLBBL(Benefit Blackhole List)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗(yàn)證基于信頭、信體、附件的內(nèi)容關(guān)鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計(jì)分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在討論中的:SPF、 DMP、 RMXDomain keys訂制第三方服務(wù) 例如:DSBL、DCC、Razor、APFChallenge-responseDomain Keyssender域的所有者生成公鑰/私鑰對，私鑰用于所有發(fā)出郵件的簽名。公鑰通過DNS系統(tǒng)發(fā)布。當(dāng)授權(quán)用戶發(fā)送郵件時，郵件服務(wù)器自動產(chǎn)生郵件的數(shù)字簽名，作為郵件頭的一

25、部分發(fā)送給接收方。receiver接收服務(wù)器從郵件中提取簽名，從DNS系統(tǒng)中獲得發(fā)送域的公鑰，驗(yàn)證發(fā)送方的數(shù)字簽名。如果沒有簽名或簽名驗(yàn)證失敗，接收方可以拒絕、標(biāo)記或隔離該郵件。Yahoo！公司提出 設(shè)置不同方式的過濾措施 Receiver 端：布控點(diǎn)及相關(guān)技術(shù)（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(Benefit Blackhole List)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗(yàn)證基于信頭、信體、附件的內(nèi)容關(guān)鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計(jì)分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正

26、在討論中的:SPF、 DMP、 RMXDomain keys訂制第三方服務(wù) 例如:DSBL、DCC、Razor、APFChallenge-responseChallenge-Response對付那些郵件自動發(fā)送程序 該系統(tǒng)維護(hù)了一個允許發(fā)件人清單 ，新發(fā)件人郵件在發(fā)送前被暫時保留 ，challenge-response系統(tǒng)發(fā)送給郵件發(fā)件人一個測試 ，如果發(fā)件人成功完成“測試”，測試/回復(fù)系統(tǒng)將他加入到允許發(fā)件人的清單中，該郵件被發(fā)送到目標(biāo)地址。 測試信息通常要求發(fā)件人在回復(fù)郵件中復(fù)制一個數(shù)字到數(shù)字框中要求信息,或者包括一個URL鏈接。采用虛假發(fā)件人郵件地址將不可能收到測試信息 大量的非法郵件是

27、由病毒程序產(chǎn)生的。病毒掃描是減少垃圾郵件數(shù)量的一個重要手段。 病毒掃描主要內(nèi)容 垃圾郵件的情況 反垃圾郵件技術(shù)分析 CCERT開展的反垃圾郵件工作 中文垃圾郵件過濾規(guī)則研究CCERT反垃圾郵件工作歷史CERNET是國內(nèi)首先開展反垃圾郵件工作的組織之一2019年開始跟蹤國際反垃圾郵件組織的工作，開始處理國際相關(guān)組織對國內(nèi)Open-Relay服務(wù)器的投訴，通知用戶；2019年建立正式受理國際的投訴2019年成立CCERT，專人負(fù)責(zé)垃圾郵件相關(guān)工作，通過 受理國內(nèi)的投訴2019年CCERT召開CERNET范圍內(nèi)的垃圾郵件處理協(xié)調(diào)會議，全國10個地區(qū)網(wǎng)絡(luò)中心參加2019年 全國電子郵件服務(wù)器系統(tǒng)調(diào)查2

28、019年制定了CERNET關(guān)于制止垃圾郵件的管理規(guī)定CCERT反垃圾郵件工作歷史2019年組內(nèi)研究生完成了反垃圾郵件碩士論文2019年接受南方周末、中央電視臺東方時空、北京晨報(bào)等媒體采訪，引發(fā)了媒體對垃圾郵件的廣泛關(guān)注；2019年出版國內(nèi)第一本關(guān)于反垃圾郵件方面的專著垃圾郵件與反垃圾郵件技術(shù)2019年參加互聯(lián)網(wǎng)協(xié)會反垃圾郵件協(xié)調(diào)小組活動，擔(dān)任技術(shù)工作組負(fù)責(zé)單位2019年10月主辦中國反垃圾郵件技術(shù)會議CCAS20192019年9月發(fā)布國際第一套中文反垃圾郵件規(guī)則集合、并提供公益服務(wù)。CCERT反垃圾郵件技術(shù)組主頁CCERT反垃圾郵件體系Monitoring and detectionActiv

29、e controlInternetSMTPEmail gatewayRoutersSpam reportEndusersCcert-BLanalysis and StatisticFiltering plug-inSecurity configuration 主要內(nèi)容 垃圾郵件的情況 反垃圾郵件技術(shù)分析 CCERT開展的反垃圾郵件工作 中文垃圾郵件過濾規(guī)則研究垃圾郵件內(nèi)容過濾方法基于規(guī)則方法（2019）基于統(tǒng)計(jì)方法（20192019）統(tǒng)計(jì)規(guī)則方法（2019）概念基于規(guī)則方法尋找“垃圾郵件的特殊模式”，例如：主題包含“免費(fèi)”。基于統(tǒng)計(jì)方法文本自動分類，根據(jù)垃圾/正常樣本訓(xùn)練分類機(jī)概念圖正常郵件垃

30、圾郵件基于規(guī)則分類面基于統(tǒng)計(jì)分類面統(tǒng)計(jì)學(xué)習(xí)理論風(fēng)險(xiǎn)經(jīng)驗(yàn)風(fēng)險(xiǎn)實(shí)際風(fēng)險(xiǎn)hVC置信度過學(xué)習(xí)欠學(xué)習(xí)基于規(guī)則基于統(tǒng)計(jì)準(zhǔn)確性基于規(guī)則檢測垃圾郵件的準(zhǔn)確率高不能檢測新的垃圾郵件，即漏檢率高基于統(tǒng)計(jì)檢測垃圾郵件的準(zhǔn)確率不高能檢測新的垃圾郵件，即漏檢率低我可以容忍垃圾郵件，但絕不忍受正常郵件被丟掉！垃圾郵件查全率正常郵件誤判率目標(biāo) 90% 85% 5%參考值Return-Path: Received: from 21cn (68)by (MIMEDefang) with ESMTP id NOQUEUEfor ; Thu, 23 Dec 2019 10:40:21 +0800 (CST)Message-ID:

31、From: iflkgj Subject: =?GB2312?B?08W73bT6v6q3osax?=To: Content-Type: text/plain;charset=GB2312Reply-To: iflkgj21cnDate: Thu, 23 Dec 2019 10:54:34 +0800X-Priority: 2X-Mailer: Microsoft Outlook Express 6.00.2800.1158貴公司負(fù)責(zé)人(經(jīng)理/財(cái)務(wù))您好： 我公司是深圳市如意廣告有限公司，我公司實(shí)力雄厚，有著良好的社會關(guān)系。因我公司是定額稅額，每月有一部分普通廣告發(fā)票和其他服務(wù)發(fā)票（地稅）（2

32、%）.檢測對象基于統(tǒng)計(jì)基于規(guī)則應(yīng)用范圍客戶端客戶端服務(wù)器服務(wù)器基于規(guī)則（SpamAssassin）基于統(tǒng)計(jì)(貝葉斯)推廣性和時效性基于規(guī)則推廣性強(qiáng)時效性差基于統(tǒng)計(jì)時效性強(qiáng)推廣性差時效性推廣性基于規(guī)則基于統(tǒng)計(jì) ？語義問題？CCERT的新方法統(tǒng)計(jì)規(guī)則方法規(guī)則由統(tǒng)計(jì)方法自動生成推廣性時效性基于規(guī)則好差基于統(tǒng)計(jì)差好統(tǒng)計(jì)規(guī)則好好CCERT的新方法和傳統(tǒng)方法比較SpamAssassin (SA)免費(fèi)垃圾郵件過濾系統(tǒng)公開源代碼支持sendmail、qmail、Postfix、EximMTA、MUA、POP3基于規(guī)則，用戶自定義規(guī)則查準(zhǔn)率高，速度快廣泛使用SA規(guī)則例子bodyDEAR_FRIEND/s*Dea

33、r Friendb/idescribe DEAR_FRIEND Dear Friend? Thats not very dear!score DEAR_FRIEND 0.542正則表達(dá)式名字分值說明應(yīng)用范圍（信頭、信體、原始信體、原始郵件、URI）垃圾郵件判別方法總分值 6.3，閾值 5.0pts rule name description- - -0.5 DEAR_FRIENDDear Friend? Thats not very dear! 0.1 NORMAL_HTTP_TO_IP URI: Uses a dotted-decimal IP address in URL0.0 HTTP_ESCAPED_HOST URI: Uses %-escapes inside