反垃圾郵件技術分析與中文垃圾郵件過濾規(guī)則研究-課件

上傳人：c*** IP屬地：貴州上傳時間：2022-12-19 格式：PPT 頁數(shù)：150 大小：2.17MB 積分：25 舉報 版權申訴

已閱讀5頁，還剩145頁未讀，繼續(xù)免費閱讀

版權說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權，請進行舉報或認領

文檔簡介

反垃圾郵件技術分析與中文垃圾郵件過濾規(guī)則研究孫東紅陳光英中國教育和科研計算機網(wǎng)緊急響應組（ComputerEmergencyResponseTeamofChinaEducationandResearchNetwork)清華大學信息網(wǎng)絡工程研究中心(NetworkResearchCenterofTsinghuaUniv.)反垃圾郵件技術分析與中文垃圾郵件過濾規(guī)則研究孫東紅陳光1主要內(nèi)容

垃圾郵件的情況反垃圾郵件技術分析

垃圾郵件的定義垃圾郵件歷史現(xiàn)狀分析中文垃圾郵件過濾規(guī)則研究

CCERT開展的反垃圾郵件工作主要內(nèi)容垃圾郵件的情況反垃圾郵件技術分析

垃圾郵垃圾郵件的定義垃圾郵件：普通意義上的垃圾郵件指的是未經(jīng)主動請求的大量的電子郵件,SPAM,UBE(UnsolicitedBulkEmail),UCE(UnsolicitedCommercialEmail)

收件人事先沒有提出要求或者同意接收的廣告、電子刊物、各種形式的宣傳品等宣傳性的電子郵件;收件人無法拒收的電子郵件；隱藏發(fā)件人身份、地址、標題等信息的電子郵件；含有虛假的信息源、發(fā)件人、路由等信息的電子郵件。垃圾郵件的定義垃圾郵件：普通意義上的垃圾郵件指的是主要內(nèi)容

垃圾郵件的情況反垃圾郵件技術分析

垃圾郵件的定義垃圾郵件歷史現(xiàn)狀分析中文垃圾郵件過濾規(guī)則研究

CCERT開展的反垃圾郵件工作主要內(nèi)容垃圾郵件的情況反垃圾郵件技術分析

垃圾郵1985年8月一封通過電子郵件發(fā)送的鏈鎖信，一直持續(xù)到1993年，這是首次關于垃圾郵件的記錄。1993年6月份，在Internet上出現(xiàn)了名為“MakeMoneyFast”的電子郵件。1994年4月份，Canter&Siegel的法律事務所把一封移民顧問服務廣告郵件發(fā)到6000多個新聞組，一時間群情激奮。--首次用spam稱呼垃圾郵件。2019年5月出現(xiàn)第一個專門的垃圾郵件群發(fā)軟件Floodgate。分析：簡單郵件傳輸協(xié)議(SMTP)協(xié)議安全性存在不足：SMTP基于RFC524發(fā)展而來，RFC524是在1973年提出的，它不是一個安全的命令集。這使得SMTP缺乏安全性保障。

發(fā)展歷史發(fā)展歷史主要內(nèi)容

垃圾郵件的情況反垃圾郵件技術分析

垃圾郵件的定義垃圾郵件歷史現(xiàn)狀分析中文垃圾郵件過濾規(guī)則研究

CCERT開展的反垃圾郵件工作主要內(nèi)容垃圾郵件的情況反垃圾郵件技術分析

垃圾郵現(xiàn)狀分析-數(shù)據(jù)統(tǒng)計全球范圍統(tǒng)計，2019年垃圾郵件僅占電郵總量的7%，到2019年即達到29%，至2019年7月就超過了51%，2019年1月高達60%垃圾郵件的數(shù)量已經(jīng)超過了合法電子郵件的數(shù)量。現(xiàn)狀分析-數(shù)據(jù)統(tǒng)計現(xiàn)狀分析-我國垃圾郵件形勢嚴峻2019年終統(tǒng)計顯示：中國郵件服務器總計接收到的垃圾郵件為1500億封，用戶實際共計收到垃圾郵件470億封，經(jīng)濟損失48億。

《第十四次中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》顯示，我國網(wǎng)民在2019年7月份每周收到13.8封電子郵件，其中正常電子郵件為4.6封，垃圾郵件數(shù)卻達到9.2封。網(wǎng)民每周收到的垃圾郵件數(shù)是非垃圾郵件數(shù)的兩倍?。‖F(xiàn)狀分析-我國垃圾郵件形勢嚴峻2019年終統(tǒng)計顯示：中國郵件商業(yè)宣傳郵件政治宣傳郵件色情宣傳郵件病毒郵件現(xiàn)狀分析--常見垃圾郵件類型

愛蟲（2000-2-14）、nimda（2019-9-19）、求職信（2019-10-26）、中文版求職信（2019-年5-10）、怪物（2019-10-02）、sobig（2019-1-11）、愛情后門（2019-2-25）、小郵差（2019-8-04）、斯文（2019-9-19）、MyDoom(SCO炸彈)（2019-1-27）Netsky及其變種（2019-今）商業(yè)宣傳郵件現(xiàn)狀分析--常見垃圾郵件類型愛蟲（2000-發(fā)件人地址隨機變化郵件主題隨機變化偽造郵件頭干擾信息信體內(nèi)容隨機變化內(nèi)容正文以圖片方式顯示，難以識別對垃圾郵件的定義和分類因人而異垃圾郵件在不同時段內(nèi)的傳播內(nèi)容不一樣垃圾郵件在不同范圍內(nèi)的傳播內(nèi)容不一樣現(xiàn)狀分析—垃圾郵件的特點發(fā)件人地址隨機變化現(xiàn)狀分析—垃圾郵件的特點寬帶網(wǎng)絡的快速發(fā)展網(wǎng)絡通信成本的下降硬件性能的提高并且成本不斷降低成本與產(chǎn)出的巨大反差郵件的易偽造缺乏法律與規(guī)范的約束現(xiàn)狀分析--泛濫原因?qū)拵ЬW(wǎng)絡的快速發(fā)展現(xiàn)狀分析--泛濫原因現(xiàn)狀分析—危害國家層面：政治、經(jīng)濟、文化用戶層面：學習、工作、生活對于CERNET內(nèi)的高校而言：

網(wǎng)絡安全性、穩(wěn)定性、高效性；占用帶寬、存儲空間；被列入各種黑名單；被投訴；聲譽、國際影響；現(xiàn)狀分析—危害國家層面：政治、經(jīng)濟、文化網(wǎng)絡安全性、穩(wěn)定性現(xiàn)狀分析--Spammers的手段獲取目標地址掃描、猜測、購買利用病毒從本地郵箱獲取聯(lián)絡人Email地址逃避檢測、追蹤和過濾的技術Open-Relay自架設MTA服務采用動態(tài)IP地址偽造或隱藏信源地址逃避內(nèi)容過濾：Graphics,URL,mis-spelling,etc.欺騙（Phishing）技術現(xiàn)狀分析--Spammers的手段獲取目標地址<!DOCTYPEHTMLPUBLIC"-//W3C//DTDHTML4.0Transitional//EN">

<METAcontent="text/html;charset=iso-8859-1"=

http-equiv=Content-Type>

<METAcontent="MSHTML5.00.2920.0"name=GENERATOR>

</HEAD>

<BODYbgColor=#ffffff>Ifthemessagewillnotdisplayedautomatically,<br>

followthelinktoreadthedeliveredmessage.<br><br>

Receivedmessageisavailableat:<br>

<ahref=cid:031401Mfdab4$3f3dL780$7338701857W81fa70Reheight=0width=0>/inbox/dhx/read.php?sessionid-17370</a>

<iframe

src=cid:031401Mfdab4$3f3dL780$7338701857W81fa70Reheight=0width=0></iframe>

<DIV>

</DIV></BODY></HTML>郵件欺詐技術<!DOCTYPEHTMLPUBLIC"-//W3C/14欺詐——偽造的網(wǎng)頁欺詐——偽造的網(wǎng)頁15主要內(nèi)容垃圾郵件的情況

反垃圾郵件技術分析技術概覽垃圾郵件的響應環(huán)節(jié)及措施郵件的傳輸過程及對垃圾郵件的控制中文垃圾郵件過濾規(guī)則研究

CCERT開展的反垃圾郵件工作主要內(nèi)容垃圾郵件的情況反垃圾郵件技術分析技術概覽技術概覽郵件服務系統(tǒng)的安全加固垃圾郵件過濾技術熱點討論技術增強郵件服務器的安全性，防止漏洞及時補丁提高系統(tǒng)防病毒能力提供郵件服務安全身份認證添加反垃圾郵件的專用設備或插件IP、域名、郵件地址的黑白名單及BBL方式SMTP通信鏈接速率、頻度的設定反向域名驗證基于信頭、信體、附件的內(nèi)容關鍵詞基于貝葉斯算法的統(tǒng)計分析基于匹配判定規(guī)則的方式電子郵票Challenge-ResponseDomainkeys、SenderIDSPF(senderpolicyframework)技術概覽郵件服務系統(tǒng)的安全加固垃圾郵件過濾技術熱點討論技術增主要內(nèi)容垃圾郵件的情況

反垃圾郵件技術分析技術概覽垃圾郵件的響應環(huán)節(jié)及措施郵件的傳輸過程及對垃圾郵件的控制中文垃圾郵件過濾規(guī)則研究

CCERT開展的反垃圾郵件工作主要內(nèi)容垃圾郵件的情況反垃圾郵件技術分析技術概覽反垃圾郵件的技術環(huán)節(jié)預防增強郵件服務器的安全性，防止漏洞及時補丁提高系統(tǒng)防病毒能力提供郵件服務安全身份認證添加反垃圾郵件的專用設備或插件IP、域名、郵件地址的黑白名單及BBL方式SMTP通信鏈接速率、頻度的設定反向域名驗證法基于信頭、信體、附件的內(nèi)容關鍵詞基于貝葉斯算法的統(tǒng)計分析基于垃圾郵件判定規(guī)則電子郵票Challenge-ResponseDomainkeys、SenderIDSPF(senderpolicyframework)檢測響應丟棄(Drop)標記（Lable）隔離（Quarantine反垃圾郵件的技術環(huán)節(jié)預防增強郵件服務器的安全性，防止漏洞及主要內(nèi)容垃圾郵件的情況

反垃圾郵件技術分析技術概覽垃圾郵件的響應環(huán)節(jié)及措施郵件的傳輸過程及對垃圾郵件的控制中文垃圾郵件過濾規(guī)則研究

CCERT開展的反垃圾郵件工作主要內(nèi)容垃圾郵件的情況反垃圾郵件技術分析技術概覽郵件的傳輸過程OriginatorReceiverExternal-Relay郵件的傳輸過程OriginatorReceiverExter布控點及相關措施（一）Originator端：在發(fā)送郵件的服務器上采取措施：限制服務器發(fā)送郵件的速率、頻率規(guī)定郵件服務器開放服務的端口，關閉不必要的服務使用經(jīng)過認證的MTA轉(zhuǎn)發(fā)郵件設定郵件用戶身份認證方式與郵件用戶間互簽安全協(xié)議布控點及相關措施（一）Originator端：在發(fā)送郵件對轉(zhuǎn)發(fā)郵件過程中的Relay服務器身份認證：布控點及相關技術（二）：可信任的信道，即每次中轉(zhuǎn)都采用可信賴的實體SSL/TLSPPPLogicSSH：合法的對象源，對郵件信息可以做確認S/MIMEPGP對轉(zhuǎn)發(fā)郵件過程中的Relay服務器身份認證：布控點及相關技設置不同方式的過濾措施

Receiver端：布控點及相關技術（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(BenefitBlackholeList)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗證基于信頭、信體、附件的內(nèi)容關鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在討論中的:SPF、DMP、RMXDomainkeys訂制第三方服務例如:DSBL、DCC、Razor、APFChallenge-response設置不同方式的過濾措施Receiver端：布控點及相關RBLs(實時黑名單)也被稱為DNS-RBLs,檢查所有收到郵件的IP地址，與在RBL中的IP地址核對來阻斷與spammer的連接。RBL服務運營商維護公共RBLs,使用單位僅需訂閱實時黑名單服務。RBLs的計算開銷非常低，同時它們通常采用一個類似與DNS的協(xié)議實施，所以它們的網(wǎng)絡開銷也非常低。RBLs缺點易于產(chǎn)生誤報，須謹慎。RBLs(實時黑名單)也被稱為DNS-RBLs,檢查所有RBL工作原理SMTP服務器接收到鏈接請求對鏈接地址進行DNS反向查詢與RBL服務器建立查詢查詢得到肯定的結(jié)果，則拒絕該連接查詢無結(jié)果，繼續(xù)進行連接RBL工作原理SMTP服務器接收到鏈接請求設置不同方式的過濾措施

基于BBL過濾檢查郵件內(nèi)容中含有的URL鏈接基于BBL過濾30設置不同方式的過濾措施

Receiver端：布控點及相關技術（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(BenefitBlackholeList)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗證基于信頭、信體、附件的內(nèi)容關鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在討論中的:SPF、DMP、RMXDomainkeys訂制第三方服務例如:DSBL、DCC、Razor、APFChallenge-response設置不同方式的過濾措施Receiver端：布控點及相關反向域名驗證對收到郵件的來源IP地址采用反向DNS查找驗證真實性如果反向DNS查找提供的域與郵件上的來源IP地址相符合，該郵件被接受。如果不符合，該郵件被拒絕。由于很多反向DNS目錄未被有效建立，或無法正常建立，比如，任何”vanity”域名決大多數(shù)情況下沒有一個正確的反向DNS查找。在這種情況下，由這些域發(fā)送的郵件將被阻斷，造成不可接受的高誤報告率。反向域名驗證對收到郵件的來源IP地址采用反向DNS查找驗證真簡單有效、可以阻斷絕大多數(shù)垃圾郵件；詞語過濾識別包含特定關鍵字的所有郵件，比如“免費”、“色情”等在垃圾郵件中經(jīng)常發(fā)現(xiàn)的詞語；

例如在MUA可以自定義過濾關鍵詞關鍵詞過濾集能夠持續(xù)升級Q：垃圾郵件發(fā)送者經(jīng)常將一些單詞拼錯，以圖饒過詞語過濾器，所以詞語過濾器需要經(jīng)常升級，加入關鍵字的變更。關鍵詞過濾法簡單有效、可以阻斷絕大多數(shù)垃圾郵件；關鍵詞過濾法反垃圾郵件技術分析與中文垃圾郵件過濾規(guī)則研究-課件36反垃圾郵件技術分析與中文垃圾郵件過濾規(guī)則研究-課件37設置不同方式的過濾措施

Receiver端：布控點及相關技術（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(BenefitBlackholeList)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗證基于信頭、信體、附件的內(nèi)容關鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在討論中的:SPF、DMP、RMXDomainkeys訂制第三方服務例如:DSBL、DCC、Razor、APFChallenge-response設置不同方式的過濾措施Receiver端：布控點及相關貝葉斯過濾法貝葉斯算法：以著名數(shù)學家托馬斯?貝葉斯（1702-1761)命名，一種基于概率分析的可能性推論理論。分析過去事件的知識，預測未來事件。貝葉斯過濾器與以前收到的垃圾郵件和合法郵件的中相同詞語及短語出現(xiàn)的概率對比來確定垃圾郵件的可能性。貝葉斯過濾法強大，是阻斷垃圾郵件最為精確的技術過濾準確率可達到99%過濾準確性依賴大量的歷史數(shù)據(jù)。貝葉斯過濾法貝葉斯算法：以著名數(shù)學家托馬斯?貝葉斯（1702設置不同方式的過濾措施

Receiver端：布控點及相關技術（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(BenefitBlackholeList)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗證基于信頭、信體、附件的內(nèi)容關鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在討論中的:SPF、DMP、RMXDomainkeys訂制第三方服務例如:DSBL、DCC、Razor、APFChallenge-response設置不同方式的過濾措施Receiver端：布控點及相關基于規(guī)則評分的過濾系統(tǒng)系統(tǒng)代表SpamAssassin；集合人工智能技術的應用系統(tǒng)；對發(fā)現(xiàn)的每一個關鍵詞賦予分數(shù)，分數(shù)越高，該郵件是垃圾郵件的可能性就越高；得分超過一定值時，該郵件將被分類為垃圾郵件?？梢郧宄?0%的收到郵件中的垃圾郵件。局限性：和詞語過濾面臨同樣的挑戰(zhàn)，為使評分有效，規(guī)則必須經(jīng)常更新?；谝?guī)則評分的過濾系統(tǒng)系統(tǒng)代表SpamAssassin；設置不同方式的過濾措施

Receiver端：布控點及相關技術（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(BenefitBlackholeList)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗證基于信頭、信體、附件的內(nèi)容關鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在討論中的:SPF、DMP、RMXDomainkeys訂制第三方服務例如:DSBL、DCC、Razor、APFChallenge-response設置不同方式的過濾措施Receiver端：布控點及相關對于垃圾郵件的偽造域地址或偽造回復地址的有效阻斷技術SPF(SenderPolicyFramework/SenderPermittedFrom)這是對SMTP協(xié)議的一個補充，防止發(fā)件人假冒,開放的標準，免費。域(Domain)通過DNS發(fā)布反向MX記錄，告訴Internet哪些計算機可以從該域發(fā)送電子郵件。接收方收到郵件后，通過DNS查詢郵件來源是否符合源域的郵件發(fā)送策略。DMP(目標發(fā)件人協(xié)議)、RMX(反向郵件交換)SPF、DMP、RMX---1對于垃圾郵件的偽造域地址或偽造回復地址的有效阻斷技術SPF、SPF、RMX、DMP分別定義各自的反向MX記錄，以確定一封從某一特定域發(fā)送的郵件是否允許從特定的IP地址發(fā)出。不是從正確MX/SPF/DMP地址區(qū)間產(chǎn)生的郵件地址被識別為偽造，郵件自身被標記為垃圾郵件。標識：“RMX”forRMX,“SPF”forSPF,and“DMP”forDMP例如，可以定義SPF記錄：v=spf2.0/praptrmx:mx:mx~allSPF、DMP、RMX---2SPF、RMX、DMP分別定義各自的反向MX記錄，以確定一封設置不同方式的過濾措施

DomainKeyssender設置不同方式的過濾措施

Receiver端：布控點及相關技術（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(BenefitBlackholeList)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗證基于信頭、信體、附件的內(nèi)容關鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在討論中的:SPF、DMP、RMXDomainkeys訂制第三方服務例如:DSBL、DCC、Razor、APFChallenge-response設置不同方式的過濾措施Receiver端：布控點及相關Challenge-Response對付那些郵件自動發(fā)送程序該系統(tǒng)維護了一個允許發(fā)件人清單，新發(fā)件人郵件在發(fā)送前被暫時保留，challenge-response系統(tǒng)發(fā)送給郵件發(fā)件人一個測試，如果發(fā)件人成功完成“測試”，測試/回復系統(tǒng)將他加入到允許發(fā)件人的清單中，該郵件被發(fā)送到目標地址。測試信息通常要求發(fā)件人在回復郵件中復制一個數(shù)字到數(shù)字框中要求信息,或者包括一個URL鏈接。采用虛假發(fā)件人郵件地址將不可能收到測試信息Challenge-Response對付那些郵件自動發(fā)送程序大量的非法郵件是由病毒程序產(chǎn)生的。病毒掃描是減少垃圾郵件數(shù)量的一個重要手段。

病毒掃描大量的非法郵件是由病毒程序產(chǎn)生的。病毒掃描是減少垃圾郵件數(shù)量主要內(nèi)容垃圾郵件的情況反垃圾郵件技術分析

CCERT開展的反垃圾郵件工作中文垃圾郵件過濾規(guī)則研究主要內(nèi)容垃圾郵件的情況反垃圾郵件技術分析CCERT反垃圾郵件工作歷史CERNET是國內(nèi)首先開展反垃圾郵件工作的組織之一2019年開始跟蹤國際反垃圾郵件組織的工作，開始處理國際相關組織對國內(nèi)Open-Relay服務器的投訴，通知用戶；2019年建立正式受理國際的投訴2019年成立CCERT，專人負責垃圾郵件相關工作，通過受理國內(nèi)的投訴2019年CCERT召開CERNET范圍內(nèi)的垃圾郵件處理協(xié)調(diào)會議，全國10個地區(qū)網(wǎng)絡中心參加2019年全國電子郵件服務器系統(tǒng)調(diào)查2019年制定了CERNET關于制止垃圾郵件的管理規(guī)定CCERT反垃圾郵件工作歷史CERNET是國內(nèi)首先開展反垃圾CCERT反垃圾郵件工作歷史2019年組內(nèi)研究生完成了反垃圾郵件碩士論文2019年接受南方周末、中央電視臺東方時空、北京晨報等媒體采訪，引發(fā)了媒體對垃圾郵件的廣泛關注；2019年出版國內(nèi)第一本關于反垃圾郵件方面的專著《垃圾郵件與反垃圾郵件技術》2019年參加互聯(lián)網(wǎng)協(xié)會反垃圾郵件協(xié)調(diào)小組活動，擔任技術工作組負責單位2019年10月主辦中國反垃圾郵件技術會議CCAS20192019年9月發(fā)布國際第一套中文反垃圾郵件規(guī)則集合、并提供公益服務。CCERT反垃圾郵件工作歷史2019年組內(nèi)研究生完成了反垃圾CCERT反垃圾郵件技術組主頁CCERT反垃圾郵件技術組主頁53CCERT反垃圾郵件體系MonitoringanddetectionActive

controlInternetSMTPEmailgatewayRoutersSpamreportEndusersCcert-BLanalysisandStatisticFilteringplug-inSecurityconfiguration

CCERT反垃圾郵件體系MonitoringActive主要內(nèi)容垃圾郵件的情況反垃圾郵件技術分析

CCERT開展的反垃圾郵件工作

中文垃圾郵件過濾規(guī)則研究主要內(nèi)容垃圾郵件的情況反垃圾郵件技術分析垃圾郵件內(nèi)容過濾方法基于規(guī)則方法（~2019）基于統(tǒng)計方法（2019~2019）統(tǒng)計規(guī)則方法（2019~）垃圾郵件內(nèi)容過濾方法基于規(guī)則方法概念基于規(guī)則方法尋找“垃圾郵件的特殊模式”，例如：主題包含“免費”?；诮y(tǒng)計方法文本自動分類，根據(jù)垃圾/正常樣本訓練分類機概念基于規(guī)則方法概念圖正常郵件垃圾郵件基于規(guī)則分類面基于統(tǒng)計分類面概念圖正常郵件垃圾郵件基于規(guī)則分類面基于統(tǒng)計分類面統(tǒng)計學習理論風險經(jīng)驗風險實際風險hVC置信度過學習欠學習基于規(guī)則基于統(tǒng)計統(tǒng)計學習理論風險經(jīng)驗風險實際風險hVC置信度過學習欠學習基于準確性基于規(guī)則檢測垃圾郵件的準確率高不能檢測新的垃圾郵件，即漏檢率高基于統(tǒng)計檢測垃圾郵件的準確率不高能檢測新的垃圾郵件，即漏檢率低我可以容忍垃圾郵件，但絕不忍受正常郵件被丟掉！垃圾郵件查全率正常郵件誤判率目標>90%<1%實際>85%<5%參考值準確性基于規(guī)則我可以容忍垃圾郵件，但絕不忍受正常郵件被丟掉！Return-Path:<iflkgj21cn>Received:from21cn([68]) by(MIMEDefang)withESMTPidNOQUEUE for<>;Thu,23Dec201910:40:21+0800(CST)Message-ID:<201912231040.0.290978336465205>From:"iflkgj"<iflkgj21cn>Subject:=?GB2312?B?08W73bT6v6q3osax?=To:Content-Type:text/plain;charset="GB2312"Reply-To:iflkgj21cnDate:Thu,23Dec201910:54:34+0800X-Priority:2X-Mailer:MicrosoftOutlookExpress6.00.2800.1158貴公司負責人(經(jīng)理/財務)您好：我公司是深圳市如意廣告有限公司，我公司實力雄厚，有著良好的社會關系。因我公司是定額稅額，每月有一部分普通廣告發(fā)票和其他服務發(fā)票（地稅）（2%）……..檢測對象基于統(tǒng)計基于規(guī)則Return-Path:<iflkgj21cn>檢測對象基應用范圍客戶端客戶端服務器服務器基于規(guī)則（SpamAssassin）基于統(tǒng)計(貝葉斯)應用范圍客戶端客戶端服務器服務器基于規(guī)則基于統(tǒng)計推廣性和時效性基于規(guī)則推廣性強時效性差基于統(tǒng)計時效性強推廣性差時效性推廣性基于規(guī)則基于統(tǒng)計？語義問題？推廣性和時效性基于規(guī)則時效性推廣性基于規(guī)則基于統(tǒng)計？語義CCERT的新方法統(tǒng)計規(guī)則方法規(guī)則由統(tǒng)計方法自動生成推廣性時效性基于規(guī)則好差基于統(tǒng)計差好統(tǒng)計規(guī)則好好CCERT的新方法和傳統(tǒng)方法比較CCERT的新方法統(tǒng)計規(guī)則方法推廣性時效性基于規(guī)則好差基于統(tǒng)SpamAssassin(SA)免費垃圾郵件過濾系統(tǒng)公開源代碼支持sendmail、qmail、Postfix、EximMTA、MUA、POP3基于規(guī)則，用戶自定義規(guī)則查準率高，速度快廣泛使用SpamAssassin(SA)免費垃圾郵件過濾系統(tǒng)SA規(guī)則例子body DEAR_FRIEND /^\s*DearFriend\b/idescribe DEAR_FRIEND DearFriend?That'snotverydear!score DEAR_FRIEND 0.542正則表達式名字分值說明應用范圍（信頭、信體、原始信體、原始郵件、URI）SA規(guī)則例子body DEAR_FRIEND /^\s*D垃圾郵件判別方法總分值6.3，閾值5.0

ptsrulename

description

----------------------------------------------------------------------------

0.5DEAR_FRIEND DearFriend?That’snotverydear!

0.1NORMAL_HTTP_TO_IP

URI:Usesadotted-decimalIPaddressinURL

0.0HTTP_ESCAPED_HOST

URI:Uses%-escapesinsideaURL'shostname

0.5HTML_60_70

BODY:Messageis60%to70%HTML

0.0HTML_MESSAGE

BODY:HTMLincludedinmessage

2.9HTML_IMAGE_ONLY_08

BODY:HTML:imageswith400-800bytesofwords

1.0HTML_FONT_LOW_CONTRASTBODY:HTMLfontcolorsimilartobackground

1.2MIME_HTML_ONLY

BODY:Messageonlyhastext/htmlMIMEparts所有規(guī)則都檢查計算總分值：匹配的規(guī)則的分值之和總分值大于閾值則是垃圾郵件垃圾郵件判別方法總分值6.3，閾值5.0

ptsrSA對中文的支持SA主要針對英文垃圾郵件缺乏中文規(guī)則英文規(guī)則對中文郵件的影響CCERT的中文垃圾郵件過濾規(guī)則集Chinese_rules.cf(/spam/sa/Chinese_rules.htm)SA對中文的支持SA主要針對英文垃圾郵件CCERT的中文垃圾Chinese_rules.cf的運行框架垃圾郵件樣本規(guī)則集自動生成郵件服務器POP3代理服務器客戶端下載CCERT提供服務各地用戶Chinese_rules.cf的運行框架垃圾郵件樣本規(guī)則集Chinese_rules.cf的匹配速度Chinese_rules.cf包含約500條規(guī)則規(guī)則簡單則匹配快Subject規(guī)則占90%、Body規(guī)則占10%普通PC(P42.8G)匹配一個大小為5.0K的郵件需要0.04秒每天能處理216萬封郵件語義問題？Chinese_rules.cf的匹配速度Chinese_rChinese_rules.cf的準確率閾值垃圾郵件查全率（共3.5萬）正常郵件誤判率（共14.3萬）0.577.4%4.4%170.8%1.6%1.564.4%0.8%256.9%0.3%2.550.2%0.1%344.3%0.0%3.538.8%0.0%Chinese_rules.cf的準確率閾值垃圾郵件查全率正Chinese_rules.cf的進展用戶查看規(guī)則統(tǒng)計用戶使用規(guī)則統(tǒng)計從9月7日至12月15日Chinese_rules.cf的進展用戶查看規(guī)則統(tǒng)計用戶使SA把超過4.5的郵件判為Spam，本郵件分值為10.3如果沒有中文規(guī)則集，本郵件分值只有3.1，將會判為正常郵件SA把超過4.5的郵件判為Spam，本郵件分值為10.3如總結(jié)推廣性、時效性和語義問題垃圾和正常郵件樣本用戶反饋信息與在線學習Chinese_rules.cf和其它規(guī)則的沖突語義問題在規(guī)則上的體現(xiàn)多種方法的結(jié)合總結(jié)推廣性、時效性和語義問題Thanks!Spamservice:86-10-62784301

Email:qa

Tel:86-10-62795818-6222Address:MainBuildingRoom310,TsinghuaUniv.Beijing,China100084Thanks!75反垃圾郵件技術分析與中文垃圾郵件過濾規(guī)則研究孫東紅陳光英中國教育和科研計算機網(wǎng)緊急響應組（ComputerEmergencyResponseTeamofChinaEducationandResearchNetwork)清華大學信息網(wǎng)絡工程研究中心(NetworkResearchCenterofTsinghuaUniv.)反垃圾郵件技術分析與中文垃圾郵件過濾規(guī)則研究孫東紅陳光76主要內(nèi)容

垃圾郵件的情況反垃圾郵件技術分析

垃圾郵件的定義垃圾郵件歷史現(xiàn)狀分析中文垃圾郵件過濾規(guī)則研究

CCERT開展的反垃圾郵件工作主要內(nèi)容垃圾郵件的情況反垃圾郵件技術分析

垃圾郵垃圾郵件的定義垃圾郵件：普通意義上的垃圾郵件指的是未經(jīng)主動請求的大量的電子郵件,SPAM,UBE(UnsolicitedBulkEmail),UCE(UnsolicitedCommercialEmail)

垃圾郵件的情況反垃圾郵件技術分析

垃圾郵件的定義垃圾郵件歷史現(xiàn)狀分析中文垃圾郵件過濾規(guī)則研究

CCERT開展的反垃圾郵件工作主要內(nèi)容垃圾郵件的情況反垃圾郵件技術分析

發(fā)展歷史發(fā)展歷史主要內(nèi)容

垃圾郵件的情況反垃圾郵件技術分析

垃圾郵件的定義垃圾郵件歷史現(xiàn)狀分析中文垃圾郵件過濾規(guī)則研究

CCERT開展的反垃圾郵件工作主要內(nèi)容垃圾郵件的情況反垃圾郵件技術分析

《第十四次中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》顯示，我國網(wǎng)民在2019年7月份每周收到13.8封電子郵件，其中正常電子郵件為4.6封，垃圾郵件數(shù)卻達到9.2封。網(wǎng)民每周收到的垃圾郵件數(shù)是非垃圾郵件數(shù)的兩倍??！現(xiàn)狀分析-我國垃圾郵件形勢嚴峻2019年終統(tǒng)計顯示：中國郵件商業(yè)宣傳郵件政治宣傳郵件色情宣傳郵件病毒郵件現(xiàn)狀分析--常見垃圾郵件類型

<METAcontent="text/html;charset=iso-8859-1"=

http-equiv=Content-Type>

<METAcontent="MSHTML5.00.2920.0"name=GENERATOR>

</HEAD>

<BODYbgColor=#ffffff>Ifthemessagewillnotdisplayedautomatically,<br>

followthelinktoreadthedeliveredmessage.<br><br>

Receivedmessageisavailableat:<br>

<ahref=cid:031401Mfdab4$3f3dL780$7338701857W81fa70Reheight=0width=0>/inbox/dhx/read.php?sessionid-17370</a>

<iframe

src=cid:031401Mfdab4$3f3dL780$7338701857W81fa70Reheight=0width=0></iframe>

<DIV>

</DIV></BODY></HTML>郵件欺詐技術<!DOCTYPEHTMLPUBLIC"-//W3C/89欺詐——偽造的網(wǎng)頁欺詐——偽造的網(wǎng)頁90主要內(nèi)容垃圾郵件的情況

反垃圾郵件技術分析技術概覽垃圾郵件的響應環(huán)節(jié)及措施郵件的傳輸過程及對垃圾郵件的控制中文垃圾郵件過濾規(guī)則研究

基于BBL過濾檢查郵件內(nèi)容中含有的URL鏈接基于BBL過濾105設置不同方式的過濾措施

Receiver端：布控點及相關技術（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(BenefitBlackholeList)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗證基于信頭、信體、附件的內(nèi)容關鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在討論中的:SPF、DMP、RMXDomainkeys訂制第三方服務例如:DSBL、DCC、Razor、APFChallenge-response設置不同方式的過濾措施Receiver端：布控點及相關反向域名驗證對收到郵件的來源IP地址采用反向DNS查找驗證真實性如果反向DNS查找提供的域與郵件上的來源IP地址相符合，該郵件被接受。如果不符合，該郵件被拒絕。由于很多反向DNS目錄未被有效建立，或無法正常建立，比如，任何”vanity”域名決大多數(shù)情況下沒有一個正確的反向DNS查找。在這種情況下，由這些域發(fā)送的郵件將被阻斷，造成不可接受的高誤報告率。反向域名驗證對收到郵件的來源IP地址采用反向DNS查找驗證真簡單有效、可以阻斷絕大多數(shù)垃圾郵件；詞語過濾識別包含特定關鍵字的所有郵件，比如“免費”、“色情”等在垃圾郵件中經(jīng)常發(fā)現(xiàn)的詞語；

例如在MUA可以自定義過濾關鍵詞關鍵詞過濾集能夠持續(xù)升級Q：垃圾郵件發(fā)送者經(jīng)常將一些單詞拼錯，以圖饒過詞語過濾器，所以詞語過濾器需要經(jīng)常升級，加入關鍵字的變更。關鍵詞過濾法簡單有效、可以阻斷絕大多數(shù)垃圾郵件；關鍵詞過濾法反垃圾郵件技術分析與中文垃圾郵件過濾規(guī)則研究-課件111反垃圾郵件技術分析與中文垃圾郵件過濾規(guī)則研究-課件112設置不同方式的過濾措施

Receiver端：布控點及相關技術（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(BenefitBlackholeList)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗證基于信頭、信體、附件的內(nèi)容關鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在討論中的:SPF、DMP、RMXDomainkeys訂制第三方服務例如:DSBL、DCC、Razor、APFChallenge-response設置不同方式的過濾措施Receiver端：布控點及相關貝葉斯過濾法貝葉斯算法：以著名數(shù)學家托馬斯?貝葉斯（1702-1761)命名，一種基于概率分析的可能性推論理論。分析過去事件的知識，預測未來事件。貝葉斯過濾器與以前收到的垃圾郵件和合法郵件的中相同詞語及短語出現(xiàn)的概率對比來確定垃圾郵件的可能性。貝葉斯過濾法強大，是阻斷垃圾郵件最為精確的技術過濾準確率可達到99%過濾準確性依賴大量的歷史數(shù)據(jù)。貝葉斯過濾法貝葉斯算法：以著名數(shù)學家托馬斯?貝葉斯（1702設置不同方式的過濾措施

Receiver端：布控點及相關技術（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(BenefitBlackholeList)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗證基于信頭、信體、附件的內(nèi)容關鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在討論中的:SPF、DMP、RMXDomainkeys訂制第三方服務例如:DSBL、DCC、Razor、APFChallenge-response設置不同方式的過濾措施Receiver端：布控點及相關基于規(guī)則評分的過濾系統(tǒng)系統(tǒng)代表SpamAssassin；集合人工智能技術的應用系統(tǒng)；對發(fā)現(xiàn)的每一個關鍵詞賦予分數(shù)，分數(shù)越高，該郵件是垃圾郵件的可能性就越高；得分超過一定值時，該郵件將被分類為垃圾郵件?？梢郧宄?0%的收到郵件中的垃圾郵件。局限性：和詞語過濾面臨同樣的挑戰(zhàn)，為使評分有效，規(guī)則必須經(jīng)常更新。基于規(guī)則評分的過濾系統(tǒng)系統(tǒng)代表SpamAssassin；設置不同方式的過濾措施

Receiver端：布控點及相關技術（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(BenefitBlackholeList)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗證基于信頭、信體、附件的內(nèi)容關鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在討論中的:SPF、DMP、RMXDomainkeys訂制第三方服務例如:DSBL、DCC、Razor、APFChallenge-response設置不同方式的過濾措施Receiver端：布控點及相關對于垃圾郵件的偽造域地址或偽造回復地址的有效阻斷技術SPF(SenderPolicyFramework/SenderPermittedFrom)這是對SMTP協(xié)議的一個補充，防止發(fā)件人假冒,開放的標準，免費。域(Domain)通過DNS發(fā)布反向MX記錄，告訴Internet哪些計算機可以從該域發(fā)送電子郵件。接收方收到郵件后，通過DNS查詢郵件來源是否符合源域的郵件發(fā)送策略。DMP(目標發(fā)件人協(xié)議)、RMX(反向郵件交換)SPF、DMP、RMX---1對于垃圾郵件的偽造域地址或偽造回復地址的有效阻斷技術SPF、SPF、RMX、DMP分別定義各自的反向MX記錄，以確定一封從某一特定域發(fā)送的郵件是否允許從特定的IP地址發(fā)出。不是從正確MX/SPF/DMP地址區(qū)間產(chǎn)生的郵件地址被識別為偽造，郵件自身被標記為垃圾郵件。標識：“RMX”forRMX,“SPF”forSPF,and“DMP”forDMP例如，可以定義SPF記錄：v=spf2.0/praptrmx:mx:mx~allSPF、DMP、RMX---2SPF、RMX、DMP分別定義各自的反向MX記錄，以確定一封設置不同方式的過濾措施

DomainKeyssender設置不同方式的過濾措施

Receiver端：布控點及相關技術（三）基于流量的入侵檢測基于honeypot或miningfield 的檢測IP、域名、郵件地址的黑白名單、RBLBBL(BenefitBlackholeList)基于鏈接速率、頻度的動態(tài)規(guī)則反向域名驗證基于信頭、信體、附件的內(nèi)容關鍵詞過濾基于貝葉斯的內(nèi)容統(tǒng)計分析基于規(guī)則評分系統(tǒng)的過濾平臺例如：SpamAssassin郵件病毒掃描正在討論中的:SPF、DMP、RMXDomainkeys訂制第三方服務例如:DSBL、DCC、Razor、APFChallenge-response設置不同方式的過濾措施Receiver端：布控點及相關Challenge-Response對付那些郵件自動發(fā)送程序該系統(tǒng)維護了一個允許發(fā)件人清單，新發(fā)件人郵件在發(fā)送前被暫時保留，challenge-response系統(tǒng)發(fā)送給郵件發(fā)件人一個測試，如果發(fā)件人成功完成“測試”，測試/回復系統(tǒng)將他加入到允許發(fā)件人的清單中，該郵件被發(fā)送到目標地址。測試信息通常要求發(fā)件人在回復郵件中復制一個數(shù)字到數(shù)字框中要求信息,或者包括一個URL鏈接。采用虛假發(fā)件人郵件地址將不可能收到測試信息Challenge-Response對付那些郵件自動發(fā)送程序大量的非法郵件是由病毒程序產(chǎn)生的。病毒掃描是減少垃圾郵件數(shù)量的一個重要手段。

病毒掃描大量的非法郵件是由病毒程序產(chǎn)生的。病毒掃描是減少垃圾郵件數(shù)量主要內(nèi)容垃圾郵件的情況反垃圾郵件技術分析

CCERT開展的反垃圾郵件工作中文垃圾郵件過濾規(guī)則研究主要內(nèi)容垃圾郵件的情況反垃圾郵件技術分析CCERT反垃圾郵件工作歷史CERNET是國內(nèi)首先開展反垃圾郵件工作的組織之一2019年開始跟蹤國際反垃圾郵件組織的工作，開始處理國際相關組織對國內(nèi)Open-Relay服務器的投訴，通知用戶；2019年建立正式受理國際的投訴2019年成立CCERT，專人負責垃圾郵件相關工作，通過受理國內(nèi)的投訴2019年CCERT召開CERNET范圍內(nèi)的垃圾郵件處理協(xié)調(diào)會議，全國10個地區(qū)網(wǎng)絡中心參加2019年全國電子郵件服務器系統(tǒng)調(diào)查2019年制定了CERNET關于制止垃圾郵件的管理規(guī)定CCERT反垃圾郵件工作歷史CERNET是國內(nèi)首先開展反垃圾CCERT反垃圾郵件工作歷史2019年組內(nèi)研究生完成了反垃圾郵件碩士論文2019年接受南方周末、中央電視臺東方時空、北京晨報等媒體采訪，引發(fā)了媒體對垃圾郵件的廣泛關注；2019年出版國內(nèi)第一本關于反垃圾郵件方面的專著《垃圾郵件與反垃圾郵件技術》2019年參加互聯(lián)網(wǎng)協(xié)會反垃圾郵件協(xié)調(diào)小組活動，擔任技術工作組負責單位2019年10月主辦中國反垃圾郵件技術會議CCAS20192019年9月發(fā)布國際第一套中文反垃圾郵件規(guī)則集合、并提供公益服務。CCERT反垃圾郵件工作歷史2019年組內(nèi)研究生完成了反垃圾CCERT反垃圾郵件技術組主頁CCERT反垃圾郵件技術組主頁128CCERT反垃圾郵件體系MonitoringanddetectionActive

controlInternetSMTPEmailgatewayRoutersSpamreportEndusersCcert-BLanalysisandStatisticFilteringplug-inSecurityconfiguration

CCERT反垃圾郵件體系MonitoringActive主要內(nèi)容垃圾郵件的情況反垃圾郵件技術分析

CCERT開展的反垃圾郵件工作

人人文庫> 全部分類> 教育資料 > 課件下載

溫馨提示

1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負責。
6. 下載文件中如有侵權或不適當內(nèi)容，請與我們聯(lián)系，我們立即糾正。
7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

反垃圾郵件技術分析與中文垃圾郵件過濾規(guī)則研究-課件

文檔簡介

溫馨提示

最新文檔

評論

反垃圾郵件技術分析與中文垃圾郵件過濾規(guī)則研究-課件

文檔簡介

溫馨提示

最新文檔

評論

相關文檔