運營商智能DNS系統(tǒng)

1 成果上報申請書 成果名稱 運營商智能 DNS 系統(tǒng) 成果申報單位 北京公司 成果 承擔 部門 /分 公司 網(wǎng)絡部、網(wǎng)運中心 項目負責人姓名 項目負責人聯(lián)系電話 和 Email 項目參與人姓名 白愛軍 成果專業(yè)類別 * 數(shù)據(jù)網(wǎng)絡 所屬專業(yè)部門 * 網(wǎng)絡線條 成果研究類別 * 新產(chǎn)品開發(fā) 省內(nèi)評審結果 * 優(yōu)秀 關鍵詞索引（ 3 5個） 運營商 智能 DNS IDC 應用投資 80 萬元 產(chǎn)品版權歸屬單位 北京移動 對企業(yè)現(xiàn)有標準規(guī)范的符合度： 項目成果符合企業(yè)現(xiàn)有的標準規(guī)范。 如果該成果來源于研 發(fā)項目，請?zhí)顚懷邪l(fā)項目的年度、名稱和類型（類型包括：集團重點研發(fā)項目、集團聯(lián)合研發(fā)項目、省公司重點研發(fā)項目、其他研發(fā)項目），可填寫多個： 集團 2010 年聯(lián)合研發(fā)項目，成果內(nèi)容均由北京公司獨立承擔完成。 成果簡介： 簡要描述成果目的和意義，解決的問題，取得的社會和經(jīng)濟效益。 隨著中國移動數(shù)據(jù)業(yè)務的大力發(fā)展，網(wǎng)內(nèi) IDC 資源不足的問題越發(fā)突出，然而在中國移動引入部分 IDC 資源后我們發(fā)現(xiàn)， 盡管 中國移動引入 了 IDC 資源，部分中國移動用戶不能訪問中國移動 引入的這些 IDC 資源，反而還去訪問在電信聯(lián)通網(wǎng)內(nèi)的相同資源，其 本質(zhì)問題是 DNS 技術體制的問題，同時，我們發(fā)現(xiàn)由于 DNS 技術架構的問題，運營商 DNS 服務器解析效率 低 、安全性差 （電信 5.19 DNS 重大 電信 故障就是由于 DNS 架構不合理 所 導致） ； 另外， 由于 運營商 DNS完全是一個通道，其解析結果完全受 ICP 的授權 DNS 服務器“控制”，降低了其解析效率和性能 。 北京公司通過詳細分析傳統(tǒng) DNS 技術體制的不足結合中國移動數(shù)據(jù)業(yè)務發(fā)展的實際需求，在體系架構、解析流程 、個性化功能 等多層面 對傳統(tǒng) DNS 技術 的架構和 體制 進行優(yōu)化完善， 形成了整套的技術方案并成功開發(fā)了一套運營商智能 DNS 系統(tǒng)，系統(tǒng)即將上線運行，相關成果已 2 申請四項國家專利（兩項已通過集團評審、另外兩項專利正在集團評審中）， 依托該系統(tǒng)正在撰寫運營商智能 DNS 技術規(guī)范。 該系統(tǒng)能夠?qū)崿F(xiàn)本網(wǎng)用戶訪問本網(wǎng) IDC 資源的智能導向控制，并通過多種手段提升系統(tǒng)的解析效率及安全性，大大提高了用戶感知 ，其主要功能如下： 優(yōu)化系統(tǒng)架構： 現(xiàn)網(wǎng) DNS 服務器升級為前端 DNS 服務模塊，處理緩存查詢；后端智能DNS 服務器處理迭代查詢及其它優(yōu)化功能 ； IDC 資源定位精確性： DNS 遞歸查詢結果經(jīng) 智能 DNS 處理后，可準確定位至用戶歸屬 ISP的內(nèi)部 IDC 資源 ，解析結果不再受 ICP 及其它授權域名服務器控制； 優(yōu)化解析流程，提升 DNS 解析效率： 優(yōu)化解析流程，由 智能 DNS 代理 前端 DNS 完成遞歸查詢功能，并對遞歸查詢結果的 TTL 位及 TC 位進行優(yōu)化改寫； 智能 DNS 僅完成緩存查詢及本域查詢功能； 安全性提升： 前端 DNS 關閉 TCP 查詢功能，規(guī)避基于 TCP 的網(wǎng)絡攻擊； TTL 值的優(yōu)化改寫，規(guī)避緩存毒化的網(wǎng)絡攻擊； 前端 DNS/智能 DNS 上啟用對源地址的限制功能，規(guī)避了其它運營商用戶的網(wǎng)絡攻擊；有條件地啟用 DNSsec 功能； 啟用 ANYCAST： 前端多點 DNS 服務器啟用 anycast 的負載均衡方式，并統(tǒng)一將迭代查詢forward 給后端智能 DNS 服務器； 域名封堵及增值功能： 實現(xiàn)不良信息網(wǎng)站域名的封堵；能夠?qū)崿F(xiàn)將錯誤域名訪問、不良信息網(wǎng)站訪問解析至預配置頁面（廣告頁面等）；同時利用此功能，可滿足預制域名功能； 省內(nèi)試運行效果： 描述成果引入后在本省試運行方案、取得的效果、推廣價值和建議等。 本系統(tǒng)的部署非常簡單， 如下圖所示，僅需將現(xiàn)網(wǎng) DNS 服務器關閉迭代查詢功能，將需要迭代查詢的域名 forward 給后端智能 DNS 服務器即可，智能 DNS 服務器下掛在 CMNET 網(wǎng)絡上，前端 DNS服務器與智 能 DNS服務器之間的通信通過 CMNET 的 IGP協(xié)議進行聯(lián)通。 由后端智能 DNS服務器完成 遞歸查詢 及其它優(yōu)化功能。 3 C M NE T 北京城域網(wǎng)四層交換機（內(nèi)置防火墻）望京節(jié)點菜市口節(jié)點四層交換機（內(nèi)置防火墻）T D NST D NSS - D NS僅需現(xiàn)有 D N S進行數(shù)據(jù)配置新增僅需現(xiàn)有 D N S進行數(shù)據(jù)配置本系統(tǒng)的開發(fā)完全是中國移動自主知識產(chǎn)權，相關成果已申請四項國家專利（兩項已通過集團評審、另外兩項專利正在集團評審中），依托該系統(tǒng)正在撰寫運營商智能 DNS 技術規(guī)范。 本系統(tǒng)的推廣價值極高，通過部署能夠解決現(xiàn)網(wǎng) IDC 資源定位差、系統(tǒng)架構不合理、安全性差及解析效率低等諸多不足， 改善用戶感知 ，提高 DNS 系統(tǒng)本身性能 。 外省對該系統(tǒng)的引入不需要 每省部署一個智能 DNS 系統(tǒng)，可以多個省共用一個智能 DNS 后端服務器實現(xiàn)，大大降低投資成本。 文章主體（ 3000 字以上，可附在表格后）： 根據(jù)成果研究類別，主體內(nèi)容的要求有差異，具體要求見表格后的“填寫說明 6”。 4 一項目 背景 1 DNS 在互聯(lián)網(wǎng)訪問中的作用 DNS 解析是用戶訪問互聯(lián)網(wǎng)的第一步，將用戶需要訪問的網(wǎng)站域名翻譯為響應的服務器 IP 地址，為用戶與網(wǎng)站服務器的連接進行導航， DNS 解析結果的合理性本質(zhì)決定用戶訪問網(wǎng)頁的感知 。 一般用戶在瀏覽器輸 入域名 時 ，本地 DNS 系統(tǒng) 會 根據(jù) 不同類型 域名 對應 三種不同的解析策略： 本域查詢：若是 查詢 本地域名，會直接返回網(wǎng)站服務器的 IP 地址，比如北京移動接入用戶訪問北京移動網(wǎng)站時，由于北京移動網(wǎng)站是歸屬 于 北京移動本地 DNS 服務器解析，北京移動本地 DNS 服務器會直接把北京移動網(wǎng)站的 IP 地址返回給用戶； 緩存查詢：若是 查詢 非本地域名，但在 DNS 服務器的緩存中有相關域名的解析記錄（最近一段時間內(nèi)，解析過 此 域名的 IP，相關記錄保存在緩存中還沒有刪除）， DNS 服務器會到緩存中提取域名的解析 IP 地址返回給用戶； 迭代查詢：若是 查詢 非本地域名，且需要查詢的域名在緩存中也沒有相關記錄，則通過迭代過程查詢該域名對應的 IP 地址，以查詢 為例，其迭代查詢過程如下： 用戶主機將域名查詢請求發(fā)給本地 DNS 服務器； 本地 DNS 服務器收到請求后在本地域名數(shù)據(jù)庫及緩存中查找，如果查找到相關記錄，就將該域名對應的 IP 地址發(fā)給用戶主機； 若 DNS 服務器在本地域名數(shù)據(jù)庫及緩存中未查詢到相關記錄，本地 DNS 服務器向自己的根域服務器發(fā)出解析請求； 若根域 DNS 服務器無法解析，則返回管理 cn 域的 DNS 服務器的 IP 地址； 本地 DNS 服務器再將請求交給管理 cn 域的 DNS 服務器； 若管理 cn 域的 DNS 服務器無法解析，則返回管理 域的 DNS 服務器的地址； 本地 DNS 服務器再次把請求交給管理 域的 DNS 服務器，管理 域的 DNS 服務器再返回 域名服務器的地址； 最終，本地 DNS 服務器從 域名服務器獲得 網(wǎng)站服務器的 IP 地址結果，并將結果返回給接入用戶； 2運營商側(cè)的 DNS 系統(tǒng)在數(shù)據(jù)業(yè)務體驗中的不足： （ 1） 傳統(tǒng) DNS 系統(tǒng)解析地址不能貼近用戶歸屬運營商網(wǎng)絡 5 由于 DNS 技術本身的問題，會導致中國移動引入的 IDC 資源不能被部分中國移動用戶訪問，并且該 IDC 資源還會被部分聯(lián)通電信用戶訪問。 如上圖所示，中國移動在引入某些網(wǎng)站的 IDC 資源以后，中國移動用戶還會訪問在聯(lián)通和電信網(wǎng)內(nèi)的這些 IDC 資源。這條訪問路徑會跨越兩個運營商網(wǎng)絡，訪問路由變長，在其它運營商網(wǎng)絡內(nèi)的路徑無 法保障其 QOS，會導致數(shù)據(jù)丟包、時延抖動增加，嚴重影響用戶感知。 即中國移動在引入 IDC 后希望中國移動用戶按照流量 1 的路由訪問，但目前中國移動用戶還是按照流量 2 的路由訪問。 下表 為實際測試數(shù)據(jù)，表明運營商 A 的接入用戶在分別訪問新浪網(wǎng)站在運營商 A 的接入服務器和運營商 B 的接入服務器時的數(shù)據(jù)對比， 從實測數(shù)據(jù)中可以發(fā)現(xiàn)， PING 時延最大相差 100 倍以上，網(wǎng)頁總時延及網(wǎng)頁總速度相差 2 倍，在網(wǎng)頁訪問成功率上也有一定差距。 表 1：中國移動接入用戶訪問 ICP 資源的不同路由的指標對比 發(fā)生這種現(xiàn)象的本質(zhì)原因 是 盡管中國移動引入了 IDC，但 ICP 的授權 DNS 服務器反饋監(jiān)測點 指標 運營商 A 接入的新浪資源 運營商 B 接入的新浪資源運營商 A 的接入用戶站點 IP 221.179.180 .83 218.30.108. 63ping 最大時延 ( ms) 4 423ping 最小時延 ( ms) 4 246ping 平均時延 ( ms) 4 269ping 抖動 ( ms) 0 0ping 丟包率 (%) 0% 0%內(nèi)嵌完成百分比 100% 99%網(wǎng)頁總時延 ( ms) 8 7 8 2 1 6 5 3 6網(wǎng)頁總速度 ( 字節(jié) /s) 4 2 6 1 8 2 4 2 5 0訪問成功率 (%) 1 0 0 % 9 5 . 5 0 % 6 給 運營商 DNS 服務器的域名解析 IP 地址依舊是在電信聯(lián)通網(wǎng)內(nèi)的網(wǎng)站 IP 地址，也就是說運營商 DNS 服務器 還完全是一個通道，盡管引入了 IDC 資源，但中國移動用戶是否能訪問到本網(wǎng)內(nèi)的 IDC 資源還由 ICP 決定。 （ 2） 傳統(tǒng) DNS 服務器系統(tǒng)安全行差 傳統(tǒng) DNS 服務器的安全性主要體現(xiàn)在兩個方面 : 一時容易收到緩存攻擊，攻擊者會冒充 ICP 的 DNS 授權服務器給運營商 DNS 服務器發(fā)虛假的 DNS 響應報文，并篡改報文中的 A 記錄和 TTL 時間，把用戶請求正常域名劫持到一個非法網(wǎng)站上并將 TTL 值修改為一個極大 的時間，使得在相當長一段時間內(nèi) ,運營商服務范圍的所有用戶都會被劫持到非法網(wǎng)站，這種方式目前只能通過手工的緩存清除方式進行解決； 另外一個安全問題， DNS 應用是基于 TCP 和 UDP 的 53 號端口，用戶首先基于 UDP的 53 號端口進行訪問，在訪問失敗后會啟動 TCP 的 DNS 請求，然而，針對 DNS的攻擊有基于 UDP 的 DDOS 和基于 TCP 的 DDOS，系統(tǒng)大部分時間不利用 TCP 進行DNS 的應用，確為基于 TCP 的 DDOS 攻擊打開了攻擊的大門。 （ 3）傳統(tǒng) DNS 服務器的解析效率低 傳統(tǒng) DNS 服務器的解析效率低主要體現(xiàn)在三 個方面 : 首先是傳統(tǒng)的 DNS 服務器是將本域查詢與迭代查詢 在一個物理實體上實現(xiàn) 。緩存查詢占整個 DNS 解析量的 80以上，解析時延一般為毫秒級，時延相對較短；迭代查詢量不到整個 DNS 解析量的 20，解析時延一般為秒級，時延相對較長。當不足分析二：現(xiàn)有 IS P - D NS 系統(tǒng)安全性能差I S P D N S 系統(tǒng)其他 D N S 服務器國際頂級 D N S 服務器呵呵，看我怎么干掉你，T C P / U D P 兩個手段我都用假冒 D N S 服務器，我來欺騙一下，呵呵 ! 7 DNS 服務器被攻擊時，一般針對迭代查詢，系統(tǒng)會被迭代查詢占用掉所有 系統(tǒng)資源（ CPU 及內(nèi)存等），使得系統(tǒng)無法再為大量的緩存查詢提供服務。邏輯上分開后，即使網(wǎng)絡遭受針對迭代查詢的攻擊，緩存查詢不會受到影響。 傳統(tǒng)的 DNS 解析流程中，緩存查詢及迭代查詢在一個物理系統(tǒng)中實現(xiàn)，他們之間的實現(xiàn)邏輯順序是，當之前 DNS 解析結果的生命周期為 0 時，解析記錄在緩存中刪除，若再有用戶請求該域名，運營商 DNS 發(fā)起迭代查詢，這個時間一般會比較長（秒級），同時，在迭代查詢過程中，若有同樣的 DNS 域名請求，運營商 DNS還會發(fā)起同樣的域名解析請求進行迭代查詢。也就是說按照傳統(tǒng)流程的解析過程，一方面使得 DNS 解析時延非常大，另外會發(fā)生在迭代查詢階段，會同時掛起多個針對同一個域名的解析請求，大大消耗進程資源及系統(tǒng)資源、降低 DNS 解析效率，并容易收到 DNS 攻擊流量的控制。 TTL 值不合理導致 DNS 解析效率低下： 部分 DNS 解析報文到達用戶本地 DNS 服務器后，其報文生命周期（報文中通過 TTL 值標識）很短，比如 TTL 17 時（甚至部分 DNS 響應報文中 TTL 0），該報文只在緩存中生存 17 秒后就被刪除，也就是說， 17 秒之內(nèi)有用戶請求同一個域名解析時，采用緩存查詢，當 17 秒之后在有用戶請求該域名的解析時，采用迭代查詢。 TTL 值偏小，會使得 DNS 系統(tǒng)在短期內(nèi)重復迭代查詢同一個域名的 IP 地址，降低整個 DNS 系統(tǒng)的解析效率。 （ 4）傳統(tǒng) DNS 系統(tǒng)無法對不良域名進行封堵 錯誤域名 的 解析 量 占總解析量的 14， 大大降低了 DNS 系統(tǒng)的解析效率，傳統(tǒng) DNS服務器無法規(guī)避 ，不良信息網(wǎng)站訪問如何 通過智能 DNS 系統(tǒng)進行可配置的規(guī)避。 二 解決方案 詳細 內(nèi)容 1解決方案詳細介紹 通過對傳統(tǒng) DNS 技術架構進行優(yōu)化， 將傳統(tǒng) DNS 服務器按照功能割裂為前 端 DNS 服務模塊 和后端智能 DNS 服務模塊，前端 DNS 服務模塊負責本地查詢和緩存查詢，將需要迭代查 詢的域名發(fā)送給后端智能 DNS 服務模塊；后端智能 DNS 服務模塊負責迭代查詢，并針對迭代查詢結果（ ICP 側(cè) DNS 解析服務器返回的 DNS 解析響應）進行應用層信息改寫 A 記錄改寫，對應用層信息中的所有 A 記錄進行查詢，將對應 IP 地址是歸屬運營商的A 記錄放在 DNS 響應報文的第一個位置，報文重新封裝后返回給前端 DNS 服務模塊；若所有 A 記錄中均沒有歸屬運營商的 IP 地址，則不作處理直接將迭代查詢得到的 DNS 響應報 8 文直接透傳給前端 DNS 服務模塊。 針對可能存在的為接入用戶提供 DNS 服務的 DNS 服務器歸屬的運營商與接入用戶所屬的 運營商不一致的情況 ， 前端 DNS 服務模塊接收到接入用戶的域名解析請求時，將接入用戶的 IP 地址與歸屬運營商的 IP 地址段進行匹配，如果匹配正常執(zhí)行后續(xù)流程，如果不匹配，說明接入用戶來自其它運營商的網(wǎng)絡，僅為其進行本域查詢（比如： DNS 服務器歸屬運營商的官方網(wǎng)站等等），不執(zhí)行緩存查詢和解析查詢。 同時在 后端智能 DNS 服務模塊根據(jù)需求添加 TTL 值策略改寫和 TC 為改寫功能： TTL 值改寫： 將傳統(tǒng) DNS 優(yōu)化為前端及后端兩級架構并分別在前端模塊及后端模塊上實現(xiàn)緩存功能，前端緩存及后端緩存的 TTL 值能 夠智能修改并將二級緩存的 TTL 值設置一定的時間差值，以保證能對 ICP 返回的不合理 TTL 值進行智能修改，更重要的是，由于時間差的存在，完全規(guī)避了在用戶發(fā)起 DNS 請求時進行 DNS 迭代查詢的可行性，大大提高 DNS 解析時延、設備性能及安全性。 TC 位改寫：基于 UDP 的 DNS 響應報文超過 512 個字節(jié)時 ， DNS 響應報文 只返回前 512個字節(jié) ， 并將 DNS 響應報文中 TC 位為 置位為 1，表示該響應報文是被截斷的， 此時 用戶會認為該報文不完整，重新基于 TCP 發(fā)起 DNS 的請求。通過在后端智能 DNS 服務器上實現(xiàn)響應報文改寫功能 對超 長報文只保留 DNS響應報文中前 N個 IP地址的完整信息（ N 為一設定數(shù)量， N 小于等于 27 時，能保證字節(jié)在 512 以內(nèi)）； TC 位重置功能 針對于超長的 UDP 響應報文進行 TC 位重置，由“ 1”改為“ 0”，當這個被修改過的響應報文返回給前端 DNS 服務模塊后，前端 DNS 服務模塊會認為該報文是正常的 DNS 響應報文，運營商D N S服務器緩存查詢本域查詢迭代查詢S IN A域名解析服務器IC PD N S服務器用戶傳統(tǒng) D N S 解析流程智能 D N S 系統(tǒng)流程優(yōu)化架構優(yōu)化個性化功能用戶前端模塊緩存查詢運營商側(cè)智能 D N S本地查詢域名預處理控制管理模塊S IN A 域名解析服務器IC P D N S 服務器后端模塊迭代查詢IP 地址匘配TTL 值策略改寫TC 位改寫其它策略改寫策略庫 不良信息網(wǎng)站規(guī)避 個性定制化域名服務啟用 D N S s e c增強安全性 9 返回給用戶后，不再會發(fā)起基于 TCP 的連接。通過屏蔽基于 TCP 的 DNS 連接，規(guī)避了系統(tǒng)受到基于 TCP 的 DDOS 攻擊，提升了系統(tǒng)的抗 DDOS 攻擊能力。同時，由于不會再發(fā)起TCP 的連接進行域名的重新查詢，提高了 DNS 解析效率，降低了 DNS 的解析時延，大大提高了用戶訪問 ICP 資源的感知。 2 現(xiàn)網(wǎng)部署方式 本系統(tǒng)的部署非常簡單，如下圖所示，僅需將現(xiàn)網(wǎng) DNS 服務器關閉迭代查詢功能，將需要迭代查詢的域名 forward 給后端智能 DNS 服務器即可，智能 DNS 服務器下掛在CMNET 網(wǎng)絡上，前端 DNS 服務器與智能 DNS 服務器之間的通信通過 CMNET 的 IGP 協(xié)議進行聯(lián)通。由后端智能 DNS 服務器完成遞歸查詢及其它優(yōu)化功能。 外省對該系統(tǒng)的引入不需要每省部署一個智能 DNS 系統(tǒng)，可以多個省共用一個智能DNS 后端服務 器實現(xiàn)，大大降低投資成本。 三項目主要創(chuàng)新點 北京公司通過詳細分析傳統(tǒng) DNS 技術體制的不足結合中國移動數(shù)據(jù)業(yè)務發(fā)展的實際需求，在體系架構、解析流程、個性化功能等多層面對傳統(tǒng) DNS 技術的架構和體制進行優(yōu)化完善，形成了整套的技術方案并成功開發(fā)了一套運營商智能