陜西電信DNS系統(tǒng)優(yōu)化建議書

1 陜西電信 DNS系統(tǒng)優(yōu)化 工程 項(xiàng)目 系統(tǒng)規(guī)劃技術(shù) 方案 北京融海恒信咨詢有限公司 2008 年 10 月 2 目 錄 一、 DNS 系統(tǒng)優(yōu)化升級(jí)設(shè)計(jì)目標(biāo) . 3 二、陜西電信 DNS 平臺(tái)優(yōu)化調(diào)整方案 . 3 1、 DNS 系統(tǒng)性能優(yōu)化方案目標(biāo) . 3 2、陜西電信 DNS 系統(tǒng)優(yōu)化調(diào)整技術(shù)依據(jù) . 6 3、陜西電信 DNS 優(yōu)化調(diào)整部署方案 . 7 4、陜西電信 DNS 優(yōu)化升級(jí)方案預(yù)算 . 10 附件 1：陜西電信近期 DNS 流量統(tǒng)計(jì)表 . 11 附件 2：基于 DNS 的電信增值業(yè)務(wù)平臺(tái)解決方案 Vantio. 12 3 一、 DNS 系統(tǒng) 優(yōu)化 升級(jí) 設(shè)計(jì)目標(biāo) 1、 繼續(xù)加強(qiáng) DNS 系統(tǒng)穩(wěn)定性，優(yōu)化 DNS 平臺(tái) ， 降低 DNS 系統(tǒng)的維護(hù)量和維護(hù)成本 ； 2、 按照客戶類型進(jìn)行 DNS 業(yè)務(wù)分級(jí)，確保重要客戶的使用體驗(yàn) ，針對(duì)大客戶，部署專門的 DNS 服務(wù)器 ，實(shí)現(xiàn)對(duì)大客戶服務(wù)質(zhì)量的提升同時(shí) 為實(shí)現(xiàn) 對(duì)大客戶互聯(lián)網(wǎng)使用習(xí)慣的分析 提供數(shù)據(jù)基礎(chǔ) ； 3、搭建一個(gè)可管理及深層分析的 DNS 平臺(tái)，為后續(xù)客戶數(shù)據(jù)挖掘和客戶行為分析提供有效數(shù)據(jù)，基于 DNS 系統(tǒng)數(shù)據(jù)為業(yè)務(wù)系統(tǒng)提供有價(jià)值的客戶分析支撐 ，實(shí)現(xiàn)對(duì) 互聯(lián)網(wǎng)用戶訪問行為習(xí)慣等的挖掘和分析 ； 二、 陜西電信 DNS 平臺(tái) 優(yōu)化調(diào)整 方案 1、 DNS 系統(tǒng)性能優(yōu)化方案 目標(biāo) (1)、 DNS 的 業(yè)務(wù) 分 級(jí) (建立 VIP 客戶專屬 DNS 服務(wù)器 ) 目前陜西全省寬帶用戶共用一套 DNS 系統(tǒng)，當(dāng)系統(tǒng)繁忙后者遭到攻擊的時(shí)候，所有用戶的業(yè)務(wù)都受到影響。根據(jù)用戶的業(yè)務(wù)級(jí)別，電信需要在 DNS 層次上提供分級(jí)服務(wù)，例如，對(duì)應(yīng) Gold 級(jí)別的用戶，需要最大限度的保證 DNS 服務(wù)的穩(wěn)定性和低延時(shí)，提高用戶體驗(yàn)。 目前，用戶 DNS 服務(wù)的分級(jí)控制有以下兩種方案： 1、 建立一套 VIP 用戶專用的 DNS 服務(wù)器，只對(duì) VIP 用 戶的 IP 開放服務(wù)，服務(wù)器設(shè)計(jì)負(fù)載應(yīng)小于 20%，保證用戶查詢的相應(yīng)速度。 2、 在現(xiàn)有 DNS 架構(gòu)的基礎(chǔ)上， 在網(wǎng)絡(luò)上設(shè)置 QOS 優(yōu)先級(jí)，保證 VIP 用戶流量的優(yōu)先級(jí)最高。 （ 2） 、 建立可分析的 DNS 業(yè)務(wù)平臺(tái) 為了實(shí)現(xiàn)數(shù)據(jù)分析功能，要求 DNS 系統(tǒng)可以提供所有用戶請(qǐng)求的原始數(shù)據(jù)，在原 始數(shù)據(jù)的基礎(chǔ)上，用戶可以實(shí)現(xiàn)定制的分析功能，例如 ： Top N 數(shù)據(jù)的采集 、某些域名訪問量的統(tǒng)計(jì) 、二級(jí)域名訪問排行、 IP 分類排行、用戶興趣分析 等等。 4 在基于 Bind 的解決方案中，由于 Syslog 功能會(huì)消耗大量 CPU 資源，不建議在現(xiàn)網(wǎng)中實(shí)施。 Nominum 公司的 CNS/Vantio 支持實(shí)時(shí)的 syslog，用戶也可以直接把 log 記錄到文件，文件 log 的方式會(huì)帶來約 20%的 CPU overhead。用戶可以通過配置選項(xiàng)定制 log 的記錄內(nèi)容，包括管理員修改記錄，用戶請(qǐng)求記錄等等。 缺省的數(shù)據(jù)記錄格式如下： 1193996470.512 2#32923 . IN A 另外一種解決方案就是在二層交換機(jī)上通過鏡像功能把所有 DNS 相關(guān)數(shù)據(jù)傳送到第三方服務(wù)器上，在第三方服務(wù)器上通過包分析和包記錄工具實(shí)時(shí)記錄所有原始數(shù)據(jù) 。 （ 3） 、遞歸查詢和緩存功能的分離 效果試驗(yàn) 陜西電信現(xiàn)有 DNS 服務(wù)器 7 臺(tái)，分布部署在二長以及西華門機(jī)房。 硬件平臺(tái)均為 SUN X4200，節(jié)點(diǎn)內(nèi)部 DNS 服務(wù)器連接到二層交換機(jī) Cisco 3650 上。前端為四層交換機(jī) AD3020。 本次調(diào)整中將對(duì) 遞歸查詢和緩存功能的分離 效果進(jìn)行實(shí)際現(xiàn)網(wǎng)試驗(yàn)。 緩存域名服務(wù)器實(shí)現(xiàn)的 DNS 功能由以前兩部分組成： 1、接受客戶發(fā)起的 DNS 請(qǐng)求，并將緩存內(nèi)的 DNS 記錄返回給用戶 2、當(dāng)緩存內(nèi)沒有相應(yīng)記錄的時(shí)候，服務(wù)器到互聯(lián)網(wǎng)上執(zhí)行遞歸查詢，獲得相應(yīng)記錄放入緩存，并把結(jié)果返回給客戶 。 相關(guān)系統(tǒng)性能研究表明，第二部分功能也就是遞歸查詢的功能消耗了大量的CPU 資源，以下是 SUN X4200 上的測(cè)試數(shù)據(jù)： Hardware Remote ANS Local ANS Cold Cache Hot Cache Cold Cache Hot Cache qps Latency qps latency qps latency qps latency X4100 2.8G cpu 2G Mem Solaris 10 18467 1.6 108892 .3 16586 1.8 108978 .3 18396 1.9 110177 .3 16498 2.1 108738 .3 18743 1.7 111212 .4 16830 3.0 110092 .4 18400 3.0 111572 .5 16838 3.3 110195 .5 17969 3.3 111205 .5 16575 3.6 110658 .5 5 18513 4.0 112255 .6 16596 4.5 110753 .6 18530 4.3 112421 .6 16286 4.9 110387 .7 18929 4.8 112228 .6 16256 5.5 110762 .7 18617 6.2 112449 .6 16195 7.1 111226 .9 18899 7.9 111878 0.0 16513 9.1 110418 .9 18387 10.9 111569 1.1 16525 12.1 111933 1.6 上表中， Hot cache 表示所有測(cè)試數(shù)據(jù)都在緩存內(nèi)，服務(wù)器不需要執(zhí)行遞歸查詢的時(shí)候，服務(wù)器能夠提供的最大 QPS， Cold Cache 表示數(shù)據(jù)都不在緩存內(nèi)，所有 DNS 請(qǐng)求都需要遞歸查詢的情況下，系統(tǒng)可以支持的負(fù)載。我們可以清楚的看出，前者的 QPS 峰值是后者的 5 到 6 倍 . 以上是基于 CNS 的測(cè)試數(shù)據(jù)，對(duì)于 Bind9.3 以上版本， Hot cache 的測(cè)試結(jié)果 也 比 Cold Cache 要高出 數(shù) 倍 （ 5） 。 6 2、陜西電信 DNS 系統(tǒng) 優(yōu)化 調(diào)整 技術(shù) 依據(jù) 1、二長 DNS 系統(tǒng)總體業(yè)務(wù)處理能力及穩(wěn)定性 優(yōu)化 調(diào)整前，四臺(tái) BIND 服務(wù)器在峰值時(shí)平均每臺(tái)解析量達(dá)到 7000QPS 左右，而實(shí)際應(yīng)用經(jīng)驗(yàn)表明， BIND 服務(wù)器在現(xiàn)網(wǎng)應(yīng)用中解析量達(dá)到 8000QPS 左右時(shí)業(yè)務(wù)響應(yīng)速度明顯放慢，同時(shí)穩(wěn)定性降低。 調(diào)整后，一臺(tái) CNS承擔(dān)了西安地區(qū) VIP客戶的請(qǐng)求，峰值約為： 16000 QPS左右，而一臺(tái) CNS 服務(wù)器在線網(wǎng)應(yīng)用中處理峰值為： 25000 QPS，所以能完全滿足業(yè)務(wù)需要。經(jīng)過 VIP 客戶專屬皆系服務(wù)器分流后的流量峰值為：12000QPS，剩余的其他三臺(tái) BIND 服務(wù)器每臺(tái)只需要負(fù)擔(dān)約 4000 QPS 的業(yè)務(wù)量。 這樣調(diào)整后 ，整個(gè)二長 DNS 系統(tǒng)的處理能力和穩(wěn)定性將得到本質(zhì)的改善。 D N S 峰 值 流 量 q p s 1 2 0 0 0日 均 值 q p s 1 0 0 0 0D N S 峰 值 流 量 2 8 0 0 0日 均 值 1 8 0 0 0D N S 峰 值 流 量 q p s 1 6 0 0 0日 均 值 q p s 1 0 0 0 0D N S 總 體流 量西 安 撥 號(hào) 用 戶 主 用 D N S 西 安 V I P 用 戶 主 用 D N SD N S : 2 1 8 . 3 0 . 1 9 . 4 0 D N S : X X X . X X X . X X X . X X X 圖： DNS 流量分配圖 2、 VIP 專屬 DNS 系統(tǒng) 的冗余性優(yōu)化 調(diào)整后，需要通過兩方面工作對(duì) VIP 專屬 DNS 系統(tǒng)進(jìn)行冗余保障： 首先，要求 VIP 客戶設(shè)定除專屬 DNS 服務(wù)器地址之外的備用 DNS 服務(wù)器地址。 其次，通過對(duì)四層交換機(jī)進(jìn)行配置，實(shí)現(xiàn)如果 CNS 服務(wù)器無法工作，可以將流量分配到原有的三臺(tái) BIND 服務(wù)器，確保用戶的應(yīng)用。 7 3、 陜西電信 DNS 優(yōu)化 調(diào)整 部署 方案 本期 DNS 優(yōu)化升級(jí)規(guī)劃主要工作為： 在二長添加一臺(tái) CNS 業(yè)務(wù)平臺(tái)，作為VIP 客戶專屬服務(wù)器 ，提高 VIP 客戶的 DNS 使用質(zhì)量和提升大客戶滿意度，同時(shí)為 VIP 客戶訪問習(xí)慣分析提供條件 。 具體部署 方案有以下三種： 方案一： 不增加服務(wù)器硬件，將原有的一臺(tái) BIND 服務(wù)器替換為 CNS 服務(wù)器，通過四層交換機(jī)設(shè)置流量等， 拓?fù)淙缦聢D： G S R 1 2 4 1 6 - 1 G S R 1 2 4 1 6 - 27 6 0 9 - 27 6 0 9 - 1四 層 交 換 機(jī)A D 3 0 2 0C I S C O 3 6 5 0C N SD N S 服 務(wù) 器（ S U N X 4 2 0 0 )B I N DD N S 服 務(wù) 器（ S U N X 4 2 0 0 )B I N DD N S 服 務(wù) 器（ S U N X 4 2 0 0 )B I N DD N S 服 務(wù) 器（ S U N X 4 2 0 0 )圖 例 ：1 0 G 電 路G E 電 路F E 電 路D N S : 2 1 8 . 3 0 . 1 9 . 4 0D N S : 2 1 8 . 3 0 . 1 9 . X X（ 面 向 V I P 用 戶 , I P 待 定 ） 圖： 方案 1 系統(tǒng)拓?fù)鋱D 此方案的優(yōu)缺點(diǎn)： 優(yōu)點(diǎn)，無需增加硬件設(shè)備，部署快速，同時(shí)調(diào)整比較靈活，可隨時(shí)通過四層交換機(jī)的配置進(jìn)行流量的分配和控制。 缺點(diǎn)，對(duì)于 VIP 專用的 DNS 服務(wù)器沒有專用的容災(zāi)備份服務(wù)器，需要通過四層交換機(jī)進(jìn)行配置，實(shí)現(xiàn)如果 CNS 服務(wù)器宕機(jī)，另外三臺(tái) BIND 服務(wù)器自動(dòng)分流，從而實(shí)現(xiàn)應(yīng)急備份。 8 方案 二 （推薦） ： 增加一臺(tái) SUN X4200 服務(wù)器，安裝 CNS 軟件，將原有的BIND 服務(wù)器拿出一臺(tái) 作為 CNS 服務(wù)器的備份， 同時(shí)為 VIP 用戶提供 DNS 解析服務(wù)。 G S R 2 4 1 6 - 1D N S : 2 1 8 . 3 0 . 1 9 . 4 0圖 例 :C I S C O 3 6 5 0D N S 服 務(wù) 器（ S U N X 4 2 0 0 )B I N D1 0 G 電 路G E 電 路F E 電 路D N S 服 務(wù) 器（ S U N X 4 2 0 0 )B I N DD N S 服 務(wù) 器（ S U N X 4 2 0 0 )B I N DD N S 服 務(wù) 器（ S U N X 4 2 0 0 )7 6 0 9 - 1四 層 交 換 機(jī)A D 3 0 2 07 6 0 9 - 2G S R 2 4 1 6 - 2西 安 V I P 用 戶 專 用 D N S峰 值 Q p s ： 1 6 0 0 0西 安 撥 號(hào) 用 戶 主 用 D N S峰 值 Q p s ： 1 2 0 0 0D N S 服 務(wù) 器（ S U N X 4 2 0 0 )B I N DC N SD N S : X X X . X X X . X X X . X X X 圖： 方案 2 系統(tǒng)拓?fù)鋱D 此方案的優(yōu)缺點(diǎn)： 優(yōu)點(diǎn)，增加一臺(tái) Bind 服務(wù)器，提高了此系統(tǒng)的冗余度，同時(shí) 保障 在 任意一臺(tái)服務(wù)器出現(xiàn)異常時(shí) ，整個(gè) DNS 系統(tǒng)不會(huì)發(fā)生服務(wù)中斷，提高了系統(tǒng)的可用性 、穩(wěn)定性和安全性 。 缺點(diǎn)，需要增加一套服務(wù)器設(shè)備，成本提高 。此外，由于兩套 DNS 系統(tǒng)共用一臺(tái)四層交換機(jī)，因此當(dāng)四層交換機(jī)出現(xiàn)故障時(shí)，會(huì)同時(shí)造成兩套系統(tǒng)均無法正常運(yùn)行。 方案 三 ： 9 新增加一臺(tái)四層交換機(jī) 和一臺(tái) SUN X4200 服務(wù)器， 建立全新獨(dú)立的 VIP 專用DNS 系統(tǒng) ，和 原有系統(tǒng) 獨(dú)立運(yùn)行。 G S R 2 4 1 6 - 1圖 例 :1 0 G 電 路G E 電 路F E 電 路D N S 服 務(wù) 器（ S U N X 4 2 0 0 )7 6 0 9 - 1四 層 交 換 機(jī)7 6 0 9 - 2G S R 2 4 1 6 - 2西 安 V I P 用 戶 專 用 D N S峰 值 Q p s ： 1 6 0 0 0D N S 服 務(wù) 器（ S U N X 4 2 0 0 )B I N DC N SD N S : X X X . X X X . X X X . X X X 圖： 方案 3 系統(tǒng)拓?fù)鋱D 此方案的優(yōu)缺點(diǎn)： 優(yōu)點(diǎn)，獨(dú)立采用使用一臺(tái)四層交換機(jī)進(jìn)行分配流量，與原有 DNS 系統(tǒng)完全獨(dú)立，降低了由于四層交換機(jī)故障造成兩套系統(tǒng)均癱瘓的可能性。 缺點(diǎn)，需要增加開支，增加一臺(tái)四層交換機(jī)及服務(wù)器。此外，由于新的系統(tǒng)獨(dú)立于原有系統(tǒng)，會(huì)增加日常管理 維護(hù) 負(fù)擔(dān)。 10 4、 陜西電信 DNS 優(yōu)化升級(jí)方案預(yù)算 DNS 系統(tǒng)優(yōu)化方案預(yù)算 序號(hào) 報(bào)價(jià)項(xiàng)目 產(chǎn)品描述 產(chǎn)品型號(hào) 目錄單價(jià) 折扣率 成交單價(jià) 數(shù)量 總價(jià) 1 CNS 軟件 Foundation CNS Server License Version 3.1 ￥ 1,250,000 60% ￥ 500,000 1 套 ￥ 500,000 2 保修和升級(jí)服務(wù) 1 Years Support and maintenance of CNS Per Instance ￥ 275,000 60% ￥ 110,000 2 年 ￥ 220,000 3 服務(wù)器 2*2.8G/8GM /2*146G SUN 4200 1 臺(tái) ￥ 80,000 3 系統(tǒng)安裝實(shí)施及培訓(xùn)費(fèi) Nominum 廠家及融海咨詢專業(yè)工程師現(xiàn)場(chǎng)安裝培訓(xùn) 1 年 ￥ 50,000 總 計(jì) ￥ 850,000.00 11 附件 1： 陜西電信 近期 DNS 流量統(tǒng)計(jì)表 西華門 節(jié)點(diǎn) 近期 DNS 流量數(shù)據(jù) 時(shí)間 峰值 qps 日平均 qps 平均遞歸 /s 成功率 % vip 用戶比例 vip 峰值 qps vip 日平均 qps 2008-9-22 13637 9896 700 91.24 56% 7637 5542 2008-9-23 14239 10702 751 90.82 56% 7974 5993 2008-9-24 15945 9766 712 90.13 56% 8929 5469 2008-9-25 16342 11681 830 89.98 56% 9152 6541 2008-9-26 15234 9975 714 91.17 56% 8531 5586 2008-9-27 16221 13516 831 90.87 56% 9084 7569 2008-9-28 16318 11239 741 91.22 56% 9138 6294 二長節(jié)點(diǎn)近期 DNS 流量數(shù)據(jù) 時(shí)間 峰值 qps 日平均 qps 平均遞歸 /s 成功率 % vip 用戶比例 vip 峰值 qps vip 日平均 qps 2008-9-22 20861 14661 700 89.73 56% 11682 8210 2008-9-23 23016 15298 701 90.27 56% 12889 8567 2008-9-24 24901 15146 693 89.91 56% 13945 8481 2008-9-25 26399 15574 712 90.45 56% 14783 8721 2008-9-26 27217 16274 707 90.72 56% 15242 9113 2008-9-27 26379 16184 708 90.95 56% 14772 9063 2008-9-28 28895 17501 698 91.18 56% 16181 9801 12 附件 2： 基于 DNS 的電信增值業(yè)務(wù) 平臺(tái)解決方案 Vantio 傳統(tǒng)的運(yùn)營商角色定義為互聯(lián)網(wǎng)的網(wǎng)路承載平臺(tái)和網(wǎng)絡(luò)硬件平臺(tái)提供者，隨著互聯(lián)網(wǎng)的發(fā)展和寬帶業(yè)務(wù)的廣泛應(yīng)用，越來越多的運(yùn)營商意識(shí)到發(fā)展互聯(lián)網(wǎng)上用戶業(yè)務(wù)和用 戶流量經(jīng)營的重要性。通過提供給最終用戶更好的業(yè)務(wù)和服務(wù)，運(yùn)營商可以在更多的層次上細(xì)化業(yè)務(wù)種類和吸引新的客戶。 DNS 是互聯(lián)網(wǎng)上的關(guān)鍵應(yīng)用，它直接關(guān)系到用戶的最終體驗(yàn)，因特網(wǎng)的大規(guī)模發(fā)展對(duì)現(xiàn)有 DNS 系統(tǒng)的安全性，可擴(kuò)展性，穩(wěn)定性等方面提出了更高的要求。 DNS 在 IP 網(wǎng)上的核心地位也決定了它在作為新的業(yè)務(wù)增值切入點(diǎn)的角色。例如互聯(lián)網(wǎng)流量匯聚就是最近在國際國內(nèi)快速發(fā)展的一種新的業(yè)務(wù)。 Nominum 公司作為世界各地頂級(jí)運(yùn)營商 DNS 架構(gòu)的軟件提供商，可以在第一時(shí)間了解到運(yùn)營商的各種增值業(yè)務(wù)需求，并把握到互聯(lián)網(wǎng)上 DNS 未來技術(shù)發(fā)展的動(dòng)態(tài)；公司最新推出的 Vantio 業(yè)務(wù)承載平臺(tái)就是在 IP 域名技術(shù)基礎(chǔ)之上，根據(jù)各大運(yùn)營商的業(yè)務(wù)要求開發(fā)的的一個(gè)通用增值業(yè)務(wù)平臺(tái)， Vantio 為網(wǎng)絡(luò)運(yùn)營商提供了包括錯(cuò)誤域名轉(zhuǎn)發(fā)在內(nèi)的多項(xiàng)增值業(yè)務(wù)模塊，它的基本架構(gòu)如下圖一所示： 圖一： Vantio 軟件系統(tǒng)結(jié)構(gòu) 13 如上圖所示， Nominum 公司的 Vantio 服務(wù)器是在 C