端到端質(zhì)量評測系統(tǒng)某某聯(lián)通

端到端質(zhì)量評測系統(tǒng)某某聯(lián)通第一頁，共28頁。一項目整體情況二指標評價體系介紹目錄三指標數(shù)據(jù)分析四IPTV質(zhì)量分析五發(fā)現(xiàn)問題匯總2第二頁，共28頁。本期**聯(lián)通采購28臺探針設備，每地市在城域網(wǎng)和郊縣接入局點部署2臺探針設備，利用探針多端口接入功能，分別通過ADSL、PON和LAN等方式接入，通過系統(tǒng)定制下發(fā)任務執(zhí)行測試，主要測試內(nèi)容包括傳輸層和網(wǎng)絡層基本性能測試，數(shù)據(jù)、語音、IPTV等業(yè)務測試，通過系統(tǒng)平臺對探針測試數(shù)據(jù)進行采集、預警、統(tǒng)計分析，與原有網(wǎng)管系統(tǒng)實現(xiàn)聯(lián)動，定位影響業(yè)務質(zhì)量的關鍵網(wǎng)元，解決用戶感知明顯的網(wǎng)絡問題，完善業(yè)務質(zhì)量評價體系。項目整體情況全省部署拓撲示意圖地市詳細部署示意圖第三頁，共28頁。探針端口用途劃分設備本端接口標識本地端口名稱用途備注

探針eth0DSLAM-IPTVDSLAM:IPTV-PPPOEDSLAM的IPTV業(yè)務測試端口eth1DSLAMDSLAM:PPPOEDSLAM的寬帶撥號用戶互聯(lián)網(wǎng)業(yè)務測試端口eth2PON-IPTVPON:IPTV-PPPOEPON的IPTV業(yè)務測試端口eth3PONPON:PPPOEPON的寬帶撥號用戶互聯(lián)網(wǎng)業(yè)務測試端口eth4匯聚交換機接匯聚交換機連接匯聚交換機eth5IPTV二級平臺接IPTV二級平臺匯聚交換機連接IPTV二級平臺側交換機eth6ETH6預留關閉eth7ETH7預留關閉第四頁，共28頁。一項目整體情況二指標評價體系介紹目錄三指標數(shù)據(jù)分析四IPTV質(zhì)量分析五發(fā)現(xiàn)問題匯總第五頁，共28頁。指標評價體系介紹指標評價體系中指標共分為監(jiān)測基礎網(wǎng)絡質(zhì)量類的測試指標、監(jiān)測互聯(lián)網(wǎng)業(yè)務質(zhì)量類的測試指標、監(jiān)測網(wǎng)絡承載的仿真業(yè)務質(zhì)量類的測試指標和監(jiān)測IPTV業(yè)務質(zhì)量的測試指標共四大類66個指標。指標類別

包含任務

主要指標

分類標準網(wǎng)絡基礎質(zhì)量

PING、SLA(UDP)、SLA(TCP)、吞吐量、DNS測試、服務可用性測試

時延、抖動、丟包、帶寬測試結果、DNS解析時延、TCP連接時延

通過時延、抖動、丟包等該類一系列指標監(jiān)測全省及各地市網(wǎng)絡的基礎質(zhì)量互聯(lián)網(wǎng)業(yè)務質(zhì)量

WEB訪問測試、FTP上傳下載測試、HTTP下載測試、SMTP測試、POP3測試、IMAP測試、FLASH測試

TCP連接時延、首字節(jié)到達時延、傳輸頁面文件時延、傳輸頁面元素時延、頁面下載速度、頁面瀏覽總時延、登錄認證時延、上傳下載速度、上傳下載時延、郵件收發(fā)速度、郵件收發(fā)時延、視頻首次停頓時間、視頻加載時延、總停頓時延、視頻下載速度。

結合基礎網(wǎng)絡質(zhì)量，監(jiān)測用戶普通互聯(lián)網(wǎng)應用的感知質(zhì)量(網(wǎng)頁瀏覽、收發(fā)郵件、視頻觀看等）仿真業(yè)務質(zhì)量

VOIP、SIP、流媒體質(zhì)量測試

平均抖動、平均丟包率、MOS值，響鈴時延、通話就緒時延、通話掛斷時延、語音延時、平均抖動、平均丟包率、MOS值，視頻包的抖動、MDI[DF]、MDI[MLR]模擬高敏感業(yè)務，監(jiān)測網(wǎng)絡針對敏感業(yè)務的承載質(zhì)量IPTV業(yè)務質(zhì)量

IPTV測試

DNS解析時延、認證時延、是否認證成功、心跳時延、EPG服務器連接時延、EPG獲取時延、點播響應時延、點播平均帶寬、點播MDI[DF:MLR]、直播組播帶寬、、直播組播頻道加入時延、直播組播頻道退出時延、直播組播頻道切換時延、直播組播MDI[DF:MLR]、直播單播帶寬、直播單播頻道加入時延、直播單播頻道退出時延、直播單播頻道切換時延、直播單播MDI[DF:MLR]。

監(jiān)測特殊業(yè)務的應用質(zhì)量第六頁，共28頁?？己酥笜烁鶕?jù)端到端質(zhì)量測評系統(tǒng)一期建設規(guī)模，重點對測速服務器可用性、HTTP頁面訪問質(zhì)量、媒體質(zhì)量指標進行測試分析，這些指標含蓋了對基礎網(wǎng)絡質(zhì)量、網(wǎng)絡基礎應用和視頻質(zhì)量比較關鍵和重要的指標的分析，隨著端到端指標測評體系二期的建設以及探針數(shù)量和部署規(guī)模、范圍的不斷擴大，會有新的指標加入到考核和分析中?？己四繕?/p>

考核任務

被測目的端

主要指標

指標含義網(wǎng)絡TCP質(zhì)量

服務可用性測試

各地市本地測速服務器

TCP連接時延

主要監(jiān)測地市城域網(wǎng)到本地測速服務器的網(wǎng)絡TCP質(zhì)量及測速服務器的響應質(zhì)量端到端基于業(yè)務應用的時延質(zhì)量

WEB訪問測試

省測速網(wǎng)站（）、頁面瀏覽總時延

主要監(jiān)測基于應用的網(wǎng)絡質(zhì)量，反應基礎網(wǎng)絡時延對應用的影響端到端評測系統(tǒng)服務器管理頁面（）端到端基于仿真業(yè)務的抖動質(zhì)量

流媒體質(zhì)量測試

省網(wǎng)管中心探針

MDI[DF]

主要模擬敏感應用，監(jiān)測網(wǎng)絡承載質(zhì)量，反應基礎網(wǎng)絡抖動對敏感業(yè)務的影響第七頁，共28頁。一項目整體情況二指標評價體系介紹目錄三指標數(shù)據(jù)分析四IPTV質(zhì)量分析五發(fā)現(xiàn)問題匯總第八頁，共28頁。測速服務器可用性測試數(shù)據(jù)采集節(jié)點測速服務器可用性TCP連接時延(ms)DSLAM（PPP1)PON（PPP3)匯聚層（ETH4)匯總平均值**-272局57.66**-樞紐局20.016.440.418.95**-22局48.439.610.4119.48**-新華局21.125.960.359.14**-平山局29.129.430.3412.96**-樞紐局25.876.390.610.95**-小凌局6.136.060.464.22**-長征局26.626.410.3411.12**-西苑局10.6911.840.847.79**-西關局7.896.364.026.09**-282局20.426.060.378.95**-28局28.656.510.3911.85**-282局211.236.690.6372.85**-212局20.268.540.599.8測試任務:服務可用性測試，監(jiān)測探針到各地市自己的測速服務器的TCP連接時延測試頻度：全天7*24時間，間隔60分鐘進行一次總測試次數(shù)：750

數(shù)據(jù)采集時間：12月1日-31日總結：匯聚層專線接入時延基本小于1ms。PON接入時延基本小于10ms。DSLAM接入時延基本在20-30ms之間，與PON接入方式時延基本相差15ms左右。從指標可以得出，匯聚層專線接入方式指標好于PON接入方式；PON接入方式指標好于DSLAM接入方式。不同的接入方式對指標影響存在差異。第九頁，共28頁。測速服務器可用性**DSLAM接入方式時延為211.23ms，時延較大。盤錦12月27日之前網(wǎng)絡TCP質(zhì)量都較差，探針所在DSLAM12月份有4次測速結果，分別是2次2M測速達標率115%和2次8M測速達標率69%。**TCP連接時延**TCP連接時延**TCP連接時延**DSLAM接入方式時延為48.43ms。時延在12月5日和30日出現(xiàn)突增導致，原因DSLAM上聯(lián)電路流量突增，懷疑為攻擊導致。**匯聚接入方式時延為4.02ms，**西關局是由于在12月初、中旬和12月末出現(xiàn)網(wǎng)絡TCP質(zhì)量波動導致質(zhì)量下降第十頁，共28頁。HTTP頁面訪問質(zhì)量測試數(shù)據(jù)采集節(jié)點訪問頁面總時延(ms)測速網(wǎng)站DSLAM（PPP1)PON（PPP3)匯聚層（ETH4)匯總平均值**-272局374.1678.3439.13163.88**-樞紐局427.18107.5353.96196.22**-22局388.57129.6442.97187.06**-新華局206.39119.6939.02121.7**-平山局927.0695.3282.18368.19**-樞紐局911.41105.8442.03353.09**-小凌局89.35148.9941.3293.22**-長征局255.87100.356.7137.62**-西苑局438.6153.6490.46310.57**-282局587.02111.3278.2258.85**-西關局41.9104.1144.8763.63**-28局179.66135.4890.18135.11**-282局340.35134.3739.29171.34**-212局122.9447.491.5887.31測試數(shù)據(jù)采集節(jié)點訪問頁面總時延(ms)探針管理平臺頁面DSLAM（PPP1)PON（PPP3)匯聚層（ETH4)匯總平均值**-272局84.347.7841.5357.87**-樞紐局139.6464.7448.8384.4**-22局140.5166.2774.993.89**-新華局98.1562.6346.7169.16**-平山局263.8669.7450.94128.18**-樞紐局109.3761.4553.3774.73**-小凌局63.4463.6457.4161.5**-長征局112.8164.9248.4475.39**-西苑局101.2177.3857.1678.58**-282局272.1582.1450.92135.07**-西關局64.9672.0655.2964.1**-28局135.0573.5456.8488.48**-282局121.5764.1147.9477.87**-212局84.155.259.7766.36測試任務:WEB頁面訪問測試，探針模擬用戶訪問省測速網(wǎng)站和服務器WEB頁面的質(zhì)量，監(jiān)測指標是訪問頁面的總時延（包含DNS解析時延、連接時延、首字節(jié)到達時延、傳輸頁面文件時延和傳輸頁面元素時延）。測試頻度：全天7*24時間，間隔60分鐘進行一次總測試次數(shù)：113數(shù)據(jù)來源：12月27日-12月31日第十一頁，共28頁。HTTP頁面訪問質(zhì)量測試數(shù)據(jù)采集節(jié)點DSLAM方式訪問測速網(wǎng)站詳細指標連接時延(ms)首字節(jié)到達時延(ms)傳輸頁面文件時延(ms)傳輸頁面元素時延(ms)**-272局64.4676.54135.6497.52**-樞紐局23.8175.0677.19251.12**-22局45.0959.0791.67192.74**-新華局20.8031.2852.08102.23**-平山局124.12295.98310.04196.91**-樞紐局128.90159.80365.20257.51**-小凌局9.9214.3319.3145.79**-長征局27.5336.5760.98130.80**-西苑局87.2873.79121.47156.06**-282局193.80168.8789.17135.18**-西關局7.5019.3114.760.33**-28局18.7626.8843.6490.37**-282局38.6747.5982.71171.38***-212局15.2121.5250.9535.27測試數(shù)據(jù)采集節(jié)點訪問頁面總時延(ms)測速網(wǎng)站DSLAM（PPP1)PON（PPP3)匯聚層（ETH4)匯總平均值**-平山局927.0695.3282.18368.19**-樞紐局911.41105.8442.03353.09**-282局587.02111.3278.2258.85到省測速網(wǎng)站匯聚層專線接入時延基本小于100ms。PON接入時延基本小于150ms。DSLAM接入時延基本在400ms左右。到管理平臺頁面：匯聚層專線接入時延基本小于50ms。PON接入時延基本小于70ms。DSLAM接入時延基本小于150ms。結論匯聚層專線接入方式指標好于PON接入方式；PON接入方式指標好于DSLAM接入方式

第十二頁，共28頁。HTTP頁面訪問質(zhì)量到測速網(wǎng)站質(zhì)量分析：DSLAM接入方式下，**地市、**和**在12月28日和29日，WEB訪問各項指標均較差，網(wǎng)絡質(zhì)量下降，下載速度下降，原因分析懷疑是DSLAM下行電路擁塞，受到攻擊導致。

采集時間連接時延(ms)首字節(jié)到達時延(ms)傳輸頁面文件時延(ms)傳輸頁面元素時延(ms)下載速度(KB/s)總時延(ms)2013-12-2821:00:001164.084680.752653.42857.968.419356.212013-12-2819:00:00981.18903.702259.65494.719.874639.242013-12-2817:00:001323.901053.852090.30532.6110.685000.66**到測速服務器TCP連接時延指標**DLSAM具體數(shù)據(jù)采集**平山局DSLAM流量圖第十三頁，共28頁。媒體質(zhì)量指標測試數(shù)據(jù)采集節(jié)點仿真業(yè)務MDI[DF](ms)DSLAM（PPP1)PON（PPP3)匯聚層（ETH4)全天統(tǒng)計**-272局89.07**-樞紐局11.711.177.810.22**-22局11.311.127.7510.06**-新華局11.1910.87.829.94**-平山局11.2211.147.7710.04**-樞紐局45.5311.117.7721.47**-小凌局11.0711.257.810.04**-長征局11.1611.077.7810**-西苑局10.4810.447.769.56**-282局11.2311.197.7810.07**-西關局7.8211.217.818.95**-28局11.1911.117.7910.03**-282局16.6811.337.811.94**-212局64.9211.817.7728.17測試任務:流媒體質(zhì)量測試，省網(wǎng)管中心探針向各地市探針模擬發(fā)送媒體流，各地市探針監(jiān)測接收媒體流的質(zhì)量，監(jiān)測指標MDI[DF].測試頻度：全天7*24時間，間隔60分鐘進行一次總測試次數(shù)：750

數(shù)據(jù)來源：12月1-31日總結：匯聚層專線接入DF小于8ms。PON接入DF在11ms左右。DSLAM接入時延基本在11ms左右。匯聚層專線接入方式指標好于PON接入方式；PON接入方式指標好于DSLAM接入方式第十四頁，共28頁?；诜抡鎽玫木W(wǎng)絡抖動質(zhì)量分析**樞紐局和**212局12月份媒體包抖動較大，導致MDI[DF]指標較差。第十五頁，共28頁。一項目整體情況二指標評價體系介紹目錄三指標數(shù)據(jù)分析四IPTV質(zhì)量分析五發(fā)現(xiàn)問題匯總第十六頁，共28頁。中興平臺PON接入認證時延(ms)EPG服務器連接時延(ms)EPG獲取時延(ms)直播單播頻道加入時延(ms)直播單播頻道退出時延(ms)直播單播頻道切換時延(ms)直播單播MDI[DF](ms)Probe-**-28局-1610-01236.236.993016.80433.2254.38536.80150.29Probe-**-781局-1610-01276.0611.462911.98485.4243.64590.26125.58Probe-***-515局-1610-01235.489.482919.92414.1020.78478.8999.04Probe-**-西苑局-1610-01251.069.843333.58633.0666.53653.8597.28Probe-**-**縣局-1610-01260.399.822689.41605.9278.58650.66154.95華為平臺PON接入認證時延(ms)EPG服務器連接時延(ms)EPG獲取時延(ms)直播單播頻道加入時延(ms)直播單播頻道退出時延(ms)直播單播頻道切換時延(ms)直播單播MDI[DF](ms)Probe-**-282局-1610-01118.668.52108.11190.19257.26438.5268.07Probe-**-358局-1610-01121.108.43107.47181.02257.69441.0975.61Probe-**-**局-1610-01423.127.3391.26198.72250.91487.976.70Probe-**-**局-1610-01218.397.3291.31201.50257.48480.196.62Probe-**-**局-1610-01184.2613.95611.11178.85236.34423.724.56Probe-**-小凌局-1610-01130.599.891262.86149.76231.99383.926.75Probe-**-22局-1610-01132.539.32143.68165.72235.54401.916.09IPTV質(zhì)量總體分析華為平臺整體指標要好于中興平臺。華為平臺認證時延、EPG獲取時延、直播加入時延和MDI值明顯好于中興平臺。中興平臺直播退出時延好于華為平臺中興獲取EPG菜單時延較大，分析可能原因是中興平臺EPG服務器應用處理響應慢。中興直播單播DF較大，但是探針到IPTV區(qū)域中心網(wǎng)絡質(zhì)量良好，初步分析服務器提供片源質(zhì)量問題第十七頁，共28頁。組播部署后IPTV用戶感知對比盤錦華為平臺282局組播部署前后測試對比項目部署前部署后對比部署前部署后對比DSLAM接入方式DSLAM接入方式PON接入方式PON接入方式認證時延(ms)461.34453.78

130.03118.66

EPG服務器連接時延(ms)37.0937.01

10.288.52

EPG獲取時延(ms)558.36501.8

163.02108.11

直播單播頻道加入時延(ms)428.97486.26

172.94190.19

組播頻道加入時延(ms)

44.98

直播單播頻道退出時延(ms)288.69291.97

257.2257.2

組播頻道退出時延(ms)

2.15

直播單播頻道切換時延(ms)694.98748.76

432.74438.52

組播頻道切換時延(ms)

650.76

直播單播MDI[DF](ms)68.4468.02

69.9268.07

組播MDI[DF](ms)

45.63

組播部署后IPTV區(qū)域中心由之前的超負荷運行狀態(tài)緩解為50%左右的系統(tǒng)利用率。組播部署后計費認證時延和EPG獲取時延有明顯的下降，對于用戶感知有提升。組播部署后組播頻道加入、退出時延和MDI值相對于直播有明顯降低。組播頻道切換時延比直播頻道切換時延略高，但不影響用戶感知。第十八頁，共28頁。一項目整體情況二指標評價體系介紹目錄三指標數(shù)據(jù)分析四IPTV質(zhì)量分析五發(fā)現(xiàn)問題匯總第十九頁，共28頁。發(fā)現(xiàn)并已解決問題匯總-1****局PON接入丟包問題a）問題發(fā)現(xiàn)時間：5月21日-24日b）問題呈現(xiàn)現(xiàn)象：****局PON接入端口PING測試結果中丟包率指標平均值5%以上，匯聚交換機接入端口PING測試結果無丟包，初步定位為***局PON接入網(wǎng)絡質(zhì)量問題。c）問題分析解決：**數(shù)據(jù)維護人員通過現(xiàn)場檢測PON接入線路，發(fā)現(xiàn)是OLT的PON口光模塊故障，通過更換PON口光模塊后問題解決。d）故障恢復效果評測：問題解決后，采集**局PON接入端口PING測試結果，丟包率指標為0，問題得到解決。第二十頁，共28頁。發(fā)現(xiàn)并已解決問題匯總-2**和***DNS解析時延偏大問題a）問題發(fā)現(xiàn)時間：7月1日-7月7日b）問題呈現(xiàn)現(xiàn)象：**和***的探針匯聚層接入端口DNS解析時延指標、到DNS服務器PING測試的網(wǎng)絡時延指標均是10ms以上，其他地市探針匯聚層接入端口DNS解析時延指標和到DNS服務器PING測試的網(wǎng)絡時延指標都低于2ms；初步定位為***和***城域網(wǎng)質(zhì)量問題。c）問題分析解決：經(jīng)與***和***維護人員溝通，發(fā)現(xiàn)兩個地市的DNS本地服務未啟用，其它地市均已采用本地DNS服務器。省網(wǎng)管中心組織兩個市分公司完成本地DNS服務器啟用。d）故障恢復效果評測：本地DNS啟用后，阜新和葫蘆島DNS時延都降低到10ms以下。第二十一頁，共28頁。發(fā)現(xiàn)并已解決問題匯總-3**到本地測速服務器不通問題a）問題發(fā)現(xiàn)時間：7月1日-7月7日b）問題呈現(xiàn)現(xiàn)象：**探針匯聚層接入端口到本地測速服務器的服務可用性測試中的TCP連接時延指標為0呈現(xiàn)中斷告警，到本地測速服務器的PING測試網(wǎng)絡時延指標也為0呈現(xiàn)中斷告警；**探針的其它測試端口到本地測速服務器的服務可用性測試和PING測試的TCP連接時延和網(wǎng)絡時延指標都正常，沒有問題。初步定位是為探針匯聚層端口分配的固定IP地址存在問題。c）問題分析解決：經(jīng)與**維護人員溝通，在查看相關BRAS配置數(shù)據(jù)發(fā)現(xiàn)，為匯聚層接入端口分配的固定IP為之前IPTV業(yè)務地址段中的IP，存在訪問控制列表，限制了該段IP訪問互聯(lián)網(wǎng)資源的權限。取消該地址段限制后，問題恢復。d）故障恢復效果評測：匯聚層接入端口到本地測速服務器的TCP連接時延指標和網(wǎng)絡時延指標測試結果正常，故障已經(jīng)恢復。第二十二頁，共28頁。發(fā)現(xiàn)并已解決問題匯總-4***下載測試中下載速度慢的問題a）問題發(fā)現(xiàn)時間：7月1日-7月7日b）問題呈現(xiàn)現(xiàn)象：***探針匯聚層接入端口進行的FTP下載測試中的下載速度指標平均值為1M，其它地市下載速度指標均在6M以上。初步定位為**地市針對探針配置了端口限速設置。c）問題分析解決：經(jīng)與**維護人員溝通，確認了探針與匯聚交換機是100M互聯(lián)，未配置端口限速，之后檢查相關BRAS的策略配置，發(fā)現(xiàn)針對為探針分配的IP地址段設置了端口限速的設置。取消限速配置后，問題解決。d）故障恢復效果評測：匯聚層接入端口進行的FTP下載測試，下載速度指標平均值達到了9M以上，問題得到解決。第二十三頁，共28頁。發(fā)現(xiàn)并已解決問題匯總-5***聚寶局DSLAM接入丟包問題a）問題發(fā)現(xiàn)時間：7月1日-7月25日b）問題呈現(xiàn)現(xiàn)象：**聚寶局DSLAM接入的普通寬帶端口的丟包率指標平均值為5%左右，每天的測試結果發(fā)現(xiàn)，在白天8點-18點間，只是偶爾存在丟包，丟包率指標在0.5%左右，在晚上18點-24點間，丟包現(xiàn)象嚴重，丟包率指標在1%~10%之間；晚上下載測試的下載速度指標較白天有明顯下降趨勢，白天下載速度指標值平均在260KB