面向小微企業(yè)辦公場景的寬帶業(yè)務體驗和網(wǎng)絡(luò)性能評價指標體系

1面向小微企業(yè)辦公場景的寬帶業(yè)務體驗和網(wǎng)絡(luò)性能評價指標體系本文件規(guī)定了面向小微企業(yè)辦公場景的寬帶業(yè)務體驗和網(wǎng)絡(luò)性能指標評價體系，包括企業(yè)內(nèi)寬帶業(yè)務體驗和網(wǎng)絡(luò)性能指標、評分方法、分級分類方法本文件適用于對小微企業(yè)辦公場景的寬帶業(yè)務體驗及網(wǎng)絡(luò)性能進行評價。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件。僅該日期對應的版本適用于本文件：不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。YD/T1071-2006IP電話網(wǎng)關(guān)設(shè)備技術(shù)要求YD/T2026-2009IP語音業(yè)務服務質(zhì)量技術(shù)要求與評估方法YD/T2400-2018寬帶速率測試方法固定寬帶接入subjectiveassessmentofspeechandvideo3術(shù)語和定義本文件沒有需要界定的術(shù)語和定義下列縮略語適用于本文件。B/S;瀏覽器/服務器模式(Browser/Servermode)C/S:服務器/客戶機模式(Client/ServerMode)2DNS:域名系統(tǒng)(DomainNaHTTP:超文本傳輸協(xié)議(HyperTextHTTPS:超文本傳輸安全協(xié)議(HyperTextTransferProtocolSecure)ITU:國際電信聯(lián)盟(InternationalKPI:關(guān)鍵性能指標(KeyPerfornanceIndicator)KQI:關(guān)鍵質(zhì)量指標(KeyQualityIndicator)MOS:平均意見值(MeanOpNSS:空間流數(shù)量(NumberofSpatialStream)ONU:光網(wǎng)絡(luò)單元(OpticalPOLQA:感知客觀語音質(zhì)量評估(PerceptualObjectiveListeningQualityAnalysis)QoE:客戶感知體驗(QualityofExperience)RTP:實時傳輸協(xié)議(Real-timeTranspSSL:安全傳輸協(xié)議(SecureSocketLayer)UDP:用戶數(shù)據(jù)報協(xié)議(UserDatagranProtocol)URL:統(tǒng)一資源定位CUniformResourceLocator)VoIP:基于IP的語音傳輸(VoiceoverInternetProtool)5評價指標體系架構(gòu)5.1網(wǎng)絡(luò)結(jié)構(gòu)面向小微企業(yè)辦公場景的網(wǎng)絡(luò)包括小微企業(yè)網(wǎng)絡(luò)、接入網(wǎng)、城域網(wǎng)、骨干網(wǎng)和運營商互聯(lián)部分，如圖1所示，每部分定義如下：6首屏顯示時間定義為用戶訪問頁面(需要有DNS解析過程),從用戶在終端上發(fā)起訪問指令(桌面版瀏覽器輸入URL地址并回車，移動版瀏覽器輸入URL地址并觸控訪問),瀏覽器發(fā)出獲取該網(wǎng)站數(shù)據(jù)請求消息直至收到該網(wǎng)站返回的數(shù)據(jù)首次占滿用戶終端屏幕的延遲時間，即頁面在瀏覽器窗口的上部區(qū)域 (如桌面終端為1920*1080分辨率)充滿時所需要的時間。完全加載時間完全加載時間定義為用戶訪問頁面(需要有DNS解析過程),從用戶在終端上發(fā)起訪問指令(桌面版瀏覽器輸入URL地址并回車，移動版瀏覽器輸入URL地址并觸控訪問),到整個頁面在瀏覽器上完全加載所需要的時間。6.1.4語音文本消息語音文本消息體驗KOI指標概述在小微企業(yè)通信中語音文本類消息主要是即時通信，允許兩人或多人使用網(wǎng)絡(luò)即時地傳遞文字、圖片、小文件、語音與視頻等各種類型的消息。該方式比電子郵件所需時間更短，而且比撥電話更方便，受到小微企業(yè)的歡迎。用戶對語音文本消息產(chǎn)品的體驗集中體現(xiàn)在加載速度是否快，操作能否快速響應，消息收發(fā)是否實時(低延遲),對應的3個KQI指標為加載時延、操作響應時延和消息接收時延加載時延加載時延表示從執(zhí)行會話列表或者消息界面加載操作開始，至會話列表或者消息界面加載完畢為止所花費的時間。加載時延的數(shù)值越小越好。對于相同的即時通信應用，加載時延由登錄賬號會話列表大小/會話消息內(nèi)容、終端性能和網(wǎng)絡(luò)性能三者共同影響。操作響應時延操作響應時延是用戶點擊鼠標或按鍵操作，頁面跟隨操作而進行響應的時間。操作響應時延越低。用戶操作流暢度越高，體驗越好消息接收時延消息接受時延是用戶自發(fā)送端執(zhí)行消息發(fā)送操作開始，至消息展示至接收端聊天區(qū)域為止所花費的時間。收到成功響應的請求數(shù)，無錯誤返回碼(0)統(tǒng)計周期內(nèi)，TCP建鏈網(wǎng)絡(luò)側(cè)方向syn握手的平均往返統(tǒng)計周期內(nèi)，TCP建鏈用戶閱方向synack握手的平均往返表7UDP類平均速率指標根據(jù)業(yè)務特征及業(yè)務體驗KQI指標的定義，網(wǎng)頁瀏覽、企業(yè)直播類業(yè)務在評價KQI體驗指標時需要特別關(guān)注UDP類指標。RTP類指標包括平均速率、丟包率和抖動。其中平均速率是統(tǒng)計周期內(nèi)收到的RTP凈荷報文總比特數(shù)/統(tǒng)計時長，單位為kbps,詳細指標見表8所示。表8RTP類平均速率指標RTP丟包率，是指RTP報文丟包數(shù)占總共發(fā)送RTP報文數(shù)的比例，單位為百分比，描述鏈路上的丟包情況。詳細指標見表9所示。統(tǒng)計周期內(nèi)，上行方向網(wǎng)絡(luò)側(cè)丟包總數(shù)/上行方統(tǒng)計周期內(nèi)，上行方向用戶側(cè)丟包總數(shù)/(上行方向通過的總包數(shù)+上行方向用戶統(tǒng)計周期內(nèi)，下行方向網(wǎng)絡(luò)側(cè)丟包總數(shù)/(下行方向通過的總包數(shù)統(tǒng)計周期內(nèi)，下行方向用戶側(cè)去包總數(shù)/下行方從HTTP首次GET請求發(fā)出，到收到服務器響應的統(tǒng)計周期內(nèi)，SSL響應時延是用戶倒發(fā)出ClientH側(cè)收到其ServerHello的時間差。單位ms.統(tǒng)計周期內(nèi)，ServerHello報文響應時延是網(wǎng)絡(luò)倒發(fā)統(tǒng)計周期內(nèi)，ClientHollo報文響應時延是用戶側(cè)發(fā)優(yōu)良好差源宿固定用戶固定用戶固定用戶54321653210圖4呼叫接通率與MOS映射圖得到呼叫接通率KQI值與MOS值的映射函數(shù)如公式(1):.2通話建立時間MOS映射于1s,被叫網(wǎng)關(guān)呼叫建立時間包括網(wǎng)關(guān)間建立連接的時間和被叫網(wǎng)關(guān)落地至用戶終端的時間，固定網(wǎng)平均值應小于5s。即固定用戶呼叫固定用戶呼叫建立時間應在6s內(nèi)。上述值作為及格分數(shù)，木標準設(shè)定典型值如表15:表15語音通話建立時間與MOS映射535463821根據(jù)表15典型值進行回歸分析，可以得到映射關(guān)系如圖5:圖5呼叫建立時間與MOS映射圖得到接通率KQI值與MOS值的映射函數(shù)如公式(2):.3語音質(zhì)量MOSYD/T2006-2009定義了評估語音質(zhì)量方法E模型(E-Wodel),E-Model模型考慮了傳通話雙方所處環(huán)境等因素而設(shè)計的一個方程式。E-Model方程式的特點是它能夠?qū)r延損傷、聲碼器特性、丟包和通話環(huán)境對語音質(zhì)量的影響分割考慮，因此它同時也提供了一種可重復的對數(shù)據(jù)網(wǎng)絡(luò)承載VoIP電話的質(zhì)量評估方法。E-Model方程式為公式(3):Rfactor=0<(Ro-Ig-Ia-Ie-A)<100……(I?——伴隨語音信號傳輸?shù)耐瑫r發(fā)生的所有損傷，主要由傳輸設(shè)備引起：I——語音信號的時延損傷，主要指聲碼器帶來的損傷；A——主要考慮網(wǎng)絡(luò)類型對通話者評價語音質(zhì)量的影響。用E-Model方程計算得到名為R因子的評分，范圍是0~100,得到R因子以后，可以將它關(guān)聯(lián)為預測的WOS評分，方法如公式(4):MOS=1<1+(0.035=R)+(R=(R-60)=(100-R)*7.0e-6)<4.5依據(jù)上述方程，通過測量網(wǎng)絡(luò)的基本參數(shù)可以間接取得預測的MOS評分，該分數(shù)的范圍在1~4.5之ITU-TP.863POLQA是語音質(zhì)量的另一種評估方法，針對語音中的參考信號和劣化信號，經(jīng)過濾波、時間對齊、采樣率估計、客觀感知、評分得POLQA分值，最后映射到MOS-LQ0分值，參考信號成為語料，一般有8k/16k/48k三種采樣速率。在窄帶模式下，MOS-L00分值最大為4.5,在超寬帶模式下，MOS-L00分值最大為4.75.依據(jù)YD/T2026-2009的要求，固定網(wǎng)的掉話率應小于萬分之二。依據(jù)YD/T1071的規(guī)定和網(wǎng)絡(luò)實際情況，固定終端至固定終端的長途IP電話業(yè)務的總掉話率應小于千分之五。上述值作為及格分數(shù)，本標準設(shè)定典型值如表16;054321根據(jù)表16典型值進行回歸分析，可以得到映射如圖6:圖6掉話率與MOS映射圖得到掉話率KQI值與MOS值的映射函數(shù)如公式(5):.5業(yè)務綜合評分(6):網(wǎng)頁瀏覽.1頁面響應時間MOS值映射圖7頁面響應時間與MOS映射圖頁面響應時間的KQI值與MOS值的映射函數(shù)如公式(7):.2首屏顯示時間MOS映射0分。首屏顯示時間MOS映射關(guān)系圖8所示。圖8首屏顯示時間與MOS映射圖首屏顯示時間的KQI值與MOS值的映射函數(shù)如公式(8):.3完全加載時間MS值映射完全加載時間MOS映射的關(guān)鍵參考點為：0.1s以內(nèi)對應滿分5分：10s對分0分。完全加載時間MOS映射關(guān)系如圖9所示。圖9完全加載時間與MOS映射圖完全加載時間的KQI值與MOS值的映射函數(shù)如公式(9):.4業(yè)務綜合評分語音文本消息語音文本消息的加載時延與MOS值映射關(guān)系如表17:854321加載時延的KQI值與MOS值的映射函數(shù)見公式(11):MOSm時庭-18.74*(exp37710KO時+0.09648)KQlm葉為語音文本工具啟動的加載時延的KQI值，單位為s。.2操作響應時延MOS映射語音文本消息操作響應時延MOS值和操作響應時間的映射關(guān)系如表18:854321操作響應時延MOS值隨著時延的增大而下降。映射關(guān)系如圖11所示。操作響應時延的KQI值與MOS值的映射函數(shù)見公式(12):MOS作響空時道-4.293/(1+0.007035*exp?KO操作響臨時)+0.925……(12)其中，KQI響應時為操作響應時延的KQI值，單位為s。.3消息接收時延MOS映射消息接收時延MOS隨著時延的增大而下降。其中，消息接收時廷MOS映射的參數(shù)關(guān)鍵點為：63ms以內(nèi)對應滿分：120ms對應良好。映射關(guān)系如圖12所示。操作響應時延的KQI值與MOS值的映射函數(shù)見公式(13):.1業(yè)務綜合評分小文件傳輸.1傳輸請求響應時延MOS映射應最低分0分。傳輸請求響應時延MOS映射關(guān)系如圖13所示。圖13傳輸請求響應時延與MOS映射圖傳輸請求響應時延的KQI值與MOS值的映射函數(shù)如公式(15):.2傳輸速率比MOS映射寬對應及格分3分：等于0%簽約帶寬對應最低分0分。傳輸速率比WOS映射關(guān)系如圖1圖14傳輸速率比與MOS映射圖傳輸速率比的KQI值與MOS值的映射函數(shù)為公式(16):.3業(yè)務綜合評分其中的a,b為對應指標的權(quán)重，權(quán)重越大，代表了對應指標對用戶體.1操作響應時間MOS映射云桌面操作響應時間MOS值和操作響應時間的映射關(guān)系如表19:854321操作響應時間MOS隨著時延的增大而下降。映射關(guān)系如圖15所示。操作響應時間的KQI值與MOS值的映射函數(shù)見公式(18):MOS響出時間=4.293/(1+0.007035·exp374kO作時間)+0.9256……(18)KQI操市響應時間為云桌面業(yè)務操作響應時間的KQI值，單位為s。.2登錄等待時間MOS映射云桌面登錄等待時間MS值和登錄等待時間的對應關(guān)系如表20:S54321圖17卡頓時長占比與MOS映射圖卡頓時長占比的KQI值與MOS值的映射關(guān)系如公式(20):.4業(yè)務綜合評分.1觀看質(zhì)量MOS映射觀看質(zhì)量重點考慮卡頓因素對體驗的影響，卡頓因素包括卡頓次數(shù)與卡頓時長。最低分0分?？D次數(shù)MOS映射關(guān)系如圖18所示?？D次數(shù)為會議持續(xù)時間5min實際測試時間為其他時長，可按照實際測試時長將卡頓次數(shù)折算成5mip的卡頓次數(shù)。圖18卡頓次數(shù)與MOS映射圖65320.2交互時延MOS映射在視頻會議業(yè)務中，將會議發(fā)言者到聽眾之間的語音及畫面交互時延作為交互質(zhì)分0分。交互時延與MOS映射關(guān)系如圖20所示。圖20交互時延與MOS映射圖交互時延KQI與MOS值的映射關(guān)系如公式(27):.3業(yè)務綜合評分占比以及交互時延三個指標的MOS來綜合表示。單業(yè)務MOS計算方式見公式(28):企業(yè)直播在企業(yè)高清直播或者超高清直播業(yè)務中，畫面延遲MOS映射的關(guān)鍵參考點為：小于等于0.1s對應滿分5分：0.2s對應及格分3分：大于1.1s對應最低分0分。交互時延MOS映射關(guān)圖21畫面延遲與MOS映射圖畫面延遲KQI與MOS值的映射關(guān)系如公式(29):.2卡頓次數(shù)MOS映射卡頓次數(shù)MOS映射的關(guān)鍵參考點為：0次對應滿分5分：2.5次卡頓次數(shù)MOS映射關(guān)系如圖22所示?？D次數(shù)為觀看時間5min內(nèi)出現(xiàn)的卡頓次數(shù)，如實際測試時間為其他時長，可按照實際測試時長將卡頓次數(shù)折算成5分鐘的卡頓次數(shù)圖22卡頓次數(shù)與MOS映射圖卡頓次數(shù)KQI值與MOS值的映射關(guān)系如公式(30):.3業(yè)務綜合評分可用于反映企業(yè)直播業(yè)務的整體用戶體驗云化服務.1操作響應時間MOS映射云化服務業(yè)務包含云文檔應用、瀏覽器/服務器模式(B/S)類應用和客戶服務器模型(C/S)類應用。用戶對于云文檔的操作響應時間要求高于其他B/S類和C/S類應用?；谠莆臋n應用操作的實時交互性較強，用戶對操作響時間的期望值較高；基于除云文檔外其他B/S類應用和C/S類應用用戶對瀏覽器或應用程序的界面加載時延期望值類似于網(wǎng)頁瀏覽的體驗要求。.1.2云文檔MOS分值和操作響應時間KQI的對應關(guān)系如表21:8543251 圖23云文檔類業(yè)務操作響應時間映射圖操作響應時間的KOI值與MOS值的映射函數(shù)如公式(32):.1.3B/S類應用和C/S類應用MOS分值和操作響應時間KQI的對應關(guān)系如表22:S15244321映射函數(shù)曲線見圖24.圖24B/8類應用和C/S類應用操作響應時間映射圖操作響應時間的KQI值與MOS值的映射函數(shù)如公式(33):.2業(yè)務綜合評分單業(yè)務MOS值為各KOT的MOS值的加權(quán)值，0云設(shè)計和云渲染卡頓次數(shù)MOS映射的關(guān)鍵參考點為：卡頓次數(shù)為0次對應滿分5分；2.5次對應及格分3分；25次對應最低分0分?？D次數(shù)MOS映射關(guān)系如圖25所示。卡頓次數(shù)為觀看時間5min內(nèi)出現(xiàn)的卡頓次數(shù)，如實際測試時間為其他時長，可按照實際測試時長將卡頓次數(shù)折算成5min的卡頓次數(shù)。圖25卡頓次數(shù)與MOS映射圖觀看卡頓次數(shù)的KQI值與MOS值的映射函數(shù)見公式(35):0.2卡頓時長占比MOS映射卡頓時長占比MOS映射的關(guān)鍵參考點為：卡頓時長占比為0%對應滿分5分；1%對應最低分0分?？D時長占比MOS映射關(guān)系如圖26所示。654B20圖26卡頓時長占比與MOS映射圖卡頓時長占比的KQI值與MOS值的映射關(guān)系如公式(36):其中，KQI時長占此為卡頓時長占比的KQI值。0.3交互質(zhì)量MOS映射交互質(zhì)量通過操作響應時間衡量，典型M0S分值和操作響應時間的對應關(guān)系如表23:854321KQI操作響應時間與MOS呈負指數(shù)下降趨勢，MOS值隨著時廷的增大而下降。映射關(guān)系如圖27所示。操作響應時間的KQI值與MOS值的映射函數(shù)見公式(37):M0S交五4.293/(1+0007035·exp374-0作*應時間)+0.9256………37)0.4業(yè)務綜合評分云油可用于反映云設(shè)計和云渲染業(yè)務的整體用戶體驗。6.3.3業(yè)務體驗評價分級業(yè)務體驗分級架構(gòu)本文件根據(jù)小微企業(yè)辦公場景下寬帶業(yè)務對網(wǎng)絡(luò)要求的高低，把小微企業(yè)辦公場景下寬帶網(wǎng)絡(luò)業(yè)務進行分級，等級越高則表示小微企業(yè)網(wǎng)絡(luò)支持的業(yè)務越豐富。確定分級后，依次運行等級內(nèi)的單業(yè)務進行評測，最后對各業(yè)務體驗感知進行綜合評測，如圖28所示。業(yè)務體驗綜合評測從以下四個層級---業(yè)務體驗KQI指標從用戶視角出發(fā)，對用戶感知的指標進行分解和量化；----業(yè)務KQIMOS指標是對用戶KQI指標進行主觀評分，打分范圍參考6.3.2.為0-5分；----單業(yè)務體驗MOS值是對單個業(yè)務的感知進行綜合評分；----小微企業(yè)業(yè)務綜合體驗是針對小微企業(yè)辦公場景的寬帶業(yè)務體驗進行整體評分。1口 顧5相對加權(quán)值(10分)4997467463評測對應等級中的業(yè)務體驗綜合評分的方式如公式(39):高清直播以及云化服務4種業(yè)務，還包括L0等級中的固定電話語音、網(wǎng)頁瀏覽、語音文本消息、小文件.3數(shù)據(jù)處理方法原始數(shù)據(jù)處理主要針對無效數(shù)據(jù)和失敗數(shù)據(jù)進行識別。無效數(shù)據(jù)應被舍棄，失敗---業(yè)務測試的關(guān)鍵指標錯誤，應判別為失效數(shù)據(jù)。如指標出現(xiàn)負值、或首屏顯示時間出現(xiàn)0值等情況，都判別為無效測試----針對無效數(shù)據(jù)，應舍棄該無效數(shù)據(jù)，不納入后續(xù)計算：針對失敗數(shù)據(jù)，應標記為測入后續(xù)的失敗率統(tǒng)計，在評分計算中也應該按照失敗分(通常為0分)納入計算。假設(shè)有k種(k≥1)不同業(yè)務，其中第i種業(yè)務(1≤i≤k)有m個，帶寬要求為BW,則總帶寬要求的理論模型如公式(40):為了保證各類業(yè)務的體驗，各類業(yè)務總時延應滿足表27,由于企業(yè)網(wǎng)絡(luò)處于用戶的末端接入側(cè)，企業(yè)網(wǎng)絡(luò)中產(chǎn)生網(wǎng)絡(luò)時延主要是最終用戶到企業(yè)網(wǎng)絡(luò)PON口的時延。這部分時延的組成，主要分為用戶設(shè)備與網(wǎng)關(guān)/路由器之間介質(zhì)傳輸?shù)臅r延和網(wǎng)關(guān)/路由器處理報文的時延。對于LAN口接入設(shè)備，由于是硬件介質(zhì)，傳輸距離短，網(wǎng)關(guān)/路由器都能支持硬件轉(zhuǎn)發(fā)，時延通常小于1ms,對用戶的體驗基本不感知。企業(yè)網(wǎng)絡(luò)段時延的產(chǎn)生還是在于企業(yè)內(nèi)部Wi-Fi連接以及網(wǎng)關(guān)/路由器設(shè)備處理Wi-Fi報文所產(chǎn)生時延。表27網(wǎng)絡(luò)各段時延分段要求多業(yè)務并發(fā)是企業(yè)網(wǎng)絡(luò)業(yè)務需求的核心典型特點，企業(yè)內(nèi)的并發(fā)連接體現(xiàn)在多個維度，其指標為連接用戶數(shù)和并發(fā)用戶數(shù)。----連接用戶數(shù)：可以接入的最大用戶數(shù)。----并發(fā)用戶數(shù)：同一時刻有業(yè)務的用戶數(shù)。并發(fā)用戶數(shù)越多，競爭沖突加劇，業(yè)務體驗變差在小微企業(yè)場景，企業(yè)內(nèi)部組網(wǎng)和云網(wǎng)架構(gòu)、云服務側(cè)應用關(guān)聯(lián)整體更緊密。云網(wǎng)一體流進入上云通道：在業(yè)務進入上云通道后，提供企業(yè)網(wǎng)關(guān)因此云網(wǎng)一體需要提供架構(gòu)性能力，支撐企業(yè)云網(wǎng)業(yè)務高質(zhì)量融合發(fā)展，建議的能力指標如表28:表28云網(wǎng)一體性能指標要求企業(yè)內(nèi)網(wǎng)要能夠建立立體安全體系，承擔企業(yè)多重角色、多重業(yè)務的安全責任。多員工、企業(yè)主、運營商、政府監(jiān)管部門：多重業(yè)務包括公網(wǎng)Internet合規(guī)訪問、內(nèi)網(wǎng)業(yè)