基于公網(wǎng)體驗云網(wǎng)測評白皮書 2023

基于公網(wǎng)體驗文檔版本發(fā)布日期發(fā)布單位2023-9華為云計算技術(shù)有限公司版權(quán)所有?華為云計算技術(shù)有限公司2023。保留一切權(quán)利。非經(jīng)華為云計算技術(shù)有限公司書面同意，任何單位和個人不得擅自摘抄、復(fù)制本手冊內(nèi)容的部分或全部，并不得以任何形式傳播。商標(biāo)聲明在本手冊中以及本手冊描述的產(chǎn)品中，出現(xiàn)的其他商標(biāo)、產(chǎn)品名稱、服務(wù)名稱以免責(zé)聲明本文檔可能含有預(yù)測信息，包括但不限于有關(guān)未來的財務(wù)、運營、產(chǎn)品系列、新技術(shù)等信息。由于實踐中存在很多不確定因素，可能導(dǎo)致實際結(jié)果與預(yù)測信息有很大的差別。因此，本文檔信息僅供參考，不構(gòu)成任何要約或承諾。華為云可能貴州省貴安新區(qū)黔中大道交興功路華為云數(shù)據(jù)中心2基于公網(wǎng)體驗云網(wǎng)測評白皮書4典型應(yīng)用對網(wǎng)絡(luò)的訴求8顧問組成員孫維華為云廣域網(wǎng)團(tuán)隊主編人員參編人員4基于公網(wǎng)體驗云網(wǎng)測評白皮書 英文縮寫英文全稱VMVirtualMachine虛擬機(jī)彈性計算服務(wù)器彈性IP地址（公網(wǎng)IP）邊界網(wǎng)關(guān)協(xié)議ASAutonomousSystemAZAvailabilityZone可用區(qū)互聯(lián)網(wǎng)服務(wù)提供商互聯(lián)網(wǎng)交換點多人在線戰(zhàn)術(shù)競技游戲國際互聯(lián)網(wǎng)網(wǎng)關(guān)國家互聯(lián)網(wǎng)交換點5基于公網(wǎng)體驗云網(wǎng)測評白皮書隨著千行百業(yè)上云，企業(yè)生產(chǎn)環(huán)境遷移到云上，企業(yè)租戶或用戶訪問云的要求越來越高。企業(yè)應(yīng)用已經(jīng)從以前的可以訪問，演變到已經(jīng)追求更優(yōu)的網(wǎng)絡(luò)體驗。不論是企業(yè)還是云廠商，如何從綜合的云網(wǎng)的視角來評價云網(wǎng)絡(luò)對用戶體驗的影響，始終是一個難題。如何通過一套統(tǒng)一、客觀、綜合的評價體系來評不論是企業(yè)還是云商，如何從云網(wǎng)綜合質(zhì)量的視角來評價云網(wǎng)絡(luò)對用戶體的為云應(yīng)用服務(wù)。一個典型的云網(wǎng)絡(luò)組網(wǎng)模型6基于公網(wǎng)體驗云網(wǎng)測評白皮書從上圖可以看到，用戶通過公網(wǎng)接入網(wǎng)絡(luò)，公網(wǎng)在泛，由不同介質(zhì)的網(wǎng)絡(luò)組成，穩(wěn)定性和復(fù)雜性最高。業(yè)界公網(wǎng)的質(zhì)全球Internet網(wǎng)絡(luò)是由30407個BGPAS通過B則（Peering）組成。運營商之間通常不是以商業(yè)策略為原則進(jìn)行互聯(lián)，這樣的策略決定了互聯(lián)網(wǎng)是一個無序、波動、無SLA保障的網(wǎng)絡(luò)。受此影響，對于時延、丟包率敏感型的行業(yè)客戶感知最深，往往會因為評價體系的不同導(dǎo)致結(jié)果出現(xiàn)差異，無法精準(zhǔn)的定位網(wǎng)絡(luò)的瓶頸所在，也無法有效的牽引云網(wǎng)質(zhì)量的健康發(fā)展，7基于公網(wǎng)體驗云網(wǎng)測評白皮書3.1互聯(lián)網(wǎng)現(xiàn)狀根據(jù)ISPs運營商的網(wǎng)絡(luò)拓?fù)?、覆蓋能力、用戶及POP點的規(guī)模，分為是純粹的技術(shù)層面的互聯(lián)互通，導(dǎo)致Internet的性能是無SLA約束的盡管網(wǎng)絡(luò)之間的大多數(shù)互連（Peering）協(xié)議是保密的，但可以從跟蹤備注：抽象模型摘自O(shè)nInferringAutonomousSystemRelationshipsinthe8基于公網(wǎng)體驗云網(wǎng)測評白皮書3.2Internet的連接類型Internet的接入方式種類較多，也是大部分個人用戶接入公有云的典型場），大學(xué)，已經(jīng)少量商業(yè)組織運營，全球目前有超過2000詳細(xì)的IXP清單和參與者信息。https://www.pee9基于公網(wǎng)體驗云網(wǎng)測評白皮書專線連接，復(fù)用接入IXP的物理線路。當(dāng)和對復(fù)用已有的物理線路，構(gòu)建邏輯上的直連的BGP關(guān)系，優(yōu)點就是速對接，和中小參與者無需額外單獨部署樓內(nèi)線完成對接，缺連對接，實現(xiàn)雙方流量直接的交換，不經(jīng)過IPT線路，減少互通時延及3.3國內(nèi)運營商網(wǎng)絡(luò)概況移動網(wǎng)絡(luò)主要接入個人用戶。在移動網(wǎng)絡(luò)上，個人用戶通過無線空運營商基站，通過移動回傳網(wǎng)絡(luò)接入到核心網(wǎng)網(wǎng)關(guān)后接入Internet。移動滿足個人用戶日常使用需求。缺點是空口帶寬的時延不穩(wěn)定。移動網(wǎng)絡(luò)入企業(yè)用戶，通過專有的CPE設(shè)備接入到網(wǎng)絡(luò)，形成企業(yè)專網(wǎng)，本文暫不討論個省份都有不同的城域網(wǎng)，經(jīng)濟(jì)發(fā)達(dá)城市每個地市單獨建設(shè)城域網(wǎng)；能為大企業(yè)提供更加優(yōu)質(zhì)的互聯(lián)網(wǎng)服務(wù)。云廠商主要接入到固網(wǎng)運營商的IDC3.4海外運營商網(wǎng)絡(luò)概況分散；并且在不同的地理區(qū)域（州、邦、省）序號運營商名稱147614indosatm2.id479556tri.co.id457277xl.co.id89表-1示例-印尼TOP運營商列表及用戶分布海外各Top運營商的網(wǎng)絡(luò)架構(gòu)基本類似，無線業(yè)務(wù)組網(wǎng)使用無線網(wǎng)絡(luò)和移固定承載網(wǎng)絡(luò)。多數(shù)運營商使用一張綜合FMC承載網(wǎng)絡(luò)承載無線和寬帶業(yè)務(wù)，運營商市場競爭充分，運營商數(shù)量較多，部分國家缺少國家級IXP或者跨國公司不同國家子網(wǎng)之間流量互通差，集團(tuán)弱管控，本國子網(wǎng)），運營商為了節(jié)省建網(wǎng)成本，提升運營/運維效率等因素，建4典型的應(yīng)用對網(wǎng)絡(luò)的訴求公有云的典型用戶訪問模型，是來自于云上應(yīng)用所服務(wù)的最終用接入公有云的方式，可以分為Internet接入的用戶和DC基于互聯(lián)網(wǎng)用戶視角，根據(jù)對互聯(lián)網(wǎng)用戶訪問Cloud端到端路徑進(jìn)行1)運營商內(nèi)部時延：區(qū)分為移動用戶或者固網(wǎng)用戶在運營商內(nèi)部時延，移動網(wǎng)用戶主要是手機(jī)端用戶，固網(wǎng)用戶是指通過家庭寬帶（Wifi/有線）接入4G組網(wǎng)下，運營商移動網(wǎng)空口及移動回傳約20ms~40ms，主要依賴運營商的移動網(wǎng)基站及宏站的部署能力和范圍、移動運營商骨干網(wǎng)覆蓋的范圍）；Wifi接入運營商固網(wǎng)承載網(wǎng)內(nèi)部時延約5ms~15ms，有線接入約2ms內(nèi)路由，存在路由動態(tài)變化（通過BGPrefresh報文持續(xù)刷新無SLA,網(wǎng)絡(luò)性在全球互聯(lián)網(wǎng)流量高地（交換活躍點覆蓋本國及周邊國家互聯(lián)網(wǎng)性能較好；全球主要的區(qū)域型流量高地有中國香港、新加坡，德國法蘭、法國馬賽、英國倫敦、荷蘭阿姆斯特丹、美國東部邁阿密、紐約、美國東南亞國家流量交換主要在新加坡、中國香南非IXP較為發(fā)達(dá)，流量主要在本地交換，但是中非國家流量主要在歐本國內(nèi)部互聯(lián)網(wǎng)時延基本在50ms以內(nèi)；跨大洲互聯(lián)網(wǎng)時延一般會超過100ms，比如從中國香港到歐洲約160ms~250ms，中國香港到北美約3）云內(nèi)網(wǎng)絡(luò)時延：大型云廠商數(shù)據(jù)中心架構(gòu)一POP機(jī)房和多個AvailableZone（AZ）機(jī)房，基于架構(gòu)的安全、流量負(fù)載均衡等原因，流量會在不同節(jié)點繞行；該部分時延一般設(shè)計小于2.5ms，對于敏業(yè)務(wù)類型最佳時延要求滿足要求典型應(yīng)用實時競技類在線MOBA類游戲?qū)崟r交互類游戲在線棋牌類游戲?qū)崟r交互語音類社交軟件語音實時交互視頻類社交軟件視頻非實時互聯(lián)網(wǎng)應(yīng)用Web瀏覽表-2應(yīng)用體驗對于時延的要求4.2時延敏感型場景在所有的應(yīng)用類型中，互聯(lián)網(wǎng)行業(yè)是對公有云時延較為敏感的行業(yè)，其中實時競技類游戲（MOBA）又是互聯(lián)網(wǎng)行業(yè)中最為敏感的應(yīng)用，所以，可以說MOBA游戲行業(yè)是整個云業(yè)務(wù)中對時延最為敏感的行業(yè)，也成為為https短連接），若有DDoS攻擊，則優(yōu)先通過典型游戲卡牌類、棋牌類、策略類回合制、城防、沙盒表-3典型游戲?qū)τ跁r延及丟包率的要求在音視頻應(yīng)用場景下，應(yīng)用對于時延不敏感，時延小于500ms以下即可滿丟包率問題凸顯，如何保障該類場景下的通信訴求以及如何5.1公網(wǎng)網(wǎng)接入云服務(wù)的組成基于用戶視角分析，對公網(wǎng)用戶訪問公有云場景的分析，我們接入到訪問云廠商服務(wù)器，總共三段時延，基于云廠商視角來看對值得說明是，這里第三段時延定義為最后一公里和通信行業(yè)真正者固網(wǎng)城域網(wǎng)邊緣到用戶的接入。這定義的主到用戶的時延，這主要根據(jù)云廠商監(jiān)測運營商使用的活躍地址主要在IPCo5.2基于出云的主動測量測試在云上部署測試平臺，主要由測試服務(wù)器、存儲服務(wù)器、計算服務(wù)器和數(shù)運營商內(nèi)的真實用戶公網(wǎng)IPv4地址是經(jīng)過運營商網(wǎng)絡(luò)內(nèi)部通過基于源端口SNAT轉(zhuǎn)換后的地址，用戶端實際的IP地址為私網(wǎng)地址，絕大部分運營商過防火墻策略禁ping該公網(wǎng)地址池。實際測試中，一般需要和行業(yè)內(nèi)部第三方測試平臺合作或者采購，Ping測試對方在運營商網(wǎng)內(nèi)的服務(wù)器地址，這些可測試的地址分為如下幾種。均可以代表該運營商網(wǎng)內(nèi)的網(wǎng)絡(luò)狀態(tài)。全球IPv4地址共42億個，其中公網(wǎng)IPv4地址約25億，亞太地區(qū)16國203BGPAS維度約5億左右IPv4公網(wǎng)地址。關(guān)于如何選采購專業(yè)的IP地址庫客戶端主動發(fā)起的網(wǎng)絡(luò)質(zhì)量RTT數(shù)據(jù)采集探測目標(biāo)數(shù)(T)]}，如某數(shù)據(jù)中心覆蓋某國X運營商通過部署測試工具進(jìn)行日常測試，具選用低頻探測模板1min-10pkt-interval3min，一個探測周期240s一天理論測試有效值=發(fā)包頻率（15）*時長(24H)*發(fā)包數(shù)量(10)*探20基于公網(wǎng)體驗云網(wǎng)測評白皮書備注：合計約25.68億個可用公網(wǎng)IP地址、理論上是2^32約42億多網(wǎng)絡(luò)ID、廣播ID、保留網(wǎng)段、本地環(huán)回網(wǎng)段、組播網(wǎng)段、實際可用就是25.68億。5.3基于入云的被動測量測試通過云下客戶端檢測到目標(biāo)云上服務(wù)器，服務(wù)器側(cè)收集客戶端上報的icmp/http/下該測試系統(tǒng)和運營商到云下測試類似，一般分為幾個部分組成，云上有若干臺目標(biāo)測速服務(wù)器，負(fù)責(zé)采集目標(biāo)運營商內(nèi)部的測速數(shù)據(jù)；主要特點是云下有眾多的測速客戶端設(shè)備，比如手機(jī)客戶端，PC客戶端等，這些客戶端需要需要盡可能的分所在運營商網(wǎng)絡(luò)。在訪問云上服務(wù)器時，測速的客戶端有可能和實際用戶是同一個終端。該方案的主要的優(yōu)點是客戶端樣本豐富，一般是互聯(lián)網(wǎng)公司在客戶端植入apk文件，每隔5min自動上報一次ping或者traceroute信息；或者是專業(yè)的第三方測速公司，在運該方案的缺點是需要在運營商網(wǎng)內(nèi)部署測速節(jié)點，測試節(jié)點部署越多，所需的商業(yè)成本越高。21基于公網(wǎng)體驗云網(wǎng)測評白皮書6.1公網(wǎng)質(zhì)量測評現(xiàn)狀基于云廠商視角，雖然云廠商的網(wǎng)絡(luò)質(zhì)量測試能力及工具較為完整，但云基于企業(yè)視角，大型公司及中小企業(yè)測試能力參差不齊，對于互聯(lián)體運營商的用戶分布、市場份額、運營類型（固網(wǎng)/移動網(wǎng)/Wi有限，對于測試地址的選取不盡相同，也無統(tǒng)一的測評方法，導(dǎo)致測試質(zhì)量數(shù)6.2公網(wǎng)體驗指數(shù)CEIIndex）。該體驗指數(shù)主要基于網(wǎng)絡(luò)KPI的三個針對不同的應(yīng)用場景，在計算CEI時可以根據(jù)場景調(diào)整權(quán)重占比。從華為云客戶典型場景來看，目前主要有時延敏感型（例如游戲應(yīng)用型（例如音視頻應(yīng)用）場景。華為云建議在時延敏感型場景，率、抖動權(quán)重占比為7:2:1；在丟包率敏感型場景22基于公網(wǎng)體驗云網(wǎng)測評白皮書CEI（CustomerExperienceIndex）用戶體驗指標(biāo)的計算公式描述了用戶對網(wǎng)絡(luò)指標(biāo)的主觀感受，其一大特點在于其往往對特定指標(biāo)的變化感知存在是較好的（平滑區(qū)一旦時延超過某個閾值，體驗將產(chǎn)生斷崖式下跌（區(qū)）。基于此觀察，CEI計算公式的設(shè)計靈感來自S曲線（S-Curve），S曲線被廣泛應(yīng)用于生態(tài)系統(tǒng)模型、城市化進(jìn)程模型等生物統(tǒng)計、社會學(xué)的實證分析中，一個典型的S曲線——Sigmoid函數(shù)如下圖所示，其特點在于可以將數(shù)值映射到（0,1）的區(qū)間并將數(shù)值分離為三塊區(qū)域，分別為兩塊平滑區(qū)以及一塊針對每一個KPI指標(biāo)，采用不同的S曲線可降低KPI指標(biāo)間的耦合關(guān)系，為不同指標(biāo)敏感型的應(yīng)用提供獨立的體驗曲線。我們設(shè)計了如下的KPI體驗公式：斜率和偏移，使其擬合真實的用戶體驗，分子上的1+e^b保障了最優(yōu)情況下CEI分?jǐn)?shù)的最大值，同時可用于屏蔽某些不存在平滑區(qū)的KPI指標(biāo)（例避免擬合失敗。通過不同的網(wǎng)絡(luò)KPI的參數(shù)，可以生成時延CEI分值、丟包率23基于公網(wǎng)體驗云網(wǎng)測評白皮書參數(shù)a參數(shù)b0.00254jitter0.074524基于公網(wǎng)體驗云網(wǎng)測評白皮書1)單運營商場景：通過CEI指數(shù)評價單個運營商or云廠商網(wǎng)絡(luò)優(yōu)秀：某個運營商到某個云廠商的綜合CEI分體驗差：某個運營商到某個云廠商的綜合CEI分值25基于公網(wǎng)體驗云網(wǎng)測評白皮書2）多個運營商場景：通過CEI指數(shù)評價多個優(yōu)秀：多個運營商到某個云廠商的平均綜合CEI分體驗差：多個運營商