趙彥奇：火山引擎HTTPDNS邊緣云原生技術實踐

火山引擎HTTPDNS邊緣云l千萬QPS、億級連接l抖音、頭條、番茄小說等l20%性能↑,35%成本↓l服務遷移到火山引擎邊緣云l云邊端全鏈路流量調度集團業(yè)務集團業(yè)務火山引擎火山引擎TrafficRouteDNS套件一個“長期基于云”的HTTPDNS服務為何要做“邊緣云原生”改造？來自集團業(yè)務的訴求針對性能與成本優(yōu)化的技術空間火山引擎邊緣云生態(tài)建設為HTTPDNS創(chuàng)造新機遇泛互聯網泛互聯網視頻直播實時音視頻影視娛樂移動終端在線教育電商零售媒資信息媒體行業(yè)數字人影視渲染游戲行業(yè)媒體行業(yè)數字人影視渲染游戲行業(yè)游戲加速VR/AR金融行業(yè)電子發(fā)票分布式計算汽車行業(yè)輔助駕駛車聯網高效連接統一的云原生平臺讓邊緣網絡與IT高效連接統一的云原生平臺讓邊緣網絡與IT應用無縫銜接，高效協同海量算力提供豐富的邊緣云資源為海量應用提供無限算力支撐全域覆蓋充分利用廣泛覆蓋的網絡和計算節(jié)點讓連接與計算無處不在資源受限資源受限核心挑戰(zhàn)：穩(wěn)定性邊緣計算穩(wěn)定性欠缺穩(wěn)定性欠缺核心需求：性能和成本可控的穩(wěn)定性風險換收益發(fā)展驅動力?提升用戶體驗，滿足對低延遲、高帶寬和收益難評估收益難評估架構升級、運維自動化換穩(wěn)定性熱點領域?在智能應用、工業(yè)互聯場景方面比云計算字節(jié)集團千萬QPS底座服務邊緣云原生體系“完善”邊緣架構重新建設監(jiān)控告警日志分析軟件發(fā)布系統運維故障容災業(yè)務“敏感”HTTPDNS故障影響面大抖音啟動卡頓體系“完善”邊緣架構重新建設監(jiān)控告警日志分析軟件發(fā)布系統運維故障容災業(yè)務“敏感”HTTPDNS故障影響面大抖音啟動卡頓直播推拉流變慢點播CDN調度不準架構“成熟”架構“成熟”高度依賴云組件高度依賴云組件，服務發(fā)現、Redis、日志系統、可觀測核心組件深度優(yōu)化，四七層核心組件深度優(yōu)化，四七層負載均衡協議、性能優(yōu)化Q基礎組件部署驗證周期長快速交付流量精準調度最優(yōu)部署運維復雜度最優(yōu)部署資源需求嚴苛分布式系統控制面重構、節(jié)點數量多公網安全風險高、可觀測重建服務特性服務特性?可充分利用“邊緣就近&分布式”配置編排配置編排現有架構的優(yōu)勢現有架構的優(yōu)勢容器容器容器容器容器容器容器容器容器容器容器容器容器容器容器容器緩存層集群遞歸緩存層集群遞歸層集群池化資源池化資源分層管控分層管控資源維度服務維度業(yè)務需求明確業(yè)務需求明確?抖音還要什么？網絡體驗優(yōu)化（DNS時延）技術上不確定技術上不確定服務難部署流量難調度結論結論CloudfareCloudfareDNSAkamaiAkamaiEdgeDNS廠商-產品性能可借鑒優(yōu)勢一句話“強調調度和容災，盡可能利用邊緣的優(yōu)勢”收斂tow-tier遞歸：Anycast接入的中力+邊緣節(jié)點nameserver的低延時超大業(yè)務規(guī)模的背景下，全球數據同步，秒級；業(yè)務規(guī)模極大場景下的性一句話“很傳統、很安全，網絡基礎設施強大”能優(yōu)化路徑&安全設計實現抖音“無感”的邊緣化架構遷移●云邊共存●1.云中心三機房：anycast2.邊緣50+節(jié)點：IP●灰度覆蓋范圍1.西南→西北→東北→華中原架構原架構緩存下沉新架構緩存層遞歸層緩存層遞歸層緩存層緩存層遞歸層緩存層遞歸層緩存層遞歸層●一個省「貴州」AB實驗1.架構驗證遞歸層緩存層緩存層1.偏遠、弱網區(qū)域2.區(qū)域內容災互備遞歸層緩存層緩存層?分離「無狀態(tài)」「有狀態(tài)」?不同省份、運營商接入質量參差不齊?偏遠地區(qū)、服務性能差、但用戶少離用戶越近、節(jié)點數越多，離用戶越近、節(jié)點數越多，網絡性能越好流量調度需要更精準流量波動帶來的風險更大?潮汐、突發(fā)熱點、節(jié)日與活動?邊緣異構容量暴露風險更顯著調度模式GT調度模式GTM調度策略節(jié)點確定流量分配強化學習FinOps&強化學習撥測、節(jié)點池、評分規(guī)劃模式人工規(guī)劃用流量確定節(jié)點流量與資源沖突流量與資源沖突性能與穩(wěn)定性的沖突性能與穩(wěn)定性的沖突調度能力）：）：系統提升?數據面：水位波動1分鐘感知95%主動遷移?業(yè)務側：邊緣云組件聯動升級時業(yè)務無感知?鏈路容災：客戶端側、鏈路側、服務側，多級容災?資源彈性：數據面任意節(jié)點可插拔，強自愈架構?綜合調度：云邊端全鏈路容量、質量感知LocalDNSLocalDNS調度云端調度優(yōu)勢云端調度優(yōu)勢成本優(yōu)化成本優(yōu)化撥測對比撥測對比抖音抖音AB實驗火山引擎外部客戶火山引擎外部客戶集團內部業(yè)務抖音番茄1地區(qū)運營商單線帶寬1部署自研軟件，邊緣計算資源單價便宜。分布式多節(jié)點接入的流1流量&架構導致邊緣節(jié)點單核性 移動解析HTTPDNS 成本構成負載均衡資源計算資源負載均衡資源計算資源降低耗時機房水平機房水平故障感知故障感知運維復雜度運維復雜度指標時延整體延時優(yōu)化5%成功率持平TTFB平均TTFB4.1%↓（-3.5ms）故障感知收斂時長容災：預案模式10min到自動容災好用：火山控制臺一鍵調度策略計算，調度結果可視可行性風險收益質量效率創(chuàng)新創(chuàng)造>>a性能a成本a穩(wěn)定性技術創(chuàng)新a運維復雜度a系統架構33.50%軟件功能迭代邊緣部署方案設計全鏈路安全解析免費的高性能安全公共DNS