基于云架構(gòu)的研發(fā)模式演進

1、基于云架構(gòu)的研發(fā)模式演進技術(shù)創(chuàng)新，變革未來當“上云”成為必然趨勢 開發(fā)者關(guān)心什么？彈性 究竟是否對企業(yè)和開發(fā)者有意義？穩(wěn)定性 能否達到小型機的標準上云？可管理性 應(yīng)用的管理能否做到跟手機一樣方便評估業(yè)務(wù)峰值阿里巴巴早期資源管理模式的痛點資源預(yù)算資源使用CPU 10%MEM 60%購買機器壓測周期長資源預(yù)占上線慢若干月安裝上電審批預(yù)算CPU 10%MEM 60%CPU使用率10%內(nèi)存使用率60%資源效率相對低無法復(fù)用資源預(yù)占人力效率相對低研發(fā)介入資源流程較深基礎(chǔ)設(shè)施團隊疲于應(yīng)付重復(fù)性工作全站容器化和統(tǒng)一調(diào)度后資源使用效率得到提升在線業(yè)務(wù)資源池資源池資源池在線業(yè)務(wù)在線業(yè)務(wù)應(yīng)用主包RPMWEB包運維

2、邏輯運維邏輯運維邏輯在線業(yè)務(wù)統(tǒng)一資源池在線業(yè)務(wù)在線業(yè)務(wù)標準交付格式：Dockerfile公共運維邏輯離線 資源池物理機虛擬機物理機標準運行形態(tài)：容器共享buffer 彈性擴容全站容器化調(diào)度的顆粒度到CPU和內(nèi)存容量資源池合并提高資源的利用率和彈性能力運維標準化提高交付效率與運行穩(wěn)定性離線和在線業(yè)務(wù)并池，根據(jù)業(yè) 務(wù)特征不同，分時復(fù)用資源， 提高CPU利用率在線 調(diào)度離線 調(diào)度資源 協(xié)調(diào)在線業(yè)務(wù)離線業(yè)務(wù)混部資源池40%日均CPU資源利用率優(yōu)勢不足運維、調(diào)度系統(tǒng)感知混部，增 加用戶使用和系統(tǒng)復(fù)雜度，同 時服務(wù)器和操作系統(tǒng)需要定制混部后資源使用效率提升到40%架構(gòu)優(yōu)化方案，本質(zhì)上是云化的過程產(chǎn)品化云計

3、算產(chǎn)品化的解決方案供應(yīng)鏈管理架構(gòu)優(yōu)化未解決供應(yīng)鏈的問題：3年前，阿里巴巴為618雙11業(yè)務(wù)峰值備貨的計算資源，消化完 畢的時間需要按年來計云計算產(chǎn)品化解決方案優(yōu)勢：資源池規(guī)模呈指數(shù)級別增長產(chǎn)品化解決方案，用戶不用關(guān)注架構(gòu)優(yōu)化資源即買即用，用戶不用關(guān)心供應(yīng)鏈問題統(tǒng)一調(diào)度混部容器化效率效率云計算是產(chǎn)品化的解決方案混部（架構(gòu)方案）云計算（產(chǎn)品化方案）日常雙十一電商大數(shù)據(jù)（降級）電商電商日常雙十一大數(shù)據(jù)大數(shù)據(jù)電商電商空閑電商電商電商電商電商大數(shù)據(jù)電商大數(shù)據(jù)大數(shù)據(jù)大數(shù)據(jù)使用云主機成本比較（按年計）：混部：4*350+5*15 = 1475云化：2.2*350+5.2*15 = 848技術(shù)比較：混部：技術(shù)

4、相對復(fù)雜，業(yè)務(wù)有降級云化：技術(shù)相對簡單，業(yè)務(wù)無降級全站云化讓電商成本進一步大幅下降MySQLVFS（local） 本地磁盤PolarDB XDBFS分布式存儲PolarDB XDBFS硬件采購更靈活，計算節(jié)點 不用考慮磁盤容量問題只考慮CPU和內(nèi)存水位，提高 資源分配成功率和資源利用率加速擴容變更效率，只對計算 節(jié)點遷移，不做數(shù)據(jù)的復(fù)制從容應(yīng)對大促擴容縮容，準備 時間從2-3個月縮短到3個晚上PolarDB X存儲計算分離后的收益：云化對數(shù)據(jù)庫應(yīng)用帶來很好收益搶占式實例（Preemptive instance）價格便宜可釋放價格隨市場供給關(guān)系波動最小保證1小時使用時間回收前5分鐘通知客戶純計算

5、業(yè)務(wù)，如科學(xué)計算、圖像渲染、區(qū)塊鏈等離線分析業(yè)務(wù)，對資源實時性要求低大數(shù)據(jù)業(yè)務(wù)可彈性伸縮的站點業(yè)務(wù)測試業(yè)務(wù)大量使用搶占式實例，利用多地資源池滿足客戶需求客戶利用FLEET等功能，一站式管理在線資源，滿足調(diào)度需求不斷優(yōu)化資源釋放邏輯，提升客戶體驗客戶痛點廣告DSP競價需要大量資源實時詢價，云上使用資源成本高多地云上資源需求，需要供給能力穩(wěn)定支撐使用搶占式實例，資源被釋放的概率更低某移動廣告及數(shù)據(jù)分析公司云計算規(guī)模化帶來新的玩法解決方案效果累計使用超過20w+ vcpu多地部署，保障資源穩(wěn)定從上云“受益方”向“收益方”過渡特征適用場景某在線旅游網(wǎng)站某社交媒體公司某渲染公司上云前：渲染農(nóng)場數(shù)百臺服務(wù)

6、器高峰期排隊嚴重、 低峰期空閑上云后：使用企業(yè)實例+搶占式實例（閑時6小時 不搶占），成本降低明顯，渲染效率相對 于線下物理機提升50%某熱點事件彈性使用ECS 4000+ 一小時擴容ECS3000+一分鐘創(chuàng)建上百節(jié)點的GPU計算集群一秒鐘啟動大規(guī)模分布式AI訓(xùn)練任務(wù)某業(yè)務(wù)峰值期間創(chuàng)建ECS總實例數(shù) 12800+vcpu數(shù)12800+云環(huán)境中用戶高效使用資源的案例過年搶票場景用戶解決方案：使用兩千臺ECS通過停機不收費6小時后再啟動的方式進行彈性當前12%的資源平均每天6小時參與彈性，一個月累計節(jié)省數(shù)十萬元后續(xù)規(guī)模化擴展后50%資源平均每天10小時參與彈性，一個月可節(jié)省數(shù)百萬元業(yè)務(wù)痛點：午餐和

7、晚餐訂餐高峰期，業(yè)務(wù)量飆升，一次性服務(wù)器采購成本高其他時間業(yè)務(wù)量比較小云計算中某O2O公司資源使用相比線下效率提升顯著上云后總IT物理成本節(jié)省20%總?cè)司S護服務(wù)器數(shù)量提升3倍彈性能力等得到顯著提升資源使用方式演進小結(jié)阿里巴巴早期架構(gòu)優(yōu)化通過全站容器化、混部等架構(gòu)優(yōu)化的方 式提高資源的使用率，可達40%運維標準化提高了交付效率和運行穩(wěn)定性云計算通過商品化的方式提供解決方案 資源即買即用用戶不需要復(fù)雜架構(gòu)即實現(xiàn)資源使用 效率和人工效率的顯著提升資源使用效率相對低人工效率相對低DNS負載均衡器負載均衡器DNS和商用負載均衡器 提供切換能力商用軟硬件廠商 提供單系統(tǒng)穩(wěn)定性小型機數(shù)據(jù)庫 存儲小型機數(shù)據(jù)

8、庫 存儲早期IT，穩(wěn)定性由商用軟件和硬件廠商提供高 可 用 架 構(gòu)HSFTDDL存 儲Notify/MetaQ限 流 降 級應(yīng) 用 層限 流 降 級ConfigServer/DiamondTair限 流 降 級服 務(wù) 層限 流 降 級ISearch應(yīng)用容器集群數(shù)據(jù)穿透能力/集群節(jié)點控制能力/集群安全控制能力IAAS分 布 式 基 礎(chǔ) 設(shè) 施容量能力應(yīng)用治理運行管控容錯容災(zāi)容量規(guī)劃鏈路跟蹤限流降級 開關(guān)預(yù)案同城雙活彈性伸縮依賴治理開關(guān)預(yù)案異地多活全鏈路壓測故障演練監(jiān)控報警流量調(diào)度互聯(lián)網(wǎng)通過架構(gòu)優(yōu)化來實現(xiàn)穩(wěn)定性提升云計算通過軟硬件結(jié)合的手段提供了很高的單點穩(wěn)定性云計算產(chǎn)品化輸出了全棧穩(wěn)定性解決方案

9、PTS全鏈路壓測工具高仿真線上峰值流量EDAS應(yīng)用托管和微服務(wù)管理 應(yīng)用全棧式解決方案AHAS提高應(yīng)用高可用能力吞吐控制、架構(gòu)感知和故障演練云計算產(chǎn)品化的方式提供了整體穩(wěn)定性方案硬件系統(tǒng)監(jiān)測 + AI故障預(yù)測全方位硬件和系統(tǒng)檢測指標 不斷進化的預(yù)測算法熱遷移98%的遷移切換中斷時間小于 200ms 消除故障于無形之間高可用全網(wǎng)部署消除硬件故障對業(yè)務(wù)的單點威脅穩(wěn)定性演進小結(jié)早期IT互聯(lián)網(wǎng)云計算商業(yè)的軟硬件提供穩(wěn)定性的保障 用戶架構(gòu)簡單，成本高通過分布式、中間件等架構(gòu)優(yōu)化方式解 決穩(wěn)定性問題，技術(shù)復(fù)雜，成本低通過商品化的方式提供單點穩(wěn)定性和分 布式全棧化的產(chǎn)品和解決方案用戶架構(gòu)簡單，成本低優(yōu) 勢

10、一 ： 虛擬化卸載 性能提升長尾延遲更穩(wěn)定96.3%長尾RT高負載壓力下某電商應(yīng)用延遲水平存儲和網(wǎng)絡(luò)延遲客戶的資源利用率顯著提升達到本地優(yōu)勢二：物理網(wǎng)絡(luò)、存儲和計 算完全解耦，可以避 免資源爭搶優(yōu)勢三：通過存儲和網(wǎng)絡(luò)虛擬化 實現(xiàn)容器可遷移性提升 運維便捷某直播客戶的運維效率顯著提升0感知故障切換物理 服務(wù)器容器服務(wù)PodPodPodPodeth0eth0eth0eth0神龍ENI0ENI1神龍ENI0ENI1Terway Network on VPCVPC/EBS神龍EBS云盤X-Dragon Hypervisor神龍子系統(tǒng)30%QPS80%CPU利用率3倍運維效率容器的最佳載體探討開發(fā)人員：

11、N 個環(huán)境，N 份應(yīng)用部署文件頻繁與運維人員溝通運維人員：必須了解應(yīng)用實現(xiàn)與架構(gòu)對接不同平臺的運維實現(xiàn)開發(fā)人員：N 個環(huán)境 ，1 份應(yīng)用部署文件標準化的運維需求描述運維人員：通過應(yīng)用部署文件同開發(fā)人員進行協(xié)作像“搭積木”一樣配置運維能力現(xiàn)狀我們希望困難復(fù)雜流程多專有云公共云IoT研發(fā)環(huán)境測試環(huán)境生產(chǎn)環(huán)境應(yīng)用像管理手機 APP 一樣管理云端應(yīng)用簡單高效易管理項目主頁：https:/openappmodel.io聯(lián)合發(fā)布開發(fā)人員運維人員標準化的方式透出平臺基礎(chǔ)能力與特性O(shè)AM 應(yīng) 用 ， 一 鍵 安 裝 ， 多 處 運 行 OAM 應(yīng)用描述平臺層平臺層KubernetesAlibaba Cloud EDASAzure OAMServiceIoT定義應(yīng)用組件、依賴與架構(gòu)定義應(yīng)用運維配置和運行時參數(shù)執(zhí)行 OAM 應(yīng)用描述OAM 原生服務(wù)Open Application Model - 開放應(yīng)用模型全球首個云原生應(yīng)用標準定義與架