分布式應用無銀彈-分布式應用架構核心要素的設計方法探討

分布式應用無銀彈 1互聯(lián)網(wǎng)應用/企業(yè)應用那些事2分布式為彈性應用解困3分布式平臺的核心要素設計剖析（大型）互聯(lián)網(wǎng)應用VS企業(yè)應用企業(yè)應用?capacity企業(yè)應用?capacityplanning?enterprise-scale,carrier-scale?不好的用戶體驗?限定的使用模式避免蓋棺定論問題一直都在托翁法則“舍得”建設性改良0~1VS1~100（大型）互聯(lián)網(wǎng)應用?商業(yè)模式衍生出技術色彩?高用戶量目標?不固定、不可控?快速迭代的沖擊?活難干、沒預算?商業(yè)模式推動技術變革彈性應用彈性架構彈性架構?完善、靈巧?單體高效?值得尊敬的兼容性?提前布局彈性可伸縮VS彈性可伸縮VS彈性可擁擠資金的彈性VS規(guī)模的彈性彈性的CTO彈性的CTO彈性的開發(fā)人員架構迭代功能迭代架構迭代功能迭代彈性應用的范疇需求原理設計思想具體實現(xiàn)深入了解現(xiàn)有平臺評估自研、改造1互聯(lián)網(wǎng)應用/企業(yè)應用那些事 2分布式為彈性應用解困3分布式平臺的核心要素設計剖析彈性應用面臨的困境并行/分布式計算、大數(shù)據(jù)并行/分布式計算、大數(shù)據(jù)困境中的答案?提升計算節(jié)點個數(shù)?同一類任務由超過一?提升計算節(jié)點個數(shù)?同一類任務由超過一個CPU完成?摩爾定律“回歸”彈性可伸縮彈性可伸縮高性能高可靠高可用通過scaleout解脫單一計算節(jié)點上無法從硬件無限突破的兩高可靠高可用分布式存儲?提升存儲節(jié)點個數(shù)?維持單位存儲管理成本理想的分布式平臺該做什么？開發(fā)態(tài)?編程范式和API支撐?最少的知識投資?通用、底層、簡單、輕量?杜絕“分布式”設計框架決定如何“分”和“治”運行態(tài)?強大的運行容器，應用透明?多線程/進程/機器透明并發(fā)分布式平臺設計的核心方法論k“舍得”?功能與方案的“舍得”?主動的“舍”有秘訣?時間/空間上的“舍”有秘訣無銀彈?收放自如的“舍”無銀彈1互聯(lián)網(wǎng)應用/企業(yè)應用那些事2分布式為彈性應用解困 3分布式平臺的核心要素設計剖析開發(fā)態(tài)（框架）的核心要素數(shù)據(jù)協(xié)議數(shù)據(jù)協(xié)議通訊協(xié)議編程范式通訊協(xié)議編程范式計算資源間統(tǒng)一可插拔、可擴展、計算資源間統(tǒng)一可插拔、可擴展、業(yè)務透明可插拔、可擴展、業(yè)務透明持久化豐富的數(shù)據(jù)類型豐富的數(shù)據(jù)類型服務實例間通信對話EDAMap-Reduce批處理、并行計算操作系統(tǒng)操作系統(tǒng)便捷的編程模型便捷的編程模型應用服務應用服務數(shù)據(jù)協(xié)議數(shù)據(jù)協(xié)議通訊協(xié)議請求服務Callback那些事請求服務框架初始化路由負載均衡路由負載均衡編程模型應用初始化編程模型應用初始化出錯幾率運行時靈活度 處理響應 處理響應最小程度的新語義引入應用框架配置驅動應用框架一種框架解決多種業(yè)務框架典型的分布式編程模型請求式分布式應用平臺和應用有條件隔離請求成本高、并發(fā)弱必備負載均衡請求間同步需第三方支持適合OLTPBuzzword逆向思維，本末倒置簡單粗暴的“分而治之”適合批處理服務型分布式計算框架——分布式遇上SOA運行態(tài)（平臺）的核心要素Aniri新請求新請求啟動啟動 發(fā)現(xiàn)服務服務 發(fā)現(xiàn)服務服務調(diào)用服務調(diào)用服務AvailabilityAvailability應用定制策略路由負載均衡路由負載均衡動態(tài)發(fā)現(xiàn)數(shù)據(jù)驅動會話驅動時間驅動應用定制任務分配任務分配者數(shù)據(jù)協(xié)調(diào)者任務分配者數(shù)據(jù)協(xié)調(diào)者典型的數(shù)據(jù)一致性問題12233132432132432數(shù)據(jù)的一致性時間窗口數(shù)據(jù)不一致“噩夢”最需要“秘訣”高可用可識別、可容忍、可修復不會引起擁堵同步什么如何同步一寫多讀提高寫性能：開源、節(jié)流寫節(jié)點的高可用：簡單最美一寫多讀提高寫性能：開源、節(jié)流寫節(jié)點的高可用：簡單最美高頻負載數(shù)據(jù)的同步策略任務調(diào)度任務粒度任務粒度編程模型決定調(diào)度靈活性系統(tǒng)性能請求任務請求任務步驟函數(shù)/方法/服務任務虛擬化CPU運行CPU運行依賴于任務粒度計算資源/計算資源/能力虛擬化阻塞阻塞操作系統(tǒng)內(nèi)核掛起掛起單線程