面向業(yè)務的IT系統(tǒng)容量規(guī)劃和資源分配體系的創(chuàng)新與實施

中國移動四川公司 2011科技成果材料 面向業(yè)務的 IT系統(tǒng)容量規(guī)劃和資源分配體系 四川省公司音樂運營中心 如何判斷 IT系統(tǒng)能否跟上業(yè)務的發(fā)展，做到適時擴容 如何保障現有服務水平的條件下，降低系統(tǒng)運維成本 未來虛擬化、云計算的浪潮中，如何 科學 的分配虛擬資源 面 臨 的 挑 戰(zhàn) 亟待解決 1. IT系統(tǒng)提供的服務和應用與資源消耗量是關系是什么 2. 如何根據業(yè)務的需要 ， 科學的進行 系統(tǒng)資源調度和系統(tǒng) 容量規(guī)劃 解決方案： 為 IT系統(tǒng)進行面向業(yè)務的容量規(guī)劃 什么是面向業(yè)務的容量規(guī)劃 1、面向業(yè)務的容量規(guī)劃方法不同于原始的依靠經驗來估算系統(tǒng)規(guī)模，通過模型的計算更為準確； 2、性能建模自動化，速度更加快捷； 3、將有力的解決未來虛擬化、云計算資源分配問題。 通過運用多種數學理論和工具，建立業(yè)務量與系統(tǒng)資源消耗量的數學模型；并根據業(yè)務發(fā)展的要求，對系統(tǒng)處理能力和規(guī)模進行科學的分配和 規(guī)劃。 實施 案例 無線音樂音樂基地的下載平臺，承載了全國范圍內的振鈴、全曲下載，日均下載量為百萬次以上。 下載平臺應用服務器負責音樂文件的實體下發(fā)任務 振鈴、全曲單次下載的平均時長分別為 5 20s 和 30 60s 用戶的每次下載請求均要對應用服務器資源產生一定消耗 因此，要確定平臺資源是否能夠滿足下載業(yè)務的快速發(fā)展，我們需要了解下載量與資源消耗的相互關系。 故建立下載量與 CPU資源使用率的性能模型。 實際建模主要內容 建立并檢驗性能模型 數據 預處理 性能數據收集 設定監(jiān)控采集粒度： 10分鐘 收集歷史數據 有效性檢驗 重復值、空值處理、 噪點濾除 性能模型求解算法設計及編程 性能模型： CPU = 0.0245 業(yè)務 + 92 預測下載平臺應用服務器擴容后資源使用情況 模型驗證及準確度計算 歷史數據驗證；模型精確度： 87% 經濟收益 原有方案 本成果 收益 咨詢項目費用 30 50 （萬） 0 30 50（萬） 硬件投資 13臺 ATAE服務器 4臺 ATAE服務器 58 9 = 522（萬） 運維成本 降低運維成本： 10（萬）以上 環(huán)境運行費用 減少設備耗電成本： 0.2 9 0.75 24 365 = 1.18（萬） 合計 可減少資本投入及運維成本 ： 563.18 萬以上 本成果應用到下載平臺后經濟收益估算表 社會收益 節(jié)能減排， 彰 顯央企的社會責任感 本成果在下載平臺的應用，經測算僅 設備耗電量一項上就可以 降低1.6萬度以上 為集團虛擬化技術的推廣提供有利條件 本成果提出了虛擬資源預分配方案，可以避免資源頻繁漂移問題，為集團虛擬化技術的推廣提供了有利條件。 音樂基地在完全依靠自身的條件下，運用多元線性回歸理論和時間序列分析等理論，推導和總結了一套面向業(yè)務的、適用于多種 IT架構的系統(tǒng)容量規(guī)劃和資源分配體系； 與傳統(tǒng)依靠經驗的容量規(guī)劃相比，新方法更準確、更快捷 總 結 性能建模 經驗 IT系統(tǒng)的容量規(guī)劃 將該方法運用到音樂基地的下載平臺，建立了振鈴、全曲下載量與應用服務器資源利用率的數學模型。 通過與實際結果的對比，檢驗了模型的準確性，同時也驗證了性能建模方法的可靠性。 建立的性能模型準確的預測了下載平臺擴容后資源的使用情況。 使用面向業(yè)務的容量規(guī)劃方法后，預計可為基地帶來 500萬元以上的收益。 總 結 了解業(yè)務量與資源使用率的真實關系 根據業(yè)務需要進行系統(tǒng)資源分配 快速適應業(yè)務的發(fā)展 避免過度投資，降低成本 提升系統(tǒng)穩(wěn)定性和服務水平 更精確的 IT資源預算 虛擬化資源分配的好幫手 資源、業(yè)務的選取沒有限制 降低維護人員的工作量和運維成本 普適度高 有利于整合業(yè)務發(fā)展與 IT規(guī)劃目標 IT容量規(guī)劃更加便捷 面向業(yè)務的 容量規(guī)劃的優(yōu)勢： 根據 多元線性回歸理論 ，通過數學的方法構建系統(tǒng)中承載的業(yè)務量與資源消耗量間的關系： 等式左邊描述了不同業(yè)務對系統(tǒng)資源的消耗情況 對應業(yè)務 1到 j 的消耗因子； 表示非業(yè)務應用對資源的消耗量，例如操作系統(tǒng)、監(jiān)控等 R 表示系統(tǒng)中采集到總的一種資源使用量。 詳 細 原 理 介 紹 0 1 1 2 2 jja a N a N a N R K0a12, ja a aL 等式中資源 R 由監(jiān)控軟件采集得到 根據建模的目標，設定監(jiān)控采集的粒度 建立每天業(yè)務量均值與資源使用量的模型，粒度： 1小時 建立每小時業(yè)務量與與資源使用量的模型，粒度： 5 10分鐘 根據需要，選擇建模資源 R，資源的選取沒有限制 CPU、內存 磁盤、表空間 I/O、網絡，等等 原 理 快速、準確的性能建模 可以調整業(yè)務間不同的占比， 進行測試 或通過收集充足的、大量的歷史信息 12,i i i jN N NK0 1 1 1 2 1 2 1 10 1 2 1 2 2 2 2 20 1 1 2 2jjjji i j i j ia a N a N a N Ra a N a N a N Ra a N a N a N R KKMOMK T T1 1 1 2 1 12 1 2 2 2 20 1 21 + 112 1+111=1jjjji i i j i iijN N N RN N N Ra a a aN N N R LLLM O M ML矩陣變換 建立多組業(yè)務量與資源消耗等式 1 1 1 2 12 1 2 2 212111jji i i jN N NN N NHN N NLLM O ML根據矩陣理論，在求解 a0， a1 ， aj 時， 只有當矩陣 H秩， R（ H） j 時等式才有最優(yōu)的近似解。 T1210 1 21 + 11=jji iRRa a a a HR LM 業(yè)務 1， 2.， j 相互獨立，之間不存在相互調用關系 若業(yè)務 m、 n存在相互調用，則需排除相互調用發(fā)生的業(yè)務量 容量規(guī)劃和資源分配流程 Step1 數據收集 明確性能建模目標。 獲取系統(tǒng)應用和負載列表。 根據模型精度需要，設置監(jiān)控的采集信息的粒度。一般而言，粒度越小，所建立的模型精度越高。 通過性能測試，或收集 5至 6周系統(tǒng)的業(yè)務和系統(tǒng)負載數據 對原始數據按時間先后順序排序，確定數據有效性 刪除重復數據 對空值 使用插值法 處理 將業(yè)務和資源消耗的采集值轉化為小時均值，并將業(yè)務量數據與資源負荷相對應。 相關性分析 噪點濾除 數據收集 Step2 數據預處理 代入預處理后的數據，計算得出業(yè)務 j與資源消耗因子 aj 的數學模型 模型建立與驗證 Step3 建立模型 Step4 模型驗證 將業(yè)務數據代入數學模型，得出相應的資源消耗情況 計算模型精確度 將模型計算值與實際值進行對比，判定模型是否有效 Step5 業(yè)務分析 將業(yè)務分為月初、月末，節(jié)假日及日常三種類型 計算三種類型時段的業(yè)務中位數，找出系統(tǒng)忙時 運用時間序列分析法和指數平滑法得出未來 6至 12個月業(yè)務發(fā)展數據。 業(yè)