HISS性能管理服務(wù)簡介V02(方案)

HISS北京SI部2009年

9月HISS系統(tǒng)性能診斷服務(wù)——SPDS說明資料(SystemPerformanceDiagnoseService)硬件：服務(wù)器:IBM磁盤陣列：220SSCSI盤陣軟件：MicrosoftSQLserver行業(yè)內(nèi)成熟的軟件,單機(jī)運行問題：

系統(tǒng)上線兩年后，用戶反映這個系統(tǒng)的響應(yīng)時間越來越慢，希望信息中心可以提升系統(tǒng)的性能。這樣的升級改造令人心痛

第四次改造更換光纖盤陣

第三次改造

升級盤陣Fireware

第二次改造優(yōu)化軟件

第一次改造升級服務(wù)器規(guī)格。。?？蛻舻娜棠鸵堰_(dá)極限！問題仍未解決！花費30萬在預(yù)算內(nèi)3個月過去了，業(yè)務(wù)部門反映系統(tǒng)沒什么改變，該慢還是慢！找軟件商重新開發(fā)軟件歷時10個月屬于非模塊開發(fā)，軟件商收不到錢，開發(fā)效果可想而知，整體效果不明顯升級盤陣的系統(tǒng)版本和補(bǔ)丁沒有實質(zhì)的效果！更換級別更高的光纖盤陣大半年過去了，慢的情況又發(fā)生了。。。一般系統(tǒng)優(yōu)化的方式及弊端應(yīng)用性能趨勢圖系統(tǒng)運行速度沒有問題感覺有點慢速度越來越慢慢到無法忍受數(shù)據(jù)量增加趨勢應(yīng)用負(fù)載壓力優(yōu)化改造方案軟件修改升級主機(jī)CPU,內(nèi)存？采購更高速的盤陣？數(shù)據(jù)庫調(diào)優(yōu)更換更高速的硬盤？更換更大的服務(wù)器？加大盤陣上的緩存？優(yōu)化改造面臨的困擾改造后改善成效不如預(yù)期改造前系統(tǒng)瓶頸定位不易無法預(yù)測改善效果優(yōu)化過程耗時費力有效的升級優(yōu)化改造的步驟系統(tǒng)性能監(jiān)控系統(tǒng)性能日志采集分析性能數(shù)據(jù)負(fù)載細(xì)化定位發(fā)現(xiàn)系統(tǒng)瓶頸負(fù)載告警分析性能負(fù)載跟蹤性能負(fù)載對比性能趨勢預(yù)測優(yōu)化改造建議升級方案評估優(yōu)化系統(tǒng)評測SPDS（SystemPerformanceDiagnoseService）

—

— 為您提供優(yōu)質(zhì)的系統(tǒng)性能診斷服務(wù)What：性能診斷管什么?

——提供必要的改造依據(jù)Why：為什么需要性能管理?

——為系統(tǒng)正常運行提供有力保證When：什么時候開始實施性能診斷?

——最好在系統(tǒng)初建時就開始跟蹤Who：由誰來執(zhí)行性能診斷?

——具有專業(yè)性能分析的人員（HISS）How：如何進(jìn)行性能診斷?

——按照標(biāo)準(zhǔn)流程進(jìn)行誰來保證升級的成功如何進(jìn)行瓶頸定位升級改造后，還是慢！如何預(yù)測方案的有效性？多久可以改造完成￥￥￥???什么是性能診斷服務(wù)（SPDS）系統(tǒng)管理現(xiàn)狀多數(shù)系統(tǒng)處于亞健康狀態(tài)，且不知情系統(tǒng)猶如人的身體，需要定期做診斷檢查。多數(shù)客戶不了解系統(tǒng)健康狀況，忽略或無法定位隱患/風(fēng)險，直至發(fā)生重大故障，給業(yè)務(wù)造成不可挽回的損失；故障排除倉促無依據(jù)可循對于故障排除僅憑工程師經(jīng)驗；無量化的數(shù)據(jù)作為故障定位的有力證據(jù)；IT重復(fù)性投資情況比較嚴(yán)重對于系統(tǒng)改造，大多數(shù)客戶由于缺少改造依據(jù)，大都憑借廠商的直觀建議，沒有進(jìn)行系統(tǒng)的分析，多數(shù)改造不盡人意，所以產(chǎn)生重復(fù)性投資，造成資源/資金的過度浪費；性能分析缺乏必要的手段雖然對于操作系統(tǒng)、數(shù)據(jù)庫、一些應(yīng)用軟件都有相應(yīng)的監(jiān)控類軟件，但只能做到故障報警，無法將所有環(huán)節(jié)/因素串聯(lián)起來，且缺乏有力的量化數(shù)據(jù)作為性能分析的依據(jù)；系統(tǒng)管理的現(xiàn)狀除了升級改造時的困惑，目前IT管理還存在以下問題：HISSSPDS的必要性幫助IT部門把握系統(tǒng)運維全局幫助運維人員向上級進(jìn)行預(yù)算申請?zhí)峁┥暾堫A(yù)算的詳細(xì)依據(jù)；為系統(tǒng)改造和故障對應(yīng)提供有力的依據(jù)隨時掌握系統(tǒng)的性能狀況對于維護(hù)系統(tǒng)的正常運行，SPDS能為客戶做到：性能模型的真實寫照；分析報告的有力說明；長期性能分析數(shù)據(jù)；定期性能分析報告；日常運維時段：及時發(fā)現(xiàn)性能隱患、提早處理性能問題出現(xiàn)緩慢時段：準(zhǔn)確定位性能瓶頸、有效提升應(yīng)用速度系統(tǒng)改造時段：應(yīng)用需求量化統(tǒng)計、申請預(yù)算最佳依據(jù)1234●依據(jù)各類操作系統(tǒng)自帶的性能日志進(jìn)行分析，無需安裝任何軟件SPDS服務(wù)方式●客戶將性能日志以郵件或其它形式發(fā)送給HISS即可，不需要做其它工作●我們根據(jù)性能日志，制作出性能模型圖（所有性能分析的依據(jù)）●根據(jù)性能模型圖和與客戶的溝通，為客戶提供全面的系統(tǒng)性能診斷/分析服務(wù)，按服務(wù)層次/深度，提交各種分析報告SPDS服務(wù)方式說明SPDS服務(wù)方式說明客戶“零風(fēng)險”——無需安裝任何軟件；無需宕機(jī)；無需人員現(xiàn)場支持；無需業(yè)務(wù)中斷；多平臺支持——支持AIX、HPUnix、Solaris、Linux、ScoUnix、MSWindows等多種操作系統(tǒng)應(yīng)用無關(guān)性——通過建立性能檢測模型，分析底層數(shù)據(jù)，如：I/O、CPU、內(nèi)存、數(shù)據(jù)庫表空間等，可間接反應(yīng)應(yīng)用系統(tǒng)性能，與應(yīng)用系統(tǒng)本身是什么軟件無關(guān)潛在風(fēng)險診斷——根據(jù)性能模型，分析系統(tǒng)的隱藏風(fēng)險，即隱患，杜絕故障的產(chǎn)生，保證系統(tǒng)運行的健康性核心瓶頸定位——依據(jù)對系統(tǒng)性能的量化分析，對造成系統(tǒng)運行緩慢或發(fā)生故障的核心瓶頸進(jìn)行準(zhǔn)確的定位優(yōu)化方案的制定——依據(jù)對隱患以及瓶頸的長期跟蹤分析，對不同時間段、不同業(yè)務(wù)流程、不同性能現(xiàn)象，提供各種適合的改造方案。節(jié)省成本/顯著增強(qiáng)優(yōu)化效果SPDS的優(yōu)勢HISS系統(tǒng)性能診斷服務(wù)優(yōu)勢SPDS優(yōu)勢分析避免升級后效果不彰的結(jié)果，再方案的設(shè)計和實施前，必須有正確的方法進(jìn)行升級成效的預(yù)測運行緩慢來自應(yīng)用需求和資源負(fù)載的供需不平衡的所產(chǎn)生的問題，是需求量太大，還是供給量太低的原因所致，需要量化評估

只要確認(rèn)性能改善目標(biāo)，就可制定有效優(yōu)化改造的步驟和方法，達(dá)到事半功倍的效果數(shù)據(jù)量的增長，是造成系統(tǒng)緩慢的主因。如何評估數(shù)據(jù)增長趨勢和緩慢的關(guān)系，是有效解決性能問題的首要條件依據(jù)系統(tǒng)性能日志，由HISS制作系統(tǒng)性能模型，根據(jù)對性能模型的分析，準(zhǔn)確定位真正的瓶頸和隱患預(yù)測升級方案改善成效制定性能改善目標(biāo)應(yīng)用性能變化趨勢統(tǒng)計分析量化應(yīng)用性能需求，評估現(xiàn)有資源負(fù)載建立性能模型，定位瓶頸隱患Step1Step2Step3Step4Step5隨著服務(wù)層次不斷加深SPDS性能分析層次展示SPDS性能分析層次展示前期服務(wù)正式服務(wù)（持續(xù)）服務(wù)介紹；需求調(diào)查；計劃制定；手順提交；性能管理2+7測試服務(wù)階段前期服務(wù)服務(wù)方案制定正式服務(wù)前期溝通問題查找問題分析檢測報告提交瓶頸評估改善建議針對客戶存在的問題，HISS提供有針對性地解決方案改善措施8SPDS服務(wù)流程系統(tǒng)信息收集系統(tǒng)信息收集提供收集命令提供收集命令持續(xù)性數(shù)據(jù)收集簽訂服務(wù)合同提供收集命令進(jìn)入性能管理持續(xù)服務(wù)視合同要求提供HISS的承諾！我們承諾——只基于操作系統(tǒng)層面獲取性能日志信息，無需安裝任何軟件；不涉及客戶公司內(nèi)部任何資料及內(nèi)部信息；不涉及客戶公司任何應(yīng)用系統(tǒng)及數(shù)據(jù)；無需宕機(jī)或業(yè)務(wù)中斷，不影響業(yè)務(wù)正常運行；日志收集動作平均占用系統(tǒng)資源不到0.1%，不影響業(yè)務(wù)正常運行；如需要，可與客戶簽訂保密協(xié)議；系統(tǒng)構(gòu)架：一臺IBMP590（12個雙核CPU，24G內(nèi)存）小型機(jī)和IBMDS4300盤陣，光纖直連，光纖盤陣；3年前上線，剛上線的時候就發(fā)生慢的現(xiàn)象，客戶嚴(yán)重抱怨！序號業(yè)務(wù)流程處理時間耗時1數(shù)據(jù)入庫

01:40–03:50130min.2數(shù)據(jù)轉(zhuǎn)換

03:50–05:30100min3數(shù)據(jù)統(tǒng)計準(zhǔn)備

05:30–06:4070min4數(shù)據(jù)統(tǒng)計

06:40:-11:50310min5任務(wù)查詢

08:30–17:00改善目標(biāo)：希望降低50%系統(tǒng)的整體負(fù)載，以提升用戶端的響應(yīng)時間；為了避免影響到業(yè)務(wù)單位，后臺的數(shù)據(jù)統(tǒng)計，必須在8:00之前完成；考慮未來數(shù)據(jù)的增長趨勢和因為每天從上級來的數(shù)據(jù)有可能在03:00才會到達(dá)，所以階段性目標(biāo)就是4小時內(nèi)要完成所有的數(shù)據(jù)統(tǒng)計。如果以2007年12月21號的應(yīng)用日志為例，共610分鐘的統(tǒng)計時間必須在240分鐘內(nèi)完成，性能必須提升2.5倍。

610分鐘時間過長國內(nèi)某金融行業(yè)公司市場行情分析和風(fēng)險控制系統(tǒng)SPDS案例分析一（1/2）存儲性能分配不平均Raid劃分不合理數(shù)據(jù)庫表分配不合理應(yīng)用的并發(fā)量不夠瓶頸P590CPU性能P590內(nèi)存性能沒問題調(diào)整數(shù)據(jù)庫結(jié)構(gòu)；重新配置應(yīng)用軟件；重新部署存儲性能；升級后模型2008-03-19優(yōu)化后模型2008-04-15優(yōu)化后模型2008-05-15優(yōu)化后模型2008-06-15業(yè)務(wù)調(diào)整后模型監(jiān)控(2008-12-10)業(yè)務(wù)增加后模型監(jiān)控(2009-06-09)CPU升級后性能評估(2009-06-26)優(yōu)化后的性能評估(2009-02-13)廠商的建議改造方案P590硬件提升更換存儲設(shè)備改為SAN結(jié)構(gòu)數(shù)據(jù)庫結(jié)構(gòu)調(diào)整應(yīng)用軟件配置變更存儲性能調(diào)整經(jīng)過性能分析后的改造方案存儲性能分配不平均Raid劃分不合理數(shù)據(jù)庫表分配不合理應(yīng)用的并發(fā)量不夠P590硬件提升存儲設(shè)配升級改為SAN結(jié)構(gòu)無需購買任何硬件真正瓶頸投資：150萬以上投資：不到80萬不解決問題有效解決核心瓶頸SPDS案例分析一（2/2）SPDS案例分析二（1/2）服務(wù)器名Performance/LoadModelsDB_Server2msLoad

IOPS

DataFlow

dkFree

mCPU

Disk_C

Disk_DGW_Server2msLoad

IOPS

DataFlow

dkFree

mCPU

Disk_C

Disk_DBackup_ServermsLoad

IOPS

DataFlow

dkFree

mCPU

Disk_C

Disk_DOBSServermsLoad

IOPS

DataFlow

dkFree

mCPU

Disk_C

Disk_DACSServermsLoad

IOPS

DataFlow

dkFree

mCPU

Disk_C

Disk_DNIC_1NIC_2BAT_Server1msLoad

IOPS

DataFlow

dkFree

mCPU

Disk_C

Disk_DDB_Server1msLoad

IOPS

DataFlow

dkFree

mCPU

Disk_C

Disk_D

Disk_DGW_Server1msLoad

IOPS

DataFlow

dkFree

mCPUDisk_C

Disk_DRP_Server1msLoad

IOPS

DataFlow

dkFree

mCPUDisk_C

Disk_DNIC_1NIC_2RP_Server2msLoad

IOPS

DataFlow

dkFree

mCPUDisk_C

Disk_DNIC_1NIC_2某日資汽車制造公司e-CRM營銷系統(tǒng)總共由10臺PCServer、1臺存儲構(gòu)成應(yīng)用系統(tǒng)名稱:e-CRB營銷系統(tǒng)系統(tǒng)正式上線時間：2005年（4年）慢的現(xiàn)象描述上線1年后，有慢的現(xiàn)象，但不在意，在2008年就更嚴(yán)重進(jìn)行過修改軟件、調(diào)整數(shù)據(jù)庫、數(shù)據(jù)歸檔和增加服務(wù)器的CPU和內(nèi)存，及增加web服務(wù)器的緩沖區(qū)，以避免性能的問題。經(jīng)銷商的界面，在慢的時間段有時在1-3分鐘沒有響應(yīng)。SPDS案例分析二（2/2）周三周六周五周一周日周二其中經(jīng)過分析，鎖定DB_Server1的Disk負(fù)