企業(yè)IT建設(shè)最佳實踐分享

1、企業(yè)IT建設(shè)最佳實踐分享提綱企業(yè)OCC運維指揮中心介紹內(nèi)部網(wǎng)絡(luò)安全管理介紹高可靠園區(qū)網(wǎng)絡(luò)的最佳實踐EMAN系統(tǒng)介紹因此，一個好的網(wǎng)絡(luò)支撐體系必須具備： Flexible 靈活性Available 可用性Reliable 可靠性Manageable 可管理性Scaleable 可擴展性一個聚合的網(wǎng)絡(luò)基礎(chǔ)架構(gòu)則應(yīng)該支持:QoS以及最小的網(wǎng)絡(luò)延遲Multicast多播與我們的用戶一樣，網(wǎng)絡(luò)運維管理面臨著同樣的挑戰(zhàn)多用途易于運維與管理豐富的功能總體擁有成本性能企業(yè)在安全運營方面的狀況few are really readyOnly 13% of organizations today are prep

2、ared for a major disruption in workforce operationsHighly Available Infrastructure10% 的企業(yè)有所準備Failure of server, host, app, softwareWorkforce disruptionSources: Society for Information Management,Gartner High Availability Networking: Toward Zero Downtime 9/200270% 的企業(yè)有所準備13% 的企業(yè)有所準備Downtime 給企業(yè)帶來的損失D

3、irect Revenue LossCompensatory paymentsLost future revenueBilling lossesInvestment revenue lossesRevenue RecognitionCash FlowLost discounts(accounts payable)Payment guaranteesCredit ratingStock priceNumber of employees affected x hours outx burdened hourly rateTemporary employeesEquipment rentalOver

4、time costsTravel expensesCustomersSuppliersFinancial marketsBusiness PartnersCareers lostSource: Gartner High Availability Networking: Toward Zero Downtime 9/2002設(shè)備和網(wǎng)絡(luò)硬件故障軟件故障鏈路故障電源/環(huán)境故障資源利用問題運營流程不完善的變更管理沒有故障的技術(shù)責任人網(wǎng)絡(luò)設(shè)計問題缺乏標準和統(tǒng)一性 (軟硬件和配置)沒有故障管理/缺少災(zāi)難恢復(fù)計劃文檔管理人員培訓Telco/Circuit35%Human error31%Power fail

5、ure14%Device failure12%Other8%Sources:* Gartner 2001* Yankee Group 2004軟件應(yīng)用40%運維處理 40%網(wǎng)絡(luò)20%Sources of Network Downtime *Common Causes of Enterprise Network Downtime *666666網(wǎng)絡(luò)為何會中斷？ Looking at the exposureSource:Cisco Field & Support Engineers 2004您的網(wǎng)絡(luò)能達到 99.99% 的可靠性嗎?存在單點故障 (edge card, edge router,

6、single trunk)存在因硬件和軟件升級會帶來的中斷時間重起和切換的時間較長沒有經(jīng)過測試可立即使用的備件因為缺乏故障判斷troubleshooting手冊和相應(yīng)而造成中斷時間的延長機房環(huán)境存在問題假如您的網(wǎng)絡(luò)存在下列問題，將很難達到4個9的可靠性那么 99.999% 的可靠性呢?冗余切換的錯誤可能性較高出現(xiàn)雙重故障的可能性較高 核心網(wǎng)絡(luò)當線路或設(shè)備出現(xiàn)故障時路由重計算的時間較長過于依賴手工操作沒有標準的可重復(fù)的流程管理假如您的網(wǎng)絡(luò)存在下列任何問題，都將無法達到5個9的可靠性提高可用性可用性AMean Timeto RepairMTTRMean TimeBetween FailureMTB

7、F高可用的 IP 網(wǎng)絡(luò)的特點可用性 網(wǎng)絡(luò)達到 5個 9甚至更高的可用性性能 網(wǎng)絡(luò)可以無縫地路由流量以避免擁塞和瓶頸業(yè)務(wù)連續(xù)性 網(wǎng)絡(luò)可以顯著地減輕災(zāi)難的影響以保證業(yè)務(wù)的連續(xù)性不受影響應(yīng)用的支持 網(wǎng)絡(luò)支持所有關(guān)鍵應(yīng)用的端到端傳送適應(yīng)性 網(wǎng)絡(luò)能適應(yīng)故障并且不需要為支持新的應(yīng)用而重新設(shè)計安全運營的保障：網(wǎng)絡(luò)安全和網(wǎng)絡(luò)管理高安全性的網(wǎng)絡(luò)網(wǎng)絡(luò)監(jiān)控和管理工具高標準的網(wǎng)絡(luò)優(yōu)化服務(wù)安全運營的基礎(chǔ)：可靠的基礎(chǔ)設(shè)施高可靠的網(wǎng)絡(luò)設(shè)備和技術(shù)特性高可用性的網(wǎng)絡(luò)設(shè)計統(tǒng)一模塊化的體系結(jié)構(gòu)安全運營的核心：IT管理和運營流程IT管理體系配置管理、變更管理、問題管理安全運營的重要組成什么是最佳實踐經(jīng)驗?實現(xiàn)可重復(fù)的, 一致的, 可

8、衡量的流程變更管理網(wǎng)絡(luò)上的增加、減少和變更新應(yīng)用和新技術(shù)缺乏強制缺乏軟件升級的管理配置管理程序不統(tǒng)一未經(jīng)測試的配置Cut and paste 問題問題管理被動型與主動型缺乏根本原因分析故障分析方法混亂什么是配置管理? 有效的流程和工具的組合設(shè)備配置的一致性地址管理和域名管理軟件版本控制密碼管理和認證布線和命名習慣網(wǎng)絡(luò)結(jié)構(gòu)文檔 配置版本控制系統(tǒng)配置升級流程 設(shè)備管理清單 設(shè)備環(huán)境管理 為什么配置管理如此重要？ 案例: 包括1800臺設(shè)備的大型網(wǎng)絡(luò)影響: 在1800設(shè)備中只有1100臺可以被網(wǎng)管系統(tǒng)自動發(fā)現(xiàn)問題: 缺乏標準、流程背景: 大型的缺乏管理的網(wǎng)絡(luò)，運營費用高，且有安全隱患30 多個不同的

9、 IOS 和 CatOS 版本各種不同的 SNMP 配置缺乏一致的訪問口令和統(tǒng)一的配置缺乏流程, 規(guī)范和文檔在和第三方咨詢公司的協(xié)同下，花費兩年時間解決了上述問題建立配置管理流程的建議創(chuàng)建集中存放的配置模版實施訪問控制加強標準性監(jiān)控變更和統(tǒng)一性為配置/IOS/CatOS 等的變更提供標準的測試什么是問題管理? 有效的流程和工具的整合 流程運營的概念管理系統(tǒng)的配置和運維網(wǎng)絡(luò)文檔故障判斷排除的方法和程序故障的升級流程通知和報警的程序理解規(guī)范和流程運營指標意外問題報告分析 工具 網(wǎng)絡(luò)體系架構(gòu) 故障信息采集 意外情況的閥值指標 遠程網(wǎng)絡(luò)監(jiān)控 意外問題報告的生成 事件紀錄和歸檔 事件補救措施 針對故障的

10、溝通 自動化 系統(tǒng)的整合和集成為什么問題管理如此重要？ 案例: 數(shù)據(jù)中心的崩潰影響: 客戶只因一個事件就沒能實現(xiàn)5-9的目標問題: 沒有應(yīng)急處理流程背景: 具備高冗余設(shè)計的一個全國性數(shù)據(jù)中心網(wǎng)絡(luò)運營中心的技術(shù)人員陷入慌亂狀態(tài)重起了大量設(shè)備修改了配置未對變更作相應(yīng)的紀錄和歸檔在事件發(fā)生4小時后聯(lián)系 Cisco TAC缺乏用于分析問題的相應(yīng)的事件信息在分析出根本原因前，另外兩個數(shù)據(jù)中心也經(jīng)歷了同樣的問題建立問題管理流程的一些建議靈活可靠的管理系統(tǒng)知識管理/文檔的儲存故障判斷排除手冊定義升級處理流程員工能力/第三方合約建立成功的模型什么是變更管理?變更管理提供變更的相關(guān)原因變更請求的批準流程分配風險

11、級別(根據(jù)風險級別進行測試)定義變更窗口緊急恢復(fù)流程為什么變更管理如此重要？: 案例: 美國某主要保險公司某地方工程師在工作時間進行一個將企業(yè)網(wǎng)絡(luò)聯(lián)入互聯(lián)網(wǎng)的項目 - Had internet router up locally with the carrier from a layer 2 prospective- Connected router to enterprise network from a layer2 prospective-Was working on adding IP routing and was having issues with static routing-

12、 Added multiple routes throughoutnetwork devices to get traffic to the internet router- Did not documentwhat changes were made or where he had made changes to routing- Finally realizedthat no users in any of the WAN or campus locationscouldget to the data center- Complete network down for 24 hours (

13、until Cisco SE went on-site) and all employees had to go home for the day.Cost of downtime in the millions of dollars 結(jié)果: 20,000 客戶在營業(yè)時間長達 4個小時斷線根本原因：default routes blackholing traffic in multiple locations. 建立變更管理流程的一些建議考慮并計劃所有的變更確保變更是必要的評估變更的風險盡量地減少風險提供給失敗的變更變更的測試衡量變更的成功加強授權(quán)的變更國際上成功實現(xiàn)網(wǎng)絡(luò)安全運營的企業(yè)最佳實踐

14、建立一致的、標準的、可重復(fù)的流程有能力利用指標來:了解故障的原因判斷問題的范圍改進流程衡量變更的有效性改進組織的效率向主動的管理和運營發(fā)展最佳實踐的例子分級技術(shù)支持全天候（7X24）的網(wǎng)絡(luò)運維中心支持呼叫的應(yīng)答，啟動事故單和獲取所有的相關(guān)信息監(jiān)控網(wǎng)管系統(tǒng)執(zhí)行基本的故障隔離和恢復(fù)程序文檔紀錄并對疑難問題升級到二線支持通過電話會議等工具與多方面的支持人員協(xié)作以確保問題的解決確保事故單的關(guān)閉在必要的情況給服務(wù)商或廠商根據(jù)SLA開Case給二線支持人員提供相關(guān)的文檔并對網(wǎng)絡(luò)文檔及時更新以確保其準確性與服務(wù)對象和其他相關(guān)部門的溝通以確定變更實施時間生成多種參數(shù)報告，包括Syslog報告、事故單日報、周報

15、、月報，提交給相應(yīng)的支持部門一線支持人員的職責：最佳實踐的例子分級技術(shù)支持給網(wǎng)絡(luò)運行支持團隊的技術(shù)支持和領(lǐng)導(dǎo)日常運行維護工作的管理辨別流程的有效性以確保團隊的日常操作是遵循標準流程的管理事故的升級，協(xié)調(diào)北部和廠商資源，確保事故可以基于SLA得以解決涉及故障的解決等變更問題時，向管理層申報并通知相關(guān)部門和服務(wù)對象變更時間判斷日常運行維護團隊的培訓需求，建立相應(yīng)的培訓計劃分析參數(shù)報告，發(fā)現(xiàn)升級優(yōu)化等網(wǎng)絡(luò)改造需求與二線網(wǎng)絡(luò)支持隊伍、變更管理隊伍和設(shè)計團隊緊密協(xié)作熟悉運行維護中使用的網(wǎng)絡(luò)管理和故障管理工具確保值班表的準確實施確保所有一級和二級故障的故障原因能被準確定位 一線支持團隊經(jīng)理的職責最佳實踐的

16、例子分級技術(shù)支持對于管理的網(wǎng)絡(luò)范圍內(nèi)出現(xiàn)的事故，在事故發(fā)生的全程作為負責人/責任人，直到事故關(guān)閉故障分析和判斷（Trouble Shooting）主動故障管理的日常分析提交網(wǎng)絡(luò)優(yōu)化方案，并確保優(yōu)化方案的實施日常事故單的分析和總結(jié)，提出預(yù)防措施確保故障預(yù)防方案的實施給網(wǎng)絡(luò)一線支持隊伍提供知識的傳遞和分享，幫助一線隊伍提高技術(shù)水平，加深對網(wǎng)絡(luò)的理解變更方案的詳細審核和測試，確保變更能成功達到預(yù)定目的，并確保在規(guī)定時間內(nèi)完成變更的實施關(guān)閉變更單，給出變更的簡要總結(jié)變更后檢查和確認網(wǎng)絡(luò)文檔已經(jīng)被準確及時地更新熟悉災(zāi)難恢復(fù)的流程和操作程序，并能搞成功實施提交流程自動化方案，開發(fā)Scripts對一級和二級

17、故障提供故障分析二線支持人員的職責：最佳實踐的例子分級技術(shù)支持對于所有的一級和二級故障為二線支持人員提供直接和及時的支持在進行關(guān)鍵和重大的網(wǎng)絡(luò)變更時與二線支持團隊共同進行方案的審核測試和驗證協(xié)同變更管理團隊進行變更的審批確保所有的變更在實施前開出主動分析網(wǎng)絡(luò)性能數(shù)據(jù)和網(wǎng)絡(luò)流量趨勢，主動進行網(wǎng)絡(luò)能力的規(guī)劃對網(wǎng)絡(luò)設(shè)備上使用的軟件版本（如IOS）進行測試、分析，實現(xiàn)有效的版本管理全局配置模板的設(shè)計與廠商緊密合作，通過學習、測試等及時掌握和驗證新技術(shù)分析新技術(shù)的作用，組織對相關(guān)部門的網(wǎng)絡(luò)新技術(shù)介紹從執(zhí)行全網(wǎng)規(guī)劃、優(yōu)化全網(wǎng)的角度調(diào)查研究新技術(shù)和新設(shè)備準備和執(zhí)行網(wǎng)絡(luò)升級的計劃與安全檢查和信息安全團隊協(xié)作以

18、確保建設(shè)安全的網(wǎng)絡(luò)，消除網(wǎng)絡(luò)存在的安全隱患對長期存在問題的分析和研究制定解決方案網(wǎng)絡(luò)的規(guī)劃、設(shè)計、關(guān)鍵性實施，運維培訓和運維優(yōu)化三線支持人員的職責：提綱企業(yè)OCC運維指揮中心介紹內(nèi)部網(wǎng)絡(luò)安全介紹高可靠園區(qū)網(wǎng)絡(luò)的最佳實踐EMAN系統(tǒng)介紹CAPNet 支持著全球67各國家，430各網(wǎng)絡(luò)節(jié)點的38,000+個員工的業(yè)務(wù)運作支撐在分布在圣何塞、RTP、阿姆斯特丹和悉尼的4個生產(chǎn)數(shù)據(jù)中心統(tǒng)一的基于IP的架構(gòu)使得數(shù)據(jù)、語音、視頻的聚合網(wǎng)絡(luò)易于構(gòu)建、升級與管理CAPNet的備份策略包括節(jié)點、設(shè)備和線路的多個層面AT&T是在全球首選且主要的電信運營商，其他運營商包括C&W，Equant等歐洲地區(qū)采用基于MPL

19、S VPN的OC12連接7600和7200分別支持大型和小型的廣域網(wǎng)絡(luò)美國地區(qū)廣域網(wǎng)整個美國的WAN以O(shè)C12和OC48作為骨干線路每個WAN節(jié)點通過多條T1線路，或者DS3備有T1備份來與最近的Hub節(jié)點連接2002年之前，采用hub-and-spoke的方式，但由于點對點應(yīng)用（如：視頻、Unified Messaging、e-Learning）的逐漸增多，要求優(yōu)化WAN的構(gòu)建方式整個架構(gòu)的優(yōu)化設(shè)計使得任何兩個WAN節(jié)點之間都能選擇最短的路徑，最少的延遲，以及QoS的實現(xiàn)。這對于音頻與視頻的應(yīng)用十分關(guān)鍵。幾乎每個WAN節(jié)點采用完全相同的設(shè)計。3845路由器能支持從幾個到200個的網(wǎng)絡(luò)用戶。這

20、樣既簡化的網(wǎng)絡(luò)的設(shè)計與維護，同時又使未來的擴展變得簡單。改造前改造后線路成本增加了4%帶寬提升了368%圣荷塞總部的園區(qū)網(wǎng)總共有50+風格類似的辦公建筑分布在美國圣荷塞San Jose總部；這些建筑囊括了的桌面辦公、研發(fā)、實驗室、數(shù)據(jù)中心等諸多功能；園區(qū)網(wǎng)的規(guī)模大致如下：900+交換機200+路由器800+無線AP25000+ IP電話18000+用戶9 數(shù)據(jù)中心2003年的第二季度，在有不間斷UPS和發(fā)電機所支持的區(qū)域內(nèi)，網(wǎng)絡(luò)的可用度曾一度達到99.99853%!采用標準的園區(qū)網(wǎng)設(shè)計模式Server FarmDistributionCoreAccessDistributionAccessWA

21、NInternet6500s for Desktop, 3550s for Lab Switch高可靠的網(wǎng)絡(luò)基礎(chǔ)架構(gòu)AutoSecure, Warm Reload, Control Plane Policing, NSF/SSO, Switch Cluster, Config Rollback, Fault Containment 設(shè)備級的保障Routing protocol enhancements, Spanning-Tree enhancements, EtherChannel, MPLS TE, GLBP/HSRP, MLPPP, DDR, Resilient Packet Ring

22、網(wǎng)絡(luò)級的保障總部園區(qū)網(wǎng)達到5個9高可用性問題: Ciscos IT LAN evolved over time硬件和軟件不標準統(tǒng)一 (12K,5K,6K,7500)管理和運維流程不順暢計劃外的故障影響到可靠性設(shè)計和實施不盡一致解決之道: 共同努力以達到 5 個9的可用性衡量可用性分階段判斷并定位問題目前達到5個9 (99.997% adjusted)Availability5 99.9994 99.993 99.9園區(qū)網(wǎng)如何衡量可用性我們采用衡量 客戶體驗 的方式我們采用接入層交換機的可用時間來估量客戶的可用時間我們每隔15-20秒對每臺接入層交換機作兩次 ping ，假如得到響應(yīng)則認為設(shè)備的

23、狀態(tài)是 “up”, 否則這一間斷將計入設(shè)備可用性指標對應(yīng)于raw availability初步指標，我們使用adjusted調(diào)整后的指標 vs. raw availability 減去所有計劃內(nèi)的網(wǎng)絡(luò)中斷 (客戶已經(jīng)得到預(yù)先通知的)達到 3 個 9353535 2003, Cisco Systems, Inc. All rights reserved.Presentation_IDAvailability3 99.9實現(xiàn)計劃確定并解決 3 9 的問題改進 網(wǎng)絡(luò)設(shè)計、流程和基礎(chǔ)設(shè)施Availability3 99.93 9問題 問題領(lǐng)域Topology problemsDesignIncompl

24、ete reportsMeasurement / reportingPreventable outagesProblem managementChange collisions Change managementDelays in restoring serviceInfrastructure設(shè)計和標準問題: Campus sites using different topologies for each building/clusterNo access to devices during network outageInefficient address space usage resul

25、ting in large routing tables and longer times to converge network解決之道: Follow a hierarchical model core, distribution, and access Implement out-of-band network with console servers for all devicesSummarize subnets reducing number of routing table entries resulting in fast routing convergence Availab

26、ility3 99.9流程和基礎(chǔ)架構(gòu)問題: Incomplete reportingPreventable outagesChange collisionsDelays in restoring service解決之道: Measurement and reporting raw and adjusted availability % + monthly/quarterly/annual reports including top 5 planned and unplanned outagesRoot cause analysis identify causes + fix + documen

27、t + preventChange requests allow user notification for planned outages and assist problem resolution and measurementInfrastructure improvements Outage alerts, UPS for critical equipment, redundancy, emergency spares, out-of-band managementAvailability3 99.9393939 2003, Cisco Systems, Inc. All rights

28、 reserved.Presentation_IDAvailability4 99.99達到 4 個 9確定并解決 4 9 的問題改進 網(wǎng)絡(luò)設(shè)計、流程和基礎(chǔ)設(shè)施實現(xiàn)計劃4 9問題 問題領(lǐng)域Patchwork design H/W & S/WHW/SW standardizationIncident responseProblem managementRedundancy checking Change managementDelays in restoring serviceInfrastructureAvailability4 99.99設(shè)計、流程和基礎(chǔ)架構(gòu)問題: Patchwork of

29、different hardware, and OS versions Troubleshooting skills and focusRedundancy oversightsDelays in restoring service解決之道: Standardize on 6500s in all three layers for campus, 7200s for WAN aggregation, 3640/3745 for WAN edge, 3550 for remote office switchStandardize on IOS/CatOS version per platform

30、Troubleshooting drills on IT lab networks; operations command center for problem managementManual testing of redundancy during planned outages; scripts verify each device has two paths back to the coreInfrastructure improvements All devices on UPS, critical devices on a generator, availability integ

31、rated with change managementAvailability4 99.99達到 5 個 9424242 2003, Cisco Systems, Inc. All rights reserved.Presentation_IDAvailability5 99.999實現(xiàn)計劃5 9問題 問題領(lǐng)域Combined test / production networksDesignInconsistent auditing and inspectionConfiguration managementTroubleshooting overlapProblem managementD

32、elays in restoring powerInfrastructure確定并解決 5 9 的問題改進 網(wǎng)絡(luò)設(shè)計、流程和基礎(chǔ)設(shè)施Availability5 99.999設(shè)計、流程和基礎(chǔ)架構(gòu)問題: Testing occurring on production systemsLacked automated configuration auditing and manual inspection processTroubleshooting overlap between TAC and ITDelays in restoring service解決之道: Separate networks

33、 for production and test Switch auditing process ensures standard configurations:Router audit tool (RAT) adapted for switches Manual equipment inspections during all change managementsIT focus on problem prevention, TAC handles troubleshooting Backup generator for data centers and backbonesAvailabil

34、ity5 99.999最后的 “運營最佳實踐”Paranoia努力達到 “5個9” 的過程極富挑戰(zhàn)性Cisco IT 不斷地自我設(shè)問:What was availability yesterday?Why?這是一種極具壓力的生活方式我們在招聘時會提前警告那些應(yīng)征的人們Availability5 99.999所有關(guān)鍵節(jié)點之間以及到關(guān)鍵節(jié)點的連接都有線路級、節(jié)點級和設(shè)備級的備份統(tǒng)一的網(wǎng)絡(luò)設(shè)計模板與軟/硬件的標準配置IOS版本的嚴格選用與控制7x24的網(wǎng)絡(luò)與設(shè)備監(jiān)控 EMAN與電信運營商以及與內(nèi)部IT之間執(zhí)行嚴格的服務(wù)級協(xié)議SLA標準化的網(wǎng)絡(luò)故障級別與響應(yīng)機制網(wǎng)絡(luò)實現(xiàn)高可用度的關(guān)鍵在于提綱企業(yè)OCC

35、運維指揮中心介紹內(nèi)部網(wǎng)絡(luò)安全介紹高可靠園區(qū)網(wǎng)絡(luò)的最佳實踐EMAN系統(tǒng)介紹IT 全球運作部IT全球運作部與IT應(yīng)用和服務(wù)供應(yīng)部一起管理IT生產(chǎn)環(huán)境，以便：所有分布各地的IT部門都能按可升級性的穩(wěn)定方法來操作協(xié)調(diào)和交流進行的變更監(jiān)控和管理可用性和事件分析問題的根源并找到永久性修復(fù)方法測量和報告服務(wù)水平這樣做的優(yōu)點是：IT 和企業(yè)客戶能夠隨時了解變化降低計劃外停機的次數(shù)、成本和影響高效運作及統(tǒng)一的客戶體驗像業(yè)務(wù)部門那樣運作IT并衡量IT的業(yè)績資料來源: IT 服務(wù)管理, ITIMF有限公司, ISBN 0952470608業(yè)務(wù)驅(qū)動的設(shè)計理念自頂向下的設(shè)計理念與標準的網(wǎng)絡(luò)架構(gòu)模板的網(wǎng)絡(luò)設(shè)計委員會負責制

36、訂內(nèi)部各種不同用途、類型和規(guī)模的網(wǎng)絡(luò)架構(gòu)模板 (Network Template Architecture)，其成員由總部 IT 部門的高級網(wǎng)絡(luò)設(shè)計專家，核心網(wǎng)絡(luò)產(chǎn)品部門的代表，區(qū)域 IT 部門的資深網(wǎng)絡(luò)設(shè)計工程師，和內(nèi)部獨立的信息安全管理小組的安全設(shè)計工程師組成；根據(jù)所部署（新建、改造或升級）網(wǎng)絡(luò)的地點、用途和規(guī)模，由的 IT 部門嚴格按照所對應(yīng)的網(wǎng)絡(luò)架構(gòu)模板進行詳細網(wǎng)絡(luò)設(shè)計，在得到網(wǎng)絡(luò)設(shè)計委員會的批準后，進行具體的實施；網(wǎng)絡(luò)架構(gòu)模板著重根據(jù)內(nèi)部對應(yīng)的網(wǎng)絡(luò)服務(wù)級協(xié)議的標準通過各種冗余設(shè)計來實現(xiàn)網(wǎng)絡(luò)的高可靠性和高承受力；在網(wǎng)絡(luò)實施的同時，在的企業(yè)資源管理平臺 - EMAN中進行相應(yīng)的設(shè)備配置登

37、記，并立即對其實施實時運行監(jiān)控和管理。運維管理體系的遵循對內(nèi)部 IT、電信運營商和服務(wù)外包商實施嚴格的服務(wù)級協(xié)議管理，并要求服務(wù)外包商（如桌面系統(tǒng)技術(shù)支持）嚴格遵守內(nèi)部的服務(wù)支持流程，并使用的服務(wù)支持平臺系統(tǒng)；在全球的五個技術(shù)支持中心（即服務(wù)平臺）執(zhí)行統(tǒng)一的服務(wù)級協(xié)議和服務(wù)支持流程（事件、故障、變更、配置和版本管理，等），使用相同的服務(wù)平臺和網(wǎng)管平臺；通過網(wǎng)絡(luò)基線定義，對所有企業(yè)資源配置管理數(shù)據(jù)庫中的網(wǎng)絡(luò)和系統(tǒng)設(shè)備及應(yīng)用，在假設(shè)分析和風險評估的基礎(chǔ)上，定義了故障和服務(wù)級別；InfoSec作為在獨立于IT的信息安全管理部門，將對任何的新系統(tǒng)的開發(fā)或者現(xiàn)有系統(tǒng)的升級進行安全檢查和審計。位于圣何塞總

38、部的數(shù)據(jù)中心加州圣荷塞數(shù)據(jù)中心是全球四個生產(chǎn)數(shù)據(jù)中心之一。它支持著的內(nèi)網(wǎng)、ERP系統(tǒng)、數(shù)據(jù)存儲、IP電話，以及其他各類面向員工的網(wǎng)上應(yīng)用與數(shù)據(jù)庫系統(tǒng)；總占地面積1,326平方米，其中包括了IT運營指揮中心(OCC)、1999年初建的數(shù)據(jù)中心、2001年的擴建部分，以及其它辦公場地；OCC的職責包括：解決任何對與業(yè)務(wù)持續(xù)產(chǎn)生影響的基礎(chǔ)設(shè)施問題跟蹤和反應(yīng)全球4個生產(chǎn)數(shù)據(jù)中心與41個工程數(shù)據(jù)中心的P1/P2級故障監(jiān)控8000+個P1/P2級主機及設(shè)備、374個P1級應(yīng)用，以及500+個P2級應(yīng)用利用EMAN對10,000+網(wǎng)絡(luò)和主機進行24小時不間斷的監(jiān)控得益于的分級技術(shù)支持體系，圣何塞OCC的員工

39、人數(shù)為14名，溝通、協(xié)調(diào)與文檔紀錄是他們的主要工作。支持響應(yīng)機制的執(zhí)行由運行指揮中心 (OCC，Operations Command Center) 和技術(shù)支持中心 (TRC，Technical Response Center) 作為一級技術(shù)響應(yīng)/支持，IT 運維部門作為二級技術(shù)支持，廠商作為三級技術(shù)支持的技術(shù)支持分級體系；OCC負責網(wǎng)絡(luò)和系統(tǒng)類的1、2級故障事件的響應(yīng)、處理調(diào)度、進程管理、記錄和關(guān)閉；由TRC負責3-6級服務(wù)申請的響應(yīng)、處理、進程管理、記錄和關(guān)閉; 技術(shù)支持中心也可以根據(jù)服務(wù)申請的類別分配給 IT 運維部門的值班工程師處理；IT 運維部門也根據(jù)事件級別的不同分為兩個層次：資深

40、設(shè)計工程師負責1、2級事件的分析和處理，需要7天x 24小時值班響應(yīng)；普通工程師負責其余服務(wù)申請和事件的處理，根據(jù)服務(wù)級協(xié)議的規(guī)定，這些工程師只需要在正常工作時間內(nèi)完成處理即可；建立了完備的故障處理知識庫，以及與配置管理數(shù)據(jù)庫相對應(yīng)的值班責任人/組制，使得服務(wù)申請的分配可以明確、迅速的完成；在1、2級故障和變更處理過程當中，運行指揮中心只負責對服務(wù)申請的響應(yīng)和調(diào)度，具體分析和處理由 IT 運維部門的值班工程師完成。為保證值班工程師集中精力、及時解決問題，所有的進程記錄和審批工作由運行指揮中心負責完成。支持響應(yīng)機制的執(zhí)行（續(xù)）故障級別和相應(yīng)的服務(wù)級協(xié)議故障級別響應(yīng)時間解決時間 P1 (pls c

41、all) 立即響應(yīng)2 小時 P2 (pls call)2 小時4 小時 P3 (prefer call)4 小時24 小時 P4 (case)電話確認48 小時 P5 (case)電話確認5 天 P6 (case)電話確認自定義時間環(huán)境分類4個業(yè)務(wù)數(shù)據(jù)中心集中管理:面向員工的內(nèi)部網(wǎng)、業(yè)務(wù)應(yīng)用和服務(wù)互聯(lián)網(wǎng) 應(yīng)用和服務(wù)災(zāi)難恢復(fù)、開發(fā)、測試和布局EMEA 地區(qū)應(yīng)用和服務(wù)41 個工程數(shù)據(jù)中心分布在11個國家，橫跨十個時區(qū)計劃排列環(huán)境的優(yōu)先順序3200 個一級應(yīng)用和系統(tǒng)8800 個二級應(yīng)用和系統(tǒng) - 分成 -業(yè)務(wù)系統(tǒng)環(huán)境客戶支持C企業(yè)資源規(guī)劃員工生產(chǎn)效率應(yīng)用和服務(wù)IT 開發(fā)工程環(huán)境IT全球運作部和運作指

42、揮中心認為，IT環(huán)境包括：計劃問題管理的目標快速有效地解決問題排列資源和響應(yīng)的優(yōu)先順序，首先解決最嚴重的問題盡量減少重復(fù)性問題的發(fā)生提高支持人員的生產(chǎn)率提供管理信息資料來源： IT 服務(wù)管理, ITIMF有限公司, ISBN 0952470608計劃問題管理流程投入使用驗收事故管理事故后回顧長期修復(fù)計劃服務(wù)水平協(xié)議24 x 7 運作模式指揮中心詳細的根源分析解決方案分析分類企業(yè)監(jiān)控器專家審核錯誤控制優(yōu)先排序影響嚴重性分析找出技術(shù)問題變更請求支持文檔事件信息找出規(guī)程問題審核和簽收應(yīng)用監(jiān)控器二級和專家支持解決方法短期修復(fù)報告報告報告報告計劃投入使用驗收 Cisco Systems, Interna

43、l Use Only 步驟說明1基礎(chǔ)設(shè)施交接2EMAN 應(yīng)用管理：注冊3確定應(yīng)用的優(yōu)先等級和SLA4托管決策Hosting Decisions5EMAN 應(yīng)用管理：監(jiān)控介紹6SCM: 評估7廠商聯(lián)系信息8SCM: 支持從開發(fā)到推廣的整個流程9EMAN 應(yīng)用管理：監(jiān)控配置10維護和備份規(guī)劃11支持準備：聯(lián)盟/挽救和GTRC12職責調(diào)整配置13批處理14支持準備：小組成員15投入使用16EMAN 可用性目標和指標投入使用驗收事故管理事故回顧長期修復(fù)計劃使用“生產(chǎn)前檢查表”，保證能夠在業(yè)務(wù)要求的水平支持應(yīng)用。必須在開發(fā)周期的早期制訂工作程序，因為它將影響到進入生產(chǎn)的其他重要決策。事故管理的事故管理流

44、程 事件管理小組主要負責IT事件短期修復(fù)：監(jiān)控、報警、事件恢復(fù)對1級和2級系統(tǒng)進行可用性監(jiān)控專家和技術(shù)支持屬于默認支持不太嚴重的問題由內(nèi)部Help Desk (TRC)解決分級響應(yīng)根據(jù)優(yōu)先等級（潛在影響）執(zhí)行不同的響應(yīng)根據(jù)嚴重程度（實際影響）決定提升時間適用于所有IT機構(gòu)和服務(wù)供應(yīng)商應(yīng)用、數(shù)據(jù)庫、網(wǎng)絡(luò)、服務(wù)器、電信商/服務(wù)供應(yīng)商投入使用驗收事故管理事故回顧長期修復(fù)計劃運作指揮中心設(shè)計設(shè)計 一個可用性與最關(guān)鍵的IT應(yīng)用或系統(tǒng)相當?shù)?運作指揮中心(OCC) 。物理位置和需求可控環(huán)境比較安靜，燈光可調(diào)，供熱方式靈活提供容錯型冗余電源必須為最關(guān)鍵的情況留出空間，應(yīng)允許根據(jù)流程的變化重組空間。邏輯位置和

45、需求也很重要在網(wǎng)絡(luò)和基礎(chǔ)設(shè)施中建立可靠的供應(yīng)點在所有系統(tǒng)中設(shè)計高容錯性投入使用驗收事故管理事故回顧長期修復(fù)設(shè)計邏輯容錯如果想了解IT運作指揮中心的IT電話解決方案，請訪問：/en/US/about/ciscoitatwork/case_studies/ipcommunications_dl5.html投入使用驗收事故管理事故回顧長期修復(fù)設(shè)計 IT 全球運維指揮中心圣何塞可控環(huán)境，靈活，可擴展運維指揮中心設(shè)計圣何塞安全室（第12號大樓）的尺寸大約為10 x 20 米可以容納12位分析家空余空間用于危機情況下的管理和協(xié)調(diào)房間后面的觀察區(qū)用于客戶管理人員簡報中心（EBC）訪問兩公里外的備用房間采用了

46、類似的布置，但沒有EBC區(qū) 班加羅爾 (Bangalore)安全室的尺寸大約為 7 x 10 米可以容納6位分析家需要擴展（2005年5月）三公里外的備用房間采用了類似的布置投入使用驗收事故管理事故回顧長期修復(fù)設(shè)計事故管理小組圣何塞 OCC的工作時間為6am-6pm PT，班加羅爾的工作時間為 6pm-6am PT按業(yè)務(wù)需求聘用員工，每個職位或247“座位”需要5-6人人才及技能最重要，與之相比，其它都是次要的的OCC: 注重人員的交流和流程技能、自信心和面對危機的決斷能力“2級”NOC：包括技術(shù)知識和技能投入使用驗收事故管理事故回顧長期修復(fù)實施政策支持制訂統(tǒng)一支持和執(zhí)行的強有力的業(yè)務(wù)政策和流

47、程例如: 事件管理團隊對所有參與者都抱有強烈的期望投入使用驗收事故管理事故回顧長期修復(fù)實施記錄規(guī)則：“未記錄就視同不存在”這一點已成為一種標準和規(guī)范的要求生產(chǎn)驗收事件管理事后回顧永久修復(fù)實施工具監(jiān)控（企業(yè)監(jiān)控器，用于批處理報警的 HP OpenView ）案件處理（Remedy，專用于處理 P1/P2 信息）支持文檔（ 值班日歷，名錄）通信（電子傳呼、電子郵件和Web服務(wù)）對依賴運營命令中心(OCC)的服務(wù),需要有換行的解決方案。為所有可能發(fā)生的事件建立人工流程。投入使用驗收事故管理事故回顧長期修復(fù)實施應(yīng)用和系統(tǒng)監(jiān)控實施投入使用驗收事故管理事故回顧長期修復(fù)事故管理 的步驟用24 x 7 的模式

48、監(jiān)控所有P1和P2事件. 12000個應(yīng)用/設(shè)備被監(jiān)控, 每季度約8500,000批工作量所有P1事件以24 x 7模式升級處理，所有P2個案按工作時段處理，每季度處理2250個案多數(shù)事件都應(yīng)立即恢復(fù)，2 小時內(nèi)解決 屬P1 SLA的案件(一級服務(wù)協(xié)議)， 4 小時內(nèi)解決 P2 SLA (2級服務(wù)個案).事故對業(yè)務(wù)的影響按“嚴重”等級記錄. 約有99.5%的事故對業(yè)務(wù)沒有大的影響針對類別、優(yōu)先順序和嚴重程度有目的地進行交流。事故信息會用于今后的錯誤根源分析、步驟改進、和報告中投入使用驗收事故管理事故回顧長期修復(fù)實施問題管理程序?qū)嵤┧?級和2級事件都應(yīng)作錯誤根源分析和長期修復(fù)計劃在五個工作日內(nèi)

49、建立錯誤根源分析文檔在五個工作日內(nèi)建立永久修復(fù)文檔長期修復(fù)計劃的實施與變更管理相連對于所有對業(yè)務(wù)影響較大的問題，都應(yīng)作正式的事故分析投入使用驗收事故管理事故回顧長期修復(fù)掌控問題管理部門內(nèi)進行檢察深入、詳細的審核IT管理層執(zhí)行每日運作審核執(zhí)行季度運作審核，將進度與期望進行比較運作投入使用驗收事故管理事故回顧長期修復(fù)并制作主要管理指標圖！報告 - IT P1/P2 案例統(tǒng)計運作發(fā)展及維護在運作過程中改進和完善是逐步的!每年有20項程序變動保持流程和步驟的靈活性，使之能滿足新的業(yè)務(wù)要求和機會定期檢查所有設(shè)施和系統(tǒng)。 每個季度，OCC小組必須去一次備用命令中心，并實習全套步驟定期測試所有步驟、情況和緊

50、急措施：如,危機演習。運作IT 全球運作和持續(xù)改進改進并集成流程和數(shù)據(jù)服務(wù)數(shù)據(jù)集成服務(wù)水平管理容量管理連續(xù)性管理可用性管理財務(wù)管理發(fā)布管理服務(wù)供應(yīng)配置管理變更管理支持中心，服務(wù)請求問題與事故管理服務(wù)支持資料來源: ITIL 和 ITSM運作外部和在線參考官方 ITIL web 站點是 www.itil.co.uk。許多公司都提供支持ITIL模式的應(yīng)用及咨詢。以下是一些供應(yīng)商的網(wǎng)址：“IT運營概述”和“IT數(shù)據(jù)中心導(dǎo)覽”兩篇文章中詳細討論了的IT全球運作、運作命令中心和數(shù)據(jù)中心實踐。歡迎訪問Cisco ITWork：/en/US/about/ciscoitatwork/index.html“IT

51、運營概述”的網(wǎng)址為：/en/US/about/ciscoitatwork/white_papers/datacenter_dl1.html“IT數(shù)據(jù)中心導(dǎo)覽”的網(wǎng)址為： /en/US/about/ciscoitatwork/white_papers/datacenter_dl13.html提綱企業(yè)OCC運維指揮中心介紹內(nèi)部網(wǎng)絡(luò)安全管理介紹高可靠園區(qū)網(wǎng)絡(luò)的最佳實踐EMAN系統(tǒng)介紹安全對于的重要性電子商務(wù)36,000 正式員工 + 18,000 合同員工Ciscos 信息資產(chǎn) & 客戶信息長達10年積累下的信息技術(shù)帶來的生產(chǎn)力提高11 個 Internet 出口 主要出口: SJ, RTP, Am

52、sterdam, Sydney, Tokyo35 個與Internet 連接的實驗室全球1000+ 實驗室 (500+ 在 San Jose)210+業(yè)務(wù)和支持開發(fā)伙伴110+ 個應(yīng)用服務(wù)提供商ASP300 個辦公室分布在100多個國家這些資產(chǎn)會受到什么樣的威脅按信息安全威脅對造成的影響，將威脅分為：中斷直接影響生產(chǎn)率外部中斷源（如：分布式拒絕服務(wù)DDoS）內(nèi)部中斷源（如：病毒爆發(fā)）意外性中斷源（如：設(shè)備配置錯誤）損失直接導(dǎo)致公司價值受挫隨機的信息竊?。ㄈ纾簾o意闖入機密信息存儲）有目的的信息竊取（如：商業(yè)間諜、惡意的前雇員）意外的損失（如：無人操作的計算機屏幕上顯示的重要信息、掉在地上的重要傳

53、真）中斷 與 損失內(nèi)部信息安全部門InfoSec的歷史內(nèi)部安全在1997年以前被嚴重忽略，1997年時只有1-3個負責安全的人員1998年夏季，建立了信息安全部門(InfoSec)，并在內(nèi)部作了SPA結(jié)果顯示存在顯著的安全隱患引起審計委員會的興趣1999年五月，InfoSec在全球共有8名員工1999年十月，意外事件凸現(xiàn)了InfoSec的重要性2000年十月，InfoSec的團隊達到了40人，并繼續(xù)保持一定的增長InfoSec的目標和首要任務(wù)首要任務(wù)保護品牌保護的電子商務(wù)保護的信息資產(chǎn)和客戶信息管理信息和計算資產(chǎn)的 保密性、完整性和可用性面臨的風險，以使的效益最大化安全策略的指導(dǎo)思想“將安全看

54、作一套綜合的作用，我們明白實現(xiàn)安全、強健的網(wǎng)絡(luò)環(huán)境的必要性。我們的目標是通過綜合的網(wǎng)絡(luò)安全解決方案，在使工作效率最大化的同時實現(xiàn)風險的最小化。 John Chambers“Those who would sacrifice essential liberties for a little temporary safety deserve neither liberty nor safety. “ Benjamin Franklin的信息安全組織（InfoSec）直接匯報至公司的CIO，并同時對審計委員會、運營委員會和安全委員會負責約翰.錢伯斯(CEO)CIOInfoSec總監(jiān)架構(gòu)與設(shè)計安全技術(shù)

55、架構(gòu)設(shè)計制定與維護安全策略安全制度合作伙伴的連接審查安全產(chǎn)品開發(fā)審查安全運作7x24支持防火墻/IDS事故處理應(yīng)用和系統(tǒng)的安全支持安全事件管理收購審查安全服務(wù)實驗室安全PKI風險評估電子郵件與病毒安全循檢宣傳與溝通審計委員會運營委員會安全委員會InfoSec的任務(wù)目標：通過對的信息與計算機資產(chǎn)的保密性、完整性和有效性的潛在風險的有效管理，最大程度地提高的生產(chǎn)能力和盈利能力。的信息安全管理策略：部署、管控和遵循信息技術(shù)制度流程行為意識部署架構(gòu)遵循規(guī)范管控執(zhí)行集成的安全控制多層次深度防御信息安全制度信息安全流程安全意識安全/事故行為的獎勵/懲處“與的產(chǎn)品開發(fā)部門之間，就的信息安全需求保持不斷的溝通

56、（CoC）”“業(yè)務(wù)的運作不能間斷，必須保證運作過程是安全的”“理解并不斷平衡各種潛在的風險”“信息安全策略與業(yè)務(wù)策略是緊密相關(guān)的”管理安全安全政策 安全組織 風險評估 安全流程 安全審計/績效應(yīng)用安全權(quán)限管理 身份認證 密鑰管理, 內(nèi)存管理訪問控制 入侵檢測 網(wǎng)絡(luò)聯(lián)通性/可用性 安全掃描系統(tǒng)安全數(shù)據(jù)安全數(shù)據(jù)加密 數(shù)據(jù)備份 病毒防護網(wǎng)絡(luò)安全物理安全災(zāi)難恢復(fù) 系統(tǒng)冗余 線程管理 辦公場地環(huán)境安全與監(jiān)控 人員出入管理組織/人事數(shù)據(jù)/信息業(yè)務(wù)/應(yīng)用環(huán)境/設(shè)施將信息安全管理劃分為6個層面依據(jù)的業(yè)務(wù)戰(zhàn)略與安全風險評估的結(jié)果，InfoSec制定了信息安全的管理重心 信息安全的管理重心保護的品牌保護的電子商務(wù)

57、網(wǎng)站保護的信息資產(chǎn)和客戶信息為什么：品牌是公司的標識，是最重要的資產(chǎn)。如何做：與公司法律部門一起，最大范圍的搜索對品牌的盜用或濫用，并尋求相應(yīng)補救措施。為什么：約95%的銷售和采購訂單是在網(wǎng)上發(fā)生的。如何做：組成跨功能的團隊，制定專職人員，關(guān)注網(wǎng)站及相關(guān)資源的安全。7x24的監(jiān)控，對任何應(yīng)用與基礎(chǔ)架構(gòu)的更改進行嚴格控制。為什么：信息資產(chǎn)和客戶信息是業(yè)務(wù)發(fā)展的關(guān)鍵資產(chǎn)，且相對其他資產(chǎn)（固定資產(chǎn)）來說，更容易受到損失。如何做：專職的隊伍進行信息資產(chǎn)分類、識別和防范風險信息分級制度最大范圍的搜索信息資產(chǎn)是否被盜用為了確保信息安全的管理重心得以有效的落實，InfoSec確定了相應(yīng)的優(yōu)先任務(wù)信息安全的優(yōu)

58、先任務(wù)信息安全意識 認證與授權(quán)機制主機（各類服務(wù)器、PC終端）安全應(yīng)用安全 實驗室安全移動安全保護的品牌保護的電子商務(wù)網(wǎng)站保護的信息資產(chǎn)和客戶信息InfoSec每年對已制定的信息安全制度和執(zhí)行結(jié)果進行審查制度流程Applications 應(yīng)用數(shù)據(jù)加密規(guī)則應(yīng)用服務(wù)外包數(shù)據(jù)庫登錄設(shè)置數(shù)據(jù)庫執(zhí)行環(huán)境應(yīng)用程序項目安全源代碼保護自動轉(zhuǎn)發(fā)規(guī)則垃圾郵件控制可接受的行為規(guī)則賬戶存取規(guī)則收購評估審計制度信息分級安全病毒防護密碼保護風險評估實驗室病毒防護內(nèi)部/DMZ實驗室安全外網(wǎng)安全路由器與交換機安全服務(wù)器安全無線安全撥號接入遠程接入VPN網(wǎng)絡(luò)模擬線路與ISDN線路安全DMZ設(shè)備DMZ應(yīng)用服務(wù)器DMZ網(wǎng)站權(quán)限Re

59、mote Access 遠程接入DMZ 非軍事區(qū)域Email 電子郵件General Policies 一般制度Lab Policies 實驗室Networking 網(wǎng)絡(luò)Telephony 電話通訊行為意識信息安全可以從簡單的行為意識開始在，5個首要的信息安全須知：安全是每個人的責任將信息分級制度應(yīng)用到所有文檔不要將含有公司機密的電子郵件轉(zhuǎn)發(fā)到外部郵箱了解與自己相關(guān)的信息安全制度保護自己的物理與虛擬工作環(huán)境Where to start:養(yǎng)成好的密碼使用習慣健壯的密碼設(shè)置使用網(wǎng)絡(luò)密碼設(shè)置工具使用公司推薦的密碼管理軟件行為意識在信息安全行為意識的宣傳和培養(yǎng)上開展的一系列工作目的：提高全球?qū)π畔踩?/p>

60、的意識的總裁兼CEO約翰.錢伯斯宣布了信息安全推廣活動的開始InfoSec使用專職的宣傳和溝通人員利用盡可能多有的渠道和載體進行推廣，包括：網(wǎng)站、墻貼、桌飾、PowerPoint、視頻點撥、行李及文件包、磁貼、電子郵件、光盤初期的推廣內(nèi)容包括：一般安全意識、密碼保護、無證尾隨者、社會工程學進階的推廣內(nèi)容包括：主機安全、數(shù)據(jù)保護、資料銷毀、傳真和白板的使用、員工身份卡信息安全的產(chǎn)品和技術(shù)部署包括信息技術(shù)防火墻入侵監(jiān)測DDoS防護遠程訪問互聯(lián)網(wǎng)與合作伙伴網(wǎng)絡(luò)審計與風險評估PKI以的桌面信息安全為例信息技術(shù)問題:感染病毒的員工筆記本接入公司網(wǎng)絡(luò)惡意的網(wǎng)站通過員工PC攻擊網(wǎng)絡(luò)非標準程序的安裝目標：保護