Oracle 云化數(shù)據(jù)中心探討

云化數(shù)據(jù)中心探討 大中國區(qū)，企業(yè)技術(shù)架構(gòu)部 徐健錄 1 云計算與云化數(shù)據(jù)中心 云數(shù)據(jù)中心的應(yīng)用場景 云數(shù)據(jù)中心的數(shù)據(jù)管理 云 數(shù)據(jù)中心的運營管理 云計算的定義 云計算模式能 以按需方式 ， 通過網(wǎng)絡(luò) ， 方便的訪問 云系統(tǒng)的 可配置計算資源共享池 (比如：網(wǎng)絡(luò)，服務(wù)器，存儲，應(yīng)用程序和服務(wù) ) 。同時它以 最少的管理開銷 及 最少的與供應(yīng)商的交互 ， 迅速配置提供或釋放資源 。 3 種服務(wù)模式 種部署模式 公有云 私有云 社區(qū)云 混合云 5個基本特征 按 需的自服務(wù) 共享的資源池 快速彈性能力 可度量的服務(wù) 普遍網(wǎng)絡(luò)訪問 運營商普遍面臨的 如何降低運營成本？ 如何縮短對市場需求的影響時間？ 使用集中化或更 符合 經(jīng)濟原則的 基于規(guī)范的數(shù)據(jù)模型提供 360o 的客戶完整視圖，構(gòu)建企業(yè)內(nèi)的“策略統(tǒng)一體”，以改善服務(wù)，拓展銷售 構(gòu)建 部門準(zhǔn)確掌握運營成本，精細(xì)運營 為客戶提供 將 通過平臺共享降低經(jīng)濟成本 構(gòu)建易于管理且能夠確保運營效率的 內(nèi) 部 外 部 公 共 電信企業(yè)借助云應(yīng)對 煙囪式的系統(tǒng)建設(shè)， 件 /能耗 /管理） 按峰值規(guī)模建設(shè)，資源平均利用率低 缺乏彈性的系統(tǒng)設(shè)計，應(yīng)對業(yè)務(wù)突發(fā)情況差 建設(shè)周期漫長，無法快速提供與部署 業(yè)務(wù)需求的快速增長，設(shè)備更替快，不利投資保護 集中資源池的共享 虛擬化、分時 /區(qū)共享 動態(tài)調(diào)配、彈性伸縮 自動化、自服務(wù) 低成本、標(biāo)準(zhǔn)化硬件 云計算 下一代 技術(shù)標(biāo)準(zhǔn)化 能力服務(wù)化 提供快速化 資源 彈性化 管理 自動化 管控集中化 傳統(tǒng)模式 下一代數(shù)據(jù)中心的關(guān)鍵要求 云化數(shù)據(jù)中心的關(guān)鍵要求 整合的 敏捷的 高性能 高可用性 整合架構(gòu) 煙囪式架構(gòu) 5% - 10% (60% - 70% ( 整合的要求 升 資源的 的利用水平 敏捷地適應(yīng)應(yīng)用變化情況 - 根據(jù)負(fù)載隨需擴展 - 高彈性，動態(tài)伸縮， 置更多的實例 - 在初始投資成本和獲得良好的效率之間作出平衡（減少 實時地獲取業(yè)務(wù)變化，并以此作出響應(yīng) , B, C, D, E f 捷 的要求 需而變 邦式云數(shù)據(jù)中心 據(jù)需求進行資源分配 全球最大數(shù)據(jù)倉庫容量其大小每兩年增長三倍 1998 1 2001 10 2003 30 2005 100 2007 3002009 900 2011 B 高性能 的要求 集中處理層 問題：昨天的客戶發(fā)展量如何？ 分布式處理層 匯總、合并結(jié)果 24 多個服務(wù)器并行處理查詢請求 構(gòu)建并發(fā) 各服務(wù)器返回結(jié)果 高性能的要求 布式處理能力 據(jù)復(fù)制 完全激活 故障切換到備點 數(shù)據(jù)的備份和恢復(fù) 低成本高性能 數(shù)據(jù)保護 & 歸檔 集群技術(shù)保證容錯和 服務(wù)器水平擴展 動存儲管理保證容錯和 存儲水平擴展 保證業(yè)務(wù)不被中斷 每個數(shù)據(jù)中心都是 可以水平擴展的 , 完全激活的 , 以數(shù)據(jù)為中心的 要求達(dá)到最高可用性和最低的成本 在線升級 硬件和軟件 高可用性 的要求 目錄 2 云計算與云化數(shù)據(jù)中心 云數(shù)據(jù)中心的應(yīng)用場景 云數(shù)據(jù)中心的數(shù)據(jù)管理 云 數(shù)據(jù)中心的運營管理 眾多分散的小數(shù)據(jù)庫的整合，尤其是 基于整合平臺提升數(shù)據(jù)生命周期管理能力及數(shù)據(jù)質(zhì)量 通過標(biāo)準(zhǔn)化及自動化管理的采用有效降低運維成本 有效提升數(shù)據(jù)安全并降低數(shù)據(jù)分發(fā)的難度 全企業(yè)內(nèi)集中的、標(biāo)準(zhǔn)化的數(shù)據(jù)管理要求 建設(shè)雙活的災(zāi)備中心，有效提升資源利用率 基于資源共享及動態(tài)調(diào)整能力，有效節(jié)約硬件投資 通過集中化的災(zāi)備中心建設(shè)，促進 術(shù)標(biāo)準(zhǔn)化的演進 全國大集中的 其是 海量數(shù)據(jù)管理能力及動態(tài)擴展能力 適合大型企業(yè)的大型關(guān)系型數(shù)據(jù)庫的提供或托管 高性能、海量數(shù)據(jù)管理、擴展性 適合中小企業(yè)的小型關(guān)系型數(shù)據(jù)庫的提供或托管 性能力、自動化 分散數(shù)據(jù)庫的整合 集中化的災(zāi)備中心 大集中 新一代 電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實需求 云化數(shù)據(jù) 中心 的 應(yīng)用場景 業(yè)務(wù)目標(biāo)： 降低成本、提高效率、改善服務(wù)、拓展業(yè)務(wù)！ 目錄 3 云計算與云化數(shù)據(jù)中心 云數(shù)據(jù)中心的應(yīng)用場景 云數(shù)據(jù)中心的數(shù)據(jù)管理 云 數(shù)據(jù)中心的運營管理 計算資源 、 存儲 數(shù)據(jù) 應(yīng)用 /服務(wù) 云接入 數(shù)據(jù)仍然是云中心最重要的信息資產(chǎn)！ 海量分布式 存儲與處理 高并發(fā)讀寫 高性能獲取 負(fù)載均衡 自動數(shù)據(jù)備份 在線擴展遷移 足夠的安全 簡單的管理 標(biāo)準(zhǔn)的訪問接口 云數(shù)據(jù)中心的數(shù)據(jù)管理要求 集 群 調(diào) 度分 布 式 文 件 系 統(tǒng)G F 式 鎖 服 務(wù)主 服 務(wù) 器客 戶 端支 撐 層B i g t a b l 端（ l i b r a r y ）服 務(wù) 層用 戶 層元 數(shù)據(jù) 表子 表 服 務(wù) 器子表子表子表子 表 服 務(wù) 器子表子表子 表 服 務(wù) 器子表子表子表存 儲 存 儲 存 儲存 儲高 速 網(wǎng) 絡(luò) 互 聯(lián)N + 1 集 群存 儲 層管 理 控 制 層存 儲S A 云服務(wù)提供商： S 開源 /獨立： 系型數(shù)據(jù)庫 /數(shù)據(jù)倉庫分布式解決方案 W:QL 開源： 種“云”中的分布式數(shù)據(jù)庫 非關(guān)系型分布式數(shù)據(jù)庫 針對某類特定需求而設(shè)計 具有很強的彈性和擴展能力 規(guī)模化提供較強的并發(fā)讀寫能力 數(shù)據(jù)弱一致性設(shè)計 較弱的結(jié)構(gòu)化查詢統(tǒng)計能力 ， 一般存在較多限制 非標(biāo)準(zhǔn) /部分標(biāo)準(zhǔn)的訪問接口 關(guān)系型分布式數(shù)據(jù)庫 通用性設(shè)計 ， 但也帶來了性能的限制 通過集群提供較強的橫向擴展能力 較強的并發(fā)讀寫能力 數(shù)據(jù)強一致性保障 很強的結(jié)構(gòu)化查詢與復(fù)雜分析能力 標(biāo)準(zhǔn)的數(shù)據(jù)訪問接口 很小的應(yīng)用領(lǐng)域，缺乏成熟的商業(yè)產(chǎn)品。 產(chǎn)品成熟，但要在性能和伸縮性上進一步增強 種“云”中的分布式數(shù)據(jù)庫 布式數(shù)據(jù)庫的理論基礎(chǔ) 在 2000的 議上， 2002年， 致性）、 用性）、 to 區(qū)容錯性），任何分布式系統(tǒng)只可能同時滿足二點，沒法三者兼顧。 架構(gòu)師不要將精力浪費在如何設(shè)計能滿足三者的完美分布式系統(tǒng)，而是應(yīng)該進行取舍。 關(guān)系型（ 布式數(shù)據(jù)庫的理論基礎(chǔ) 是基于 心思想是即便不能達(dá)到強一致性 (但可以根據(jù)應(yīng)用特點采用適當(dāng)?shù)姆绞絹磉_(dá)到最終一致性 (效果。 2002年來自 文章中正式提出了 對 & （ 1） 本可用； （ 2） 狀態(tài) /柔性事務(wù)，即狀態(tài)可以有一段時間的不同步； （ 3） 終一致性； 完全不同于 牲強一致性，獲得基本可用性和柔性可靠性并要求達(dá)到最終一致性。 系型（ 布式數(shù)據(jù)庫的理論基礎(chǔ) 子性） , 致性） , 離性） , 久性）的縮寫。 子性）：事務(wù)的原子性是指事務(wù)中包含的所有操作要么全做，要么全不做（ or 致性）：在事務(wù)開始以前，數(shù)據(jù)庫處于一致性的狀態(tài)，事務(wù)結(jié)束后，數(shù)據(jù)庫也必須處于一致性狀態(tài)。 離性）：事務(wù)隔離性要求系統(tǒng)必須保證事務(wù)不受其他并發(fā)執(zhí)行的事務(wù)的影響 ，也即要達(dá)到這樣一種效果： 對于任何一對事務(wù) 事務(wù) 來， 么在 始之前已經(jīng)結(jié)束，要么在 成之后才開始執(zhí)行。這樣，每個事務(wù)都感覺不到系統(tǒng)中有其他事務(wù)在并發(fā)地執(zhí)行。 久性）：一個事務(wù)一旦成功完成，它對數(shù)據(jù)庫的改變必須是永久的，即便是在系統(tǒng)遇到故障的情況下 也不會丟失。 數(shù)據(jù)的重要性決定了事務(wù)持久性的重要性。 兩種“云”中的 分布式數(shù)據(jù)庫背后的理論基礎(chǔ) O 構(gòu)建大規(guī)模分布式數(shù)據(jù)庫時，隨著數(shù)據(jù)量的爆炸式增長和網(wǎng)格節(jié)點的增加，可能面臨著 : 網(wǎng)格內(nèi)節(jié)點間的通訊要求增大 海量數(shù)據(jù)分析要求更大的吞吐量 性能出現(xiàn)瓶頸（如 調(diào)優(yōu) 困難 數(shù)據(jù)的分布式存儲需要設(shè)計 機房可用空間迅速消耗，耗能劇增 管理 與部署的復(fù)雜度增加 一個更加“平衡”的系統(tǒng)才能發(fā)揮出最大性能！ 云數(shù)據(jù)中心的數(shù)據(jù)管理需要更加“平衡”的 架構(gòu) 支撐 1 可預(yù)知的超快性能表現(xiàn)（用于支撐多數(shù)據(jù)庫、多應(yīng)用、多用戶的環(huán)境） 提供最快的數(shù)據(jù)庫服務(wù)交付速度 最低的數(shù)據(jù)庫服務(wù)交付風(fēng)險（自管理） 更低總體擁有成本 通過添加新的機架，提供線性水平擴展能力 工業(yè)級工程優(yōu)化整合系統(tǒng) in a 分布式處理，解決計算能力問題： 每個服務(wù)器包括存儲、 處理 壓縮，恒定的計算能力與存儲的比值。 橫向并發(fā)計算，解決帶寬和可靠性問題： 分布式處理單元橫向部署， 理能力與數(shù)據(jù)量同比擴展。 廉價標(biāo)準(zhǔn)化，解決價格及更新問題： 完全標(biāo)準(zhǔn)的 能存儲單元數(shù)量不受限，極大降低成本，并隨著 群數(shù)據(jù)庫或單實例數(shù)據(jù)庫 布式處理層 集中處理層 超高速、并發(fā)網(wǎng)絡(luò)層 布式智能處理 數(shù)據(jù)加載測試 : 非?？?，小機基本不可能實現(xiàn) - 31GB 5s, 未作加載優(yōu)化 ) - 283G 93s, 64路并發(fā)，均勻加載優(yōu)化 ) 復(fù)雜 快 10倍 - 7 張表連接（每張表 20 比之下，基于運行于 2595服務(wù)器之上 4張同樣表連接需要 446s 線性度測試 : 接近理論值 - 包括基于存儲單元數(shù)量變化的線性度測試 - 包括基于數(shù)據(jù)量變化的線性度測試 超大型表 48659(3 資源管理測試 : 國內(nèi)最大計費廠商測試報告 測試基于 該運營商 經(jīng)分系統(tǒng) 中的真實生產(chǎn)應(yīng)用，由運營商 及的表超過 29億條 記錄 高壓縮比可達(dá)將近 8倍，平均壓縮比也在 5倍以上。 配置 s，而 s。 真實的應(yīng)用程序在 1/4配置中的運行時間為 6分鐘，而在生產(chǎn)環(huán)境中需要 17小時， 性能提高 168倍 。而優(yōu)化后性能還可提高 20%。 基于復(fù)雜查詢（星形）的執(zhí)行時間基本在 2分 40秒左右完成，而在生產(chǎn)環(huán)境中相似、且數(shù)據(jù)量較小的查詢需要30分鐘以上， 性能提高 12倍以上 。 國內(nèi)某運營商 測試報告 為什么具備超級性能？ 軟硬件一體化設(shè)計和生產(chǎn)，最大程度發(fā)揮了軟硬件技術(shù)優(yōu)勢 換線纜”技術(shù)，徹底消除了服務(wù)器節(jié)點間的通訊瓶頸，實現(xiàn)節(jié)點間高度并行計算 夠僅將滿足查詢的數(shù)據(jù)傳送到服務(wù)器，從而大幅度減少了不必要的數(shù)據(jù)移動 無需頻繁訪問物理速度相對低的磁盤 到 6倍， 050倍的壓縮比。因此降低了數(shù)據(jù)傳輸量，降低了存儲空間，并且節(jié)省了客戶成本 不僅可以用于支撐超大型數(shù)據(jù)庫應(yīng)用，還可以將 數(shù)以百計 的數(shù)據(jù)庫系統(tǒng)整合到 幾個機架 以內(nèi) 降低 50%以上的硬件投資 降低 80%以上的機房空間需求 降低 50%以上的 降低 50%以上的電力需求 10分析型系統(tǒng)性能提升 4倍 以上的 通過集中管理，降低 90%以上的數(shù)據(jù)安全隱患 通過服務(wù)器池及數(shù)據(jù)分布鏡像技術(shù)，提供系統(tǒng)級的高度安全性，比一般小機 工業(yè)級工程優(yōu)化整合系統(tǒng) 鍵收益 目錄 4 云計算與云化數(shù)據(jù)中心 云數(shù)據(jù)中心的應(yīng)用場景 云數(shù)據(jù)中心的數(shù)據(jù)管理 云數(shù)據(jù)中心的運營管理 “ 客戶要求其任務(wù)關(guān)鍵的業(yè)務(wù)系統(tǒng)的可用性接近 100%。要達(dá)到這一質(zhì)量要求就需要成熟 的數(shù)據(jù)中心運營管理。 ” 總裁 85%81%79%78%77%71%70%69%69%68%67%89%88%83%81%86%74%67%76%67%69%67%87%85%85%78%75%68%68%66%73%66%60%80%71%68%74%69%70%75%67%67%68%74%0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%A ch i e vi n g g re a t e r o p e ra t i o n a l e f f i ci e n p ro d u ct i vi t yI m p ro vi n g se rv i l e ve l a va i l a b i l i t yA b i l i t y t o d e l i ve r I T se rv i ce s b a se d o n b u si n e s s p ri o ri t i e sH i g h e r a va i l a b i l i t yR e d u ct i o n i n h u m a n e rr o rI m p ro ve d a g i l i t y o f i n f ra st ru c t u f o m e n t o f st a n d a rd i ze d co n f i g u ra t i o i l i t y t o d o cu m e n t co mp l i a n i l i t y t o a u t o m a t i ca l l y re sp o n d t o ch a n g i n g b u si n e ss d e ma n d sC o sa vi n g s o n i n i t i a l i n ve st me n tI m p ro ve d R O I o n e xi st i n g i n ve st m e n t s( % R a t i ng e a c h a s a 4 5 w he r e 5 = E x t r e m e l y I m t a a = N a t a l l I m t a W o rl d w i d 生產(chǎn)率 提升服務(wù)水平能力 支持業(yè)務(wù)優(yōu)先度的 更高可用性 降低人工失誤 提高基礎(chǔ)設(shè)施敏捷性 強制配置標(biāo)準(zhǔn)化 合規(guī)存檔審計能力 自動響應(yīng)業(yè)務(wù)需求的變更能力 節(jié)省投資的舉措 提高已有投資的 據(jù) 中心管理 的優(yōu)先度 87%73%49%28%連續(xù)的端到端應(yīng)用與服務(wù)性能保障 非計劃基礎(chǔ)設(shè)施變更導(dǎo)致事故或宕機 整合或新應(yīng)用對基礎(chǔ)設(shè)施的不可預(yù)見的影響 錯誤配置 T o 005 實踐經(jīng)驗表明， 用戶抱怨的性能問題中有 74%難以通過后臺的基礎(chǔ)設(shè)施監(jiān)控發(fā)現(xiàn)問題的根源 。 現(xiàn)了業(yè)務(wù)部門 對服務(wù)的強烈要求意愿 對運維壓力最大的四件事 (的 展到了專注服務(wù) ( 數(shù)據(jù)中心的運維管理 行為應(yīng)該完全映射到 數(shù)據(jù)中心即是服務(wù) - 目聯(lián)絡(luò)人業(yè)務(wù)負(fù)責(zé)人L O B V V O 數(shù)據(jù)庫 /系統(tǒng)平臺的效率管理與優(yōu)化 提高運維人員生產(chǎn)率 提高運維人員管理系統(tǒng)平臺的平均數(shù)目 提高性能和可用性 提高安全合規(guī) 降低成本 A. 服務(wù)管理與優(yōu)化 B. 數(shù)據(jù)庫 /系統(tǒng)平臺的效率管理與優(yōu)化 對數(shù)據(jù)中心要關(guān)注兩個管理維度 對業(yè)務(wù)部門的服務(wù)管理與優(yōu)化（外） 對系統(tǒng)平臺的效率管理與優(yōu)化（內(nèi)） 數(shù)據(jù)中心的管理維度 從發(fā)展和統(tǒng)一管理角度看待數(shù)據(jù)中心監(jiān)控工具的選型 考慮建立管理視圖，而不是單純的監(jiān)控和調(diào)優(yōu)工具 借助 客戶體驗與服務(wù)水平管理見效快，改善管理立竿