銀行大數(shù)據(jù)應(yīng)用解決方案(智慧銀行-智慧金融-銀行業(yè)大數(shù)據(jù))

銀行大數(shù)據(jù)解決方案（智慧銀行）目錄TOC\o"1-5"\h\z1云數(shù)據(jù)中心項目概述 101.1建設(shè)背景 101.2金融業(yè)大數(shù)據(jù)應(yīng)用投資分布 111.2.1銀行大數(shù)據(jù)應(yīng)用 113面臨的風(fēng)險和挑戰(zhàn) 171.4建設(shè)目標(biāo) 171.5建設(shè)原則 186云計算大數(shù)據(jù)中心優(yōu)勢 212云數(shù)據(jù)中心需求分析 241現(xiàn)狀分析 242總體建設(shè)需求 243云數(shù)據(jù)中心總體規(guī)劃設(shè)計 271整體建設(shè)思想 272整體系統(tǒng)結(jié)構(gòu) 273計算資源和存儲資源配置估算 304云數(shù)據(jù)中心資源層規(guī)劃設(shè)計 321云計算平臺基礎(chǔ)架構(gòu)體系 321.1設(shè)計原則 321.2系統(tǒng)總體架構(gòu) 341.3虛擬化拓?fù)涞慕Y(jié)構(gòu) 374.2云計算中心虛擬化組件 392.1遷移 394.2.2高可靠性(HA) 394.2.3容錯 404.2.4動態(tài)資源分配 414.2.5分布式電源管理 414.3分布式集群存儲平臺 434.3.1方案拓?fù)鋱D 434.3.2方案描述 434.3.3系統(tǒng)軟件 454.3.3.1云平臺系統(tǒng)管理支撐系統(tǒng) 454.3.3.1.1產(chǎn)品定位 464.3.3.1.2XX銀行云應(yīng)用 474.3.3.1.3客戶收益 474.3.3.1.4產(chǎn)品架構(gòu) 484.3.3.1.5產(chǎn)品體系 504.3.3.1.6產(chǎn)品功能 524.3.3.2集群存儲系統(tǒng) 554.3.3. 2. 1集群存儲系統(tǒng)的特點 554.3.3. 2. 2集群存儲硬件介紹 594.3.3. 2. 3系統(tǒng)功能及特點 604.3.3. 2.3. 1國產(chǎn)硬件自主可控 604.3.3. 2.3. 2海量數(shù)據(jù)高效管理 604.3.3. 2.3. 3數(shù)據(jù)讀寫性能 614.3.3. 2.3. 4數(shù)據(jù)全局共享 624.3.3. 2.3. 5數(shù)據(jù)安全性 634.3.3. 2.3. 6系統(tǒng)可擴展性 654.3.3. 2.3. 7與現(xiàn)有環(huán)境無縫兼容 664.3.3. 2.3. 8系統(tǒng)的整體擁有成本 674.3.3.3.1.2.4.3.3.3.1.2.3完善的業(yè)務(wù)分析報表系統(tǒng).804.3.3.2.3.4.3.3.2.3.9使用分布式提高投資回報率…674.3.3.2.3.10降低管理及運行成本一一簡易TOC\o"1-5"\h\z存儲 694.3.3.2.3.11提高用戶應(yīng)用的生產(chǎn)力……704.3.3.3基于大數(shù)據(jù)的銀行數(shù)據(jù)管理與分析系統(tǒng)714.3.3.3.1.1大數(shù)據(jù)平臺介紹 724.3.3. 3. 1. 1. 1平臺功能框架 724.3.3. 3. 1. 1. 2分布式存儲功能 724.3.3. 3. 1. 1. 3分布式計算功能 744.3.3.3.1.1.4NoSQL功能 754.3.3. 3. 1. 1. 5數(shù)據(jù)倉庫功能 754.3.3. 3. 1. 1. 6分布式協(xié)調(diào)功能 764.3.3. 3. 1. 1. 7工作流管理功能 774.3.3. 3. 1. 1. 8維護管理功能 784.3.3.3.1.2銀行數(shù)據(jù)分析系統(tǒng)架構(gòu) 794.3.3.3.1.2.1非格式數(shù)據(jù)的分類存儲...794.3.3.3.1.2.2對格式化數(shù)據(jù)的全文檢索合多線索加權(quán)檢索 804.3.3.3.1.2.3.1國內(nèi)經(jīng)濟形勢分析圖.81TOC\o"1-5"\h\z4.3.3.3.1.2.3.2按照國家名稱分析各國經(jīng)濟形勢圖 814.3.3.3.1.2.3.3按照全球各大交易所數(shù)據(jù)技術(shù)分析各類產(chǎn)品的價格趨向圖；...814.3.3.3.1.2.3.4用戶可以定制所關(guān)心的數(shù)據(jù)統(tǒng)計圖 824.3.3.3.1.2.4數(shù)據(jù)分類存儲與自動化數(shù)據(jù)引擎 824.3.3.3.1.3交易數(shù)據(jù)存儲管理分析系統(tǒng)架構(gòu) 834.3.3.3.1.3.1交易數(shù)據(jù)按照產(chǎn)品分類存儲844.3.3.3.1.3.2交易數(shù)據(jù)按照產(chǎn)品分類趨勢分析圖 844.3.3.3.1.3.3交易數(shù)據(jù)按照客戶分類盈利分析圖 844.3.3.3.1.3.4交易數(shù)據(jù)按照傭金盈利分析圖 854.3.3.3.1.3.4.3.3.3.1.3.5交易數(shù)據(jù)按照客戶操作手法分析圖 854.3.3.3.1.3.6交易數(shù)據(jù)按照可戶盈利排名分析圖 854.3.3.3.1.3.7交易數(shù)據(jù)可以提示用戶適合那種產(chǎn)品交易 854.3.3.3.1.3.8用戶分布情況報表分析???854.3.3.3.1.3.9提供精準(zhǔn)化客戶服務(wù)指南.864.3.3.3.2XX大數(shù)據(jù)統(tǒng)一平臺 864.3. 3. 3.2. 1 數(shù)據(jù)采集 884.3. 3. 3.2. 2 數(shù)據(jù)接入 894.3. 3. 3.2. 3 規(guī)則過濾 904.3. 3. 3.2. 4 數(shù)據(jù)存儲 914.3. 3. 3.2. 5 計算引擎 924.3.3.3. 2. 5. 1 功能 924.3.3.3. 2. 5. 2 組成 934.3.3.3. 2. 5. 3 基本算子集 944.3.3.3.2.6 業(yè)務(wù)處理 974.3. 3. 3.2. 7 業(yè)務(wù)管理 994.3. 3. 3.2. 8用戶權(quán)限管理 994.3. 3. 3.2. 9 業(yè)務(wù)管理 1004.3.3. 4云計算中心安全層規(guī)劃設(shè)計 1044.3.3.4.1云平臺安全建設(shè)需求 1044.3.3.4.2云平臺安全建設(shè)思路 1064.3.3.4.3云數(shù)據(jù)中心安全系統(tǒng)總體設(shè)計..1104.3.3.4.4云平臺安全防護詳細(xì)設(shè)計 1114.3.3. 4.4. 1平云終端接入安全設(shè)計 1114.3.3. 4.4. 2主機層安全 1134.3.3. 4.4. 3服務(wù)器負(fù)載均衡 1134.3.3. 4.4. 4虛擬機VM之間訪問安全????1164.3.3. 4. 5平臺層安全 1184.3.3. 4. 6數(shù)據(jù)層安全 1264.3.3.5云計算數(shù)據(jù)中心備份設(shè)計 1274.3.3. 5. 1 邏輯架構(gòu) 1274.3.3. 5. 2方案實現(xiàn)設(shè)計 1284.3.3.6云計算數(shù)據(jù)中心整體方案拓?fù)洹?304.3.3.6.1.1網(wǎng)絡(luò)拓?fù)?1301云數(shù)據(jù)中心項目概述1?1建設(shè)背景數(shù)據(jù)顯示，中國大數(shù)據(jù)IT應(yīng)用投資規(guī)模以五大行業(yè)最高，其中以互聯(lián)網(wǎng)行業(yè)占比最高，占大數(shù)據(jù)IT應(yīng)用投資規(guī)模的28.9%,其次是電信領(lǐng)域(19.9%),第三為金融領(lǐng)域(17.5%),政府和醫(yī)療分別為第四和第五中國大數(shù)據(jù)IT應(yīng)用行業(yè)投資結(jié)構(gòu)其他，8.8%數(shù)據(jù)來源：賽迪姣r.2O12XP根據(jù)國際知名咨詢公司麥肯錫的報告顯示：在大數(shù)據(jù)應(yīng)用綜合價值潛力方面，信息技術(shù)、金融保險、政府及批發(fā)貿(mào)易四大行業(yè)潛力最高高。具體到行業(yè)內(nèi)每家公司的數(shù)據(jù)量來看，信息、金融保險、計算機及電子設(shè)備、公用事業(yè)四類的數(shù)據(jù)量最大。1.2金融業(yè)大數(shù)據(jù)應(yīng)用投資分布從投資結(jié)構(gòu)上來看，銀行將會成為金融類企業(yè)中的重要部分，證券和保險分列第二和第三位。接下來，我們將分別介紹銀行、保險和證券行業(yè)的大數(shù)據(jù)應(yīng)用情況。中國金融行業(yè)大數(shù)據(jù)應(yīng)用投資結(jié)構(gòu)保險，加采源：賽迪蘇.2012年2.1銀行大數(shù)據(jù)應(yīng)用國內(nèi)不少銀行已經(jīng)開始嘗試通過大數(shù)據(jù)來驅(qū)動業(yè)務(wù)運營，如中信銀行信用卡中心使用大數(shù)據(jù)技術(shù)實現(xiàn)了實時營銷，光大銀行建立了社交網(wǎng)絡(luò)信息數(shù)據(jù)庫，招商銀行則利用大數(shù)據(jù)發(fā)展小微貸款?？偟膩砜淬y行大數(shù)據(jù)應(yīng)用可以分為四大方面：

運營優(yōu)化.韋場和渠道分析?產(chǎn)品優(yōu)化.運營優(yōu)化.韋場和渠道分析?產(chǎn)品優(yōu)化.輿情分忻客戶畫像?個人客戶畫像?企業(yè)客戶畫像厠亍大數(shù)據(jù)楕準(zhǔn)營銷交叉營銷泊生展薦客戶生命周期管理風(fēng)險管控.中小企業(yè)貸款風(fēng)險評估?實時欺詐交易分析■反5^11^析第一方面：客戶畫像應(yīng)用?？蛻舢嬒駪?yīng)用主要分為個人客戶畫像和企業(yè)客戶畫像。個人客戶畫像包括人口統(tǒng)計學(xué)特征、消費能力數(shù)據(jù)、興趣數(shù)據(jù)、風(fēng)險偏好等；企業(yè)客戶畫像包括企業(yè)的生產(chǎn)、流通、運營、財務(wù)、銷售和客戶數(shù)據(jù)、相關(guān)產(chǎn)業(yè)鏈上下游等數(shù)據(jù)。值得注意的是，銀行擁有的客戶信息并不全面，基于銀行自身擁有的數(shù)據(jù)有時候難以得出理想的結(jié)果甚至可能得出錯誤的結(jié)論。比如，如果某位信用卡客戶月均刷卡8次，平均每次刷卡金額800元，平均每年打4次客服電話，從未有過投訴，按照傳統(tǒng)的數(shù)據(jù)分析,該客戶是一位滿意度較高流失風(fēng)險較低的客戶。但如果看到該客戶的微博，得到的真實情況是：工資卡和信用卡不在同一家銀行，還款不方便，好幾次打客服電話沒接通，客戶多次在微博上抱怨，該客戶流失風(fēng)險較高。所以銀行不僅僅要考慮銀行自身業(yè)務(wù)所采集到的數(shù)據(jù)，更應(yīng)考慮整合外部更多的數(shù)據(jù)，以擴展對客戶的了解。包括：客戶在社交媒體上的行為數(shù)據(jù)(如光大銀行建立了社交網(wǎng)絡(luò)信息數(shù)據(jù)庫)。通過打通銀行內(nèi)部數(shù)據(jù)和外部社會化的數(shù)據(jù)可以獲得更為完整的客戶拼圖，從而進行更為精準(zhǔn)的營銷和管理；客戶在電商網(wǎng)站的交易數(shù)據(jù)，如建設(shè)銀行則將自己的電子商務(wù)平臺和信貸業(yè)務(wù)結(jié)合起來，阿里金融為阿里巴巴用戶提供無抵押貸款，用戶只需要憑借過去的信用即可；企業(yè)客戶的產(chǎn)業(yè)鏈上下游數(shù)據(jù)。如果銀行掌握了企業(yè)所在的產(chǎn)業(yè)鏈上下游的數(shù)據(jù)，可以更好掌握企業(yè)的外部環(huán)境發(fā)展情況，從而可以預(yù)測企業(yè)未來的狀況；其他有利于擴展銀行對客戶興趣愛好的數(shù)據(jù),如網(wǎng)絡(luò)廣告界目前正在興起的DMP數(shù)據(jù)平臺的互聯(lián)網(wǎng)用戶行為數(shù)據(jù)。第二方面：精準(zhǔn)營銷。在客戶畫像的基礎(chǔ)上銀行可以有效的開展精準(zhǔn)營銷，包括：實時營銷。實時營銷是根據(jù)客戶的實時狀態(tài)來進行營銷，比如客戶當(dāng)時的所在地、客戶最近一次消費等信息來有針對地進行營銷(某客戶采用信用卡采購孕婦用品，可以通過建模推測懷孕的概率并推薦孕婦類喜歡的業(yè)務(wù))；或者將改變生活狀態(tài)的事件(換工作、改變婚姻狀況、置居等)視為營銷機會；交叉營銷。即不同業(yè)務(wù)或產(chǎn)品的交叉推薦，如招商銀行可以根據(jù)客戶交易記錄分析，有效地識別小微企業(yè)客戶，然后用遠(yuǎn)程銀行來實施交叉銷售；個性化推薦。銀行可以根據(jù)客戶的喜歡進行服務(wù)或者銀行產(chǎn)品的個性化推薦，如根據(jù)客戶的年齡、資產(chǎn)規(guī)模、理財偏好等，對客戶群進行精準(zhǔn)定位,分析岀其潛在金融服務(wù)需求，進而有針對性的營銷推廣；客戶生命周期管理?？蛻羯芷诠芾戆ㄐ驴蛻臬@取、客戶防流失和客戶贏回等。如招商銀行通過構(gòu)建客戶流失預(yù)警模型，對流失率等級前20%的客戶發(fā)售高收益理財產(chǎn)品予以挽留，使得金卡和金葵花卡客戶流失率分別降低了15個和7個百分點。第三方面：風(fēng)險管控。包括中小企業(yè)貸款風(fēng)險評估和欺詐交易識別等手段。中小企業(yè)貸款風(fēng)險評估。銀行可通過企業(yè)的產(chǎn)、流通、銷售、財務(wù)等相關(guān)信息結(jié)合大數(shù)據(jù)挖掘方法進行貸款風(fēng)險分析，量化企業(yè)的信用額度，更有效的開展中小企業(yè)貸款。實時欺詐交易識別和反洗錢分析。銀行可以利用持卡人基本信息、卡基本信息、交易歷史、客戶歷史行為模式、正在發(fā)生行為模式(如轉(zhuǎn)賬)等，結(jié)合智能規(guī)則引擎(如從一個不經(jīng)常出現(xiàn)的國家為一個特有用戶轉(zhuǎn)賬或從一個不熟悉的位置進行在線交易)進行實時的交易反欺詐分析。如IBM金融犯罪管理解決方案幫助銀行利用大數(shù)據(jù)有效地預(yù)防與管理金融犯罪，摩根大通銀行則利用大數(shù)據(jù)技術(shù)追蹤盜取客戶賬號或侵入自動柜員機(ATM)系統(tǒng)的罪犯第四方面：運營優(yōu)化。市場和渠道分析優(yōu)化。通過大數(shù)據(jù)，銀行可以監(jiān)控不同市場推廣渠道尤其是網(wǎng)絡(luò)渠道推廣的質(zhì)量，從而進行合作渠道的調(diào)整和優(yōu)化。同時，也可以分析哪些渠道更適合推廣哪類銀行產(chǎn)品或者服務(wù)，從而進行渠道推廣策略的優(yōu)化。產(chǎn)品和服務(wù)優(yōu)化：銀行可以將客戶行為轉(zhuǎn)化為信息流，并從中分析客戶的個性特征和風(fēng)險偏好，更深層次地理解客戶的習(xí)慣，智能化分析和預(yù)測客戶需求，從而進行產(chǎn)品創(chuàng)新和服務(wù)優(yōu)化。如興業(yè)銀行目前對大數(shù)據(jù)進行初步分析，通過對還款數(shù)據(jù)挖掘比較區(qū)分優(yōu)質(zhì)客戶，根據(jù)客戶還款數(shù)額的差別，提供差異化的金融產(chǎn)品和服務(wù)方式。輿情分析：銀行可以通過爬蟲技術(shù)，抓取社區(qū)、論壇和微博上關(guān)于銀行以及銀行產(chǎn)品和服務(wù)的相關(guān)信息，并通過自然語言處理技術(shù)進行正負(fù)面判斷，尤其是及時掌握銀行以及銀行產(chǎn)品和服務(wù)的負(fù)面信息，及時發(fā)現(xiàn)和處理問題；對于正面信息，可以加以總結(jié)并繼續(xù)強化。同時，銀行也可以抓取同行業(yè)的銀行正負(fù)面信息，及時了解同行做的好的方面，以作為自身業(yè)務(wù)優(yōu)化的借鑒。1.3面臨的風(fēng)險和挑戰(zhàn)XX銀行面臨著同行業(yè)務(wù)和對客戶招攬的競爭；客戶也需要XX銀行為客戶提供更加精準(zhǔn)的產(chǎn)品、技術(shù)的指導(dǎo)；XX銀行為了提高公司經(jīng)營的競爭力也需要對客戶的交易數(shù)據(jù)進行分析、了解不同客戶適合在哪種類型產(chǎn)品上交易更高更好的盈利；通過大數(shù)據(jù)，也可以把中國乃至全球的經(jīng)濟、政治、文化、軍事等情報對銀行業(yè)乃至整個金融業(yè)的影響趨勢，讓公司也有較強的規(guī)避風(fēng)險的能力；1.4建設(shè)目標(biāo)依托云計算技術(shù)，對XX銀行內(nèi)部業(yè)務(wù)平臺、數(shù)據(jù)、交易數(shù)據(jù)管理、交易數(shù)據(jù)分析、國內(nèi)、國外經(jīng)濟、軍事、政治情報的分析系統(tǒng)實行統(tǒng)一規(guī)劃和建設(shè)。所有資源整合后在邏輯上以單一整體的形式呈現(xiàn)，并可按需進行動態(tài)擴展和配置。按照分階段可升級的標(biāo)準(zhǔn)要求，為多級單位提供應(yīng)用支撐基礎(chǔ)平臺服務(wù)和數(shù)據(jù)存儲、備份、交換等服務(wù)，實現(xiàn)基礎(chǔ)軟硬件資源的統(tǒng)一管理、按需分配、綜合利用，增強數(shù)據(jù)中心的可管理性，提高應(yīng)用的兼容性和可用性，加速業(yè)務(wù)系統(tǒng)的部署，提升硬件資源的利用率；1.5建設(shè)原則結(jié)合本項目的實際應(yīng)用和發(fā)展要求，在進行云計算、大數(shù)據(jù)平臺方案設(shè)計過程中，應(yīng)始終堅持以下原則：1） 可擴展性原則為了保護已有的投資以及不斷增長的業(yè)務(wù)需求，系統(tǒng)必須具有靈活的結(jié)構(gòu)并留有合理的擴充余地，以便根據(jù)需要進行適當(dāng)?shù)淖儎雍蛿U充；主要業(yè)務(wù)平臺系統(tǒng)應(yīng)采用開放的結(jié)構(gòu)，符合國際標(biāo)準(zhǔn)、工業(yè)標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)，適應(yīng)技術(shù)的發(fā)展和變化。由于本次市局信息系統(tǒng)整體東遷，相當(dāng)于系統(tǒng)重新規(guī)劃和建設(shè)，所以我們把主要精力放在滿足現(xiàn)有業(yè)務(wù)需求和對未來的系統(tǒng)擴展的支持性上，也就是需要設(shè)計成一個便于擴展的系統(tǒng)架構(gòu)，系統(tǒng)應(yīng)具備良好的擴展能力并能夠便捷地進行擴展。2） 合理性原則在一定的資金條件下，以適當(dāng)?shù)耐度?，建立性能價格比高的、先進的、完善的業(yè)務(wù)系統(tǒng)。所有軟硬件的選型和配置要堅持性能價格比最優(yōu)原則，同時兼顧與市局已有設(shè)備和系統(tǒng)的互聯(lián)互通能力，以及與目前操作系統(tǒng)和應(yīng)用系統(tǒng)的兼容性。在滿足系統(tǒng)性能、功能以及考慮到在可預(yù)見的未來不失去先進性的條件下，盡量取得整個系統(tǒng)的投入合理性，以構(gòu)成一個性能價格比優(yōu)化的應(yīng)用系統(tǒng)。系統(tǒng)架構(gòu)的設(shè)計應(yīng)盡可能地運用虛擬化、云計算等新技術(shù)，以符合未來的技術(shù)發(fā)展方向。這種設(shè)計方法可以最大化地利用投資，并在利用率、管理、能源等各方面提高用戶投資的效率，降低總體擁有成本，減少浪費的發(fā)生。結(jié)合新技術(shù)的運用，也可以讓各應(yīng)用系統(tǒng)更好地融入未來整體IT建設(shè)規(guī)劃中，避免發(fā)生推到重建的現(xiàn)象，從而更好地保護市局在信息系統(tǒng)上的投入。3）可靠性原則系統(tǒng)要具有高可靠性及強大的容錯能力。該系統(tǒng)必須保證7X24全天候不間斷地工作，核心設(shè)備比如數(shù)據(jù)庫服務(wù)器和存儲設(shè)備具有全容錯結(jié)構(gòu)，并具有熱插拔功能，可帶電修復(fù)有關(guān)故障而不影響整個系統(tǒng)的工作，設(shè)計應(yīng)保持一定數(shù)量的冗余以保證整體系統(tǒng)的高可靠性和高可用性。即便是在系統(tǒng)建設(shè)初期也要著重考慮系統(tǒng)可用性、可靠性問題，防止出現(xiàn)系統(tǒng)停頓等問題造成信息系統(tǒng)的中斷服務(wù)。通過結(jié)合云計算等新技術(shù)，可以更好地提高系統(tǒng)的可靠性和可用性。4） 可管理性原則選擇基于開放的技術(shù)，采用標(biāo)準(zhǔn)化、規(guī)范化設(shè)計；同時采用先進的設(shè)備，易于日后擴展，便于向更新技術(shù)的升級與銜接，實現(xiàn)系統(tǒng)較長的生命力；保證后期在系統(tǒng)上進行有效的開發(fā)和使用，并為今后的發(fā)展提供一個良好的環(huán)境；在設(shè)計、組建中心機房系統(tǒng)時，采用先進的、標(biāo)準(zhǔn)的設(shè)備；在選購服務(wù)器、存儲和連接設(shè)備時，確保系統(tǒng)部件間的嚴(yán)密配合和無縫聯(lián)接，并獲得良好的售后服務(wù)和技術(shù)支持；整個系統(tǒng)建成后按照整理一套完整的文檔資料，以便提高整個系統(tǒng)的可管理性與可維護性。5） 安全性原則嚴(yán)格按照XX關(guān)于信息安全的規(guī)定和要求，規(guī)劃和部署中心機房的業(yè)務(wù)系統(tǒng)和備份系統(tǒng)；采用安全服務(wù)器、備份還原系統(tǒng)、來防止內(nèi)外部的網(wǎng)絡(luò)安全威協(xié)和數(shù)據(jù)丟失竊取威脅等；所有軟硬件采用國產(chǎn)、自主研發(fā)的產(chǎn)品，從根本上保障系統(tǒng)的安全性。1.6云計算大數(shù)據(jù)中心優(yōu)勢通過建立云計算大數(shù)據(jù)中心，通過服務(wù)的方式交付對物理硬件的需求，代替?zhèn)鹘y(tǒng)硬件設(shè)備跟隨著應(yīng)有系統(tǒng)的增加而增加的模式，對現(xiàn)有應(yīng)用系統(tǒng)進行整合，實現(xiàn)IT服務(wù)的快速交付，節(jié)能響應(yīng)國家號召，提升業(yè)務(wù)系統(tǒng)安全。1） 國產(chǎn)硬件自主可控數(shù)據(jù)存儲硬件采用我國完全自主研發(fā)的存儲服務(wù)器，硬件和軟件設(shè)計完全自主可控。存儲服務(wù)器采國產(chǎn)化架構(gòu)的高可靠性硬件平臺和國產(chǎn)睿思操作系統(tǒng)，從根本上保證數(shù)據(jù)的安全性。2） 海量數(shù)據(jù)高效管理隨著地理信息處理業(yè)務(wù)的增多，存數(shù)據(jù)中心存儲大量的數(shù)據(jù)，這就需要存儲系統(tǒng)能夠容納海量的數(shù)據(jù)。同時，存儲系統(tǒng)里面的文件數(shù)量也會快速增長，當(dāng)文件數(shù)量增長到數(shù)千萬以上時，文件的檢索查找等操作將會給文件系統(tǒng)帶來巨大的壓力，特別是一個目錄下面存放的文件超過一定數(shù)量甚至?xí)斐晌募檎倚始眲∠陆?。采用的分布式存儲系統(tǒng)單卷可支持300PB以上的存儲空間，高效的管理上千億個文件，單目錄可以高效支持千萬級的文件數(shù)量。分布式存儲系統(tǒng)擁有高效的多元數(shù)據(jù)服務(wù)器集群技術(shù)和高效的海量文件檢索技術(shù)，在存放上千億文件的同時保持極高的文件檢索效率。統(tǒng)能夠在單個目錄下高效管理上千萬個文件的存儲系統(tǒng)，在單目錄下存放上千萬數(shù)量文件時，仍然能夠提供每秒數(shù)萬的文件檢索效率。3）合理利用硬件資源，減少運行消耗云計算平臺可將服務(wù)器物理資源轉(zhuǎn)換成池化的可動態(tài)分配的計算單元，從云計算數(shù)據(jù)中心具體需求出發(fā)，在資源池中劃分出適合具體業(yè)務(wù)需要的服務(wù)計算單元，不再受限于物理上的界限，從而提高資源的利用率，簡化系統(tǒng)管理，讓信息化建設(shè)對地理情報工作的變化更具適應(yīng)力，從而構(gòu)建出信息系統(tǒng)平臺的基礎(chǔ)。云平臺建成后，可減少物理服務(wù)器數(shù)量至原有數(shù)量的一半以上，機房空間占用面積大大減少，機房相應(yīng)配套設(shè)施建設(shè)也可能夠相應(yīng)減少，在實際工作中預(yù)計可節(jié)省能源達(dá)到70%以上,響應(yīng)國家節(jié)能減排的要求。4） 完善應(yīng)急安全機制云平臺可以自動監(jiān)控資源池中計算單元和應(yīng)用單元的可用性，檢測物理服務(wù)器故障，如果檢測到故障,可重新在資源池中其他物理服務(wù)器上重新啟動相關(guān)業(yè)務(wù)，整個過程無需人工干預(yù)。通過云安全平臺，可快速部署網(wǎng)絡(luò)安全應(yīng)用防火墻、IPS、WEB應(yīng)用防火墻等。5） 提供便捷的管理運維方式?？梢酝ㄟ^一個統(tǒng)一的管理平臺，來進行對平臺中運行的各項功能設(shè)立不同權(quán)限的管理賬號，根據(jù)工作需要設(shè)置不同的管理權(quán)限，并可通過其管理日志追溯操作過程。2云數(shù)據(jù)中心需求分析2.1現(xiàn)狀分析目前，辦公管理信息數(shù)據(jù)、交易信息數(shù)據(jù)和情報信息數(shù)據(jù)規(guī)模已經(jīng)發(fā)展得非常龐大，信息化平臺已日益變成業(yè)務(wù)運營與管理的重要支撐平臺。在信息化平臺建設(shè)的過程中，各個應(yīng)用系統(tǒng)的業(yè)務(wù)之間的聯(lián)系非常緊密，流程自動化程度非常高。因此在信息化高速發(fā)展的形勢下，急需形成統(tǒng)一完備的綜合技術(shù)集成體系，能提供一體化的數(shù)據(jù)存儲共享，應(yīng)用集成和統(tǒng)一展現(xiàn)能力。隨著信息化建設(shè)和應(yīng)用工作的進一步深入，對信息網(wǎng)絡(luò)傳輸能力，數(shù)據(jù)中心存儲能力和處理能力提出了更高要求，為支撐流程集成和業(yè)務(wù)應(yīng)用的深入融合，需要提供統(tǒng)一高效的流程處理能力，數(shù)據(jù)轉(zhuǎn)換能力以及數(shù)據(jù)分析能力；需要建立和完善統(tǒng)一的綜合技術(shù)平臺體系，涵蓋數(shù)據(jù)采集，存儲，共享，交互和展現(xiàn)能力。2總體建設(shè)需求建立一個統(tǒng)一的超過300TB的數(shù)據(jù)存儲系統(tǒng),能夠無縫兼容現(xiàn)有系統(tǒng)設(shè)備和云平臺、大數(shù)據(jù)平臺；建立統(tǒng)一的云平臺系統(tǒng)，可以快速管理、擴展、配置XX銀行內(nèi)部的各種業(yè)務(wù)服務(wù)和數(shù)據(jù)存儲服務(wù)，并能夠提供相應(yīng)服務(wù)冗余性；建立基于云平臺的大數(shù)據(jù)存儲管理與分析系統(tǒng)，可以管理XX銀行歷年來的交易數(shù)據(jù)、時實交易數(shù)據(jù)，并能根據(jù)數(shù)據(jù)交易情況和IP數(shù)據(jù)報文情況分析各種用戶的交易習(xí)慣、產(chǎn)品分布、盈利能力，方便XX銀行對客戶提供精準(zhǔn)化服務(wù)的能力；建立基于云平臺的大數(shù)據(jù)情報管理與分析系統(tǒng)，可以方便的把全球的經(jīng)濟數(shù)據(jù)、政策變化、軍事變化、文化等多各種金融產(chǎn)品交易的影響，能夠指導(dǎo)公司規(guī)避即將產(chǎn)生的或潛在經(jīng)濟風(fēng)險，提高公司和客戶對交易風(fēng)險的預(yù)判能力。通過建立統(tǒng)一的云平臺運維管理系統(tǒng)，可以快速提高公司IT技術(shù)人員對所有IT資源的管理應(yīng)用能力，保障公司實際的設(shè)備資源、網(wǎng)絡(luò)資源能夠得到充分的使用，同時也能夠提高公司能效節(jié)約的能力。3云數(shù)據(jù)中心總體規(guī)劃設(shè)計3.1整體建設(shè)思想XX銀行云平臺大數(shù)據(jù)中心將利用云計算相關(guān)技術(shù)，結(jié)合綠色數(shù)據(jù)中心建設(shè)的目標(biāo)和需求，以戰(zhàn)略支持型信息化建設(shè)為導(dǎo)向，以支持保障信息化業(yè)務(wù)發(fā)展為建設(shè)思路，構(gòu)造一個功能齊全、設(shè)備先進、運行高效、使用靈活、維護方便、易于擴展、投資省、高安全可靠的全局性基于云平臺數(shù)據(jù)資源中心。2整體系統(tǒng)結(jié)構(gòu)本次云數(shù)據(jù)中心解決方案將針對計算服務(wù)整體架構(gòu)中的云計算服務(wù)區(qū)，通過對底層服務(wù)器硬件及存儲資源實現(xiàn)虛擬化聚合部署，配合以云計算管理平臺，實現(xiàn)云計算中基礎(chǔ)架構(gòu)即服務(wù)（IaaS）部分，同時該IaaS平臺也為地球信息發(fā)布平臺、大數(shù)據(jù)分析平臺、web發(fā)布平臺等（Paas）層提供更高層次的云計算服務(wù)，通過Paas層平臺提供數(shù)據(jù)匯集管理、數(shù)據(jù)處理、數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用功能（Saas層），最終通過統(tǒng)一的系統(tǒng)門戶向最終用戶提供服務(wù)，總體邏輯架構(gòu)如下:統(tǒng)一管理安全1主機層安］數(shù)據(jù)安全［網(wǎng)絡(luò)安全］

［安全準(zhǔn)則］其他用戶首長機關(guān)宜屬情報分隊基地1W報分隊J系統(tǒng)門戶設(shè)備虛擬化統(tǒng)一門戶:統(tǒng)一管理

門戶設(shè)備存儲虛擬化■虛擬交換機業(yè)務(wù)運營統(tǒng)一管理安全1主機層安］數(shù)據(jù)安全［網(wǎng)絡(luò)安全］

［安全準(zhǔn)則］其他用戶首長機關(guān)宜屬情報分隊基地1W報分隊J系統(tǒng)門戶設(shè)備虛擬化統(tǒng)一門戶:統(tǒng)一管理

門戶設(shè)備存儲虛擬化■虛擬交換機業(yè)務(wù)運營、資源發(fā)放,日志管理圖3-1云數(shù)據(jù)中心總體邏輯架構(gòu)云數(shù)據(jù)中心的各個關(guān)鍵組件及邏輯層次?！鲈茢?shù)據(jù)中心基礎(chǔ)架構(gòu)：提供了一個功能完整的、標(biāo)準(zhǔn)開放的方便集成的IaaS服務(wù)層。這層提供的動態(tài)基礎(chǔ)架構(gòu)是整個云數(shù)據(jù)中心的核心支撐層，其最核心的部分包括采用了國產(chǎn)服務(wù)器、國產(chǎn)存儲存儲系統(tǒng)和虛擬化軟件構(gòu)建的云計算服務(wù)基礎(chǔ)架構(gòu)。該基礎(chǔ)架構(gòu)具備良好的性能、可用性和可靠性。通過部署虛擬化軟件、服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備，內(nèi)部搭建虛擬化環(huán)境，通過虛擬化技術(shù)構(gòu)建新一代的數(shù)據(jù)中心，形成統(tǒng)一的云計算信息系統(tǒng)平臺。在數(shù)據(jù)中心,這些資源根據(jù)需要進行動態(tài)擴展和配置，各單位最終信息系統(tǒng)業(yè)務(wù)按需使用資源。通過虛擬化技術(shù)，增強數(shù)據(jù)中心的可管理性，提高應(yīng)用的兼容性和可用性，加速應(yīng)用的部署，提升硬件資源的利用率，降低能源消耗?！銎脚_層：通過大數(shù)據(jù)分析平臺、辦公0A系統(tǒng)、財務(wù)管理系統(tǒng)、交易管理系統(tǒng)、web發(fā)布平臺、用戶管理系統(tǒng)等應(yīng)用，平臺為上層門戶提供數(shù)據(jù)采集、數(shù)據(jù)處理等功能。?云計算服務(wù)門戶：為用戶提供統(tǒng)一的服務(wù)門戶,用以支撐整個云數(shù)據(jù)中心的日常運營。包括用戶登錄、服務(wù)加載、下載、審批、疊加顯示、拼接請求等功能。?云計算服務(wù)數(shù)據(jù)安全保護：通過部署云安全平臺，可以幫助用戶建立起一個既能充分利用云計算優(yōu)勢，同時又不犧牲安全性、控制力和遵從性的環(huán)境，其為虛擬數(shù)據(jù)中心和云計算環(huán)境提供了支持虛擬化的保護，使用戶可以加強應(yīng)用程序和數(shù)據(jù)安全，提高可見性和控制力，以及加快整個云計算中心的遵從性舉措。?云計算服務(wù)運維管理體系：為整個云數(shù)據(jù)中心平臺搭建一套長期運維管理的體系，為云計算平臺的長期有效運行提供保障。云計算運維管理體系包括組織管理模式、制度規(guī)范體系、技術(shù)支撐體系等多個層面的內(nèi)容，采用云計算技術(shù)手段和云計算管理制度結(jié)合的方式保障整個政務(wù)云平臺的平穩(wěn)運行。3.3計算資源和存儲資源配置估算計算資源和存儲資源是云中心的兩大類核心資源。對計算資源和存儲資源的合理估算和配置，是建設(shè)先進、高效云平臺的必要條件。以下給出我們根據(jù)云計算數(shù)據(jù)中心現(xiàn)有業(yè)務(wù)應(yīng)用和數(shù)據(jù)資源所作出的云中心計算資源、存儲資源、基礎(chǔ)網(wǎng)絡(luò)和安全設(shè)施的初步估算。經(jīng)詳細(xì)調(diào)研計算資源需要cpu計算單元320核內(nèi)存5120G存儲空間300TBo擬新增10臺高性能服務(wù)器，供云計算、云存儲使用，新增2臺高性能服務(wù)器器供云安全平臺使用。4云數(shù)據(jù)中心資源層規(guī)劃設(shè)計4.1云計算平臺基礎(chǔ)架構(gòu)體系4.1.1設(shè)計原則方案設(shè)計遵循以下幾個原則：先進性、標(biāo)準(zhǔn)性、實用性、可擴展性、兼容性、易用性、安全性、可靠性和前瞻性：先進性系統(tǒng)設(shè)計達(dá)到業(yè)界領(lǐng)先水平，采用當(dāng)今最新且成熟的計算機、網(wǎng)絡(luò)、控制、數(shù)據(jù)存儲等技術(shù)。符合最新的技術(shù)發(fā)展潮流，且各系統(tǒng)設(shè)計切實可行、并容易實現(xiàn)。標(biāo)準(zhǔn)性系統(tǒng)設(shè)計嚴(yán)格的按照國際和國家標(biāo)準(zhǔn)進行設(shè)計，并遵循國內(nèi)外有關(guān)的規(guī)范要求。具體包括：遵循標(biāo)準(zhǔn)的整體協(xié)議框架、提供標(biāo)準(zhǔn)接口、使用標(biāo)準(zhǔn)的數(shù)據(jù)傳輸協(xié)議等。實用性系統(tǒng)設(shè)計注重實用性，系統(tǒng)配置滿足整個預(yù)警平臺的實際應(yīng)用需要并符合用戶的實際需要。可擴展性系統(tǒng)設(shè)計考慮了預(yù)警平臺未來功能擴充發(fā)展的需要，留有充分的擴充余地，方便地實現(xiàn)系統(tǒng)的平滑擴展和升級。易用性系統(tǒng)設(shè)計注重易用性，要求系統(tǒng)參數(shù)配置少，調(diào)整少，自動化程度高，使用方便，操作簡單，管理方便。安全性系統(tǒng)設(shè)計具備安全性，采用多種安全防范技術(shù)和措施，在物理、系統(tǒng)、網(wǎng)絡(luò)、應(yīng)用以及管理上全面的保障系統(tǒng)的安全?？煽啃韵到y(tǒng)設(shè)計注重可靠性，能夠長期穩(wěn)定工作，保證7*24小時不間斷地穩(wěn)定可靠運行，適應(yīng)工作環(huán)境能力強，故障率低，維護維修方便。前瞻性系統(tǒng)設(shè)計具有前瞻性，整個系統(tǒng)的硬件配置，應(yīng)符合長遠(yuǎn)的規(guī)劃和設(shè)計，保證3年內(nèi)系統(tǒng)的需要。通過需求分析我們可以得知，本次項目建設(shè)項目的設(shè)計目標(biāo)是構(gòu)造一個功能齊全、設(shè)備先進、運行高效、使用靈活、維護方便、易于擴展、投資省、高安全可靠的信息系統(tǒng)。云計算技術(shù)的岀現(xiàn)卻給我們一最佳的選擇，隨著數(shù)據(jù)信息的增長，技術(shù)也需要隨之變化。這些變化常常實施在運行關(guān)鍵業(yè)務(wù)應(yīng)用的復(fù)雜系統(tǒng)內(nèi)。通常會對共享硬件和軟件資源有越來越多的需求，虛擬環(huán)境下有效的管理和控制了這種需求。虛擬化是通過對IT硬件資源整合、優(yōu)化、共享的成熟高新技術(shù)，是實現(xiàn)云計算最基礎(chǔ)的支撐技術(shù)。它可以有效增加組織的靈活性和效率，同時又可以降低其成本。虛擬化技術(shù)以其系統(tǒng)的先進性、高可用性、系統(tǒng)的靈活擴展能力、開放性以及高可管理性等可完全滿足當(dāng)前和未來幾年內(nèi)云數(shù)據(jù)平臺信息系統(tǒng)的發(fā)展需求。4.1.2系統(tǒng)總體架構(gòu)通過部署虛擬化軟件、服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備，內(nèi)部搭建虛擬化環(huán)境，通過虛擬化技術(shù)構(gòu)建新一代的數(shù)據(jù)中心，形成統(tǒng)一的云計算信息系統(tǒng)平臺。在數(shù)據(jù)中心，所有資源整合后在邏輯上以單一整體的形式呈現(xiàn)，這些資源根據(jù)需要進行動態(tài)擴展和配置，各單位最終信息系統(tǒng)業(yè)務(wù)按需使用資源。通過虛擬化技術(shù)，增強數(shù)據(jù)中心的可管理性，提高應(yīng)用的兼容性和可用性，加速應(yīng)用的部署，提升硬件資源的利用率，降低能源消耗。虛擬化是云計算的基礎(chǔ)，在數(shù)據(jù)中心，通過虛擬化技術(shù)將物理服務(wù)器進行虛擬化，具體為CPU虛擬化、內(nèi)存虛擬化、設(shè)備I/O虛擬化等，實現(xiàn)在單一物理服務(wù)器上運行多個虛擬服務(wù)器（虛擬機），把應(yīng)用程序?qū)Φ讓拥南到y(tǒng)和硬件的依賴抽象岀來，從而解除應(yīng)用與操作系統(tǒng)和硬件的耦合關(guān)系，使得物理設(shè)備的差異性與兼容性與上層應(yīng)用透明，不同的虛擬機之間相互隔離、互不影響，可以運行不同的操作系統(tǒng)，并提供不同的應(yīng)用服務(wù)。什么是服務(wù)器虛擬化服務(wù)器虛擬化將硬件、操作系統(tǒng)和應(yīng)用程序一同裝入一個可遷移的虛擬機檔案文件中如圖所示：虛擬化前虛擬化后?軟件必須與鞭件柑結(jié)合?每臺機器匕只冇單一的操作系統(tǒng)鏡像?每個操作系統(tǒng)只有個應(yīng)用程序負(fù)載OperatingSfHemx86ArchitectureDisk應(yīng)用0%毎日?u＞眩 II卄?MngS??耒更說過的osVMw?r?Vlrtu?UxHiMl?y?fcrvMtlBtry?毎臺機器卜?有篦個負(fù)載?軟件相對于硬件獨立虛擬化前虛擬化后?軟件必須與鞭件柑結(jié)合?每臺機器匕只冇單一的操作系統(tǒng)鏡像?每個操作系統(tǒng)只有個應(yīng)用程序負(fù)載OperatingSfHemx86ArchitectureDisk應(yīng)用0%毎日?u＞眩 II卄?MngS??耒更說過的osVMw?r?Vlrtu?UxHiMl?y?fcrvMtlBtry?毎臺機器卜?有篦個負(fù)載?軟件相對于硬件獨立圖4-1服務(wù)器虛擬化在單臺服務(wù)器虛擬化基礎(chǔ)上，通過虛擬化管理中心(vCenter)將多臺服務(wù)器、存儲硬件基礎(chǔ)資源進行整合，構(gòu)建硬件(CPU、內(nèi)存、I/O)資源池，實現(xiàn)數(shù)據(jù)中心整體硬件資源的按需分配。虛擬化結(jié)構(gòu)如圖所示：應(yīng)用程序1應(yīng)用程序】應(yīng)用程序；應(yīng)用程序J操作系纟克操作系統(tǒng)處理器

內(nèi)存

設(shè)備IO

網(wǎng)絡(luò)接口處理器

內(nèi)存

設(shè)備IO

網(wǎng)絡(luò)接口圖4-2服務(wù)器虛擬化結(jié)構(gòu)將服務(wù)器物理資源抽象成邏輯資源，讓一臺服務(wù)器變成幾臺甚至上百臺相互隔離的虛擬服務(wù)器，或者讓幾臺服務(wù)器變成一臺服務(wù)器來用，我們不再受限于物理上的界限，而是讓CPU、內(nèi)存、磁盤、I/O等硬件變成可以動態(tài)管理的'‘資源池”，從而提高資源的利用率，簡化系統(tǒng)管理，實現(xiàn)服務(wù)器整合，讓IT對業(yè)務(wù)的變化更具適應(yīng)力，從而構(gòu)建出數(shù)據(jù)中心系統(tǒng)平臺的基礎(chǔ)。4.1.3虛擬化拓?fù)涞慕Y(jié)構(gòu)■務(wù)Mi OKCT2 丨K?8fT3■—■a——[flua圖4-3虛擬化拓?fù)浣Y(jié)構(gòu)針對上面的拓?fù)鋱D，詳細(xì)說明如下：整體架構(gòu)可以分為三層，最底層為存儲網(wǎng)絡(luò)層，中間層為虛擬化系統(tǒng)，最上層為虛擬服務(wù)器層；其中，下面的兩層為資源提供方，最上層為資源用戶；而中間層的虛擬化系統(tǒng)又起到了資源分配調(diào)度的作用。部署虛擬化系統(tǒng)之后的整體架構(gòu)和傳統(tǒng)架構(gòu)下是沒很大區(qū)別的，利用共享存儲實現(xiàn)數(shù)據(jù)集中和共享，結(jié)合管理中心實現(xiàn)應(yīng)用系統(tǒng)的統(tǒng)一管理；虛擬化集群的形成，直接為應(yīng)用系統(tǒng)提供了高可用和負(fù)載均衡的功能。4.2云計算中心虛擬化組件2.1遷移使運行中的虛擬機從一臺物理服務(wù)器實時遷移到另一臺物理服務(wù)器，同時保持業(yè)務(wù)的連續(xù)運行。實現(xiàn)了零停機時間和連續(xù)可用的服務(wù)，并能全面保證事務(wù)的完整性。是用于創(chuàng)建動態(tài)、自動化、自我優(yōu)化的數(shù)據(jù)中心的關(guān)鍵促成技術(shù)。圖4-4擬機遷移4.2.2高可靠性（HA）自動監(jiān)控物理服務(wù)器的可用性。可檢測物理服務(wù)器故障，如果檢測到故障，可重新在資源池中其他物理服務(wù)器上啟動虛擬機，整個過程無需人工干預(yù)。該功能組件比傳統(tǒng)的雙機冷備更具有自動啟動的優(yōu)勢。

圖4-5高可靠性(HA)4.2.3容錯功能相當(dāng)于雙機熱備，但是比傳統(tǒng)的雙機熱備更具有優(yōu)勢，它可以時刻在兩個不同的物理服務(wù)器上保持兩個相同的鏡像，其中一臺出現(xiàn)故障時，不影響業(yè)務(wù)的運行，同時自動在另一臺物理服務(wù)器上建立以特相同的鏡像，物理服務(wù)器不受硬件型號配置的限制。圖4-6容錯4.2.4動態(tài)資源分配跨資源池不間斷地監(jiān)控利用率，并在多臺虛擬機之間智能地分配可用資源，使資源優(yōu)先用于最重要的應(yīng)用程序，以便讓資源與業(yè)務(wù)目標(biāo)相協(xié)調(diào)。自動、不間斷地優(yōu)化硬件利用率，以響應(yīng)不斷變化的情況。為業(yè)務(wù)部門提供專用的虛擬基礎(chǔ)結(jié)構(gòu)，同時讓IT部門能夠集中、全面地控制硬件。執(zhí)行零停機服務(wù)器維護。通過使用分布式電源管理來整合工作負(fù)載和關(guān)閉集群中的虛擬機暫時不需要的耗電服務(wù)器，從而減少數(shù)據(jù)中心的能耗。業(yè)務(wù)需求資源油圖4-7動態(tài)資源分配(DRS)4.2.5分布式電源管理可用管理系統(tǒng)中，為了在虛擬化環(huán)境中能達(dá)到節(jié)能

減排放的作用，設(shè)置了DPM的功能。這是一個高級電源管理功能它可以提供當(dāng)虛擬化環(huán)境中不需要那么大的運算資源的的時候，同過統(tǒng)一管理平臺功能管理模塊相結(jié)合?？梢允菍崿F(xiàn)當(dāng)我們的業(yè)務(wù)系統(tǒng)在不需要云平臺提供那么大的計算能力的時候,為了節(jié)能減排放.通過自動調(diào)度將某些服務(wù)器上的虛擬機通過在線遷移的方式自動遷移到平臺中的其它物理服務(wù)器中運行，將空閑服務(wù)器進行下電。當(dāng)業(yè)務(wù)重新增長后，需要平臺提供大規(guī)模計算的時候，會重新啟動該服務(wù)器加入到平臺中，為虛擬服務(wù)器提供運算支持。＞群集需要的資源越少，就將工作負(fù)載整合到越少的服務(wù)器上＞將不需要的服務(wù)器置于待機模式＞工作負(fù)載需要增加時，再恢復(fù)服務(wù)器在線狀態(tài)＞保證服務(wù)級別的同時減少電力消耗＞虛擬機不中斷、不停機圖4-8分布式電源管理

4.3分布式集群存儲平臺4.3.1方案拓?fù)鋱D系統(tǒng)架構(gòu)云平臺下的冬種應(yīng)用服務(wù)系統(tǒng)（辦公0A、云平臺下的冬種應(yīng)用服務(wù)系統(tǒng)（辦公0A、大數(shù)據(jù)分析等）圖4-9分布式集群存儲架構(gòu)圖4.3.2方案描述分布式存儲系統(tǒng)主要由云平臺下的應(yīng)用服務(wù)器集群、智能存儲服務(wù)器集群、元數(shù)據(jù)服務(wù)器集群三大部分組成，配置存儲服務(wù)器10臺，元數(shù)據(jù)服務(wù)器2臺。應(yīng)用服務(wù)器集群：運行客戶應(yīng)用程序的集群，進行特定的計算、信息處理及業(yè)務(wù)服務(wù)等。應(yīng)用服務(wù)器上需要安裝分布式的應(yīng)用服務(wù)器模塊高效的訪問存儲。智能存儲服務(wù)器集群：由萬兆存儲服務(wù)器組成。存儲用戶的實際數(shù)據(jù)，是整個分布式存儲系統(tǒng)的存儲資源提供者。當(dāng)應(yīng)用服務(wù)器進行數(shù)據(jù)訪問時，存儲服務(wù)器集群提供實際的數(shù)據(jù)10服務(wù)。數(shù)據(jù)10壓力能夠非常均衡的分布在存儲服務(wù)器集群之間。元數(shù)據(jù)服務(wù)器集群：由萬兆元數(shù)據(jù)存儲服務(wù)器組成。管理文件系統(tǒng)的元數(shù)據(jù)（包括文件目錄樹組織、屬性維護、文件操作日志記錄、授權(quán)訪問等），管理整個存儲系統(tǒng)的命名空間，對外提供單一的系統(tǒng)映像，并負(fù)責(zé)整個存儲集群的管理監(jiān)控。元數(shù)據(jù)服務(wù)器協(xié)調(diào)指揮應(yīng)用服務(wù)器和存儲服務(wù)器之間的活動，并且元數(shù)據(jù)服務(wù)器集群能夠均衡的負(fù)擔(dān)整個分布式集群存儲系統(tǒng)的相關(guān)元數(shù)據(jù)訪問負(fù)載。本期項目配置10臺存儲服務(wù)器2臺元數(shù)據(jù)服務(wù)器組成存儲集群直接接入萬兆交換機，提供高性能共享存儲系統(tǒng)；計算節(jié)點均通過以太網(wǎng)交換機與存儲系統(tǒng)能共享存儲系統(tǒng)連接。工作機通過以太網(wǎng)與存儲系統(tǒng)相連。計算節(jié)點均安裝集群系統(tǒng)客戶端，可根據(jù)權(quán)限以本地盤符的方式訪問文件級統(tǒng)一命名空間，對存儲系統(tǒng)進行并發(fā)訪問，而且所有計算節(jié)點均通過光纖直接共享存儲系統(tǒng)中數(shù)據(jù)，充分發(fā)揮光纖高帶寬，低延遲的特點，提高了效率。系統(tǒng)具有良好的可靠性和冗余措施，元數(shù)據(jù)服務(wù)器成對配置，當(dāng)其中1臺發(fā)生故障后，另1臺會自動接替系統(tǒng)服務(wù)，最大程度保證業(yè)務(wù)時效性。隨著規(guī)模、容量的不斷增加可以通過在線添加擴展柜的方式，擴展系統(tǒng)的容量、10帶寬和負(fù)載能力。4.3.3系統(tǒng)軟件4.3.3.1云平臺系統(tǒng)管理支撐系統(tǒng)云平臺系統(tǒng)支撐系統(tǒng)是數(shù)據(jù)中心的核心系統(tǒng)，在此系統(tǒng)上可以快速配置和部署各種營運支持系統(tǒng)（0A辦公系統(tǒng)、財務(wù)系統(tǒng)、CRM客戶關(guān)系系統(tǒng)、交易支撐系統(tǒng)、大數(shù)據(jù)交易數(shù)據(jù)管理系統(tǒng)與分析系統(tǒng)、大數(shù)據(jù)情報數(shù)據(jù)管理系統(tǒng)與分析系統(tǒng)）等；XX云系統(tǒng)面向云數(shù)據(jù)中心，如大型企業(yè)私有數(shù)據(jù)中心、公有云平臺、行業(yè)云服務(wù)平臺等，提供從底層資源，到上層應(yīng)用和數(shù)據(jù)管理的一體化管理平臺，支持云基礎(chǔ)架構(gòu)以及各類物理資源、虛擬資源的管理，為網(wǎng)絡(luò)應(yīng)用提供安全、可靠的運行支撐環(huán)境，并面向大數(shù)據(jù)應(yīng)用提供多源異構(gòu)大數(shù)據(jù)的存儲與處理。4.3.3.1.1產(chǎn)品定位?管資源：快速地構(gòu)建起跨地域的云平臺基礎(chǔ)架構(gòu)，對其中的物理資源和虛擬資源進行靈活的管理，對用戶的IT需求實現(xiàn)快速的交付，并且支持資源彈性動態(tài)擴展。?管應(yīng)用：支撐業(yè)務(wù)應(yīng)用的開發(fā)、測試、部署和維護等整個生命周期過程，并全方位監(jiān)控應(yīng)用的運行情況，及時對應(yīng)用資源進行彈性伸縮，確保最大的應(yīng)用穩(wěn)定性和可靠性。?管數(shù)據(jù)：對結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)提供統(tǒng)一存儲，并且為應(yīng)用提供相應(yīng)的接口，并可以進行大數(shù)據(jù)分析和可視化展現(xiàn)。?用數(shù)據(jù)：對業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進行整合利用，形成信息資源中心，開放信息資源目錄，支撐大數(shù)據(jù)應(yīng)用開發(fā)。?用軟件：支持軟件服務(wù)化接入，實現(xiàn)軟件服務(wù)的上線、訂購、開通、使用、下線等全生命周期管理。4.3.3.1.2XX銀行云應(yīng)用?希望以云計算的模式對本單位的信息化平臺進行管理和運營的金融、金融等行業(yè)?希望對數(shù)據(jù)中心進行云化并提供彈性云主機服務(wù)的服務(wù)商?需要快速完成開發(fā)、測試和部署運行，簡化應(yīng)用開發(fā)和發(fā)布流程的軟件企業(yè)?致力于行業(yè)軟件開發(fā)，并希望搭建行業(yè)SaaS云服務(wù)平臺的軟件服務(wù)提供商?需要采集、存儲、處理來自物聯(lián)網(wǎng)、互聯(lián)網(wǎng)的大數(shù)據(jù)并進行分析的企事業(yè)單位4.3.3.1.3客戶收益?數(shù)據(jù)中心整合：從地理分散到邏輯統(tǒng)一，將服務(wù)器、存儲、網(wǎng)絡(luò)等設(shè)備整合到虛擬資源池中，提升資源利用率；

?運維投入節(jié)約：硬件資源、運維人力資源成本大幅降低；?云服務(wù)能力提升：提升信息化運維能力，有效保障業(yè)務(wù)交付；?創(chuàng)新的業(yè)務(wù)模式：創(chuàng)新云計算、大數(shù)據(jù)業(yè)務(wù)，提升自主創(chuàng)新能力。4.3.3.1.4產(chǎn)品架構(gòu)運營管理自脈務(wù)門戶標(biāo)準(zhǔn)規(guī)范

安全體系運營管理自脈務(wù)門戶標(biāo)準(zhǔn)規(guī)范

安全體系甜礎(chǔ)架構(gòu)層大數(shù)堀借理垢抒平自恃理資iffi管理虛擬化物理資源?物理資源層。物理資源層包括支撐XX云系統(tǒng)自身運行和提供服務(wù)所需的物理基礎(chǔ)設(shè)施，XX云系統(tǒng)可對分布在云數(shù)據(jù)中心的各類物理資源進行統(tǒng)一集中管理與運維，提供數(shù)據(jù)中心、物理資源兩級資源管理，支持多數(shù)據(jù)中心管理。?基礎(chǔ)架構(gòu)層。基礎(chǔ)架構(gòu)層是XX云系統(tǒng)的核心技術(shù)支撐層，由一個虛擬化管理平臺、三大管理組件和四大核心引擎組成。該層的核心支撐是虛擬化管理平臺，基于虛擬化管理平臺，將支撐資源、數(shù)據(jù)和應(yīng)用管理的核心技術(shù)封裝為資源管理、大數(shù)據(jù)管理和運行平臺管理三大管理組件，并將云管理平臺的共性支撐技術(shù)封裝為調(diào)度、服務(wù)、數(shù)據(jù)、監(jiān)控四大引擎服務(wù)，為上層服務(wù)和應(yīng)用提供基礎(chǔ)支撐。?服務(wù)層。服務(wù)層是XX云系統(tǒng)提供服務(wù)的核心支撐層，除資源、數(shù)據(jù)、應(yīng)用三大核心服務(wù)組件外，服務(wù)層還兼容第三方服務(wù)。服務(wù)層還為支撐服務(wù)開發(fā)與管理提供了服務(wù)目錄、服務(wù)封裝、服務(wù)集成和服務(wù)質(zhì)量組件，通過通用接口規(guī)范對外提供服務(wù)。?應(yīng)用層。應(yīng)用層主要為應(yīng)用開發(fā)與自動化部署提供技術(shù)支撐，包括開發(fā)、測試、生產(chǎn)環(huán)境的流程化定制與自動化部署，對應(yīng)用運行環(huán)境的監(jiān)控，對應(yīng)用所需資源的彈性伸縮調(diào)度。通過應(yīng)用層的技術(shù)支撐，用戶可基于XX云系統(tǒng)平臺快速開發(fā)并部署應(yīng)用，同時可直接發(fā)布到XX云系統(tǒng)云平臺提供云應(yīng)用。?門戶層。門戶層包括兩部分：用戶自服務(wù)門戶和運營管理門戶，用戶自服務(wù)門戶集成了用戶所需的虛擬數(shù)據(jù)中心管理運維以及應(yīng)用部署等功能；運營管理門戶則集成了云平臺運營所需的資源管理、服務(wù)管理以及計量計費等功能。?平臺管理體系。平臺管理體系包括三部分：運維管理體系、安全體系和標(biāo)準(zhǔn)規(guī)范體系。運維管理體系針對XX云系統(tǒng)的資源管理架構(gòu)規(guī)范了各種監(jiān)控、報警、日志等日常運維管理機制；安全體系針對XX云系統(tǒng)提供的資源、數(shù)據(jù)和應(yīng)用服務(wù)提供了一系列安全管理機制；標(biāo)準(zhǔn)規(guī)范體系則對XX云系統(tǒng)的資源管理、數(shù)據(jù)管理、服務(wù)管理提供了一系列開發(fā)與管理的技術(shù)規(guī)范和操作規(guī)程。4.3.3.1.5產(chǎn)品體系XX云系統(tǒng)是一套由多個軟件構(gòu)成的軟件套裝，有多個軟件或者模塊組成。XX云系統(tǒng)采用分布式部署方式，各個軟件或模塊之間采用松耦合的架構(gòu)進行交互，易于擴展，易于根據(jù)用戶需求進行定制和實施。產(chǎn)品架構(gòu)圖如下圖所不。用戶自服務(wù)系統(tǒng) 運營管理系統(tǒng) 云安全用戶自服務(wù)系統(tǒng) 運營管理系統(tǒng) 云安全資源申請應(yīng)用

部署I監(jiān)控服務(wù)目錄基于OpenStack的核心架構(gòu)平臺管理調(diào)度監(jiān)控計算資源池存儲資源池網(wǎng)絡(luò)資源池imi濮弼m匕筋:計算網(wǎng)絡(luò)存儲［計算網(wǎng)絡(luò)存儲資源申請應(yīng)用

部署I監(jiān)控服務(wù)目錄基于OpenStack的核心架構(gòu)平臺管理調(diào)度監(jiān)控計算資源池存儲資源池網(wǎng)絡(luò)資源池imi濮弼m匕筋:計算網(wǎng)絡(luò)存儲［計算網(wǎng)絡(luò)存儲監(jiān)控審核審批服務(wù)發(fā)布服務(wù)計量服務(wù)質(zhì)量展務(wù)集成審計報警虛擬資源管理物理資源管理Is服務(wù)受理日志故障處理備份I高可用訂單管理?核心架構(gòu)平臺。采用業(yè)內(nèi)先進的云計算技術(shù)構(gòu)建的自主可控的虛擬化、資源調(diào)度以及服務(wù)管理平臺，支持KVM、Xen、VMware等主流虛擬化技術(shù)。?運維管理系統(tǒng)。平臺運維管理員使用該系統(tǒng)，對計算、存儲、網(wǎng)絡(luò)等各類云資源以及整個平臺的基礎(chǔ)架構(gòu)進行管理，支持資源的全方位監(jiān)控和應(yīng)用集群的彈性伸縮。?運營管理系統(tǒng)。平臺運營管理員使用該系統(tǒng)，對平臺服務(wù)進行發(fā)布、計費、受理等運營管理，對所有平臺租戶及其訂單進行管理。?服務(wù)管理系統(tǒng)?；谄脚_基礎(chǔ)服務(wù)，形成整個平臺的服務(wù)目錄，并可按照一定的策略對服務(wù)進行組裝和編排。另外對服務(wù)的使用情況進行計量；提供開放接口，支持服務(wù)集成。?自服務(wù)系統(tǒng)。云平臺租戶使用該系統(tǒng)，申請云主機、云硬盤等各類虛擬資源，部署、運行并監(jiān)控業(yè)務(wù)系統(tǒng)。?云安全保障。身份認(rèn)證、訪問控制、容災(zāi)等，另外還包括從物理層、虛擬層到服務(wù)層、應(yīng)用層的安全保障體系。4.3.3.1.6產(chǎn)品功能融合管理的云基礎(chǔ)架構(gòu)?將多地傳統(tǒng)數(shù)據(jù)中心快速整合并虛擬化，兼容各種異構(gòu)的x86服務(wù)器、各種品牌的存儲設(shè)備及網(wǎng)絡(luò)設(shè)備。按需交付、彈性擴展的IaaS服務(wù)?云主機：Windows>Linux全系列虛擬機，并可根據(jù)用戶需求進行定制。?云硬盤：各種規(guī)格的云硬盤的快速掛載和使用。?私有網(wǎng)絡(luò)：構(gòu)建獨立的虛擬路由器、虛擬交換機和子網(wǎng)，良好的網(wǎng)絡(luò)隔離。?負(fù)載均衡：構(gòu)建負(fù)載均衡集群，某節(jié)點宕機不影響業(yè)務(wù)系統(tǒng)運行。?云集群：彈性應(yīng)用集群，自定義彈性策略，根據(jù)集群負(fù)載自動伸縮。?數(shù)據(jù)備份：支持主機備份、硬盤備份、異地災(zāi)備等多種備份方式。無需配置、一鍵即用的PaaS服務(wù)?云數(shù)據(jù)庫：快速創(chuàng)建MySQL、SQLServer.MangoDB等數(shù)據(jù)庫實例，即刻獲得數(shù)據(jù)庫URL并訪問使用，無需安裝配置。?運行時：快速創(chuàng)建Tomcat、IIS、Apache等主流運行時服務(wù)?；ヂ?lián)互通、數(shù)據(jù)的大數(shù)據(jù)服務(wù)?大數(shù)據(jù)存儲：對象存儲，企業(yè)級非結(jié)構(gòu)化數(shù)據(jù)存儲服務(wù)，打造專屬私有“云盤”；物聯(lián)數(shù)據(jù)存儲，來自傳感器的海量半結(jié)構(gòu)數(shù)據(jù)存儲服務(wù)。?大數(shù)據(jù)分析：定制數(shù)據(jù)挖掘算法和模型，支持海量數(shù)據(jù)的分析、挖掘和可視化展現(xiàn)。?數(shù)據(jù)整合共享：無障礙獲取業(yè)務(wù)系統(tǒng)數(shù)據(jù)，實現(xiàn)數(shù)據(jù)共享和交換，打通“信息孤島”。?信息資源中心：抽取、清洗、轉(zhuǎn)換業(yè)務(wù)系統(tǒng)數(shù)據(jù)，建立企業(yè)級信息資源中心，形成信息資源目錄，開放數(shù)據(jù)規(guī)范接口，支持新應(yīng)用開發(fā)。一處安裝、多租戶共用的SaaS服務(wù)SaaS管理服務(wù)平臺：構(gòu)建SaaS服務(wù)的訂購、授權(quán)、使用流程，整合企業(yè)應(yīng)用，打造一站式辦公門戶。SaaS服務(wù)化改造和標(biāo)準(zhǔn)化接入：將傳統(tǒng)BS應(yīng)用進行服務(wù)化改造為多租戶模式，按照統(tǒng)一接口規(guī)范集成至SaaS服務(wù)平臺，全面支持SaaS服務(wù)運營。全方位、多方式的監(jiān)控預(yù)警服務(wù)?監(jiān)控預(yù)警：對物理資源、虛擬資源以及應(yīng)用的全方位監(jiān)控和多方式預(yù)警，可自定義資源監(jiān)控指標(biāo)，100多種指標(biāo)任意組合4.3.3.2集群存儲系統(tǒng)4.3.3.2.1集群存儲系統(tǒng)的特點數(shù)據(jù)負(fù)載能力現(xiàn)有的諸多存儲方案一般都不具備存儲容量動態(tài)擴展的能力，而且經(jīng)過動態(tài)擴展之后如果沒有數(shù)據(jù)動態(tài)負(fù)載均衡的功能，即使存儲系統(tǒng)的容量增長，性能不會隨之增長。負(fù)載均衡模塊是專門針對存儲擴展性需求較高的應(yīng)用環(huán)境而提供。當(dāng)存儲系統(tǒng)按需在線動態(tài)擴展容量之后，管理員可以選擇在合適的時間啟動或者停止負(fù)載均衡軟件，該功能將數(shù)據(jù)在存儲服務(wù)器之間遷移，直到數(shù)據(jù)分布較為均衡停止。通過負(fù)載均衡模塊的數(shù)據(jù)遷移工作，分布式集群存儲系統(tǒng)的性能能夠隨著容量的增長而線性增長。口動均衡數(shù)據(jù)分布，提疝碇件利用率圖3-2圖4T0自動均衡數(shù)據(jù)分布示意圖靈活冗余能力靈活冗余模塊是一種高效的數(shù)據(jù)保護方式，通過將冗余數(shù)據(jù)同時存放到不同的存儲服務(wù)器上來對數(shù)據(jù)進行保護，不但消除了單點故障，還能夠提高數(shù)據(jù)并發(fā)訪問性能。冗余數(shù)據(jù)存放在不同的服務(wù)器上防止數(shù)據(jù)丟失和存儲服務(wù)中斷。而且用戶可以將不同的數(shù)據(jù)設(shè)置不同的冗余數(shù)據(jù)等級，當(dāng)冗余等級越高，數(shù)據(jù)就能夠在極端惡劣的情況保證數(shù)據(jù)的完整性和服務(wù)的連續(xù)性。（3）故障自動恢復(fù)能力故障自動恢復(fù)模塊內(nèi)置有一整套完整的故障恢復(fù)流程，能夠自動探測集群存儲系統(tǒng)內(nèi)各類可能出現(xiàn)的故障，如磁盤損壞、系統(tǒng)宕機、網(wǎng)絡(luò)中斷等。該軟件一旦發(fā)現(xiàn)了軟硬件故障就會立刻啟動相應(yīng)的故障處理恢復(fù)流程對數(shù)據(jù)進行相應(yīng)的恢復(fù)保護，確保數(shù)據(jù)的完整性，并且整個恢復(fù)過程完全不影響業(yè)務(wù)連續(xù)運行。而且由于故障自動恢復(fù)軟件能夠提供的是整個集群全局的數(shù)據(jù)恢復(fù)，充分的利用了集群內(nèi)的空閑資源進行相應(yīng)的處理，能夠高岀RAID技術(shù)五倍的數(shù)據(jù)恢復(fù)速度確保數(shù)據(jù)完整性，為業(yè)務(wù)長期穩(wěn)定運行打下基礎(chǔ)。多種軟碩件故障不影響前竭使用圖3-3圖4-11硬件故障恢復(fù)示意圖大目錄支持能力傳統(tǒng)的存儲方案都存在著文件數(shù)量、單目錄下文件數(shù)量等諸多限制，并且當(dāng)存儲系統(tǒng)內(nèi)文件數(shù)量到達(dá)一定數(shù)量時，文件的檢索效率就會急劇下降，從而影響了業(yè)務(wù)的運行效率。圖3-4圖4-12集群存數(shù)文件效率集群系統(tǒng)大目錄支持軟件打破了存儲系統(tǒng)在面向海量小文件時的種種限制，提供了幾乎無限的單目錄文件數(shù)量支持、高效的文件檢索效率支持，幫助企業(yè)解決海量小文件存儲帶來的煩惱。4.3.3.2.2集群存儲硬件介紹國產(chǎn)存儲服務(wù)器是基于專業(yè)控制器架構(gòu)的存儲陣列產(chǎn)品，提供標(biāo)準(zhǔn)網(wǎng)絡(luò)文件共享服務(wù)，實現(xiàn)IPSAN/NAS一體化解決方案，為各種視頻監(jiān)控系統(tǒng)提供大容量、高擴展性、高安全性的集中存儲解決方案,支持外接擴展柜，：4.3.3.2.3系統(tǒng)功能及特點4.3.3.2.3.1國產(chǎn)硬件自主可控分布式集群的硬件基礎(chǔ)采用我國完全自主研發(fā)的處理器，硬件和軟件設(shè)計完全自主可控。分布式存儲服務(wù)器采用了非X86架構(gòu)的高可靠性硬件平臺和國產(chǎn)睿思操作系統(tǒng)，從根本上保證了用戶數(shù)據(jù)的安全性。分布式存儲服務(wù)器具有優(yōu)良的網(wǎng)絡(luò)性能和數(shù)據(jù)吞吐能力，運行穩(wěn)定，能耗低，維護簡單，適合大批量部署，為信息安全隱患的消除提供有力保障。4.3.3.2.3.2海量數(shù)據(jù)高效管理隨著資料處理業(yè)務(wù)的增多，存儲系統(tǒng)中將積累大量的數(shù)據(jù)，這就需要存儲系統(tǒng)能夠容納海量的數(shù)據(jù)。同時，存儲系統(tǒng)里面的文件數(shù)量也會快速增長，當(dāng)文件數(shù)量增長到數(shù)千萬以上時，文件的檢索查找等操作將會給文件系統(tǒng)帶來巨大的壓力，特別是一個目錄下面存放的文件超過一定數(shù)量甚至?xí)斐晌募檎倚始眲∠陆?。分布式集群存儲系統(tǒng)單卷可支持300PB以上的存儲空間，高效的管理上千億個文件，單目錄可以高效支持千萬級的文件數(shù)量。分布式集群存儲系統(tǒng)擁有高效的多元數(shù)據(jù)服務(wù)器集群技術(shù)和高效的海量文件檢索技術(shù)，在存放上千億文件的同時保持極高的文件檢索效率。分布式集群存儲系統(tǒng)能夠在單個目錄下高效管理上千萬個文件的存儲系統(tǒng)，在單目錄下存放上千萬數(shù)量文件時，仍然能夠提供每秒數(shù)萬的文件檢索效率。＞單目錄下高達(dá)千萬級的文件，單一文件系統(tǒng)文件數(shù)量支持超過千億（實際案例：260億小文件）；＞單個共享文件系統(tǒng)支持上百PB級（4500TB、1024應(yīng)用節(jié)點支持實際案例）；＞不停機在線擴展系統(tǒng)容量；4.3.3.2.3.3數(shù)據(jù)讀寫性能分布式集群存儲系統(tǒng)通過多臺存儲服務(wù)器提供同時數(shù)據(jù)存取服務(wù)的方法以滿足大量應(yīng)用服務(wù)器的并發(fā)訪問需求。在應(yīng)用服務(wù)器端，當(dāng)應(yīng)用程序往存儲系統(tǒng)上寫文件時，文件將會被根據(jù)一定大小進行分片存放到多臺存儲服務(wù)器上；在應(yīng)用程序讀文件時，則并發(fā)的從多個服務(wù)器上讀取數(shù)據(jù)。由于大量的數(shù)據(jù)10請求都被分散到多臺存儲服務(wù)器上，使得所有的存儲服務(wù)器上的磁盤性能和網(wǎng)絡(luò)帶寬都可以同時得到充分的利用，這樣分布式集群存儲系統(tǒng)的聚合帶寬由多臺的存儲服務(wù)器上的10帶寬相加而成，從而克服了NAS的單一出口點所造成性能瓶頸，可以滿足多臺應(yīng)用節(jié)點并發(fā)訪問的帶寬需求。通過實現(xiàn)多存儲服務(wù)器的并發(fā)數(shù)據(jù)訪問支持，消除了傳統(tǒng)存儲方案中常見的負(fù)載不均導(dǎo)致的熱點數(shù)據(jù)問題。分布式通過數(shù)據(jù)在存儲服務(wù)器集群中的條帶化分布實現(xiàn)高效、全面的負(fù)載均衡功能，充分利用硬件和網(wǎng)絡(luò)的性能，發(fā)揮岀最高10吞吐量。＞提供高達(dá)數(shù)百GB/s的10帶寬和上百萬的I0PS；＞單套存儲系統(tǒng)支撐數(shù)千個應(yīng)用節(jié)點并發(fā)訪問數(shù)據(jù);＞不停機在線擴展10帶寬；＞系統(tǒng)故障自動恢復(fù)和負(fù)載均衡，保證性能隨規(guī)模線性增長；4.3.3.2.3.4數(shù)據(jù)全局共享分布式大規(guī)模集群存儲系統(tǒng)采用文件系統(tǒng)全局命名空間，所有計算節(jié)點都可看到一致文件系統(tǒng)視圖。數(shù)據(jù)的全局共享可以加強各計算節(jié)點之間的協(xié)作，提高了作業(yè)的運行效率。而且數(shù)據(jù)的統(tǒng)一管理也方便用戶數(shù)據(jù)的統(tǒng)一管理，并簡化應(yīng)用系統(tǒng)的開發(fā)。圖4T多用戶訪問不意圖4.3.3.2.3.5數(shù)據(jù)安全性基于數(shù)據(jù)安全性方面的考慮，用戶可以通過分布式配置工具設(shè)置數(shù)據(jù)相應(yīng)的安全等級，選擇將數(shù)據(jù)和校驗數(shù)據(jù)分別存放在不同的存儲服務(wù)器上。分布式存儲系統(tǒng)可以同時使用多條高速數(shù)據(jù)通道，可消除網(wǎng)絡(luò)層的單點故障，進一步提高系統(tǒng)的高可用性。在這樣的情況下，即使出現(xiàn)存儲服務(wù)器宕機、網(wǎng)絡(luò)中斷、磁盤損壞時，仍然能夠保障數(shù)據(jù)完整性和數(shù)據(jù)服務(wù)的持續(xù)運行。例如，在運行中存儲服務(wù)器由于磁盤損壞而丟失了該磁盤上的部分?jǐn)?shù)據(jù)，分布式集群存儲系統(tǒng)將會立刻發(fā)現(xiàn)該異常并自發(fā)的啟動數(shù)據(jù)恢復(fù)流程，利用存放于其它存儲服務(wù)器中該部分?jǐn)?shù)據(jù)的校驗數(shù)據(jù)重新生成一份以保證數(shù)據(jù)仍有一定的冗余度。由于分布式的數(shù)據(jù)恢復(fù)是基于真實丟失的數(shù)據(jù)，并且數(shù)據(jù)恢復(fù)是通過整個存儲集群同時并發(fā)進行，所以相對于傳統(tǒng)的RAID技術(shù)具備更快的數(shù)據(jù)重建速度，這也能夠有效提升數(shù)據(jù)的安全性。通過將數(shù)據(jù)和校驗數(shù)據(jù)存放在不同存儲服務(wù)器的方法可以對一系列的軟硬件故障（網(wǎng)絡(luò)、主機、磁盤等）進行自動的隔離，消除了存儲系統(tǒng)的任何單點故障，而且也無需配置任何復(fù)雜的配置。＞用數(shù)據(jù)全局冗余技術(shù)取代Raid,提供了史無前例的可靠性；＞可根據(jù)不同數(shù)據(jù)定制的數(shù)據(jù)安全性保證；＞系統(tǒng)自動探測故障并恢復(fù)，實現(xiàn)最高的業(yè)務(wù)連續(xù)性保證；4.3.3.2.3.6系統(tǒng)可擴展性分布式集群存儲系統(tǒng)可以支持動態(tài)的擴展存儲容量，而無需中斷應(yīng)用的運行。用戶可以通過分布式的配置工具動態(tài)添加存儲服務(wù)器以擴大系統(tǒng)的容量和規(guī)模，而且隨著存儲服務(wù)器數(shù)據(jù)的增多，整套系統(tǒng)的聚合帶寬也會線性的增長，完全可以滿足業(yè)務(wù)不斷發(fā)展所產(chǎn)生的容量和性能需求。而工業(yè)標(biāo)準(zhǔn)的通用硬件良好的兼容性和可獲得性方便了整套存儲系統(tǒng)將來的使用和擴展，分布式支持在1小時內(nèi)部署上百TB的存儲系統(tǒng)，無縫的在線增加存儲容量。擴展性對比應(yīng)用服務(wù)器應(yīng)用服務(wù)器傳統(tǒng)縱向擴展橫向無展應(yīng)用服務(wù)器應(yīng)用服務(wù)器傳統(tǒng)縱向擴展橫向無展圖4-2傳統(tǒng)與分布式擴展對比4.3.3.2.3.7與現(xiàn)有環(huán)境無縫兼容分布式存儲系統(tǒng)的設(shè)計是面向通用的硬件和軟件環(huán)境，如使用通用的以太網(wǎng)絡(luò)作為數(shù)據(jù)傳輸通道可以確保充分利用現(xiàn)有的環(huán)境，并且可以無需對環(huán)境做出任何修改。另外分布式能夠直接支持Linux‘Windows、Mac等常用的操作系統(tǒng)之間進行數(shù)據(jù)共享，無需對操作系統(tǒng)做任何修改，所以能夠無縫的接入到企業(yè)現(xiàn)有的軟硬件環(huán)境。4.3.3.2.3.8系統(tǒng)的整體擁有成本分布式大規(guī)模集群存儲系統(tǒng)能夠極大的降低構(gòu)建和運維成本，主要有以下幾點：＞極大地提高了數(shù)據(jù)可用性:通過分布式內(nèi)置的高可用和故障自動恢復(fù)功能等卓越的功能，無需任何第三方軟件，極大減少了系統(tǒng)由于維護或備份恢復(fù)所需的大量時間，從而徹底提高了企業(yè)的生產(chǎn)效率。＞數(shù)據(jù)的充分共享:數(shù)據(jù)可以被前端的各種類型的主機共享，無需在Linux和Windows＞Mac系統(tǒng)之間進行數(shù)據(jù)遷移。這允許一個數(shù)據(jù)拷貝被所有人員與進程共享，大大減少了對不同環(huán)境下相同的數(shù)據(jù)的多種形式的管理費用。＞存儲的運維成本：由于分布式采用了通用、企業(yè)級的硬件構(gòu)建，具有極高的性價比和兼容性。管理員可以輕易的掌握分布式的運維管理，使得培訓(xùn)支出上的費用大大減少。4.3.3.2.3.9使用分布式提高投資回報率＞真正的按需購買分布式存儲系統(tǒng)的動態(tài)可擴展技術(shù)，使得用戶可以按需擴展存儲容量，無需一次性投入大量成本來構(gòu)建存儲系統(tǒng)，有效降低了用戶投資的風(fēng)險。＞內(nèi)置的高可用架構(gòu)分布式存儲系統(tǒng)提供特有的全系統(tǒng)規(guī)模數(shù)據(jù)高可用技術(shù)，用戶無需投入額外的資金。在傳統(tǒng)的NAS和SAN系統(tǒng)中，高可用意味著價格高昂的軟件和冗余硬件。＞高存儲空間利用率分布式存儲系統(tǒng)將所有的存儲設(shè)備聚合成單一的存儲池，提供給所有的前端應(yīng)用服務(wù)器集群共享訪問，克服了使用傳統(tǒng)的DAS和SAN時所出現(xiàn)的存儲設(shè)備利用率不均衡的情況。A安全應(yīng)用隔離分布式存儲系統(tǒng)可以將不同的應(yīng)用在邏輯上進行隔離，不同應(yīng)用之間的存儲內(nèi)容相互獨立，有效降低人為因素造成的數(shù)據(jù)損壞，大幅度提升了存儲內(nèi)容的安全性和數(shù)據(jù)的完整性。4.3.3.2.3.10降低管理及運行成本一一簡易存儲＞更低的存儲架構(gòu)規(guī)劃成本分布式存儲系統(tǒng)可與用戶的現(xiàn)有應(yīng)用環(huán)境無縫連接，便捷地加入到用戶的應(yīng)用環(huán)境中，并即時對外提供存儲服務(wù)。無需像傳統(tǒng)存儲系統(tǒng)一樣對大量復(fù)雜的硬件設(shè)備進行長期的分析、規(guī)劃和配置，大大節(jié)約了前期的規(guī)劃成本，極大提高了存儲系統(tǒng)部署的效率。＞快速的安裝及配置用戶可在極短時間內(nèi)為分布式存儲系統(tǒng)部署上百TB存儲空間和上千臺應(yīng)用服務(wù)器。無需像SAN那樣對光纖交換機、光纖適配器等大量的專用硬件進行配置，極大簡化了配置流程。＞簡易管理分布式存儲系統(tǒng)簡單靈活的管理模塊極大降低了管理員對系統(tǒng)管理的參與程度，減化了管理員操作出錯風(fēng)險，有效降低了系統(tǒng)的管理成本。＞減少培訓(xùn)費用分布式存儲系統(tǒng)采用圖形化管理工具，極大簡化了

對系統(tǒng)使用的復(fù)雜度，減短了對管理員的培訓(xùn)時間。4.3.3.2.3.11提高用戶應(yīng)用的生產(chǎn)力＞提高應(yīng)用服務(wù)器之間的協(xié)作效率廠S

廠S

?I使用龍威豹?\ /軸I威\,由磴）毬co丿6使用龍威后圖4-3應(yīng)用協(xié)作對比圖＞快速的數(shù)據(jù)交付分布式存儲系統(tǒng)提供的數(shù)據(jù)讀寫加速技術(shù)極大縮短了對應(yīng)用程序的響應(yīng)時間，每秒高達(dá)幾十萬個的文件檢索速度輕易的滿足互聯(lián)網(wǎng)等文件密集型應(yīng)用的需求。A快速的故障恢復(fù)分布式存儲系統(tǒng)高效的自動數(shù)據(jù)恢復(fù)技術(shù)，使得故障恢復(fù)時間是通用RAID技術(shù)的五分之一，恢復(fù)過程不影響相應(yīng)業(yè)務(wù)的運行，保證業(yè)務(wù)的連續(xù)性。4.3.3.3基于大數(shù)據(jù)的銀行數(shù)據(jù)管理與分析系統(tǒng)大數(shù)據(jù)銀行數(shù)據(jù)綜合分析平臺和大數(shù)據(jù)交易數(shù)據(jù)管理與分析系統(tǒng)分別是兩款大數(shù)據(jù)平臺軟件產(chǎn)品，都是集成海量數(shù)據(jù)的釆集、過濾、轉(zhuǎn)換、存儲、檢索、查詢、統(tǒng)計、分析、可視化與安全管理等全生命周期管理的綜合系統(tǒng)，但對數(shù)的關(guān)注點和管理方式有很大的不同。系統(tǒng)不僅提供了常用的數(shù)據(jù)采集，檢索，分析功能,而且還提供了基本的檢索，分析功能單元，可以根據(jù)各種行業(yè)應(yīng)用和最終用戶的需求，進行不同的組合，適應(yīng)用戶的不同業(yè)務(wù)場景，完成大規(guī)模行業(yè)數(shù)據(jù)的挖掘分析和應(yīng)用對接。作為大數(shù)據(jù)分析平臺，系統(tǒng)具有如下特點：?軟硬件國產(chǎn)自主可控?多源異構(gòu)數(shù)據(jù)接入?數(shù)據(jù)關(guān)聯(lián)融合、統(tǒng)一訪問?大規(guī)模、高性能、可擴展?高可靠、高可用4.3.3.3.1.1大數(shù)據(jù)平臺介紹4.3.3.平臺功能框架大數(shù)據(jù)平臺必須是一個開放的體系，相關(guān)軟件系統(tǒng)和硬件設(shè)備應(yīng)是業(yè)界主流產(chǎn)品，遵循國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)，保證平臺、設(shè)備、管理系統(tǒng)能夠隨時無障礙地進行更新和移植。大數(shù)據(jù)管理平臺還應(yīng)遵循統(tǒng)一的標(biāo)準(zhǔn)規(guī)范,充分考慮與外部系統(tǒng)（4A及其它網(wǎng)管系統(tǒng)、業(yè)務(wù)系統(tǒng)等）的接口。支撐數(shù)據(jù)挖掘、數(shù)據(jù)實時存儲和訪問、ETL計算平臺這三類業(yè)務(wù)應(yīng)用。4.3.3.3.1.1.2分布式存儲功能基于申威平臺的分布式存儲為用戶提供企業(yè)級大數(shù)據(jù)平臺軟件一體化解決方案；并支持特殊應(yīng)用場景下的定制化硬件加速。面對結(jié)構(gòu)復(fù)雜、需求多變的異構(gòu)數(shù)據(jù)處理業(yè)務(wù)，分布式存儲不僅提供統(tǒng)一、穩(wěn)定、高效的存儲子系統(tǒng)，還整合了先進的分布式集群資源

管理和進程調(diào)度方案、高性能數(shù)據(jù)總線技術(shù)、全并行架構(gòu)分布式關(guān)系數(shù)據(jù)庫、面向圖計算的并行圖數(shù)據(jù)庫、分布式KV存數(shù)據(jù)庫，以及面向用戶業(yè)務(wù)的各類工具軟件和庫支持?；诜植际酱鎯ζ脚_，用戶可以以非常低的時間代價構(gòu)建大規(guī)模企業(yè)大數(shù)據(jù)一體化解決方案。流式數(shù)據(jù)龍威集群存儲(申威國產(chǎn)平臺)［音視頻I郵件消息多維數(shù)據(jù)DSQL流式數(shù)據(jù)龍威集群存儲(申威國產(chǎn)平臺)［音視頻I郵件消息多維數(shù)據(jù)DSQLGraphDB圖4-13存儲組件的結(jié)構(gòu)圖上圖是存儲組件的結(jié)構(gòu)圖，主要包括如下功能組件：分布式集群存儲：基于對象的高性能分布式文件存儲系統(tǒng)。DFS:分布式文件系統(tǒng)。HBase：分布式Key-Value數(shù)據(jù)庫。DSQL：分布式關(guān)系數(shù)據(jù)庫。GraphDB：并行圖數(shù)據(jù)庫。DB:傳統(tǒng)數(shù)據(jù)庫。集群存儲系統(tǒng)基于自主可控的申威硬件平臺，采用帶外分布式架構(gòu)，隔離元數(shù)據(jù)信息與數(shù)據(jù)信息，降低二者之間的性能干擾，采用對象存儲技術(shù)將文件切片分布式存儲在存儲服務(wù)器集群上，充分利用所有存儲服務(wù)器硬件性能，并且同時對客戶端提供訪問服務(wù)，形成高效聚合帶寬，增加業(yè)務(wù)讀寫效率。Hadoop分布式文件系統(tǒng)HDFS(HadoopDistributedFileSystem)能提供高吞吐量的數(shù)據(jù)訪問，適合大規(guī)模數(shù)據(jù)集方面的應(yīng)用。通過聚合數(shù)十上百臺，甚至數(shù)千臺服務(wù)器本地文件系統(tǒng)的吞吐能力，HDFS提供同時對超大數(shù)據(jù)文件的訪問能力。4.3.3.3.1.1.3分布式計算功能MapReduce是一種簡化并行計算的編程模型，名字源于該模型中的兩項核心操作：Map和ReduceoMap將一個任務(wù)分解成為多個任務(wù),Reduce將分解后多任務(wù)處理的結(jié)果匯總起來，得岀最終的分析結(jié)果。MapReduce適合于半結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析。4.3.3.3.1.1.4NoSQL功能HBase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，其設(shè)計目標(biāo)是用來解決關(guān)系型數(shù)據(jù)庫在處理海量數(shù)據(jù)時的局限性。HBase使用場景有如下幾個特點：海量數(shù)據(jù)（TB或PB級別以上）；需要很高的吞吐量；需要在海量數(shù)據(jù)中實現(xiàn)高效的隨機讀??；需要很好的伸縮能力；能夠同時處理結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)；不需要完全擁有傳統(tǒng)關(guān)系型數(shù)據(jù)庫所具備的ACID特性。UnitedHadoop的HBase支持地理容災(zāi)、二級索引等高級特性，滿足極高可靠性和開發(fā)易用性要求。HBase適合于建立海量數(shù)據(jù)存儲平臺，用于數(shù)據(jù)的存儲和實時訪問，例如歷史明細(xì)查詢、詳單查詢等業(yè)務(wù)。4.3.3.3.1.1.5數(shù)據(jù)倉庫功能Hive是一個建立在Hadoop上的數(shù)據(jù)倉庫框架，提供類似SQL的HQL語言操作結(jié)構(gòu)化數(shù)據(jù)，其基本原理是將HQL語言自動轉(zhuǎn)換成MapReduce任務(wù)，從而完成對Hadoop集群中存儲的海量數(shù)據(jù)進行查詢和分析。Hive主要特點如下:通過1IQL語言非常容易的完成數(shù)據(jù)提取、轉(zhuǎn)換和加載（ETL）；通過IIQL完成海量結(jié)構(gòu)化數(shù)據(jù)分析;靈活的數(shù)據(jù)存儲格式，支持JSON,CSV,TEXTFILE,RCFILE,SEQUENCEFILE等存儲格式，并支持自定義擴展;Hive的主要應(yīng)用于海量數(shù)據(jù)的離線分析（如日志分析，集群狀態(tài)分析）、大規(guī)模的數(shù)據(jù)挖掘（用戶行為分析，興趣分區(qū)，區(qū)域展示）等場景下。為保證Hive服務(wù)的高可用性、用戶數(shù)據(jù)的安全及訪問服務(wù)的可控制，UnitedHadoop的Hive具有如下特性：基于kerberos技術(shù)的安全認(rèn)證機制；數(shù)據(jù)文件加密機制；雙機熱備；完善的權(quán)限管理。Hive適合于結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析。4.3.3.3.1.1.6分布式協(xié)調(diào)功能ZooKeeper是一個分布式、高可用性的協(xié)調(diào)服務(wù)。在Hadoop系統(tǒng)中主要提供兩個功能：一個功能是幫助系統(tǒng)避免單點故障，建立可靠的應(yīng)用程序，另一個功能是提供分布式協(xié)作服務(wù)和維護配置信息。ZooKeeper主要特點：?順序一致性：按照客戶端發(fā)送請求的順序更新數(shù)據(jù)。?原子性：更新要么成功，要么失敗，不會岀現(xiàn)部分更新。?單一,性:無論客戶端連接哪個server,都會看到同一個視圖。?可靠性：一旦數(shù)據(jù)更新成功，將一直保持，直到新的更新。?及時性：客戶端會在一個確定的時間內(nèi)得到最新的數(shù)據(jù)。4.3.3.3.1.1.7工作流管理功能Oozie是一個用來管理Hadoopjob任務(wù)的工作流引擎，Oozie流程基于有向無環(huán)圖(DirectedAcyclicalGraph)來定義和描述，支持多種工作流模式及流程定時觸發(fā)機制。易擴展、易維護、可靠性高，與Hadoop生態(tài)系統(tǒng)各組件緊密結(jié)合。Oozie主要特點：支持分發(fā)、聚合、選擇等工作流流程模式；與Hadoop生態(tài)系統(tǒng)各組件緊密結(jié)合；流程變量支持參數(shù)化；支持流程定時觸發(fā)；提供了HA機制；自帶一個WebConsole,提供了流程查看、流程監(jiān)控、日志查看等功能。4.3.3.3.1.1.8維護管理功能提供的維護管理功能是Hadoop平臺的維護管理系統(tǒng)，是Hadoop系統(tǒng)操作和維護的統(tǒng)一入口，提供操作的定義和流程引導(dǎo)，并對于系統(tǒng)中的各項資源運行情況和操作進行監(jiān)控記錄，為系統(tǒng)的日常維護提供依據(jù)；運維管理包括升級向?qū)?、日常向?qū)?、日志收集與分析、告警、監(jiān)控、安裝向?qū)?、配置管理、審計管理、用戶管理等。集群管理包括集群資源授權(quán)管理、數(shù)據(jù)服務(wù)封裝接口、集群資源動態(tài)調(diào)度、并發(fā)控制、備份和容災(zāi)、用戶和應(yīng)用接入安全、集群組件HA和數(shù)據(jù)私密性。集群管理系統(tǒng)負(fù)責(zé)整個系統(tǒng)的管理，包括北向接口、南向接口和本地管理GUI界面。北向接口包括0M類的Syslog>SNMP,以及安全管理對接接口LDAPo本地管理GUI界面提供系統(tǒng)中各類軟硬件的圖形化維護入口，包括日常維護，以及安裝、升級和擴容向?qū)У取?.3.3.3.1.2銀行數(shù)據(jù)分析系統(tǒng)架構(gòu)文件提取信令奧取內(nèi)容分析數(shù)據(jù)匯聚協(xié)議還原采集系統(tǒng)管理存儲、分析業(yè)務(wù)管理文件提取信令奧取內(nèi)容分析數(shù)據(jù)匯聚協(xié)議還原采集系統(tǒng)管理存儲、分析業(yè)務(wù)管理圖4-14情報分析系統(tǒng)系統(tǒng)架構(gòu)圖如上圖所示，作為一款情報綜合分析平臺，平臺可以分為四個大的子系統(tǒng)。包括：采集子系統(tǒng)、存儲分析子系統(tǒng)、業(yè)務(wù)管理子系統(tǒng)、系統(tǒng)管理子系統(tǒng)。存儲分析子系統(tǒng)又自下而上可以分三層，情報來源方式、數(shù)據(jù)類型存儲方式、關(guān)聯(lián)分析模型算法以及業(yè)務(wù)跟蹤與各種類型報表。4.3.3.3.1.2.1非格式數(shù)據(jù)的分類存儲系統(tǒng)采用分布式文件、分布式數(shù)據(jù)庫、分布式集群計算等多種分布式技術(shù)作為構(gòu)建系統(tǒng)的基礎(chǔ)平臺，使得整個系統(tǒng)平臺具有了高擴展、高容錯、高性能、高可用的能力。采集子系統(tǒng)提供多種接口，支持對不同數(shù)據(jù)源的采集，支持對多種數(shù)據(jù)類型的提取信息，同時對采集的數(shù)據(jù)進行分析提取，對數(shù)據(jù)內(nèi)容進行匹配過濾，將各種類型的數(shù)據(jù)分門別類的存儲到存儲分析子系統(tǒng)中，供后者分析使用。子系統(tǒng)提供對多種文檔類型的導(dǎo)入功能，包括word,ppt,execl,pdf,rtf,txt等多種文件類型。4.3.3.3.1.2.2對格式化數(shù)據(jù)的全文檢索合多線索加權(quán)檢索業(yè)務(wù)管理子系統(tǒng)管理客戶的大數(shù)據(jù)分析業(yè)務(wù)，系統(tǒng)提供用戶權(quán)限、業(yè)務(wù)管理、數(shù)據(jù)全文檢索、業(yè)務(wù)定義等功能模塊，滿足客戶業(yè)務(wù)分析的管理需求，通過全文檢索和加權(quán)檢索，可以把不同的情報內(nèi)容針對一個時間、事件進行關(guān)聯(lián)起來，并形成事件發(fā)展趨勢的分析圖表，用來提供領(lǐng)導(dǎo)層對金融項目的決策和分析。4.3.3.3.1.2.3完善的業(yè)務(wù)分析報表系統(tǒng)系統(tǒng)運維子系統(tǒng)管理整個系統(tǒng)的設(shè)備，軟件，配置等，采用統(tǒng)計報表、狀態(tài)顯示等多種方式展示系統(tǒng)運行狀態(tài)，維護整個系統(tǒng)穩(wěn)定運行，實現(xiàn)系統(tǒng)的高可用性，高擴展性。存儲分析子系統(tǒng)是整個系統(tǒng)的核心部分。實現(xiàn)海量數(shù)據(jù)的存儲、檢索、分析等功能。實現(xiàn)對目標(biāo)數(shù)據(jù)、圖像信息、聲音信息等各種文件類型的海量存儲，實現(xiàn)對這些類型的文件的關(guān)鍵字快速檢索結(jié)果，并形成各種形式的業(yè)務(wù)報表系統(tǒng)。4.3.3.3.1.2.3.1國內(nèi)經(jīng)濟形勢分析圖根據(jù)大數(shù)據(jù)中，爬蟲爬到的全球各國的經(jīng)濟數(shù)據(jù)和經(jīng)濟事件、就業(yè)數(shù)量、銀行調(diào)整數(shù)據(jù)，分析每個國家的經(jīng)濟發(fā)展趨勢；4.3.3.3.1.2.3.2按照國家名稱分析各國經(jīng)濟形勢圖根據(jù)國家名稱可以方便把各個國家發(fā)展趨勢圖、經(jīng)濟熱點分布圖分析岀來；4.3.3.3.1.2.3.3按照全球各大交易所數(shù)據(jù)技術(shù)分析各類產(chǎn)品的價格趨向圖；根據(jù)全球各個交易所每天的公開的價格數(shù)據(jù)，可以分析各種產(chǎn)品的價格趨勢圖（技術(shù)分析）；4.3.3.3.1.2.3.4用戶可以定制所關(guān)心的數(shù)據(jù)統(tǒng)計圖根據(jù)存在的數(shù)據(jù)和定