智慧園博園基礎(chǔ)設(shè)施及云平臺(tái)設(shè)計(jì)方案

智慧園博園基礎(chǔ)設(shè)施及云平臺(tái)設(shè)計(jì)方案

目錄

第1章基礎(chǔ)設(shè)施及云平臺(tái)設(shè)計(jì)方案4

1.1基礎(chǔ)云平臺(tái)方案對(duì)比4

1.2混合云方案4

1.3私有云平臺(tái)設(shè)計(jì)5

1.3.1云計(jì)算平臺(tái)5

1.3.2負(fù)載均衡5

1.3.3虛擬專(zhuān)有網(wǎng)7

1.3.4關(guān)系型數(shù)據(jù)庫(kù)7

1.3.5分析型數(shù)據(jù)庫(kù)8

1.3.6對(duì)象存儲(chǔ)10

13.7大數(shù)據(jù)離線計(jì)算12

1.3.8流計(jì)算13

1.3.9應(yīng)用中間件14

1.3.10ETL工具14

1.3.11數(shù)據(jù)質(zhì)量管理14

1.3.12數(shù)據(jù)開(kāi)發(fā)平臺(tái)15

1.3.13BI工具16

1.3.14大屏數(shù)據(jù)可視化16

1.4公有云平臺(tái)設(shè)計(jì)18

1.4.1云計(jì)算平臺(tái)18

1.4.2大規(guī)模分布式計(jì)算系統(tǒng)內(nèi)核18

1.4.3laaS基礎(chǔ)服務(wù)平臺(tái)18

1.4.4負(fù)載均衡SLB36

1.4.5PaaS公共服務(wù)平臺(tái)41

1.4.6關(guān)系型數(shù)據(jù)庫(kù)RDS-MySQL引擎52

1.4.7云數(shù)據(jù)庫(kù)Redis58

1.4.8云資源監(jiān)控84

1.4.9企業(yè)級(jí)分布式應(yīng)用服務(wù)EDAS97

1.4.10消息隊(duì)列組件MQ105

1.5混合云建設(shè)方案116

1.5.1混合云的特點(diǎn)116

1.5.2建設(shè)高效的混合云117

1.6云存儲(chǔ)方案設(shè)計(jì)118

1.6.1平臺(tái)架構(gòu)118

1.6.2組網(wǎng)結(jié)構(gòu)119

1.6.3功能性要求119

2.6.4擴(kuò)展性要求121

2.6.5容量要求121

2.6.6性能要求122

2.6.7可靠性要求122

2.6.8安全性要求123

2.6.9磁盤(pán)利用率124

2.6.10維護(hù)與升級(jí)保障125

2.6.11環(huán)保功耗125

第1章基礎(chǔ)設(shè)施及云平臺(tái)設(shè)計(jì)方案

1.1基礎(chǔ)云平臺(tái)方案對(duì)比

基本云平臺(tái)主要實(shí)現(xiàn)路徑包括：公有云、私有云、混合云三種模式，公有云、私有云特點(diǎn)如下：

公有云適用范圍：信息化基礎(chǔ)設(shè)施差的中小企業(yè)；彈性運(yùn)算要求高的企業(yè)；對(duì)互聯(lián)網(wǎng)質(zhì)量要求極高的企業(yè).

私有云適用范圍：信息化基礎(chǔ)設(shè)施較好、內(nèi)部應(yīng)用較多、有一定維護(hù)能力的大中型企業(yè)。

如下為公有云與私有云的對(duì)比表。

私有云公有云

數(shù)據(jù)安全高（安全可控）低（不可控）

可拓展性中（需要基礎(chǔ)）高（無(wú)限拓展）

系統(tǒng)集成便捷性高（按需集成）低（難度極大）功能

服務(wù)質(zhì)量高（按需提供服務(wù)）中（有限的服務(wù)）

使用壽命5-8年按年繳費(fèi)

基礎(chǔ)支撐設(shè)備高（大量基礎(chǔ)設(shè)備）低（極少基礎(chǔ)設(shè)備）

成本

機(jī)房環(huán)境高（較高要求）無(wú)（無(wú)要求）

電費(fèi)按需維護(hù)無(wú)

運(yùn)營(yíng)維護(hù)費(fèi)

網(wǎng)絡(luò)費(fèi)用較低較高

用

維護(hù)費(fèi)按需維護(hù)按需維護(hù)

建議目前按照混合云（私有云+公有云）的模式進(jìn)行建設(shè)，綜合兩者的優(yōu)勢(shì)；將內(nèi)部應(yīng)用部署在私有云，將對(duì)外服務(wù)應(yīng)用部署在公有云并按需增加,

兩者之間打通。

綜上所述，單一采用公有云或私有云作為云平臺(tái)基礎(chǔ)支撐，各有優(yōu)劣勢(shì)，相比之下.采用公有云+私有云的混合云建設(shè)模式可以達(dá)到經(jīng)濟(jì)性、性能、

安全性、可拓展性、可維護(hù)性等各方面的最佳方案。

1.2混合云方案

混合云融合了公有云和私有云，是近年來(lái)云計(jì)算的主要模式和發(fā)展方向。我們已經(jīng)知道私有云主要是面向企業(yè)用戶(hù)，出于安全考慮，企業(yè)更愿意將

數(shù)據(jù)存放在私有云中，但是同時(shí)又希望可以獲得公有云的計(jì)算資源，在這種情況下混合云被越來(lái)越多的采用，它將公有云和私有云進(jìn)行混合和匹配，以獲

得最佳的效果，這種個(gè)性化的解決方案，達(dá)到了既省錢(qián)又安全的目的。

更完善

私有云的安全性是超越公有云的，而公有云的計(jì)算資源又是私有云無(wú)法企及的。在這種矛與盾的情況下,混合云解決了這個(gè)問(wèn)題，它既可以利用私

有云的安全，將內(nèi)部重要數(shù)據(jù)保存在本地?cái)?shù)據(jù)中心；同時(shí)也可以使用公有云的計(jì)算資源，更高效快捷地完成工作，相比私有云或是公有云都更完善。

可擴(kuò)展

混合云突破了私有云的硬件限制，利用公有云的可擴(kuò)展性，可以隨時(shí)獲取更高的計(jì)算能力。企業(yè)通過(guò)把非機(jī)密功能移動(dòng)到公有云區(qū)域，可以降低對(duì)

內(nèi)部私有云的壓力和需求。

更節(jié)省

混合云可以有效地降低成本。它既可以使用公有云又可以使用私有云，企業(yè)可以將應(yīng)用程序和數(shù)據(jù)放在最適合的平臺(tái)上，獲得最佳的利益組合。

混合云提供了許多重要的功能，可以使各種形狀和規(guī)模的企業(yè)受益。這些新功能使企業(yè)能夠利用混合云，以前所未有的方式擴(kuò)展IT基礎(chǔ)架構(gòu)。我們

來(lái)看看混合云的五大優(yōu)點(diǎn)。

降低成本

降低成本是云計(jì)算最吸引人的優(yōu)勢(shì)之一，也是驅(qū)使企業(yè)管理層考慮云服務(wù)的重要因素，升級(jí)預(yù)置基礎(chǔ)設(shè)施的增量成本很高，增加預(yù)置的計(jì)算資源需

要購(gòu)置額外的服務(wù)器、存儲(chǔ)、電力以及在某些極端情況下新建數(shù)據(jù)中心的需求?；旌显瓶梢詭椭髽I(yè)降低成本，利用“即用即付”云計(jì)算資源來(lái)消除購(gòu)買(mǎi)

本地資源的需求。

增加存儲(chǔ)和可擴(kuò)展性

混合云為企業(yè)擴(kuò)展存儲(chǔ)提供了經(jīng)濟(jì)高效的方式.云存儲(chǔ)的成本相比等量本地存儲(chǔ)要低得多，是備份、復(fù)制VM和數(shù)據(jù)歸檔的不錯(cuò)選擇。除此之外，

增加云存儲(chǔ)沒(méi)有前置成本和本地資源需求。

提高可用性和訪問(wèn)能力

雖然云計(jì)算并不能保證服務(wù)永遠(yuǎn)正常，但公有云通常會(huì)比大多數(shù)本地基礎(chǔ)設(shè)施具有更高的可用性,云內(nèi)置有冗余功能并提供關(guān)鍵數(shù)據(jù)的geo-

replicationo另外，像Hyper-V副本和SQLServerAlwaysOn可用性組等技術(shù)可以讓我們利用云計(jì)算來(lái)改進(jìn)HA和DR.云還提供了幾乎無(wú)處不在的連接，

使全球組織可以從幾乎任何位置訪問(wèn)云服務(wù)，

提高敏捷性和靈活性

混合云最大的好處之一就是靈活性?；旌显剖鼓軌?qū)①Y源和工作負(fù)載從本地遷移到云，反之亦然。對(duì)于開(kāi)發(fā)和測(cè)試而言，混合云使開(kāi)發(fā)人員能夠

輕松搞定新的虛擬機(jī)和應(yīng)用程序,而無(wú)需IT運(yùn)維人員的協(xié)助。您還可以利用具有彈性伸縮的混合云，將部分應(yīng)用程序擴(kuò)展到云中以處理峰值處理需求。云

還提供了各種各樣的服務(wù)，如BI、分析、物聯(lián)網(wǎng)等，您可以隨時(shí)使用這些服務(wù)，而不是自己構(gòu)建。

獲得應(yīng)用集成優(yōu)勢(shì)

許多應(yīng)用程序都提供了內(nèi)置的混合云集成功能。例如，如前所述，Hyper-V副本和SQLServerAlwaysOn可用性組都具有內(nèi)置的云集成功能，SQL

Server的StretchDatabases功能等新技術(shù)也使您能夠?qū)?shù)據(jù)庫(kù)從內(nèi)部部署到云中”

1.3私有云平臺(tái)設(shè)計(jì)

L3.1云計(jì)算平臺(tái)

云計(jì)算平臺(tái)統(tǒng)一提供從網(wǎng)絡(luò)、服務(wù)器、分布式操作系統(tǒng)到云管理、云服務(wù)的一體化平

臺(tái)，具備完整的云資源調(diào)度、管理和監(jiān)控能力。

云計(jì)算平臺(tái)和大數(shù)據(jù)模塊需要融合為一個(gè)整體，賬號(hào)，管理，運(yùn)維也必須為一套融合

的體系。

132負(fù)載均衡

負(fù)載均衡軟件通過(guò)設(shè)置虛擬服務(wù)器IP,將后端多臺(tái)真實(shí)服務(wù)器的應(yīng)用資源虛擬成一臺(tái)

高性能，高可用的應(yīng)用服務(wù)器，通過(guò)負(fù)載分配算法將大量來(lái)自客戶(hù)端的應(yīng)用請(qǐng)求分配到后端

的服務(wù)器進(jìn)行處理。負(fù)載均衡軟件會(huì)持續(xù)對(duì)服務(wù)器上的應(yīng)用狀態(tài)進(jìn)行檢查，并自動(dòng)隔離無(wú)效

的應(yīng)用，從而解決單臺(tái)服務(wù)器處理性能不足，擴(kuò)展性不夠，可靠性較低的問(wèn)題。負(fù)載均衡軟

件可同時(shí)提供四層及七層負(fù)載均衡服務(wù)，并具備彈性伸縮、避免單點(diǎn)故障、會(huì)話保持、健康

檢查、狀態(tài)監(jiān)控等特點(diǎn)。

1.3.3虛擬專(zhuān)有網(wǎng)

虛擬專(zhuān)有網(wǎng)絡(luò)允許用戶(hù)基于云網(wǎng)絡(luò)環(huán)境部署一個(gè)隔離的私有網(wǎng)絡(luò)。在虛擬專(zhuān)有網(wǎng)絡(luò)內(nèi),

用戶(hù)可定義一個(gè)非常類(lèi)似傳統(tǒng)網(wǎng)絡(luò)的虛擬網(wǎng)絡(luò)拓?fù)?，且?duì)該虛擬網(wǎng)絡(luò)環(huán)境擁有完全的控制

權(quán)，包括定義IP地址范圍等。

此外，用戶(hù)也可創(chuàng)建VPN連接內(nèi)部的數(shù)據(jù)中心與虛擬專(zhuān)有網(wǎng)絡(luò)，使用加密VPN/專(zhuān)線

連接虛擬專(zhuān)有網(wǎng)絡(luò)和用戶(hù)自己的IT設(shè)施，并將現(xiàn)有的安全和管理策略擴(kuò)展到虛擬專(zhuān)有網(wǎng)絡(luò)

實(shí)例上。

IPSecVPN-HosttoLAN

1.3.4關(guān)系型數(shù)據(jù)庫(kù)

關(guān)系型數(shù)據(jù)庫(kù)軟件是一種穩(wěn)定可靠、可彈性伸縮的在線數(shù)據(jù)庫(kù)服務(wù)。采用即開(kāi)即用方

式，兼容MySQL、SQLServer等多種關(guān)系型數(shù)據(jù)庫(kù)，并提供數(shù)據(jù)庫(kù)在線擴(kuò)容、備份回滾、性

能監(jiān)控及分析等功能。實(shí)現(xiàn)所有應(yīng)用后臺(tái)數(shù)據(jù)庫(kù)的集中整合和統(tǒng)一運(yùn)維管理，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)

一存儲(chǔ)，簡(jiǎn)化部署復(fù)雜度，節(jié)省成本。

提供在線遷移數(shù)據(jù)的方式，可以不停止原有數(shù)據(jù)庫(kù)運(yùn)行的情況下完成數(shù)據(jù)遷移操作；

提供在線升級(jí)服務(wù)，包括實(shí)例配置的升級(jí)和數(shù)據(jù)庫(kù)版本的升級(jí)，升級(jí)過(guò)程無(wú)需用戶(hù)介入。

TAi^3

IXEZBOJUXI0繪UcrlM&dUk>

XM

<m4?rTK]B?

Urt^lkyCAT1

cc<Md?Bl!-on

vl<tla

police

rut2n徹

x1181dmnxoo/

RAACYUOUi2(5)

cerhlrrB“1

ctre<rt>e0neLMMH

CM4H￡4?1

?1大《的

be(■:??&itrdif?Cf

?e?Wl

CrlMe?]

PN1?

UK322X11^2*Z

<64■?umaxiA；皿

aixtdCTEwmat?ad4c?uriuiz《M

n**?TAKMM2⑸Kju*wmi(6>

fenderVE：>1■uvi(cT*f<e$WU2，：6)

HriMtyM”

1.3.5分析型數(shù)據(jù)庫(kù)

在數(shù)據(jù)應(yīng)用中，多維OLAP(Multi-DimensionalOLAP,簡(jiǎn)稱(chēng)MOLAP)是極為重要的

應(yīng)用場(chǎng)景，如數(shù)據(jù)統(tǒng)計(jì)、分析、查詢(xún)及行業(yè)BI上都有豐富的應(yīng)用，但是多維OLAP是預(yù)先

根據(jù)數(shù)據(jù)需要分析的維度進(jìn)行建模，在數(shù)據(jù)的物理存儲(chǔ)層面以“立方體”(Cube)的結(jié)構(gòu)進(jìn)行

存儲(chǔ)，具有查詢(xún)速度快等優(yōu)點(diǎn)，但是數(shù)據(jù)必須預(yù)先建模，無(wú)法依據(jù)使用者的意愿進(jìn)行即時(shí)靈

活的修改。

大數(shù)據(jù)平臺(tái)要滿足海量數(shù)據(jù)的匯集，并面向應(yīng)用提供快速、靈活的多維OLAP服務(wù),

因此，傳統(tǒng)預(yù)先根據(jù)數(shù)據(jù)需要分析的維度進(jìn)行建模的多維OLAP是無(wú)法滿足大數(shù)據(jù)場(chǎng)景應(yīng)用

需求的，要求大數(shù)據(jù)平臺(tái)支持基于MPP架構(gòu)的分布式實(shí)時(shí)分析服務(wù)。

在數(shù)據(jù)存儲(chǔ)模型上，分布式實(shí)時(shí)分析服務(wù)可以采用自由靈活的關(guān)系模型存儲(chǔ)，可以使

用SQL進(jìn)行自由靈活的計(jì)算分析，無(wú)需預(yù)先建模，而利用分布式計(jì)算技術(shù)，實(shí)時(shí)數(shù)據(jù)分析

服務(wù)可以在處理百億條甚至更多量級(jí)的數(shù)據(jù)上達(dá)到甚至超越MOLAP類(lèi)系統(tǒng)的處理性能，真

正實(shí)現(xiàn)百億數(shù)據(jù)毫秒級(jí)計(jì)算。支持千億級(jí)高并發(fā)實(shí)時(shí)OLAP多維分析，實(shí)現(xiàn)毫秒級(jí)響應(yīng)速度,

支持SQL和自定義函數(shù)，兼容MySQL接口。

實(shí)時(shí)數(shù)據(jù)分析服務(wù)讓海量數(shù)據(jù)和實(shí)時(shí)與自由的計(jì)算可以兼得，實(shí)現(xiàn)了速度驅(qū)動(dòng)的大數(shù)

據(jù)商業(yè)變革。一方面，實(shí)時(shí)數(shù)據(jù)分析服務(wù)擁有快速處理遷移級(jí)別海量數(shù)據(jù)的能力，使得數(shù)據(jù)

分析中使用的數(shù)據(jù)可以不再是抽樣的，而是業(yè)務(wù)系統(tǒng)中產(chǎn)生的全量數(shù)據(jù)，使得數(shù)據(jù)分析的結(jié)

果具有最大的代表性。另一方面，實(shí)時(shí)數(shù)據(jù)分析服務(wù)采用分布式計(jì)算技術(shù)，擁有強(qiáng)大的實(shí)時(shí)

計(jì)算能力，通?？梢栽跀?shù)百毫秒內(nèi)完成百億級(jí)的數(shù)據(jù)計(jì)算，使得使用者可以根據(jù)自己的想法

在海量數(shù)據(jù)中自由的進(jìn)行探索，而不是根據(jù)預(yù)先設(shè)定好的邏輯查看已有的數(shù)據(jù)報(bào)表。

其技術(shù)特點(diǎn)有：

?采用分布式計(jì)算框架提供實(shí)時(shí)計(jì)算服務(wù)，可支持超過(guò)1000臺(tái)

集群規(guī)模，可按需擴(kuò)容，業(yè)務(wù)不停；

?單集群可支持單庫(kù)不少于2PB數(shù)據(jù)量;單表可支持不少于1PB

數(shù)據(jù)量；

?單集群可支持不少于100個(gè)數(shù)據(jù)庫(kù)實(shí)例(Database)；

?單集群同時(shí)支持新建純ssd存儲(chǔ)實(shí)例及ssd與sata混合存

儲(chǔ)實(shí)例，兩種實(shí)例可以在同一集群內(nèi)同時(shí)存在；

?支持行列混存功能，支持表級(jí)別配置存儲(chǔ)模式，實(shí)現(xiàn)最優(yōu)化

的查詢(xún)性能；

?支持SQL優(yōu)先級(jí)功能，支持超級(jí)、高、中、低四個(gè)等級(jí)；支

持以查詢(xún)query粒度，設(shè)定查詢(xún)優(yōu)先級(jí)，保證高優(yōu)先級(jí)應(yīng)用

高可用；

?支持單表每秒數(shù)萬(wàn)條記錄的插入(insert)和刪除(delete),

數(shù)據(jù)實(shí)時(shí)更新后平均2分鐘內(nèi)即可被查詢(xún)；

?支持MPP計(jì)算框架，計(jì)算功能全面，對(duì)跨一級(jí)分區(qū)列的計(jì)算

有良好的支持；

1.3.6對(duì)象存儲(chǔ)

面向網(wǎng)絡(luò)的分布式存儲(chǔ)服務(wù)，具有海量、安全、高性能、高可靠性、低成本的特點(diǎn)。

非常適合用來(lái)存儲(chǔ)大量不同大小、格式的非結(jié)構(gòu)化數(shù)據(jù)，比如視頻、圖像、日志、文本文件

等。單個(gè)數(shù)據(jù)的大小從1字節(jié)到5T,可以存儲(chǔ)的數(shù)據(jù)個(gè)數(shù)無(wú)限，從而給互聯(lián)網(wǎng)應(yīng)用提供海

量的存儲(chǔ)能力。

存放在云存儲(chǔ)的每個(gè)文件，云存儲(chǔ)都會(huì)保持3份副本。3份文件副本，會(huì)分別保存在

不同交換機(jī)，不同機(jī)架，不同的服務(wù)器上。任何一個(gè)服務(wù)器，機(jī)架，交換機(jī)宕機(jī)都不會(huì)造成

數(shù)據(jù)丟失。若其中一份副本丟失或者不可用，云存儲(chǔ)會(huì)自動(dòng)拷貝一份文件副本保存在運(yùn)行良

好的主機(jī)上，從而保證任何時(shí)間，均有3份副本保存在云存儲(chǔ)。

塊存儲(chǔ)文件存帖對(duì)象存儲(chǔ)

DASSANNAS古中心化架船

應(yīng)用

目錄尼

Faei/o

文尊派蛻

LAN網(wǎng)，

?AUN/HR

scsi/SAsmtx

SAN網(wǎng)絡(luò)

Btockl/O

bcn^oOfia

oosa□Q9O

用留除何HO/SSO

afflffiHWSSD砒施薛列HO/SSD及后存IB系比

只同竄iniHJg快文生對(duì)犢（潸塞戶(hù)住元敷J809文汴）

更新方式支持領(lǐng)地更新支樗航班更新自建新版本的對(duì)象

澆向搟儀SCSI/K/SATA/SASCFSZNFS基于HTTP09REST

次利JU工愛(ài)商單密用獷息共.HffKtfiH

應(yīng)用t劇R敢據(jù)傕.SK琦會(huì)期XttWW已存■

1.3.7大數(shù)據(jù)離線計(jì)算

大數(shù)據(jù)離線計(jì)算軟件是海量數(shù)據(jù)離線處理服務(wù)，針對(duì)PB級(jí)別數(shù)據(jù)，單表可達(dá)萬(wàn)億條

記錄，實(shí)時(shí)性要求不高的批量處理，主要應(yīng)用于大型數(shù)據(jù)倉(cāng)庫(kù)、日志分析、數(shù)據(jù)挖掘、商業(yè)

智能等領(lǐng)域，支持分布式SQL,支持多種數(shù)據(jù)分析挖掘的分布式計(jì)算框架(M叩Reduce/圖計(jì)

算等)。

其技術(shù)特點(diǎn)有：

(1)采用分布式架構(gòu)，機(jī)群規(guī)模可以根據(jù)需要靈活擴(kuò)展；

(2)自動(dòng)存儲(chǔ)容錯(cuò)機(jī)制，保障數(shù)據(jù)高可靠性；

(3)支持高并發(fā)、高吞吐量的數(shù)據(jù)上傳下載；

(4)支持基于SQL的數(shù)據(jù)處理，支持窗口函數(shù)等高級(jí)分析功能；

(5)支持多租戶(hù)，多個(gè)用戶(hù)可以協(xié)同分析數(shù)據(jù)；

(6)支持基于ACL和policy的用戶(hù)權(quán)限管理，可以配置靈活的數(shù)據(jù)訪問(wèn)控制策略，

防止數(shù)據(jù)越權(quán)訪問(wèn)；

(7)集成大數(shù)據(jù)開(kāi)發(fā)環(huán)境，支持?jǐn)?shù)據(jù)挖掘、BI分析工具、數(shù)據(jù)倉(cāng)庫(kù)建模、數(shù)據(jù)服務(wù)

化、分布式數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)等。

(Mpiit

disk)phawMn

138流計(jì)算

目前流計(jì)算定義為一套輕量級(jí)提供SQL表達(dá)能力的流式數(shù)加加工處理引擎。

流計(jì)算集成諸多全鏈路功能，方便進(jìn)行全鏈路流計(jì)算開(kāi)發(fā)，包括：

強(qiáng)大的流計(jì)算引擎，提供流式計(jì)算的標(biāo)準(zhǔn)SQL,支持各類(lèi)Fail場(chǎng)景的自動(dòng)恢復(fù)，保證

故障情況下數(shù)據(jù)處理的準(zhǔn)確性；支持多種內(nèi)建的字符串處理、時(shí)間、統(tǒng)計(jì)等類(lèi)型函數(shù)；精確

的計(jì)算資源控制，徹底保證多租戶(hù)之間作業(yè)的隔離性。

豐富多樣的數(shù)據(jù)采集工具，涵蓋從無(wú)結(jié)構(gòu)化日志采集到結(jié)構(gòu)化的數(shù)據(jù)庫(kù)變更采集，從

簡(jiǎn)單易懂的一鍵式拖拽上傳數(shù)據(jù)到開(kāi)放可定制化的編程SDK,讓用戶(hù)隨心所欲采集并上傳

業(yè)務(wù)流式數(shù)據(jù)。

深度整合各類(lèi)云數(shù)據(jù)存儲(chǔ)，包括各類(lèi)數(shù)據(jù)存儲(chǔ)系統(tǒng)，無(wú)需額外的數(shù)據(jù)集成工作，流計(jì)

算可以直接讀寫(xiě)相關(guān)產(chǎn)品數(shù)據(jù)。

多樣化數(shù)據(jù)展現(xiàn)套件，覆蓋各類(lèi)數(shù)據(jù)化報(bào)表展示組件，?同時(shí)針對(duì)流式計(jì)算特有翻牌器、

實(shí)時(shí)大屏等場(chǎng)景提供定制化顯示組件，用實(shí)時(shí)化的大數(shù)據(jù)助力業(yè)務(wù)發(fā)展。

ProcessingOperator

ReceiverMkro-batches

、△⑨?j

RecordsprocessedinshortbatchesProcessingOperator

1.3.9應(yīng)用中間件

應(yīng)用中間件是位于操作系統(tǒng)與上層應(yīng)用之間的中間支撐軟件，具有標(biāo)準(zhǔn)的程序接口和

協(xié)議，實(shí)現(xiàn)Java應(yīng)用的快速部署和運(yùn)行，對(duì)于不同的平臺(tái)具有符合標(biāo)準(zhǔn)接口和協(xié)議規(guī)范的

具體體現(xiàn)，提供跨平臺(tái)的應(yīng)用、服務(wù)解決方案。它可保證事務(wù)在異構(gòu)環(huán)境下正常運(yùn)行，對(duì)事

務(wù)進(jìn)行安全性、完整性控制，提高應(yīng)用處理的并發(fā)性、吞吐量，對(duì)應(yīng)用事務(wù)進(jìn)行協(xié)調(diào)管理。

(1)支持多種標(biāo)準(zhǔn)，包括JSB、JDBC、XML和WML。

(2)跨平臺(tái)兼容性，支持與主流數(shù)據(jù)庫(kù)、操作系統(tǒng)的緊密集成；

(3)支持命令行遠(yuǎn)程控制應(yīng)用服務(wù)器，支持通過(guò)命令行遠(yuǎn)程調(diào)整中間件平臺(tái)運(yùn)行參

數(shù)，獲取中間件平臺(tái)運(yùn)行狀態(tài)。遠(yuǎn)程控制命令需要通過(guò)用戶(hù)認(rèn)證；

(4)支持集群技術(shù)。

1.3.10ETL工具

基于分布式架構(gòu)的ETL工具，主要用于異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)交互，支持大多數(shù)主流

數(shù)據(jù)庫(kù)及分布式文件系統(tǒng)作為數(shù)據(jù)源。數(shù)據(jù)交換以字段為最小單位，能夠非常靈活的進(jìn)行數(shù)

據(jù)的抽取、轉(zhuǎn)換、加載等操作，任務(wù)作業(yè)可以根據(jù)需要進(jìn)行自動(dòng)的周期性調(diào)度，用戶(hù)全部操

作均通過(guò)友好的界面完成。

支持異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)交互，包括Oracle、MySQL、SQLServer等的數(shù)據(jù)互通。

頁(yè)面上靈活拖拽進(jìn)行數(shù)據(jù)的截取、轉(zhuǎn)換等操作，支持自動(dòng)的周期性調(diào)度，支持分布式高可用

性架構(gòu)。

1.3.11數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理是指對(duì)數(shù)據(jù)從計(jì)劃、獲取、存儲(chǔ)、共享、維護(hù)、應(yīng)用、消亡生命周期的

每個(gè)階段里可能引發(fā)的各類(lèi)數(shù)據(jù)質(zhì)量問(wèn)題，進(jìn)行識(shí)別、度量、監(jiān)控、預(yù)警等一系列管理活動(dòng)，

并通過(guò)改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進(jìn)一步提高。

數(shù)據(jù)質(zhì)量管理是在數(shù)據(jù)標(biāo)準(zhǔn)和業(yè)務(wù)規(guī)則規(guī)定的范圍內(nèi)，依據(jù)定義的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)對(duì)數(shù)

據(jù)進(jìn)行質(zhì)量檢查的過(guò)程。依據(jù)數(shù)據(jù)在數(shù)據(jù)生命周期的各個(gè)階段的特性，建立數(shù)據(jù)質(zhì)量控制機(jī)

制，及時(shí)發(fā)現(xiàn)并分析數(shù)據(jù)質(zhì)量問(wèn)題，不斷改善數(shù)據(jù)的使用質(zhì)量，從而提升數(shù)據(jù)的可用性，實(shí)

現(xiàn)數(shù)據(jù)更大的價(jià)值。

1.3.12數(shù)據(jù)開(kāi)發(fā)平臺(tái)

平臺(tái)提供一站式的集成開(kāi)發(fā)環(huán)境，可滿足大數(shù)據(jù)環(huán)境下的數(shù)據(jù)查詢(xún)、ETL開(kāi)發(fā)、數(shù)據(jù)

挖掘算法開(kāi)發(fā)等需求；提供WebIDE編程和調(diào)試環(huán)境，支持多種程序類(lèi)型；數(shù)據(jù)開(kāi)發(fā)主要

面向開(kāi)發(fā)者提供可視化工作流任務(wù)設(shè)計(jì)器、代碼編輯器，通過(guò)拖拽節(jié)點(diǎn)（SQL、MR、數(shù)據(jù)同

步、機(jī)器學(xué)習(xí)、SHELL和虛擬節(jié)點(diǎn)）和連線的方式來(lái)構(gòu)建上下游依賴(lài)關(guān)系。

工作流開(kāi)發(fā)代碼編輯明數(shù)據(jù)建模版本管理

知:任務(wù)開(kāi)發(fā)預(yù)雌代碼發(fā)布管理

DEBUG調(diào)度配置協(xié)同開(kāi)發(fā)

在大數(shù)據(jù)開(kāi)發(fā)套件中可以進(jìn)行工作流任務(wù)設(shè)計(jì)、代碼開(kāi)發(fā)、發(fā)布工作流任務(wù)和代碼等

操作。

一鍵發(fā)布，快速將程序部署到生產(chǎn)調(diào)度系統(tǒng)。系統(tǒng)可根據(jù)程序代碼自動(dòng)解析出任務(wù)節(jié)

點(diǎn)間的依賴(lài)關(guān)系；

團(tuán)隊(duì)開(kāi)發(fā)：代碼版本管理，代碼分類(lèi)管理，多人協(xié)同模式下的代碼鎖管理和沖突檢測(cè)

機(jī)制；

提供Eclipse插件用于M/R和UDF編程，并且與WebIDE緊密集成。

提供表搜索、數(shù)據(jù)查詢(xún)功能，用戶(hù)可輕松觸碰數(shù)據(jù)；

提供代碼掃描規(guī)則引擎，支持用戶(hù)編程實(shí)現(xiàn)各類(lèi)掃描規(guī)則；

平臺(tái)為所有租戶(hù)提供統(tǒng)一的生產(chǎn)作業(yè)調(diào)度系統(tǒng)，租戶(hù)可自主管理作業(yè)的部署、作業(yè)優(yōu)

先級(jí)、以及生產(chǎn)監(jiān)控運(yùn)維。如果租戶(hù)間有數(shù)據(jù)交換，那么彼此的作業(yè)可形成依賴(lài)。

調(diào)度系統(tǒng)可支撐的job數(shù)量達(dá)到百萬(wàn)級(jí)；

執(zhí)行框架采用分布式架構(gòu)，并發(fā)作業(yè)數(shù)可線性擴(kuò)展；

支持多種調(diào)度周期：分鐘、小時(shí)、日、周、月、季度、年。支持跨周期依賴(lài)；

支持節(jié)點(diǎn)空跑、暫停、一次性運(yùn)行等特殊狀態(tài)控制；

可視化展示調(diào)度任務(wù)DAG圖，極大地方便用戶(hù)對(duì)線上任務(wù)進(jìn)行運(yùn)維管理；

支持任務(wù)運(yùn)行狀態(tài)監(jiān)控告警，支持單任務(wù)重跑、多任務(wù)重跑、kill、置成功、暫停等操

作；

支持補(bǔ)數(shù)據(jù)(串行執(zhí)行多周期實(shí)例)；

數(shù)據(jù)倉(cāng)庫(kù)建摸

平臺(tái)為大型數(shù)倉(cāng)團(tuán)隊(duì)提供一整套數(shù)據(jù)模型設(shè)計(jì)工具，包括：

指標(biāo)管理系統(tǒng)，對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化定義；

物理模型設(shè)計(jì)，類(lèi)似PowerDesigner工具，用戶(hù)可對(duì)表進(jìn)行可視化設(shè)計(jì)(同時(shí)也兼容

DDL編輯模式)。設(shè)計(jì)稿與真實(shí)表可以雙向同步；

邏輯模型設(shè)計(jì)，支持?jǐn)?shù)據(jù)流圖、ER圖、字段mapping等功能。

1.3.13BI工具

數(shù)據(jù)分析工具BI,指用現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)技術(shù)、線上分析處理技術(shù)、數(shù)據(jù)挖掘和數(shù)據(jù)展現(xiàn)

技術(shù)進(jìn)行數(shù)據(jù)分析以實(shí)現(xiàn)商業(yè)價(jià)值。BI是用來(lái)處理企業(yè)中現(xiàn)有數(shù)據(jù)，并將其轉(zhuǎn)換成知識(shí)、分

析和結(jié)論，輔助業(yè)務(wù)或者決策者做出正確且明智的決定，是幫助企業(yè)更好地利用數(shù)據(jù)提高決

策質(zhì)量的工具。

數(shù)據(jù)分析工具BI的關(guān)鍵是從許多來(lái)自不同的企業(yè)運(yùn)作系統(tǒng)的數(shù)據(jù)中提取出有用的數(shù)

據(jù)并進(jìn)行清理，以保證數(shù)據(jù)的正確性，然后經(jīng)過(guò)抽取(Extraction)、轉(zhuǎn)換(Transformation)

和裝載(Load),即ETL過(guò)程，合并到一個(gè)企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)里，從而得到企業(yè)數(shù)據(jù)的一個(gè)

全局視圖，在此基礎(chǔ)上利用合適的查詢(xún)和分析工具、數(shù)據(jù)挖掘工具、OLAP工具等對(duì)其進(jìn)行

分析和處理(這時(shí)信息變?yōu)檩o助決策的知識(shí))，最后將知識(shí)呈現(xiàn)給管理者，為管理者的決策

過(guò)程提供支持。

基本功能包括：

(1)提供綜合報(bào)表工具；

(2)支持多維度的OLAP分析查詢(xún)功能，能夠自定義分析維度；

(3)支持分析模型的自定義；

(4)提供無(wú)縫嵌入、獨(dú)立服務(wù)器、OCX控件、UNIX下、LINUX下、WINDOWS下

等多種應(yīng)用環(huán)境下的集成方案；

(5)為二次開(kāi)發(fā)提供集成接口，可以將其無(wú)縫嵌入到用戶(hù)的各種應(yīng)用程序中。

1.3.14大屏數(shù)據(jù)可視化

構(gòu)建一站式的大數(shù)據(jù)可視化應(yīng)用設(shè)計(jì)、開(kāi)發(fā)平臺(tái)，能夠根據(jù)變動(dòng)頻繁的大數(shù)據(jù)可視化

需求靈活的開(kāi)展相關(guān)的大數(shù)據(jù)可視化應(yīng)用設(shè)計(jì)、開(kāi)發(fā)、發(fā)布等管理流程。

平臺(tái)提供web界面，降低數(shù)據(jù)可視化應(yīng)用開(kāi)發(fā)的門(mén)檻，能夠幫助非專(zhuān)業(yè)的工程師通

過(guò)圖形化的界面輕松搭建專(zhuān)業(yè)水準(zhǔn)的可視化應(yīng)用，滿足大數(shù)據(jù)大屏分析等多種業(yè)務(wù)的展示需

求。

平臺(tái)提供可視化大屏模板的能力，能夠根據(jù)各個(gè)大數(shù)據(jù)可視化的應(yīng)用場(chǎng)景選擇相關(guān)的

可視化模板、配置相關(guān)的數(shù)據(jù)源實(shí)現(xiàn)大數(shù)據(jù)可視化應(yīng)用；

平臺(tái)提供豐富的可視化組件，可以靈活的滿足各類(lèi)大數(shù)據(jù)統(tǒng)計(jì)分析的需求；

平臺(tái)提供可視化應(yīng)用的圖形化搭建工具，能夠針對(duì)可視化的應(yīng)用的布局、屬性、數(shù)據(jù)、

分辨率等進(jìn)行設(shè)置；

平臺(tái)提供靈活的數(shù)據(jù)源配置功能，支持?jǐn)?shù)據(jù)庫(kù)類(lèi)、api類(lèi)、文件類(lèi)等數(shù)據(jù)的接入、配

置；

平臺(tái)提供靈活的可視化應(yīng)用發(fā)布功能，可以實(shí)現(xiàn)設(shè)置訪問(wèn)密碼等功能；

1.4公有云平臺(tái)設(shè)計(jì)

141云計(jì)算平臺(tái)

智慧園博園平臺(tái)需要構(gòu)建一個(gè)云數(shù)據(jù)中心，并利用云數(shù)據(jù)中心提供的計(jì)算、存儲(chǔ)、網(wǎng)

絡(luò)等能力，整合各類(lèi)物聯(lián)網(wǎng)傳感設(shè)備、共享各種信息資源并接入現(xiàn)網(wǎng)的各種存量系統(tǒng)，形成

統(tǒng)一、開(kāi)放、安全、健壯和高可拓展性的1aaS平臺(tái)。

142大規(guī)模分布式計(jì)算系統(tǒng)內(nèi)核

大規(guī)模分布式計(jì)算內(nèi)，技術(shù)上自主可控，為上層的服務(wù)提供存儲(chǔ)、計(jì)算和調(diào)度等方面

的底層支持，其中包括：遠(yuǎn)程過(guò)程調(diào)用、安全管理、資源管理、分布式文件系統(tǒng)、任務(wù)調(diào)度

和協(xié)調(diào)服務(wù)。通俗地講，就是把幾千臺(tái)通用的服務(wù)器整合成一臺(tái)超級(jí)計(jì)算機(jī)。

1.4.3IaaS基礎(chǔ)服務(wù)平臺(tái)

彈性云計(jì)算ECS

云主機(jī)(ElasticComputeService,簡(jiǎn)稱(chēng)ECS)是一種簡(jiǎn)單高效、處理能力可彈性伸縮

的計(jì)算服務(wù)，通過(guò)ECS可以快速構(gòu)建更穩(wěn)定、安全的應(yīng)用，提升運(yùn)維效率，降低IT成本。

彈性計(jì)算服務(wù)是虛擬的計(jì)算環(huán)境，包含CPU、內(nèi)存等最基礎(chǔ)的計(jì)算組件，是云主機(jī)ECS提

供給每個(gè)用戶(hù)的實(shí)際操作實(shí)體。ECS實(shí)例是云主機(jī)最為核心的概念，其他的資源，比如磁盤(pán)、

IP、鏡像、快照等，只有與ECS實(shí)例結(jié)合后才能使用。

彈性計(jì)算服務(wù)以分布式云操作系統(tǒng)為基礎(chǔ)，基于虛擬化等云計(jì)算技術(shù)，將普通基礎(chǔ)資

源整合在一起，以集群的方式提供的計(jì)算能力。

運(yùn)維及監(jiān)控模塊

主要功能介紹

ECS用戶(hù)操作

用戶(hù)可以從頭開(kāi)始創(chuàng)建windows或者linux虛擬機(jī)實(shí)例?？梢愿鶕?jù)現(xiàn)有的實(shí)例，方便

的創(chuàng)建有相同配置環(huán)境的實(shí)例。操作系統(tǒng)、已經(jīng)安裝的應(yīng)用程序和數(shù)據(jù)，都會(huì)自動(dòng)復(fù)制到新

實(shí)例中。

在控制臺(tái)中，可以像操作真實(shí)的服務(wù)器一樣啟動(dòng)實(shí)例，查看實(shí)例，重啟實(shí)例，關(guān)閉實(shí)

例。提供遠(yuǎn)程登錄云服務(wù)器、更換系統(tǒng)盤(pán)、重置密碼、變配（升級(jí)、降級(jí)）的操作；提供查

看實(shí)例運(yùn)行監(jiān)控信息、配置信息。

刪除（釋放）實(shí)例，如果不再需要虛擬機(jī)實(shí)例，可以立即釋放實(shí)例，也可以定時(shí)釋放

實(shí)例，選擇一個(gè)未來(lái)的時(shí)間釋放資源，可以精確到小時(shí)。具體的操作如下圖：

實(shí)洌名即i■?入

&所在用用區(qū)IPJML

t-朱北iBHHK114.215.B3.183CPU：1*15

o年自月?n，?卬

H'用1a1,63,07227?運(yùn)行中經(jīng)總網(wǎng)絡(luò)內(nèi)存.2048MB17-02-23OttOOW怎：.

10El*?*

month/Jf'[Mbps

an

停止

M?I*.20*

■6

■新初Ki化■施

更怏系9Ut

升鍛安全

安全唱配?

創(chuàng)匕日定義靠假

的買(mǎi)相同正置

ECS磁盤(pán)支持

用戶(hù)可以從管理控制臺(tái)申請(qǐng)?jiān)票P(pán)（即數(shù)據(jù)盤(pán)），對(duì)系統(tǒng)的存儲(chǔ)空間進(jìn)行擴(kuò)容。

您的磁盤(pán)：d-m5e2nhyhaq3acy…回用區(qū)：cn-qingdao-b）

?目標(biāo)實(shí)例：l-mSeivdq1le5m4yjyfefo

?本實(shí)例可用設(shè)雷名：Zdev/xvdbi

U放行為：C電盤(pán)隨實(shí)綱仔放

O自動(dòng)快照常道盤(pán)降段B

?要!!樂(lè)：“aid鹿ir執(zhí)行成動(dòng)庖.理逐■要要最本實(shí)的對(duì)法”的磁0進(jìn)行"分區(qū)格式化和近新分B

區(qū)"的?作.搔作指南：分區(qū)格式化俄栽15道盤(pán)

執(zhí)行按a取消

掛載破盤(pán)

您的磁盤(pán)：d?m5e2nhyhaq3acy...(可用區(qū)：cn-qingdao-b)

?目標(biāo)實(shí)例:i-m5eivdq11e5m4yjyfefo

?本實(shí)例可用設(shè)備名:

擇放行為:

■要提示：■磁盤(pán)掛ST執(zhí)行成功后.，掛載的磁盤(pán)進(jìn)行.分區(qū)格式化和掛載新分

區(qū)1?的投作.操作指南：分區(qū)格式4

執(zhí)行掛賽取消

ECS在線掛載磁盤(pán)

掛載磁盤(pán)時(shí)，云主機(jī)需要滿足以下條件：

狀態(tài)必須為運(yùn)行中（Running）或者已停止(Stopped)

安全控制標(biāo)識(shí)不能為鎖定（Locked）

本地磁盤(pán)不能掛載、或卸載。

■?冷雌那）?uusiivi?付艮奐型可mot金的?

t>n<6e2nhynaQ3acy21v747?范赤黃

SINS支勢(shì)1可用區(qū)8KSft

5GBiSISitftHXR更多?

ECS數(shù)據(jù)快照和備份

用戶(hù)可以在控制臺(tái)設(shè)置自動(dòng)快照策略，對(duì)云主機(jī)的系統(tǒng)盤(pán)、磁盤(pán)數(shù)據(jù)生成快照，也可

以通過(guò)控制臺(tái)或QpenAPI手動(dòng)創(chuàng)建快照。通過(guò)快照回滾，可以快速恢復(fù)快照生成時(shí)間點(diǎn)的

數(shù)據(jù)狀態(tài)，加強(qiáng)數(shù)據(jù)安全。目前每個(gè)磁盤(pán)最多可創(chuàng)建64個(gè)快照。

I快前列表新㈤城學(xué)潮1^010/2中東2美東，WS1R6fCJNIR

?日心快照am巳在201亞3月31日升級(jí)為2.W*.中宏in要為每個(gè)磁6■箓正量快盛flriK.復(fù)向前快展才就生效；

.UIRZOtf本的松照?力足于先!?試用的段.訪時(shí)間段收費(fèi)縱*另行通句.荏正式商業(yè)化收費(fèi)之IR,?:6］切5得■廉圖得快策和日動(dòng)快照um,以寰免而業(yè)化我!崛產(chǎn)生相美快戚費(fèi)用；

?尼《0昊已爆&■了2。*本的快羯黃略.斯聞之E,巳攵戌的快展會(huì)&K收m配的行收費(fèi).

快媚名稱(chēng)：法?人快工名。進(jìn)行ARCS詢(xún)UQHX。

O快黑。名電sfttoaasi*”性網(wǎng)?fls?tK）aau?嫌作

然吃［0,d-m5eay283146o0lnvxa3r40G樂(lè)繞,2016-09-2211:44:44OK處藥中

ECS增量快照

公有云提供了快照機(jī)制，通過(guò)為云盤(pán)創(chuàng)建快照，可以保留某一個(gè)或者多個(gè)時(shí)間點(diǎn)的磁

盤(pán)數(shù)據(jù)拷貝，有計(jì)劃地對(duì)磁盤(pán)創(chuàng)建快照，從而保證的業(yè)務(wù)可持續(xù)運(yùn)行?？煺帐褂迷隽康姆绞剑?/p>

兩個(gè)快照之間只有數(shù)據(jù)變化的部分才會(huì)被拷貝。

ECS鏡像功能

鏡像是云主機(jī)ECS實(shí)例運(yùn)行環(huán)境的模板，一般包括操作系統(tǒng)和預(yù)裝的軟件?？梢允?/p>

用鏡像創(chuàng)建新的ECS實(shí)例和更換ECS實(shí)例的系統(tǒng)盤(pán)。

云主機(jī)ECS提供了以下靈活多樣的方式讓方便的獲取鏡像：

選擇公有云官方提供的公共鏡像（支持Linux和Windows的多個(gè)發(fā)行版本）

鏡像市場(chǎng)選擇第三方服務(wù)商（ISV）提供的鏡像

根據(jù)現(xiàn)有的云主機(jī)ECS實(shí)例創(chuàng)建自定義鏡像

選擇其他公有云用戶(hù)共享給的鏡像

可以把線下環(huán)境的鏡像文件導(dǎo)入到ECS的集群中生成一個(gè)自定義鏡像。

還可以把自定義鏡像復(fù)制到其他地域，實(shí)現(xiàn)環(huán)境和應(yīng)用的跨地域一致性部署。

ECS用戶(hù)控制臺(tái)

管理終端作為一種區(qū)別于普通遠(yuǎn)程的連接工具，可以通過(guò)管理終端進(jìn)入云主機(jī)登陸界

面，查看服務(wù)器界面當(dāng)時(shí)狀態(tài)；如果擁有操作權(quán)限，可以登錄到服務(wù)器進(jìn)行操作配置。用戶(hù)

可以對(duì)云平臺(tái)上的所有產(chǎn)品進(jìn)行操作。例如：

創(chuàng)建ECS實(shí)例：

鏡像部署:

更換操作系統(tǒng)

演像類(lèi)型：公共鏡像目定義景像

公共鈍饞即基礎(chǔ)攥作系婉.國(guó)像市場(chǎng)在家幽作至跳上,集成了運(yùn)行環(huán)境和各類(lèi)軟件.

從鍵像市場(chǎng)選擇（含操作系統(tǒng)，

M名稱(chēng):

^&：醐辿▼40GB1240IOPS:/dev/xvda

如何選擇SSD云盤(pán)/高效一/普通—,請(qǐng)看詳細(xì)說(shuō)明>>

登錄細(xì)：8-30個(gè)字符,且同時(shí)包含三項(xiàng)（大.“可字母,數(shù)字和特殊符號(hào)）

創(chuàng)建快照：

aMyCentOSc劇符

實(shí)例淬信

I磁盤(pán)列表

本實(shí)名as）

aaro/B磁盤(pán)科噗破盤(pán)狀態(tài)付費(fèi)可出廉透盤(pán)居住驚

□應(yīng)名將（一▼（一▼類(lèi)型（至部）▼可用區(qū)（至部）▼答）￡柞

本實(shí)例快照

（劊建財(cái)）

本案例安至姐

23715x7p4高效云盤(pán)田金包年里產(chǎn)匯出生運(yùn)至

使用中砥不文持

40GB第3皿設(shè)母目的解氣略

更名▼

口垂券研用匕覆

在

ECS資源隔離

1.實(shí)例的安全隔離

實(shí)例的安全隔離包括：CPU隔離、內(nèi)存隔離、存儲(chǔ)隔離和網(wǎng)絡(luò)隔離。

1）CPU隔離

公有云ECS支持Xen和KVM兩種Hypervisor,基于硬件虛擬化技術(shù)VT-x,hypervisor

運(yùn)行在vmxroot模式，ECS實(shí)例運(yùn)行在vmxnon-root模式，通過(guò)硬件機(jī)制進(jìn)行隔離，有效

地防止了ECS實(shí)例訪問(wèn)特權(quán)資源，同時(shí)也做到了ECS實(shí)例之間的有效隔離。

2）內(nèi)存隔離

在虛擬化層，Hypervisor隔離內(nèi)存。ECS實(shí)例運(yùn)行時(shí)，使用硬件輔助的EPT（Extended

PageTables,擴(kuò)展頁(yè)表）技術(shù)，確保ECS實(shí)例之間無(wú)法互訪對(duì)方內(nèi)存。ECS實(shí)例釋放后，它

的所有內(nèi)存會(huì)被Hypervisor清零。這樣防止ECS實(shí)例關(guān)閉后釋放的物理內(nèi)存頁(yè)內(nèi)容被其他

ECS實(shí)例訪問(wèn)到。

3）存儲(chǔ)隔離

在虛擬化層，Hypervisor采用分離設(shè)備驅(qū)動(dòng)模型實(shí)現(xiàn)I/O虛擬化，ECS實(shí)例不能直接

訪問(wèn)物理磁盤(pán)，所有I/O操作都會(huì)被Hypervisor截獲處理；Hypervisor保證ECS實(shí)例只能訪

問(wèn)分配給它的虛擬磁盤(pán)空間，從而實(shí)現(xiàn)不同ECS實(shí)例磁盤(pán)空間的安全隔離。

4）網(wǎng)絡(luò)隔離

ECS實(shí)現(xiàn)了虛擬交換機(jī)（VirtualSwitch）o發(fā)往某個(gè)ECS實(shí)例的報(bào)文只會(huì)送到這個(gè)ECS

實(shí)例的虛擬網(wǎng)卡所對(duì)應(yīng)的虛擬交換機(jī)端口，其他ECS實(shí)例看不到這個(gè)報(bào)文。在公有云的實(shí)

現(xiàn)方式下，運(yùn)行在混雜（Promiscuous）模式下的虛擬實(shí)例也不可能接收或嗅探到應(yīng)去往其

他虛擬實(shí)例的流量。雖然可以把網(wǎng)絡(luò)接口設(shè)置為混雜模式，但Hypervisor不會(huì)傳送任何到其

他目的地址的流量給它們。即使同一個(gè)用戶(hù)擁有的運(yùn)行在同一臺(tái)物理服務(wù)器上的兩個(gè)虛擬實(shí)

例之間也不能嗅探到對(duì)方流量。公有云還采用VPC和安全組防火墻進(jìn)行網(wǎng)絡(luò)隔離。

通過(guò)上述手段，即使同一臺(tái)物理服務(wù)器上的兩臺(tái)不同的ECS實(shí)例，也是不能相互訪問(wèn)

的。

?云服務(wù)器租戶(hù)隔離

?XenHVM模式，基于VT-x技術(shù)隔虛擬機(jī)

離CPUvmxnon-VM1VM2

root

?硬件輔助EPT技術(shù)隔離內(nèi)存CPU內(nèi)存存儲(chǔ)網(wǎng)卡CPU內(nèi)存存儲(chǔ)網(wǎng)卡

?分離設(shè)備驅(qū)動(dòng)I/O模型隔離存儲(chǔ)

?交換型vSwitch,不同VM的數(shù)據(jù)

包被轉(zhuǎn)發(fā)到對(duì)應(yīng)的虛擬端口Hypervisor

vmxroot

?VM的ip、mac地址綁定防地址欺

騙及網(wǎng)絡(luò)嗅探

?VPC.安全組防火墻隔離租戶(hù)網(wǎng)絡(luò)

?物理內(nèi)存、物理存儲(chǔ)重分配前清零

?其他云產(chǎn)品租戶(hù)隔離

物理硬件

?用戶(hù)數(shù)據(jù)打標(biāo)簽隔離存儲(chǔ)

?基于身份驗(yàn)證進(jìn)行訪問(wèn)控制

0ECS訪問(wèn)隔離

不同租戶(hù)的云主機(jī)在不同的VPC里。不同VPC之間通過(guò)VxLAN隧道ID進(jìn)行隔離。

VPC內(nèi)部由于虛擬交換機(jī)和虛擬機(jī)路由器的存在，所以可以像傳統(tǒng)網(wǎng)絡(luò)環(huán)境一樣劃分子網(wǎng),

每一個(gè)子網(wǎng)內(nèi)部的不同云主機(jī)使用同一個(gè)虛擬交換機(jī)互聯(lián)，不同子網(wǎng)間使用虛擬路由器互

聯(lián)。

不同VPC之間內(nèi)部網(wǎng)絡(luò)完全隔離，只能通過(guò)彈性公網(wǎng)IP或者natgateway訪問(wèn)公網(wǎng)。

1ECS安全保護(hù)

Web應(yīng)用防火墻(WebApplicationFirewall,簡(jiǎn)稱(chēng)WAF)基于云安全大數(shù)據(jù)能力實(shí)現(xiàn)，

通過(guò)防御SQL注入、XSS跨站腳本、常見(jiàn)Web服務(wù)器插件漏洞、木馬上傳、非授權(quán)核心資

源訪問(wèn)等OWASP常見(jiàn)攻擊，過(guò)濾海量惡意訪問(wèn)，避免的網(wǎng)站資產(chǎn)數(shù)據(jù)泄露，保障網(wǎng)站的安

全與可用性。

Web常見(jiàn)攻擊防護(hù)，防御OWASP常見(jiàn)威脅：針對(duì)GET、POST常見(jiàn)HTTP請(qǐng)求，給

不同的網(wǎng)站業(yè)務(wù)提供高、中、低三種規(guī)則策略，進(jìn)行SQL注入、XSS跨站、Webshell上傳、

后門(mén)隔離保護(hù)、命令注入、非法HTTP協(xié)議請(qǐng)求、常見(jiàn)Web服務(wù)器漏洞攻擊、核心文件非

授權(quán)訪問(wèn)、路徑穿越、掃描防護(hù)等安全防護(hù)；網(wǎng)站隱身：不對(duì)攻擊者暴露站點(diǎn)地址、避免

繞過(guò)Web應(yīng)用防火墻直接攻擊；Oday補(bǔ)丁定期及時(shí)更新：防護(hù)規(guī)則與淘寶同步，及時(shí)更

新最新漏洞補(bǔ)丁、第一時(shí)間全球同步下發(fā)最新補(bǔ)丁，對(duì)網(wǎng)站進(jìn)行安全防護(hù)；友好觀察模式：

針對(duì)網(wǎng)站新上線的業(yè)務(wù)開(kāi)啟觀察模式、對(duì)于匹配中防護(hù)規(guī)則的疑似攻擊只告警不阻斷、方便

統(tǒng)計(jì)業(yè)務(wù)誤報(bào)狀況。

緩解CC攻擊，對(duì)單一源IP的訪問(wèn)頻率進(jìn)行控制、重定向跳轉(zhuǎn)驗(yàn)證、人機(jī)識(shí)別等；

針對(duì)海量慢速請(qǐng)求攻擊、識(shí)別異常響應(yīng)碼、IP訪問(wèn)、URL異常分布，對(duì)異常referer、

User-agent的請(qǐng)求，可結(jié)合精確訪問(wèn)控制過(guò)濾；

充分利用公有云大數(shù)據(jù)安全優(yōu)勢(shì)、建立威脅情報(bào)與可信訪問(wèn)分析模型、快速識(shí)別惡意

流量。

業(yè)務(wù)風(fēng)控防護(hù)，(WAF高級(jí)版及更高版本)實(shí)時(shí)解決垃圾注冊(cè)、刷庫(kù)撞庫(kù)、活動(dòng)作弊、

論壇灌水等嚴(yán)重業(yè)務(wù)風(fēng)險(xiǎn)；最佳用戶(hù)體驗(yàn)、無(wú)需網(wǎng)站修改源碼/調(diào)用API接口等繁瑣操作即

可實(shí)現(xiàn)快速上線防護(hù)。

精準(zhǔn)訪問(wèn)控制，提供友好的配置控制臺(tái)界面，支持IP、URL、Referer、User-Agent等

HTTP常見(jiàn)字段的條件組合，打造強(qiáng)大的精準(zhǔn)訪問(wèn)控制策略，可支持盜鏈防護(hù)、網(wǎng)站后臺(tái)保

護(hù)等防護(hù)場(chǎng)景；

與Web常見(jiàn)攻擊防護(hù)、CC防護(hù)等安全模塊打造多層綜合保護(hù)機(jī)制、輕松依據(jù)需求,

識(shí)別可信與惡意流量。

2數(shù)據(jù)防護(hù)

加密服務(wù)(AliCloudDataEncryptionService)是云上的數(shù)據(jù)安全加密解決方案。服務(wù)

底層使用經(jīng)國(guó)家密碼管理局檢測(cè)認(rèn)證的硬件密碼機(jī)，通過(guò)虛擬化技術(shù)，幫助用戶(hù)滿足數(shù)據(jù)安

全方面的監(jiān)管合規(guī)要求，保護(hù)云上業(yè)務(wù)數(shù)據(jù)的隱私和安全。借助加密服務(wù)，用戶(hù)能夠?qū)γ荑€

進(jìn)行安全可靠的管理，也能使用多種加密算法來(lái)對(duì)數(shù)據(jù)進(jìn)行可靠的加解密運(yùn)算。

3主機(jī)防護(hù)

服務(wù)器安全(安騎士)由輕量級(jí)Agent和云端組成，集云盾威脅情報(bào)于一體，通過(guò)Agent

和云端大數(shù)據(jù)的聯(lián)動(dòng)，為提供網(wǎng)站后門(mén)查殺、通用Web軟