版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
“大數(shù)據(jù)云平臺(tái)”項(xiàng)目(一
期)建設(shè)方案
目錄
目錄.......................................................2
1項(xiàng)目概述...............................................4
1.1建設(shè)背景..........................................................4
1.2建設(shè)目標(biāo)..........................................................5
2總體規(guī)劃...............................................6
2.1建設(shè)原則..........................................................6
2.2建設(shè)思路..........................................................7
2.2.1一期建設(shè):完成大數(shù)據(jù)云平臺(tái)基礎(chǔ)架構(gòu)(IAAS)的建設(shè)...........7
2.2.2二期建設(shè):完成大數(shù)據(jù)處理平臺(tái)和0A系統(tǒng)部署...............9
2.3總體架構(gòu).........................................................10
2.4采用的關(guān)鍵技術(shù)..................................................11
3一期建設(shè)方案..........................................13
3.1建設(shè)目標(biāo).........................................................13
3.2建設(shè)架構(gòu).........................................................16
3.3建設(shè)內(nèi)容.........................................................17
3.3.1硬件基礎(chǔ)設(shè)施擴(kuò)容..........................................18
3.3.2虛擬化平臺(tái)................................................20
3.3.3云管理平臺(tái)................................................26
3.3.4運(yùn)營(yíng)計(jì)費(fèi)系統(tǒng)..............................................30
3.3.5云安全服務(wù)體系............................................31
3.3.6數(shù)據(jù)容災(zāi)備份系統(tǒng).........................................31
3.3.7接口定制及二次開發(fā)服務(wù)...................................32
3.4建設(shè)價(jià)值.........................................................34
3.5方案整體優(yōu)勢(shì)....................................................35
4一期方案配置清單......................................37
第2頁(yè)/共47頁(yè)
5云平臺(tái)技術(shù)要求........................................39
5.1服務(wù)器虛擬化軟件............................................39
5.1.1虛擬化軟件功能要求....................................39
5.2云管理平臺(tái)軟件..............................................43
5.2.1云平臺(tái)軟件功能要求....................................43
6售后服務(wù).............................................47
第3頁(yè)/共47頁(yè)
1項(xiàng)目概述
1.1建設(shè)背景
XXXX水運(yùn)安全工程技術(shù)研究中心(以下簡(jiǎn)稱“研究中心")是國(guó)家重點(diǎn)的水路
公路交通安全工程技術(shù)科研機(jī)構(gòu),承擔(dān)著國(guó)家各類科研項(xiàng)目40余項(xiàng)。近幾年,隨
著研究中心的科研項(xiàng)目越來越多,科研環(huán)境的要求也越來越復(fù)雜,當(dāng)前數(shù)據(jù)中心
的IT基礎(chǔ)設(shè)施環(huán)境已無法滿足日益增多的項(xiàng)目需求,主要體現(xiàn)在以下幾個(gè)方面:
1)服務(wù)器與存儲(chǔ)設(shè)備老舊,性能已無法滿足新的科研環(huán)境要求;
2)服務(wù)器數(shù)量不足,無法支撐當(dāng)前日益增多的科研項(xiàng)目需求;
3)服務(wù)器資源使用不均衡,有些項(xiàng)目對(duì)資源要求低,有些項(xiàng)目對(duì)資源要求高,
但無法實(shí)現(xiàn)相互資源合理利用和調(diào)度;
4)服務(wù)器分配到某科研項(xiàng)目后,無法進(jìn)行有效管理和及時(shí)釋放資源;
5)服務(wù)器等設(shè)備采購(gòu)周期長(zhǎng),影響了新科研項(xiàng)目的開展;
6)科研環(huán)境部署時(shí)間長(zhǎng),尤其是系統(tǒng)環(huán)境占用很長(zhǎng)時(shí)間,導(dǎo)致工作效率低;
7)整個(gè)機(jī)房的管理運(yùn)維困難,無法對(duì)服務(wù)器資源進(jìn)行集中管理;
8)無法有效評(píng)估科研項(xiàng)目的資源使用率和帶來的效益;
9)無法有效預(yù)測(cè)未來IT基礎(chǔ)設(shè)施的建設(shè)需求;
隨著云計(jì)算、虛擬化、大數(shù)據(jù)分析等先進(jìn)信息化技術(shù)在科研領(lǐng)域的廣泛應(yīng)用,
將有效解決了當(dāng)前研究中心實(shí)驗(yàn)室信息化建設(shè)面臨的一系列問題,通過采用先進(jìn)
的云計(jì)算和虛擬化技術(shù),構(gòu)建一個(gè)科研資源可按需定制、動(dòng)態(tài)高效、靈活擴(kuò)展、
全面管理、穩(wěn)定可靠、可持續(xù)發(fā)展的新一代云計(jì)算IT業(yè)務(wù)部署和服務(wù)交付的“大
數(shù)據(jù)云平臺(tái)”,為研究中心及各科研項(xiàng)目提供安全可靠、彈性擴(kuò)展的基礎(chǔ)運(yùn)行環(huán)境,
可以解決數(shù)據(jù)中心IT基礎(chǔ)設(shè)施資源的整合及合理利用,科研項(xiàng)目資源的快速分配,
科研環(huán)境的快速部署,資源的動(dòng)態(tài)擴(kuò)展,業(yè)務(wù)的高可用部署,按需申請(qǐng)資源,并
根據(jù)使用量計(jì)費(fèi),統(tǒng)一管理運(yùn)維等問題,從而有效提高了研究中心IT基礎(chǔ)設(shè)施的
資源利用率,簡(jiǎn)化了管理維護(hù)流程,提升了科研工作效率。
第4頁(yè)/共47頁(yè)
1.2建設(shè)目標(biāo)
研究中心的“大數(shù)據(jù)云平臺(tái)”項(xiàng)目(以下簡(jiǎn)稱“大數(shù)據(jù)云平臺(tái)”)是以“服務(wù)科
研項(xiàng)目研究工作,推動(dòng)實(shí)驗(yàn)室信息化建設(shè)"為目標(biāo)。采用先進(jìn)的云計(jì)算、虛擬化、
大數(shù)據(jù)等先進(jìn)的信息技術(shù),與研究中心實(shí)際項(xiàng)目需求緊密結(jié)合,為解決即有的技
術(shù)問題,進(jìn)一步提升實(shí)驗(yàn)室信息化應(yīng)用成效,構(gòu)建一個(gè)基于開源的云計(jì)算架構(gòu)大
數(shù)據(jù)云平臺(tái),面向研究中心各部門、各科研項(xiàng)目組等單位提供科研基礎(chǔ)資源服務(wù),
進(jìn)一步推動(dòng)實(shí)驗(yàn)室信息化建設(shè)與深度應(yīng)用,最終構(gòu)建服務(wù)全省的"智能交通系統(tǒng)大
數(shù)據(jù)云平臺(tái)"信息化服務(wù)體系,將傳統(tǒng)的基于項(xiàng)目型管理模式轉(zhuǎn)化成基于大數(shù)據(jù)云
平臺(tái)的IT云服務(wù)運(yùn)營(yíng)模式。
整個(gè)大數(shù)據(jù)云平臺(tái)項(xiàng)目主要由四部分組成:虛擬化平臺(tái)、云管理平臺(tái)、大數(shù)
據(jù)分析平臺(tái)和自動(dòng)化辦公系統(tǒng)。各部分的建設(shè)目標(biāo)如下:
1)虛擬化平臺(tái):在現(xiàn)有數(shù)據(jù)中心建設(shè)的n■基礎(chǔ)環(huán)境之上,新購(gòu)一批硬件基礎(chǔ)設(shè)
施,對(duì)數(shù)據(jù)中心IT基礎(chǔ)資源進(jìn)行整合,通過虛擬化技術(shù)形成計(jì)算資源池、存
儲(chǔ)資源池、網(wǎng)絡(luò)資源池等基礎(chǔ)資源,搭建穩(wěn)定高可用的IT架構(gòu),滿足研究中
心現(xiàn)階段各業(yè)務(wù)系統(tǒng)對(duì)資源的需求,保證業(yè)務(wù)連續(xù)性和穩(wěn)定性,同時(shí)考慮資
源的冗余和未來2~3年的業(yè)務(wù)增長(zhǎng).
2)云管理平臺(tái):采用先進(jìn)的開源云計(jì)算架構(gòu)搭建,實(shí)現(xiàn)對(duì)底層虛擬化資源池集
中管理,通過云管理平臺(tái),管理員可以將IT資源以服務(wù)的方式交付不同科研
項(xiàng)目組或研究員使用,可以實(shí)現(xiàn)用戶自助申請(qǐng),流程審批,并根據(jù)資源類型
和使用時(shí)長(zhǎng)進(jìn)行計(jì)量和計(jì)費(fèi)。所有研究中心的研究員都可以向大數(shù)據(jù)云平臺(tái)
申請(qǐng)基礎(chǔ)資源云服務(wù);可以實(shí)現(xiàn)按需、動(dòng)態(tài)的對(duì)底層資源進(jìn)行調(diào)整、分配、
回收等操作,大大提升資源使用率,大幅節(jié)省TC。。
3)大數(shù)據(jù)處理平臺(tái):新購(gòu)一批高性能服務(wù)器及存儲(chǔ),擴(kuò)容云架構(gòu),在云計(jì)算平
臺(tái)上部署大數(shù)據(jù)分析軟件,引入大數(shù)據(jù)技術(shù),在數(shù)據(jù)歸集整合的基礎(chǔ)上,為
電子卡口、人像庫(kù)、視頻庫(kù)等海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)提供存儲(chǔ)、處理和
分析能力,為上層應(yīng)用提供數(shù)據(jù)支撐服務(wù)。
4)辦公自動(dòng)化(0A)系統(tǒng):在云平臺(tái)的基礎(chǔ)上部署研究中心0A自動(dòng)化辦公系
統(tǒng),根據(jù)辦公應(yīng)用實(shí)際需求,規(guī)范辦公環(huán)境管理,提供辦公效率。
第5頁(yè)/共47頁(yè)
2總體規(guī)劃
2.1建設(shè)原則
考慮到云計(jì)算是一個(gè)相對(duì)較新的技術(shù),且正處于不斷發(fā)展的過程之中,研究
中心“大數(shù)據(jù)云平臺(tái)"項(xiàng)目建設(shè)應(yīng)遵循以下建設(shè)原則:
(1)先進(jìn)性
整體大數(shù)據(jù)云平臺(tái)應(yīng)采用技術(shù)先進(jìn)、成熟穩(wěn)定的產(chǎn)品和技術(shù),同時(shí)要具有良
好的兼容性和發(fā)展性,保障資源使用周期最大化。為降低選擇先進(jìn)技術(shù)的技術(shù)風(fēng)
險(xiǎn),應(yīng)采用充分論證及測(cè)試的方式,逐步淘汰不成熟、不可行的技術(shù),將平臺(tái)建
設(shè)成技術(shù)領(lǐng)先的基礎(chǔ)設(shè)施系統(tǒng)。
(2)可擴(kuò)展性
結(jié)合目前研究中心的長(zhǎng)期規(guī)劃和實(shí)際情況,大數(shù)據(jù)云平臺(tái)基礎(chǔ)架構(gòu)應(yīng)考慮整
體技術(shù)的延續(xù)性和擴(kuò)展性,以及現(xiàn)有設(shè)備的高利用性和可維護(hù)性成本,多種異構(gòu)
虛擬化技術(shù)構(gòu)建的底層計(jì)算資源池與整個(gè)大數(shù)據(jù)云平臺(tái)的對(duì)接問題等。同時(shí)整個(gè)
云平臺(tái)基礎(chǔ)資源池能力,可以通過新增硬件擴(kuò)容達(dá)到平臺(tái)擴(kuò)容的目的,資源可動(dòng)
態(tài)伸縮,滿足未來業(yè)務(wù)系統(tǒng)和用戶規(guī)模增長(zhǎng)的需要。
(3)通用性
首先,云計(jì)算是一個(gè)復(fù)雜的體系,應(yīng)在統(tǒng)一的框架體系下,參考國(guó)際國(guó)內(nèi)各
方面的標(biāo)準(zhǔn)與規(guī)范,嚴(yán)格遵從各項(xiàng)技術(shù)規(guī)定,做好系統(tǒng)的標(biāo)準(zhǔn)化設(shè)計(jì)與施工。
其次,由于本次大數(shù)據(jù)云平臺(tái)為各業(yè)務(wù)應(yīng)用系統(tǒng)提供支撐,必須考慮產(chǎn)品和
技術(shù)的開放性,提供開放標(biāo)準(zhǔn)接口,供開發(fā)者、用戶使用。
(4)安全性
大數(shù)據(jù)云平臺(tái)建設(shè)完成后,要能夠結(jié)合云計(jì)算、虛擬化技術(shù)的特新,引入云
計(jì)算安全技術(shù),如虛擬網(wǎng)絡(luò)安全、虛擬機(jī)主機(jī)安全、加密認(rèn)證等,同時(shí)結(jié)合傳統(tǒng)
防火墻、防病毒墻技術(shù)聯(lián)動(dòng)來保障云平臺(tái)的安全。
第6頁(yè)/共47頁(yè)
2.2建設(shè)思路
本次“智能交通系統(tǒng)研究私有云”為項(xiàng)目核心研究,將以解決當(dāng)前實(shí)驗(yàn)室信
息化建設(shè)面臨的技術(shù)瓶頸,進(jìn)一步提升科研信息化應(yīng)用成效為出發(fā)點(diǎn),以云計(jì)算、
虛擬化、大數(shù)據(jù)等信息技術(shù)為支撐,以“服務(wù)智能交通系統(tǒng)研究工作,推動(dòng)實(shí)驗(yàn)
室信息化建設(shè)”為根本目標(biāo),建設(shè)一個(gè)面向研究中心各部門、各科研項(xiàng)目組等單
位的科研基礎(chǔ)資源服務(wù)大數(shù)據(jù)云平臺(tái)。
大數(shù)據(jù)云平臺(tái)建設(shè)分為三期建設(shè),實(shí)施內(nèi)容:
辦公自動(dòng)化0A系統(tǒng)
大數(shù)據(jù)處理平臺(tái)完善云平皿系
大數(shù)據(jù)支撐硬件擴(kuò)容云平臺(tái)軟硬的廣容
一期建設(shè)二期建設(shè)三期建設(shè)
2.2.1一期建設(shè):完成大數(shù)據(jù)云平臺(tái)基礎(chǔ)架構(gòu)(IAAS)的建設(shè)
(一)虛擬化平臺(tái)建設(shè)
虛擬化平臺(tái)建設(shè)包括計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源等IT基礎(chǔ)設(shè)施,需要能
夠滿足研究中心對(duì)計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源等基礎(chǔ)設(shè)施的需求,具體要求
如下:
1)整合研究中心數(shù)據(jù)中心IT基礎(chǔ)資源,對(duì)部分硬件設(shè)備進(jìn)行必要的配置升
級(jí)擴(kuò)容,滿足部署虛擬化平臺(tái)的配置要求。
2)新購(gòu)一批高性能服務(wù)器和存儲(chǔ)設(shè)備,通過虛擬化技術(shù)形成計(jì)算資源池、存
儲(chǔ)資源池、網(wǎng)絡(luò)資源池等基礎(chǔ)資源,來滿足研究中心現(xiàn)階段各業(yè)務(wù)系統(tǒng)對(duì)
資源的基礎(chǔ)需求,提高資源利用率。
第7頁(yè)/共47頁(yè)
3)將現(xiàn)有物理環(huán)境下的科研應(yīng)用與業(yè)務(wù)系統(tǒng)遷移到虛擬化環(huán)境,根據(jù)業(yè)務(wù)實(shí)
際按需調(diào)配資源,實(shí)現(xiàn)資源的彈性伸縮和按需分配,量化業(yè)務(wù)應(yīng)用使用資
源,有效降低單位資源成本;
4)虛擬化平臺(tái)實(shí)現(xiàn)對(duì)業(yè)務(wù)系統(tǒng)的進(jìn)行集中管理、高可用性、負(fù)載均衡、安全
備份策略的部署,增強(qiáng)業(yè)務(wù)系統(tǒng)的安全性和連續(xù)性。
5)根據(jù)科研項(xiàng)目組不同業(yè)務(wù)系統(tǒng)的差異化需求,可將計(jì)算資源細(xì)分為多個(gè)不
同能力的特性資源池,如WEB應(yīng)用資源池、高性能計(jì)算資源池等;
6)虛擬化平臺(tái)的計(jì)算和存儲(chǔ)資源應(yīng)考慮20%的冗余和未來2~3年的業(yè)務(wù)增長(zhǎng)。
7)為確保系統(tǒng)先進(jìn)性,滿足未來3~5年技術(shù)演進(jìn),采用擴(kuò)展性強(qiáng)的IT技術(shù)
架構(gòu)。
8)云管理平臺(tái)能夠與虛擬化平臺(tái)進(jìn)行完美對(duì)接。
(二)云管理平臺(tái)建設(shè)
云管理平臺(tái)建設(shè)包括實(shí)現(xiàn)資源的自動(dòng)監(jiān)控、資源服務(wù)調(diào)配、故障預(yù)警處置等
管理。對(duì)底層物理資源的虛擬融合、按需分配與高效管理,可以顯著提高資源交
付的敏捷性和靈活性,提升資源的使用效率,為上層業(yè)務(wù)提供不間斷地資源保障
與可伸縮的資源供給,具體要求如下:
1)采用開源的云技術(shù)架構(gòu),具備良好的兼容性和擴(kuò)展性,搭建一個(gè)云計(jì)算基
礎(chǔ)架構(gòu)IAAS層的服務(wù)平臺(tái),通過遵循統(tǒng)一的互聯(lián)規(guī)范,為各科研項(xiàng)目組
或?qū)嶒?yàn)室提供IAAS層的云服務(wù);
2)云管理平臺(tái)能夠目前市面常見的各類虛擬化架構(gòu)資源池進(jìn)行管理,充分保
障客戶既有投資,能將復(fù)雜的虛擬化管理簡(jiǎn)單化,標(biāo)準(zhǔn)化;
3)通過基礎(chǔ)架構(gòu)云平臺(tái),打通底層資源池,將研究中心所有的硬件資源、虛
擬資源、應(yīng)用資源進(jìn)行互通和整合,實(shí)現(xiàn)對(duì)所有基礎(chǔ)架構(gòu)資源的統(tǒng)一管理、
彈性分配和調(diào)度;
4)通過云管理平臺(tái),用戶可以將計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源虛擬化后進(jìn)
行組織管理,并根據(jù)具體需求定制產(chǎn)品界面,提交給外部用戶訪問、申請(qǐng)
和使用。
5)研究中心各實(shí)驗(yàn)室或科研項(xiàng)目組能夠通過自助式資源服務(wù)門戶申請(qǐng)業(yè)務(wù)
系統(tǒng)所需的各種基礎(chǔ)資源,并管理各自的虛擬化數(shù)據(jù)中心;
第8頁(yè)/共47頁(yè)
6)提供租戶資源的計(jì)量計(jì)費(fèi)管理,可為項(xiàng)目審計(jì)提供數(shù)據(jù)支撐;
7)實(shí)現(xiàn)動(dòng)態(tài)的對(duì)底層資源進(jìn)行調(diào)整、分配、回收等操作,大大提升資源使用
率,大幅節(jié)省TOC。
8)采用高可用、安全、穩(wěn)定的虛擬化底層架構(gòu),采用成熟先進(jìn)的理念、技術(shù)
和方法,適應(yīng)發(fā)展潮流,考慮擴(kuò)展性,可適應(yīng)未來應(yīng)用變化的OpenStack
云平臺(tái)框架,可支撐超過至少200臺(tái)服務(wù)器的大規(guī)模集群和5000臺(tái)虛擬
主機(jī)規(guī)模;
9)提供各種流程審批、計(jì)費(fèi)、單點(diǎn)登錄等接口,能方便在此基礎(chǔ)上二次開發(fā)。
2.2.2二期建設(shè):完成大數(shù)據(jù)處理平臺(tái)和0A系統(tǒng)部署
(一)大數(shù)據(jù)處理平臺(tái)建設(shè)
1)在原有大數(shù)據(jù)云平臺(tái)架構(gòu)的基礎(chǔ)上,新購(gòu)一批高性能服務(wù)器和大容量存儲(chǔ)設(shè)
備,作為高性能集群資源池,添加到大數(shù)據(jù)云平臺(tái);
2)利用高性能集群資源池,在云計(jì)算架構(gòu)的平臺(tái)上搭建大數(shù)據(jù)處理計(jì)算平臺(tái),
部署Hadoop/Spark技術(shù)的大數(shù)據(jù)分析軟件,實(shí)現(xiàn)對(duì)為電子卡口、人像庫(kù)、視頻庫(kù)
等海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)提供存儲(chǔ)、處理和分析;
3)考慮大數(shù)據(jù)處理平臺(tái)是一個(gè)并行計(jì)算框架,可以充分利用現(xiàn)有的老舊服務(wù)
器及PC資源,實(shí)現(xiàn)對(duì)大數(shù)據(jù)計(jì)算處理的性能要求;
4)在二期實(shí)際環(huán)境調(diào)研后,可考慮整合中心現(xiàn)有的服務(wù)器、PC機(jī)資源,納入
到大數(shù)據(jù)處理平臺(tái)上;
5)充分利用OpenStack自身提供的laaS層組件及其服務(wù)(如:Nova、Glance
和Keystone等組件),充分利用其laaS層虛擬化的計(jì)算能力以支撐科研項(xiàng)目的運(yùn)算
和調(diào)度。
(二)辦公自動(dòng)化(0A)系統(tǒng)部署
1)在大數(shù)據(jù)云平臺(tái)上,創(chuàng)建虛擬化服務(wù)器,部署研究中心OA系統(tǒng);
2)通過OA系統(tǒng)上線,實(shí)現(xiàn)內(nèi)部辦公規(guī)范管理,提升工作效率;
第9頁(yè)/共47頁(yè)
2.3總體架構(gòu)
研究中心大數(shù)據(jù)云平臺(tái)總體架構(gòu)為“兩縱四橫”結(jié)構(gòu),其中四橫為基礎(chǔ)設(shè)施
服務(wù)、平臺(tái)服務(wù)、數(shù)據(jù)服務(wù)和軟件服務(wù)四層服務(wù)架構(gòu),兩縱為云管理和云保障兩
大體系。具體邏輯架構(gòu)圖如下:
用戶門戶運(yùn)營(yíng)二戶■與維管堆門戶
軟件服者層
SAAS)
應(yīng)用層數(shù)據(jù)庫(kù)系統(tǒng)0A系統(tǒng)信息門戶web應(yīng)用一桌面云
數(shù)據(jù)服者層
(DAAS)
平臺(tái)服務(wù)層
身份認(rèn)證中間件數(shù)據(jù)庫(kù)操作系統(tǒng)開發(fā)環(huán)境
(PAAS)
云管理平臺(tái)(OE-CIoud)
安
全
接IT
支
管
服務(wù)流程管理配額管理口
撐
理
管
系
體
基礎(chǔ)設(shè)施服務(wù)層理
統(tǒng)
網(wǎng)絡(luò)虛擬化用戶管理系
(IAAS)
統(tǒng)計(jì)報(bào)表日志報(bào)警
虛擬化管理平臺(tái)(OECIoud)
基
礎(chǔ)
設(shè)
施
X86服務(wù)器存儲(chǔ)設(shè)備網(wǎng)絡(luò)、安全設(shè)備
云
機(jī)供電|制冷|機(jī)柜]監(jiān)控[消防]防雷接地
房
大數(shù)據(jù)云平臺(tái)總體架構(gòu)圖
1)基礎(chǔ)設(shè)施服務(wù)層(IAAS)
包括計(jì)算資源池、存儲(chǔ)資源池、網(wǎng)絡(luò)資源池,為上層服務(wù)提供云計(jì)算基礎(chǔ)支
撐服務(wù)。
2)平臺(tái)服務(wù)層(PAAS)
在云計(jì)算環(huán)境中建立業(yè)務(wù)運(yùn)行、上線測(cè)試、定制開發(fā)等環(huán)境,為數(shù)據(jù)服務(wù)層
以及應(yīng)用服務(wù)層的運(yùn)行提供平臺(tái)支撐服務(wù)。
第10頁(yè)/共47頁(yè)
3)數(shù)據(jù)服務(wù)層(DAAS)
引入大數(shù)據(jù)技術(shù),在數(shù)據(jù)歸集整合的基礎(chǔ)上,提供數(shù)據(jù)共享、分析、挖掘,
為上層應(yīng)用提供數(shù)據(jù)支撐服務(wù)。
4)軟件服務(wù)層(SAAS)
將所有遷移到云計(jì)算中心的各科研業(yè)務(wù)應(yīng)用進(jìn)行發(fā)布,并根據(jù)新的業(yè)務(wù)需求,
基于平臺(tái)服務(wù)和數(shù)據(jù)服務(wù)開發(fā)新的應(yīng)用,供全警使用。
云主體由四個(gè)服務(wù)層自下而上共同構(gòu)成,提供包括軟硬件、平臺(tái)、數(shù)據(jù)以及
應(yīng)用服務(wù)。
5)云管理體系
由云管理和云運(yùn)維管理等內(nèi)容構(gòu)成,確保資源交付的敏捷性和靈活性,提升
資源的使用效率;提供全網(wǎng)資源的統(tǒng)一運(yùn)維、自動(dòng)監(jiān)控、故障預(yù)警處置等信息化
管理。
2.4采用的關(guān)鍵技術(shù)
云計(jì)算(CloudComputing)是一種通過網(wǎng)絡(luò)統(tǒng)一組織和靈活調(diào)用各種IT資源,
實(shí)現(xiàn)大規(guī)模計(jì)算的信息處理方式。云計(jì)算利用分布式計(jì)算和虛擬資源管理等技術(shù),
通過網(wǎng)絡(luò)將分散的IT資源(包括計(jì)算與存儲(chǔ)、應(yīng)用運(yùn)行平臺(tái)、軟件等)集中起來
形成共享的資源池,并以動(dòng)態(tài)按需和可度量的方式向用戶提供服務(wù)。
云計(jì)算的特點(diǎn)有如下四個(gè)層面:
1)硬件和軟件都是資源,通過網(wǎng)絡(luò)以服務(wù)的方式提供給用戶。
2)資源都可以根據(jù)需要進(jìn)行動(dòng)態(tài)擴(kuò)展和配置。
3)資源在物理上以集中或分布式的方式存在,為云中的用戶所共享,但最終
在邏輯上以單一整體的形式呈現(xiàn)。
4)用戶按需使用云中的資源,按實(shí)際使用量付費(fèi),而不需要對(duì)資源進(jìn)行管理。
虛擬化技術(shù)是云計(jì)算的關(guān)鍵技術(shù)。主要分為:服務(wù)器虛擬化技術(shù)、存儲(chǔ)虛擬
化技術(shù)、網(wǎng)絡(luò)虛擬化技術(shù)。
1)服務(wù)器虛擬化技術(shù)
噢易服務(wù)器虛擬化Vserver平臺(tái),采用業(yè)內(nèi)技術(shù)領(lǐng)先的KVM虛擬化技術(shù),將
系統(tǒng)虛擬化技術(shù)應(yīng)用于服務(wù)器上,讓一臺(tái)服務(wù)器變成幾臺(tái)甚至上百臺(tái)相互隔離的
第11頁(yè)/共47頁(yè)
虛擬服務(wù)器(虛擬機(jī)),而讓CPU、內(nèi)存、磁盤、I/O等硬件資源變成可動(dòng)態(tài)管理,
每個(gè)虛擬機(jī)可安裝不同的操作系統(tǒng)(windows、Linux、UNIX)和應(yīng)用程序,不再
受限于物理設(shè)備限制。
通過噢易虛擬化Vserver可以將研究中心機(jī)房IT環(huán)境改造成為更加強(qiáng)大、更具
彈性、更富有活力的架構(gòu)。通過把多個(gè)操作系統(tǒng)整合到一個(gè)服務(wù)器集群上,最大
化利用硬件平臺(tái)的所有資源,用更少的投入實(shí)現(xiàn)更多的應(yīng)用,還可以簡(jiǎn)化IT架構(gòu),
降低管理資源的難度,避免IT架構(gòu)的非必要擴(kuò)張。
2)云計(jì)算平臺(tái)技術(shù)
噢易云管理平臺(tái)(簡(jiǎn)稱:OE-Cloud)是基于主流的OpenStack云平臺(tái)框架自主
開發(fā),是目前業(yè)內(nèi)最受關(guān)注和支持的一個(gè)開源的基礎(chǔ)架構(gòu)即服務(wù)(laaS)云計(jì)算平
臺(tái)框架,它采用分布式、模塊化架構(gòu)設(shè)計(jì),平臺(tái)具有良好的兼容性和可擴(kuò)展性,
兼容多種異構(gòu)虛擬化平臺(tái),同時(shí)支持功能模塊的按需擴(kuò)展,提供用戶分級(jí)權(quán)限管
理、租戶管理、鏡像管理、實(shí)例管理等,滿足云數(shù)據(jù)中心IT基礎(chǔ)設(shè)施資源的虛擬
化整合,業(yè)務(wù)資源的快速分配、動(dòng)態(tài)擴(kuò)展、自動(dòng)化部署、按需使用量計(jì)費(fèi)、應(yīng)用
級(jí)的高可用性部署等要求,從而為科研云用戶提供按需定制、動(dòng)態(tài)高效、靈活擴(kuò)
展、全面管理、穩(wěn)定可靠的新一代云計(jì)算IT業(yè)務(wù)部署和服務(wù)交付平臺(tái)。
3)存儲(chǔ)虛擬化技術(shù)
噢易云管理平臺(tái)的存儲(chǔ)模塊,支持塊存儲(chǔ)(主流的IPSAN、FCSAN)、對(duì)象
存儲(chǔ)、分布式存儲(chǔ)等多種方式進(jìn)行存儲(chǔ),并能夠把主機(jī)本地硬盤、異構(gòu)SAN存儲(chǔ)、
NAS存儲(chǔ)等通過存儲(chǔ)虛擬化技術(shù)分割成不同的邏輯存儲(chǔ)空間,整合為虛擬存儲(chǔ)池,
由統(tǒng)一界面進(jìn)行集中管理,同時(shí)根據(jù)業(yè)務(wù)性能的實(shí)際使用情況來分配存儲(chǔ)資源和
性能,有利于提升存儲(chǔ)空間資源利用率。
管理云可以通過管理門戶可以管理所有租戶的云硬盤,可以查看云硬盤的規(guī)
格和磁盤類型,將云硬盤掛載給不同的云主機(jī)使用;通過對(duì)云硬盤進(jìn)行快照,可
以實(shí)現(xiàn)磁盤的快速?gòu)?fù)制和復(fù)用,方便快速業(yè)務(wù)部署。
4)網(wǎng)絡(luò)虛擬化技術(shù)
噢易云管理平臺(tái)的網(wǎng)絡(luò)模塊,采用SDN技術(shù),支持虛擬交換機(jī)、路由器、VPN、
端口轉(zhuǎn)發(fā)、負(fù)載均衡等部署,管理維護(hù)人員通過管理門戶,實(shí)現(xiàn)對(duì)全局網(wǎng)絡(luò)的規(guī)
劃和配置,具體包括以下功能:
第12頁(yè)/共47頁(yè)
1)可以修改和配置所有租戶的網(wǎng)絡(luò)
2)配置隔離不同的租戶網(wǎng)絡(luò),保證每個(gè)租戶一個(gè)獨(dú)立的網(wǎng)絡(luò)結(jié)構(gòu)
3)管理和配置租戶與租戶之前的通信和網(wǎng)絡(luò)訪問授權(quán)
4)提供網(wǎng)絡(luò)拓?fù)鋱D,可查看詳細(xì)的網(wǎng)絡(luò)配置
5)實(shí)現(xiàn)虛擬交換機(jī)、虛擬路由、DHCP、VPN、配置共享網(wǎng)絡(luò)等
6)云平臺(tái)支持多種網(wǎng)絡(luò)包括VLAN、VXLAN、GRE等多種網(wǎng)絡(luò)類型,滿足大量
租戶的網(wǎng)絡(luò)流量進(jìn)出的并發(fā),可以支持超過4096個(gè)VLAN,實(shí)現(xiàn)跨區(qū)域、跨數(shù)
據(jù)中心復(fù)雜的網(wǎng)絡(luò)通信。
3一期建設(shè)方案
研究中心大數(shù)據(jù)云平臺(tái)項(xiàng)目的建設(shè)將分期有序推進(jìn),初步計(jì)劃首先完成云平
臺(tái)IT基礎(chǔ)架構(gòu)(IAAS)層的建設(shè)。
3.1建設(shè)目標(biāo)
(一)虛擬化平臺(tái)建設(shè)目標(biāo)
本期大數(shù)據(jù)云平臺(tái)建設(shè)項(xiàng)目,采購(gòu)一批高性能服務(wù)器,通過虛擬化技術(shù)部署
云平臺(tái)基礎(chǔ)資源池,要能夠滿足以下建設(shè)要求:
1、創(chuàng)建不少于25臺(tái)虛擬機(jī)
虛擬化資源池,至少可以創(chuàng)建25臺(tái)配置為4VCPU/8GB內(nèi)存/500GB硬盤的虛
擬機(jī);虛擬機(jī)可以通過標(biāo)準(zhǔn)虛擬機(jī)模板或通過平臺(tái)功能向?qū)нM(jìn)行創(chuàng)建;虛擬機(jī)之
間相互隔離,相互獨(dú)立,可以安裝不同的操作系統(tǒng)(windows、Linux、UNIX)和
應(yīng)用程序。
2、圖形化和動(dòng)態(tài)的虛擬網(wǎng)絡(luò)管理
現(xiàn)有應(yīng)用系統(tǒng)遷移到虛擬化環(huán)境后,要求部署在相同的VLAN內(nèi);虛擬化遷移
后,不改變?cè)形锢碇鳈C(jī)的IP地址等配置;虛擬化平臺(tái)內(nèi)的虛擬交換機(jī)可以進(jìn)行
VLAN、NAT、DHCP等配置,與物理網(wǎng)絡(luò)環(huán)境部署方式一致;可以跨物理服務(wù)器虛
擬交換機(jī)配置VLAN;同一物理主機(jī)上虛擬機(jī)之間的網(wǎng)絡(luò)隔離(支持Vian),確保
應(yīng)用系統(tǒng)相關(guān)的虛擬機(jī)可以劃分到同一個(gè)VLAN;虛擬機(jī)可以配置多塊虛擬網(wǎng)卡,
第13頁(yè)/共47頁(yè)
部署在不同的VLAN和分配不同網(wǎng)段IP地址;
3、虛擬機(jī)的動(dòng)態(tài)遷移
虛擬化平臺(tái)提供虛擬機(jī)的自動(dòng)遷移功能,實(shí)現(xiàn)在計(jì)劃內(nèi)的進(jìn)行服務(wù)器維護(hù)或
跨物理主機(jī)的虛擬機(jī)實(shí)時(shí)遷移時(shí),不需要為這些活動(dòng)安排應(yīng)用服務(wù)器的停機(jī),避
免了服務(wù)中斷。
4、虛擬機(jī)的高可用性
當(dāng)虛擬化平臺(tái)服務(wù)器集群內(nèi)某一臺(tái)物理主機(jī)發(fā)生故障時(shí),運(yùn)行在該物理主機(jī)
上的虛擬機(jī)能夠在短時(shí)間內(nèi)遷移到集群內(nèi)其他物理主機(jī)上,并使用其他物理主機(jī)
上的資源自動(dòng)重啟。
5、資源的動(dòng)態(tài)負(fù)載平衡和彈性分配
提供虛擬化平臺(tái)內(nèi)服務(wù)器集群資源的動(dòng)態(tài)負(fù)載平衡,當(dāng)某物理主機(jī)的負(fù)載達(dá)
到一定程度后,自動(dòng)將高負(fù)載物理服務(wù)器上運(yùn)行的虛擬機(jī)遷移到其它比較空閑的
物理服務(wù)器上。同時(shí)可以根據(jù)業(yè)務(wù)和服務(wù)特點(diǎn),實(shí)現(xiàn)虛擬資源彈性分配和釋放,
滿足業(yè)務(wù)系統(tǒng)發(fā)展對(duì)性能的需求。
6、資源整合,節(jié)省能耗
虛擬化平臺(tái)可以把原先多臺(tái)應(yīng)用服務(wù)器進(jìn)行虛擬化整合,一方面減少了服務(wù)
器數(shù)量,節(jié)省了機(jī)房空間、制冷、能耗等,另一方面減少了管理維護(hù)工作量,同
時(shí)提升了業(yè)務(wù)應(yīng)用的穩(wěn)定性和連續(xù)性;有效地降低了管理運(yùn)維成本。
7、P2V遷移功能(原有已建項(xiàng)目遷移)
虛擬化平臺(tái)能夠把原先運(yùn)行在物理服務(wù)器上的應(yīng)用系統(tǒng),遷移到虛擬化環(huán)境
中,并能夠選擇虛擬機(jī)的資源配置、重新分配新的磁盤空間等。
8、虛擬化管理控制功能(WEB監(jiān)控,便于管理)
整個(gè)虛擬化平臺(tái)能夠提供整體的性能監(jiān)控功能,對(duì)物理服務(wù)器、虛擬機(jī)、虛
擬機(jī)中應(yīng)用資源(CPU、網(wǎng)絡(luò)、磁盤)使用率等指標(biāo)的實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì),并能反映目
前物理機(jī)、虛擬機(jī)、應(yīng)用進(jìn)程的資源瓶頸,方便管理員運(yùn)維和管理;
提供虛擬機(jī)資產(chǎn)管理功能,可查詢虛擬機(jī)中安裝的應(yīng)用詳情(應(yīng)用名稱、版
本、安裝時(shí)間等)以及應(yīng)用升級(jí)、新增、卸載、操作系統(tǒng)補(bǔ)丁變更記錄,并可統(tǒng)
計(jì)虛擬機(jī)應(yīng)用數(shù)量,便于用戶進(jìn)行長(zhǎng)期的統(tǒng)計(jì)分析;
提供多屏集中監(jiān)控虛擬機(jī)中WEB應(yīng)用畫面,并周期刷新,應(yīng)用運(yùn)行故障實(shí)時(shí)
第14頁(yè)/共47頁(yè)
發(fā)現(xiàn),支持全屏查看監(jiān)控web應(yīng)用界面,便于故障及時(shí)定位;同時(shí)提供及時(shí)報(bào)警
工具,可集中查看報(bào)警事件,支持故障報(bào)警通過短信方式傳達(dá)給管理員;
9、存儲(chǔ)故障轉(zhuǎn)移功能
虛擬化存儲(chǔ)資源池采用兩臺(tái)高性能存儲(chǔ)進(jìn)行高可用部署,即一主一備,當(dāng)主
存儲(chǔ)發(fā)生故障時(shí),應(yīng)能自動(dòng)啟用備用存儲(chǔ),確保應(yīng)用的零中斷。
10、其他功能
其他保證虛擬機(jī)正常穩(wěn)定運(yùn)行,實(shí)現(xiàn)零宕機(jī)、零中斷服務(wù)功能。
(二)云管理平臺(tái)建設(shè)目標(biāo)
>采用先進(jìn)的云計(jì)算技術(shù)架構(gòu),結(jié)合創(chuàng)新建設(shè)模式,搭建標(biāo)準(zhǔn)統(tǒng)一、功能完
善、系統(tǒng)穩(wěn)定、安全可靠、縱橫互通、集中統(tǒng)一的基礎(chǔ)設(shè)施IAAS層大數(shù)據(jù)
云平臺(tái),為各實(shí)驗(yàn)室或科研項(xiàng)目組提供虛擬基礎(chǔ)資源服務(wù),將原來部署到
物理機(jī)上的業(yè)務(wù)遷移部署到虛擬機(jī)上,并整合多個(gè)業(yè)務(wù)系統(tǒng);
>通過基礎(chǔ)架構(gòu)云平臺(tái),打通底層資源池,將研究中心所有的硬件資源、虛
擬資源、應(yīng)用資源進(jìn)行互通和整合,實(shí)現(xiàn)對(duì)所有基礎(chǔ)架構(gòu)資源的統(tǒng)一管理、
彈性分配和調(diào)度;
>實(shí)現(xiàn)統(tǒng)一的自助式資源服務(wù)門戶,新增應(yīng)用能夠快速部署到云計(jì)算平臺(tái)上,
縮短新系統(tǒng)上線時(shí)間,預(yù)期將節(jié)省設(shè)備30%,節(jié)約能耗50%;
>解決“信息孤島”,實(shí)現(xiàn)科研信息共享,提高信息安全水平,提升數(shù)據(jù)中
心業(yè)務(wù)監(jiān)管能力和響應(yīng)速度,提高工作效率和實(shí)驗(yàn)水平;
>采用高可用、安全、穩(wěn)定的虛擬化底層架構(gòu);采用成熟先進(jìn)的理念、技術(shù)
和方法,適應(yīng)發(fā)展潮流,考慮擴(kuò)展性,可適應(yīng)未來應(yīng)用變化的OpenStack
云平臺(tái)框架,可支撐超過至少200臺(tái)服務(wù)器的大規(guī)模集群和5000臺(tái)虛擬
主機(jī)規(guī)模;
>平臺(tái)提供完善的網(wǎng)絡(luò)和數(shù)據(jù)安全及冗余保證,通過服務(wù)管理層的擴(kuò)展實(shí)現(xiàn)
支持災(zāi)難恢復(fù)架構(gòu)的IT基礎(chǔ)設(shè)施交付能力;
>減少各實(shí)驗(yàn)室信息化建設(shè)的重復(fù)投入,響應(yīng)國(guó)家節(jié)能環(huán)保政策要求。
(三)遷移現(xiàn)有業(yè)務(wù)系統(tǒng)到云平臺(tái)
完成大數(shù)據(jù)云平臺(tái)基礎(chǔ)架構(gòu)建設(shè)后,需要把現(xiàn)有各科研組的業(yè)務(wù)系統(tǒng)進(jìn)行統(tǒng)
計(jì)、分類、評(píng)估分析后,建立一套嚴(yán)謹(jǐn)?shù)臉I(yè)務(wù)遷移流程,從業(yè)務(wù)系統(tǒng)的數(shù)據(jù)安全、
第15頁(yè)/共47頁(yè)
業(yè)務(wù)涉密、技術(shù)風(fēng)險(xiǎn)、業(yè)務(wù)影響面、業(yè)務(wù)遷移規(guī)模等進(jìn)行評(píng)估,制定遷移計(jì)劃,
從而實(shí)現(xiàn)現(xiàn)有業(yè)務(wù)到大數(shù)據(jù)云平臺(tái)環(huán)境的平滑演進(jìn)。
(四)加強(qiáng)業(yè)務(wù)系統(tǒng)高可用性和安全性
根據(jù)科研業(yè)務(wù)系統(tǒng)的重要性,制定運(yùn)行、服務(wù)和管理安全策略,完善業(yè)務(wù)安
全管理措施,確保物理主機(jī)、網(wǎng)絡(luò)、虛擬機(jī)、應(yīng)用系統(tǒng)、業(yè)務(wù)數(shù)據(jù)等多個(gè)方面的
安全性和可靠性,同時(shí)隨著業(yè)務(wù)增長(zhǎng),資源可以動(dòng)態(tài)擴(kuò)容,滿足科研業(yè)務(wù)系統(tǒng)的
需求,確保大數(shù)據(jù)云平臺(tái)可持續(xù)發(fā)展。
3.2建設(shè)架構(gòu)
根據(jù)本期項(xiàng)目的建設(shè)目標(biāo)和要求,研究中心大數(shù)據(jù)云平臺(tái)項(xiàng)目一期建設(shè)方案
的總體邏輯架構(gòu)圖如下圖所示。整個(gè)科研云管理平臺(tái)架構(gòu)包括基礎(chǔ)設(shè)施虛擬化層、
虛擬化管理平臺(tái)、云運(yùn)營(yíng)管理門戶和用戶自助門戶組成:
研究中心大數(shù)據(jù)云平臺(tái)第一期
運(yùn)營(yíng)人員科研人員組織機(jī)構(gòu)
I
云
管
安
理
全
接
rr支
防
口
平
撐
管
護(hù)
臺(tái)
系
理
體
統(tǒng)
系
OE-CIO
基
存儲(chǔ)資源池網(wǎng)絡(luò)資源池
礎(chǔ)
設(shè)
施____1irr1
層
存儲(chǔ)設(shè)備網(wǎng)絡(luò)、安全設(shè)備
云機(jī)房I裝修I布線I供電I制冷I機(jī)柜I監(jiān)控]消防I防雷接地
大數(shù)據(jù)云平臺(tái)一期邏輯架構(gòu)
1)基礎(chǔ)設(shè)施虛擬化層
第16頁(yè)/共47頁(yè)
研究中心數(shù)據(jù)中心IT基礎(chǔ)設(shè)施;如服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)安全設(shè)備等。
2)虛擬化管理平臺(tái)
包括基礎(chǔ)設(shè)施的虛擬化系統(tǒng)以及資源的管理和維護(hù):計(jì)算資源管理、網(wǎng)絡(luò)資
源管理、存儲(chǔ)資源管理、監(jiān)控分析、負(fù)載均衡、高可用性策略制定等,平臺(tái)對(duì)下
提供精細(xì)化管理,對(duì)上實(shí)現(xiàn)統(tǒng)一界面和業(yè)務(wù)入口。
3)云運(yùn)營(yíng)運(yùn)維門戶
提供統(tǒng)一的管理運(yùn)維入口,管理員定制、調(diào)整用戶資源配額、管理審批流程
以及資源使用統(tǒng)計(jì)分析,計(jì)費(fèi)計(jì)量,報(bào)表分析、財(cái)務(wù)管理等,同時(shí)可以對(duì)資源(云
主機(jī)、云硬盤、網(wǎng)絡(luò)資源)進(jìn)行集中管理維護(hù),云主機(jī)、虛擬機(jī)、物理主機(jī)監(jiān)控
維護(hù),審核用戶訂單、資源分配和調(diào)整、監(jiān)控分析、網(wǎng)絡(luò)配置、報(bào)警異常處理等。
4)用戶自助門戶
用戶可以自助申請(qǐng)資源服務(wù)(云主機(jī)、云硬盤、網(wǎng)絡(luò)等),并自助管理使用。
3.3建設(shè)內(nèi)容
本次研究中心大數(shù)據(jù)云平臺(tái)項(xiàng)目一期建設(shè)內(nèi)容,是在充分利用現(xiàn)有機(jī)房IT信
息化資源的基礎(chǔ)上,采購(gòu)必要的高性能硬件設(shè)備,部署虛擬化軟件和云平臺(tái)管理
軟件,共同構(gòu)建功能較為完整的laaS層科研云基礎(chǔ)服務(wù)平臺(tái)。
首先,利用服務(wù)器虛擬技術(shù)把服務(wù)器、光纖交換機(jī)、存儲(chǔ)和虛擬化軟件構(gòu)建
虛擬資源池;然后,在物理服務(wù)器構(gòu)建的資源池上創(chuàng)建多個(gè)不同的虛擬機(jī),可以
部署不同的操作系統(tǒng),部署不同的業(yè)務(wù)應(yīng)用,每個(gè)虛擬機(jī)之間相互隔離;同時(shí),
利用虛擬軟件的容災(zāi)備份、自動(dòng)遷移、動(dòng)態(tài)資源分配等功能,實(shí)現(xiàn)虛擬機(jī)的零宕
機(jī)、服務(wù)零中斷、服務(wù)資源的負(fù)載均衡等;最后,利用P2V工具,將之前已經(jīng)建
設(shè)的應(yīng)用遷移到虛擬機(jī)上,并保證應(yīng)用正常穩(wěn)定運(yùn)行。
本次大數(shù)據(jù)云平臺(tái)項(xiàng)目建設(shè)完成后,能夠?yàn)檠芯恐行母鞑块T、科研項(xiàng)目組和
研究員提供彈性計(jì)算、負(fù)載均衡、動(dòng)態(tài)遷移、按需供給、自動(dòng)化部署等的IT基礎(chǔ)
設(shè)施云服務(wù),具體建設(shè)內(nèi)容包括以下幾部分:
采購(gòu)內(nèi)容數(shù)量備注
機(jī)房建設(shè)1套包含空調(diào)、機(jī)柜等設(shè)備
高性能服務(wù)器4臺(tái)提供針對(duì)本項(xiàng)目的唯一授權(quán)
第17頁(yè)/共47頁(yè)
光纖交換機(jī)1臺(tái)建議購(gòu)買
與服務(wù)器同一品牌,提供針對(duì)本項(xiàng)目
存儲(chǔ)1臺(tái)
的唯一授權(quán)
操作系統(tǒng)1套根據(jù)實(shí)際需求配套。
云計(jì)算虛擬化
1套
數(shù)據(jù)中心套件
軟硬件設(shè)備安裝與集成1項(xiàng)
應(yīng)用系統(tǒng)遷移1項(xiàng)根據(jù)實(shí)際需求配套。
贈(zèng)送一年運(yùn)維服務(wù)1套
3.3.1硬件基礎(chǔ)設(shè)施擴(kuò)容
研究中心大數(shù)據(jù)云平臺(tái)項(xiàng)目(一期)計(jì)劃采購(gòu)的高性能硬件設(shè)備,包括4臺(tái)
X86高性能服務(wù)器、2臺(tái)統(tǒng)一存儲(chǔ)(一主一備)、1臺(tái)FCSAN光纖交換機(jī)等基礎(chǔ)設(shè)
施設(shè)備,配合虛擬化軟件和云管理軟件共同搭建研究中心大數(shù)據(jù)云平臺(tái),以滿足
研究中心未來2~3年科研應(yīng)用的高性能要求。
3.3.1.1計(jì)算資源池
一期新購(gòu)4臺(tái)4路8核CPU服務(wù)器256GB內(nèi)存高可靠性X86服務(wù)器;其中3
臺(tái)服務(wù)器作為虛擬化資源平臺(tái),1臺(tái)部署云計(jì)算管理平臺(tái);新購(gòu)的高性能物理服務(wù)
器必須保證以下條件:
>4路8核以上高可靠性X86服務(wù)器;
>CPU支持虛擬化技術(shù)和超線程技術(shù);
>256GB內(nèi)存以上;
>2塊以上300GBi0000轉(zhuǎn)SAS熱插拔硬盤;
>4個(gè)以上千兆網(wǎng)絡(luò)口;
>2塊8GB單口FCHBA卡;
服務(wù)器虛擬化后的資源規(guī)劃:考慮20%的冗余
1)X86構(gòu)架服務(wù)器,IntelXeon支持虛擬化技術(shù)和超線程技術(shù);
第18頁(yè)/共47頁(yè)
2)每臺(tái)服務(wù)器虛擬化后可用的邏輯處理器vCPU數(shù)量為3*8*2=48顆邏輯處理
器,3臺(tái)服務(wù)器實(shí)際共可用38*3=115顆vCPU;
3)每臺(tái)物理服務(wù)器如果按照1:10做虛擬化,3臺(tái)服務(wù)器可以虛擬出進(jìn)30臺(tái)
虛擬服務(wù)器,實(shí)用25臺(tái)左右虛擬機(jī)(考慮20%冗余和高可用部署),每臺(tái)虛擬機(jī)
平均可分配4~5顆邏輯處理器(vCPU);
4)如果每臺(tái)虛擬機(jī)平均配置16GB內(nèi)存,那么每臺(tái)物理服務(wù)器內(nèi)存(考慮30%
冗余)可以支持179GB/16GB=11臺(tái)虛擬機(jī)的內(nèi)存需求;
那么以上3臺(tái)虛擬化服務(wù)器基礎(chǔ)上(考慮20%資源冗余和高可用部署后),可
以運(yùn)行25臺(tái)左右的虛擬機(jī),每臺(tái)虛擬機(jī)的平均配置為4vCPU,16G內(nèi)存左右,可
以部署25個(gè)左右的應(yīng)用系統(tǒng),同時(shí)這些資源可以按業(yè)務(wù)實(shí)際情況動(dòng)態(tài)調(diào)整,從而
大大提高資源利用率,降低成本,增強(qiáng)了業(yè)務(wù)系統(tǒng)和應(yīng)用的可用性,提高系統(tǒng)的
靈活性和快速響應(yīng)。
3.3.1.2存儲(chǔ)資源池
一期新購(gòu)2套FCSAN共享存儲(chǔ)(一主一備),主存儲(chǔ)用于存放虛擬機(jī)文件、業(yè)
務(wù)數(shù)據(jù)、和平臺(tái)數(shù)據(jù)庫(kù)文件、及虛擬機(jī)備份文件等;備份存儲(chǔ)用于當(dāng)主存儲(chǔ)發(fā)生
故障時(shí),應(yīng)能自動(dòng)啟用并接替主存儲(chǔ)的提供數(shù)據(jù)服務(wù),確保應(yīng)用的零中斷。選用
的磁盤陣列必須保證:
>雙控制器統(tǒng)一存儲(chǔ)系統(tǒng)
>不少于64GB緩存和8個(gè)8GbFC接口;
>不少于18TBi0KSAS存儲(chǔ)可用容量;
>支持?jǐn)?shù)據(jù)存儲(chǔ)Mirror技術(shù);
共享存儲(chǔ)資源規(guī)劃:考慮20%冗余
1)采用新購(gòu)的一臺(tái)統(tǒng)一存儲(chǔ)設(shè)備,作為虛擬化平臺(tái)的主存儲(chǔ)資源池;另外一
臺(tái)統(tǒng)一存儲(chǔ)作為備份存儲(chǔ),兩個(gè)存儲(chǔ)之間做數(shù)據(jù)同步Mirror配置;
2)構(gòu)建FCSAN的存儲(chǔ)網(wǎng)絡(luò),那么每臺(tái)服務(wù)器都至少配置1塊單口的8GbFCHBA
卡與光纖交換機(jī)相連。
3)新購(gòu)1臺(tái)24口FC光纖交換機(jī),構(gòu)建FCSAN存儲(chǔ),考慮服務(wù)器和存儲(chǔ)接入
端口,至少激活8個(gè)光端口;
第19頁(yè)/共47頁(yè)
4)虛擬化平臺(tái)實(shí)用虛擬機(jī)為25臺(tái),按照30臺(tái)虛擬機(jī)規(guī)劃,如果每臺(tái)虛擬機(jī)
平均分配500GB容量,也可以根據(jù)實(shí)際業(yè)務(wù)應(yīng)用對(duì)硬件的需求,合理分配,那么
共享存儲(chǔ)提供至少15TB容量可用存儲(chǔ)容量和20%的冗余空間,總需求容量約18TB;
3.3.1.3網(wǎng)絡(luò)資源池
整個(gè)研究中心大數(shù)據(jù)云平臺(tái)的網(wǎng)絡(luò)資源池分為管理網(wǎng)絡(luò)、業(yè)務(wù)網(wǎng)絡(luò)、租戶網(wǎng)
絡(luò)和存儲(chǔ)網(wǎng)絡(luò);所有網(wǎng)絡(luò)物理層設(shè)備均采用安全、高速的設(shè)計(jì)規(guī)劃原則,最大化
保障業(yè)務(wù)系統(tǒng)的安全可靠運(yùn)行:
>管理網(wǎng)絡(luò):連接所有的節(jié)點(diǎn)服務(wù)器,同時(shí)需要連接到用戶的管理網(wǎng)絡(luò)中,
供管理員訪問。
>業(yè)務(wù)網(wǎng)絡(luò):一方面需要連接網(wǎng)絡(luò)節(jié)點(diǎn)服務(wù)器,另一方面需要通過防火墻上
連到業(yè)務(wù)網(wǎng)絡(luò)中,如果提供外部服務(wù),則需要連到Internet。
>租戶網(wǎng)絡(luò):需要連接所有的網(wǎng)絡(luò)節(jié)點(diǎn)服務(wù)器和計(jì)算節(jié)點(diǎn)服務(wù)器。
>存儲(chǔ)網(wǎng)絡(luò):用于連接計(jì)算節(jié)點(diǎn)和存儲(chǔ)設(shè)備,建議使用FCSAN存儲(chǔ)網(wǎng)絡(luò),每
臺(tái)計(jì)算節(jié)點(diǎn)使用一塊單口光纖卡通過光纖交換機(jī)連接到存儲(chǔ)上,可配置多
路徑保證了數(shù)據(jù)傳輸安全。
3.3.2虛擬化平臺(tái)
服務(wù)器虛擬化技術(shù)是整個(gè)大數(shù)據(jù)云平臺(tái)基礎(chǔ)資源平臺(tái)的核心技術(shù),采用噢易
VServer虛擬化軟件,通過虛擬化技術(shù)對(duì)硬件基礎(chǔ)資源進(jìn)行整合,形成一個(gè)對(duì)外提
供對(duì)資源的池化管理(包括網(wǎng)絡(luò)池、服務(wù)器池、存儲(chǔ)池等),同時(shí)通過云管理平臺(tái),
對(duì)外提供運(yùn)行環(huán)境等基礎(chǔ)服務(wù),包括對(duì)平臺(tái)所有虛擬資源(平臺(tái)資源和租戶資源)
進(jìn)行全面管控,可以進(jìn)行虛擬機(jī)生命周期管理、鏡像管理、模板管理、存儲(chǔ)資源
管理、虛擬網(wǎng)絡(luò)資源管理、虛擬機(jī)的資源調(diào)整、動(dòng)態(tài)遷移、快照恢復(fù)、虛擬機(jī)狀
態(tài)監(jiān)控分析等操作,從而實(shí)現(xiàn)虛擬資源的動(dòng)態(tài)分配、部署和回收,按需彈性資源
擴(kuò)展,以及自動(dòng)化管理,改善n■資源的使用效率和管理能力。
第20頁(yè)/共47頁(yè)
3.3.2.1虛擬化平臺(tái)部署架構(gòu)圖
主存儲(chǔ)備份存儲(chǔ)
虛擬化平臺(tái)部署架構(gòu)圖
332.2資源整合,構(gòu)建虛擬化IT資源池
通過噢易Vserver服務(wù)器虛擬化技術(shù),將采用新購(gòu)的2臺(tái)服務(wù)器部署虛擬化平
臺(tái),其中1臺(tái)做虛擬化資源管理平臺(tái)(可以創(chuàng)建虛擬機(jī)),1臺(tái)作為虛擬化資源,
另外考慮與云平臺(tái)的1臺(tái)服務(wù)器資源進(jìn)行整合,這3臺(tái)物理服務(wù)器虛擬成25個(gè)左
右的虛擬服務(wù)器(虛擬機(jī)),虛擬機(jī)之間互相獨(dú)立,互不影響,每個(gè)虛擬機(jī)可安裝
不同的操作系統(tǒng),包括windows、Linux、Unix系列常用操作系統(tǒng)(如:應(yīng)用服務(wù)
器使用windows2003系統(tǒng)),滿足研究中心科研應(yīng)用的需求。
第21頁(yè)/共47頁(yè)
根據(jù)科研項(xiàng)目特點(diǎn)按需規(guī)劃分配資源
根據(jù)研究中心現(xiàn)有科研應(yīng)用系統(tǒng)(如:數(shù)據(jù)庫(kù)服務(wù)、應(yīng)用服務(wù)等)特點(diǎn),評(píng)
估每個(gè)業(yè)務(wù)所需的資源大小,按需規(guī)劃每個(gè)虛擬機(jī)的資源(CPU、內(nèi)存、容量、網(wǎng)
絡(luò)),合理劃分資源,將物理服務(wù)器資源利用率最大化。
數(shù)據(jù)集中存儲(chǔ),保障應(yīng)用數(shù)據(jù)安全
虛擬化平臺(tái)中,所有虛擬機(jī)中的應(yīng)用數(shù)據(jù)都保存在共享存儲(chǔ)設(shè)備中,支持ISCSK
FC、NFS、CIFS多種存儲(chǔ)設(shè)備,兼容主流廠商的各類存儲(chǔ)設(shè)備;
數(shù)據(jù)的集中存儲(chǔ),確保了數(shù)據(jù)的安全穩(wěn)定,也方便故障遷移,無需再為每個(gè)
業(yè)務(wù)做雙控模式災(zāi)備,減少了服務(wù)器資源,只需集中備份存儲(chǔ)設(shè)備即可;
統(tǒng)一存儲(chǔ)資源池,支持?jǐn)?shù)據(jù)分層處理功能,針對(duì)虛擬機(jī)部署的業(yè)務(wù)特點(diǎn)和性
能要求,可以分配不同的磁盤介質(zhì)類型(如SSD數(shù)據(jù)緩存、SAS熱數(shù)據(jù)盤、NL-SAS
近線數(shù)據(jù)盤、SATA備份盤等)和設(shè)置磁盤I。大小值,從而提高業(yè)務(wù)集中的請(qǐng)響應(yīng)
速度。
全中文、圖形化的遠(yuǎn)程集中管理門戶
為管理員提供全中文的、圖形化的集中統(tǒng)一WEB管理門戶,界面功能清晰直
觀、操作簡(jiǎn)單、無需專業(yè)知識(shí)和技能培訓(xùn),就可實(shí)現(xiàn)數(shù)據(jù)中心虛擬資源的集中管
理和日常維護(hù)等操作,包括動(dòng)態(tài)調(diào)度所有資源,包括服務(wù)器管理、虛擬機(jī)生命周
第22頁(yè)/共47頁(yè)
期管理、存儲(chǔ)管理、網(wǎng)絡(luò)管理,以及平臺(tái)監(jiān)控策略、報(bào)警策略,事件告警等,不
用去機(jī)房也能實(shí)現(xiàn)遠(yuǎn)程的運(yùn)維。
3.3.Z.6根據(jù)角色劃分相應(yīng)的管理和資源使用權(quán)限
虛擬化平臺(tái)支持多管理員,可以通過權(quán)限控制,將數(shù)據(jù)中心的管理權(quán)限下發(fā)
到各個(gè)下級(jí)單位。
1)超級(jí)管理員可以管理多個(gè)用戶(管理員用戶);
2)可以根據(jù)其崗位定制可以管理的資源池、主機(jī)、虛擬機(jī)業(yè)務(wù)范圍,不同區(qū)
域管理員只能看見自己管轄范圍內(nèi)的資源;
3)可以定制不同區(qū)域管理員能執(zhí)行的操作,例如全部網(wǎng)絡(luò)規(guī)劃授權(quán)給“網(wǎng)絡(luò)
管理員”、高可用性的策略配置只能給超級(jí)管理員執(zhí)行等;
4)管理和維護(hù)應(yīng)用系統(tǒng)的人員,可以授權(quán)只讓看見他有權(quán)限操作的虛擬機(jī),
即使多個(gè)人員所屬一個(gè)資源池,一臺(tái)主機(jī),互相也不能看見對(duì)方的業(yè)務(wù),更不能
操作,管理和操作權(quán)限細(xì)化到虛擬機(jī)粒度。
3.3.2.7可視化全局網(wǎng)絡(luò)拓?fù)鋱D
動(dòng)態(tài)發(fā)現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)鋱D,可查看詳細(xì)的網(wǎng)絡(luò)配置(IP地址、VLAN、網(wǎng)
段)和連接狀態(tài),以及網(wǎng)絡(luò)連接關(guān)系
一級(jí):物理網(wǎng)絡(luò)拓?fù)洌?/p>
二級(jí):?jiǎn)蝹€(gè)節(jié)點(diǎn)內(nèi)虛擬網(wǎng)絡(luò)拓?fù)鋱D;
能夠快速查看全局網(wǎng)絡(luò)拓?fù)鋱D和網(wǎng)絡(luò)配置;及排查虛擬數(shù)據(jù)中心網(wǎng)絡(luò)故障,
定位分析。
3.3.2.8虛擬機(jī)可以實(shí)現(xiàn)動(dòng)態(tài)遷移
虛擬化平臺(tái)支持將虛擬機(jī)業(yè)務(wù)在正常運(yùn)行過程中,將虛擬機(jī)從一臺(tái)物理服務(wù)
器遷移到另一臺(tái)物理服務(wù)器上。在遷移過程中,虛擬機(jī)里的操作系統(tǒng)以及應(yīng)用持
續(xù)運(yùn)行,不會(huì)被中斷。
第23頁(yè)/共47頁(yè)
3.329業(yè)務(wù)高可用性、連續(xù)性保障
物理服務(wù)器故障(硬件損壞、異常報(bào)錯(cuò)、無法啟動(dòng)等),可在線實(shí)時(shí)將虛擬機(jī)
遷移到另一臺(tái)服務(wù)器上,不中斷虛擬機(jī)中運(yùn)行的業(yè)務(wù),保證訪問應(yīng)用的連續(xù)性。
硬件擴(kuò)容、檢修,可遷移虛擬機(jī)至其它服務(wù)器上,維護(hù)工作完成后再遷移回
來,消除維護(hù)導(dǎo)致的長(zhǎng)時(shí)間停機(jī)。
0高峰期業(yè)務(wù)和資源負(fù)載均衡
高峰期,充分利用多臺(tái)主機(jī)資源支撐一個(gè)業(yè)務(wù)運(yùn)行計(jì)算,減少堵塞和宕機(jī)
在業(yè)務(wù)訪問高峰時(shí)段,通過應(yīng)用負(fù)載均衡,創(chuàng)建多個(gè)虛擬機(jī)共同承載并發(fā)訪
問量大的業(yè)務(wù)(如:某WEB服務(wù)),并根據(jù)虛擬機(jī)優(yōu)先級(jí),讓其訪問優(yōu)先獲得計(jì)算
資源,實(shí)現(xiàn)高負(fù)荷業(yè)務(wù)的負(fù)載均衡。
提供數(shù)據(jù)中心資源動(dòng)態(tài)調(diào)度(DynamicResourceScheduler,DRS),通過集群負(fù)
載均衡,持續(xù)的平衡主機(jī)容量,將虛擬機(jī)遷移到有足夠資源的主機(jī)上。
1WEB應(yīng)用監(jiān)控
多級(jí)監(jiān)控:提供物理服務(wù)器監(jiān)控、虛擬機(jī)監(jiān)控,以及應(yīng)用層3級(jí)別監(jiān)控,可
實(shí)時(shí)分析單個(gè)虛擬機(jī)中運(yùn)行業(yè)務(wù)和系統(tǒng)所耗掉的資源(CPU、內(nèi)存等)比例,方便
管理員定位分析能耗占用高的業(yè)務(wù),并進(jìn)行針對(duì)性優(yōu)化(如:優(yōu)化配置、數(shù)據(jù)庫(kù)
打補(bǔ)丁、內(nèi)存釋放等),從而釋放服務(wù)器性能來提升業(yè)務(wù)運(yùn)行和響應(yīng)時(shí)間。
WEB應(yīng)用畫面監(jiān)控:多屏集中監(jiān)控虛擬機(jī)中WEB應(yīng)用畫面,并周期刷新,應(yīng)
用運(yùn)行故障實(shí)時(shí)發(fā)現(xiàn),支持單個(gè)web應(yīng)用界面全屏查看。
2應(yīng)用P2V遷移
P2V指將物理服務(wù)器上業(yè)務(wù)遷移至虛擬機(jī)中運(yùn)行o一般需要借助P2V遷移工具
完成,可以遷移windows和Linux操作系統(tǒng)。在遷移過程中需要注意物理機(jī)磁盤大
小、個(gè)數(shù)、分區(qū)使用情況,以及磁盤類型一致性等問題。
一般常用的windowsP2V流程如下:
第24頁(yè)/共47頁(yè)
在物理服務(wù)器上安■!使用工具將所有磁行黑:賺成日聯(lián)翦1制靛皤靛
裝P2V遷移工具R盤數(shù)據(jù)備份成鏡像qcow/,恒風(fēng)上m工說[家原中■虛擬機(jī)
3虛擬機(jī)備份和恢復(fù)
通過復(fù)制虛擬機(jī)、保存操作系統(tǒng)和應(yīng)用的鏡像模板、快照等多種方式備份虛
擬機(jī);針對(duì)一臺(tái)服務(wù)器運(yùn)行多個(gè)應(yīng)用系統(tǒng),可能會(huì)出現(xiàn)服務(wù)器宕機(jī)導(dǎo)致的業(yè)務(wù)中
斷問題,虛擬環(huán)境中的業(yè)務(wù)可以做到快速備份與恢復(fù),保障系統(tǒng)安全。
可以遠(yuǎn)程虛擬機(jī)在線創(chuàng)建快照,備份辦公業(yè)務(wù)系統(tǒng)正常運(yùn)行數(shù)據(jù);當(dāng)虛擬服務(wù)
器報(bào)錯(cuò)影響業(yè)務(wù)正常運(yùn)行時(shí),可快速恢復(fù),避免系統(tǒng)故障帶來的辦公業(yè)務(wù)中斷。
4應(yīng)用資產(chǎn)管理和統(tǒng)計(jì)
資源匯總:匯總統(tǒng)計(jì)數(shù)據(jù)中心所有服務(wù)器的CPU、內(nèi)存、存儲(chǔ)的總體個(gè)數(shù)容
量和使用詳細(xì),采用圖表統(tǒng)計(jì)分析。
運(yùn)行狀態(tài)匯總:匯總統(tǒng)計(jì)數(shù)據(jù)中心所有服務(wù)器(運(yùn)行、離線)、所有虛擬機(jī)運(yùn)
行的狀態(tài)(運(yùn)行、停止、異常等),以及存儲(chǔ)的連接狀態(tài),采用圖表分析。
運(yùn)行組件和服務(wù)統(tǒng)計(jì):統(tǒng)計(jì)數(shù)據(jù)中心資源池、服務(wù)器、虛擬機(jī)、快照、應(yīng)用
程序、鏡像、存儲(chǔ)、網(wǎng)絡(luò)配置(VLAN、虛擬機(jī)交換機(jī)、NAT等)、負(fù)載均衡等各個(gè)
運(yùn)行服務(wù)和組件的個(gè)數(shù),可鏈接查看詳細(xì)。
應(yīng)用資產(chǎn)管理:可集中查詢每個(gè)虛擬機(jī)中運(yùn)行業(yè)務(wù)的詳細(xì)和變更記錄,方便
IT管理員針對(duì)不同單位部署和托管的業(yè)務(wù)和網(wǎng)站服務(wù),進(jìn)行統(tǒng)一跟蹤,服務(wù)器上
無需再貼標(biāo)簽來區(qū)分搭建的業(yè)務(wù)。
5安全管理和審計(jì)
在虛擬機(jī)級(jí)別,提供隔離保護(hù),每一個(gè)虛擬機(jī)發(fā)生故障,網(wǎng)絡(luò)受到攻擊無法
訪問,不會(huì)影響同一個(gè)物理機(jī)上的其它虛擬機(jī)正常運(yùn)行;
提供對(duì)“系統(tǒng)管理程序”(Hypervisor)安全性保護(hù)機(jī)制,管理員通過制定的增
強(qiáng)訪問控制策略管理訪問,強(qiáng)制訪問控制通過對(duì)系統(tǒng)所有對(duì)象進(jìn)行安全敏感性標(biāo)
記,每個(gè)程序僅能按預(yù)定義的規(guī)則,對(duì)特定的資源進(jìn)行操作。由于用戶不能直接
第25頁(yè)/共47頁(yè)
改變強(qiáng)制訪問控制屬性,提供了更強(qiáng)的安全保護(hù)層,防止某個(gè)應(yīng)用遭攻擊后,對(duì)
系統(tǒng)其它程序造成進(jìn)一步的破壞;分類統(tǒng)計(jì)攔截的訪問次數(shù)。
6事件日志、故障報(bào)警
>操作記錄:記錄所有管理員操作平臺(tái)的詳細(xì)記錄,包括對(duì)存儲(chǔ)、主機(jī)、虛擬機(jī)
管理、業(yè)務(wù)的部署、網(wǎng)絡(luò)的配置、策略的配置、系統(tǒng)的設(shè)置等所有功能操作都
可查詢。
>告警記錄:記錄平臺(tái)所有服務(wù)和運(yùn)行組件的異常告警和錯(cuò)誤日志。
>登錄記錄:記錄所有管理員的登錄平臺(tái)的時(shí)間的退出時(shí)間,可將維護(hù)管理記錄
歸屬到人。
>平臺(tái)運(yùn)行記錄:記錄平臺(tái)的系統(tǒng)(如:服務(wù)、主機(jī))運(yùn)行日志,系統(tǒng)故障可定
位分析。
>故障報(bào)警:系統(tǒng)故障、業(yè)務(wù)故障可以配置以郵件方式、或者手機(jī)短信方式發(fā)送
到管理員手機(jī),過濾重要消息進(jìn)行推送,方便管理員第一時(shí)間進(jìn)行處理。
3.3.3云管理平臺(tái)
研究中心大數(shù)據(jù)云平臺(tái)的云管理平
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024-2025學(xué)年新教材高中歷史第三單元遼宋夏金多民族政權(quán)的并立與元朝的統(tǒng)一第11課遼宋夏金元的經(jīng)濟(jì)與社會(huì)梯度作業(yè)含解析新人教版必修中外歷史綱要上
- 2025樣板間裝修合同書格式模板
- 2025年長(zhǎng)沙貨運(yùn)從業(yè)資格證考試題目及答案大全
- 2025年貴陽貨運(yùn)從業(yè)資格證考試題目和答案
- 2025年南昌模擬考貨運(yùn)從業(yè)資格
- 中國(guó)承接導(dǎo)軌項(xiàng)目投資可行性研究報(bào)告
- 上海現(xiàn)代化工職業(yè)學(xué)院《通訊數(shù)據(jù)獲取與分析》2023-2024學(xué)年第一學(xué)期期末試卷
- 2025土石方運(yùn)輸合同范文
- 2025設(shè)計(jì)委托合同
- 上海思博職業(yè)技術(shù)學(xué)院《嵌入式應(yīng)用開發(fā)》2023-2024學(xué)年第一學(xué)期期末試卷
- 部編版語文四年級(jí)上冊(cè)普羅米修斯教學(xué)反思(兩篇)
- 默納克電梯故障代碼(珍藏版)
- 中國(guó)臺(tái)灣茂迪MT4090 LCR測(cè)試儀 數(shù)字式電橋
- 【課件】第三章+第四節(jié)+配合物與超分子高二化學(xué)人教版(2019)選擇性必修2
- 高速鐵路客運(yùn)乘務(wù)的畢業(yè)四篇
- 生理學(xué)基礎(chǔ)(第4版)第十一章 內(nèi)分泌電子課件 中職 電子教案
- 換熱器的傳熱系數(shù)K
- GB/T 20221-2006無壓埋地排污、排水用硬聚氯乙烯(PVC-U)管材
- GA/T 1922-2021法庭科學(xué)疑似毒品中8種芬太尼類物質(zhì)檢驗(yàn)氣相色譜和氣相色譜-質(zhì)譜法
- 五年級(jí)道德與法治上冊(cè)全冊(cè)知識(shí)點(diǎn)考點(diǎn)歸納整理及期末
- XX市XX學(xué)校食堂管理工作匯報(bào)材料
評(píng)論
0/150
提交評(píng)論