版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、大型企業(yè)云根底架構(gòu)建設(shè)思路探討議程1企業(yè)私有云開(kāi)展概述2軟件定義的云根底架構(gòu)3軟件定義能力的載體 - 云管理平臺(tái)2云計(jì)算和去IOE:后續(xù)10年企業(yè)IT主要趨勢(shì)近幾年,互聯(lián)網(wǎng)云計(jì)算風(fēng)起云涌,以此同時(shí),國(guó)內(nèi)企業(yè)IT去IOE化已逐漸成為主要格局。因此,傳統(tǒng)企業(yè)IT在經(jīng)過(guò)過(guò)去20年信息化開(kāi)展后,必將在新格局和新技術(shù)的推動(dòng)下迎來(lái)新的開(kāi)展方向。IT趨勢(shì)國(guó)內(nèi)趨勢(shì)傳統(tǒng)企業(yè)IT已具有規(guī)?;?021年,中國(guó)IT市場(chǎng)規(guī)模已經(jīng)到達(dá)1,700億美元;躍居全球第二大市場(chǎng)。以此同時(shí),從2021年到2021年,預(yù)計(jì)伴隨國(guó)內(nèi)DGP的7.3%的增速,中國(guó)IT市場(chǎng)規(guī)模將會(huì)進(jìn)一步擴(kuò)大。云計(jì)算開(kāi)始落地傳統(tǒng)企業(yè):運(yùn)營(yíng)商、金融行業(yè)和大型央
2、企等在前幾年虛擬化根底上,向“資源池大踏步邁進(jìn)軟件定義的云華為、浪潮和聯(lián)想等國(guó)內(nèi)企業(yè)在X86服務(wù)器領(lǐng)域的產(chǎn)品和技術(shù)日趨成熟IBM聯(lián)手谷歌、Mellanox、英偉達(dá)及泰安電腦成立OpenPower聯(lián)盟。國(guó)內(nèi)互聯(lián)網(wǎng)技術(shù)聯(lián)盟由“BAT”(百度、阿里巴巴和騰訊)三家推動(dòng)的天蝎項(xiàng)目推出整機(jī)柜服務(wù)器方案。軟件重構(gòu)的云全球互聯(lián)網(wǎng)云計(jì)算發(fā)展包括國(guó)外的Google、Amazon、Microsoft Azure、Saleforce在內(nèi)的互聯(lián)網(wǎng)廠(chǎng)商都在大力發(fā)展云計(jì)算新業(yè)務(wù)、新模式和新技術(shù)。Facebook倡導(dǎo)開(kāi)放計(jì)算平臺(tái)開(kāi)放計(jì)算項(xiàng)目(Open Compute Project)是Facebook倡導(dǎo)的旨在適合規(guī)模化數(shù)
3、據(jù)中心滿(mǎn)足硬件可擴(kuò)展性和相匹配包括能源和制冷需求基礎(chǔ)設(shè)施設(shè)計(jì)。3傳統(tǒng)企業(yè)信息化架構(gòu)何去何從?面對(duì)云計(jì)算的轉(zhuǎn)型,傳統(tǒng)企業(yè)經(jīng)過(guò)過(guò)去20年的信息化建設(shè),已經(jīng)具備一定的成熟度和規(guī)模;另一方面這些年互聯(lián)網(wǎng)興起的技術(shù)創(chuàng)新不斷推動(dòng)變革;企業(yè)需要考慮自身的云計(jì)算路線(xiàn)圖。革命.改進(jìn)架構(gòu)虛擬化大規(guī)模虛擬化資源池形成共享應(yīng)用與資源脫鉤改變傳統(tǒng)應(yīng)用豎井,應(yīng)用與資源解耦軟件定義交付按需軟件定義的應(yīng)用環(huán)境交付軟件重構(gòu)分布式操作系統(tǒng)、非關(guān)系型數(shù)據(jù)庫(kù)硬件重構(gòu)超大規(guī)模模塊化硬件設(shè)計(jì)應(yīng)用重構(gòu)應(yīng)用性能以資源橫向擴(kuò)展實(shí)現(xiàn)4互聯(lián)網(wǎng)云計(jì)算的開(kāi)展推進(jìn)軟件重構(gòu)互聯(lián)網(wǎng)是云計(jì)算的最正確實(shí)踐者;對(duì)自身業(yè)務(wù)和底層資源進(jìn)行對(duì)象化封裝;實(shí)現(xiàn)松耦合和按需
4、組裝適配;突破在建設(shè)期確定所有資源,支持運(yùn)行時(shí)持續(xù)資源重構(gòu);結(jié)合自身業(yè)務(wù)應(yīng)用特點(diǎn)對(duì)傳統(tǒng)軟件進(jìn)行顛覆重構(gòu),實(shí)現(xiàn)應(yīng)用、資源的超規(guī)模擴(kuò)展。技術(shù)本質(zhì)軟件重構(gòu)互聯(lián)網(wǎng)針對(duì)自身業(yè)務(wù)應(yīng)用系統(tǒng)的特性非實(shí)時(shí)性、大規(guī)模數(shù)據(jù)等特征對(duì)根底軟件進(jìn)行重構(gòu),涉及分布式操作系統(tǒng)、非結(jié)構(gòu)化數(shù)據(jù)庫(kù)和大規(guī)模的文件系統(tǒng)等。以上都是對(duì)傳統(tǒng)軟件的顛覆和重構(gòu)。軟件重構(gòu)的核心特征:實(shí)現(xiàn)了分布式操作系統(tǒng),封裝了適合分布式環(huán)境的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)庫(kù)效勞;在上層封裝了業(yè)務(wù)組件,同時(shí)提供業(yè)務(wù)組件對(duì)根底資源的要求;能夠通過(guò)定義的方式,對(duì)根底軟件環(huán)境,軟件運(yùn)行環(huán)境在效勞交付階段依據(jù)客戶(hù)需求進(jìn)行定制化的交付能力,改變了傳統(tǒng)的根底軟件環(huán)境在安裝建設(shè)階段通過(guò)
5、安裝部署進(jìn)行固化的套路,而在運(yùn)維期能夠提供修改的空間是非常有限的。5軟件定義數(shù)據(jù)中心概述軟件定義的數(shù)據(jù)中心SDDC是一種針對(duì)IT根底設(shè)施一種架構(gòu)方法,擴(kuò)展虛擬化的概念,抽象,資源池化和自動(dòng)化所有數(shù)據(jù)中心的資源和效勞,實(shí)現(xiàn)IT即效勞。在軟件定義的數(shù)據(jù)中心,“計(jì)算,存儲(chǔ),網(wǎng)絡(luò),平安和可用性效勞被聚集,以軟件交付,并通過(guò)智能的,策略驅(qū)動(dòng)的軟件進(jìn)行管理。軟件定義的數(shù)據(jù)中心通常被認(rèn)為作為彈性,高效的云計(jì)算的必要根底設(shè)施根底和支撐。定義軟件定義數(shù)據(jù)中心由虛擬化開(kāi)展而來(lái),概念源于軟件定義網(wǎng)絡(luò)(SDN),目前還處于初期階段。軟件定義的數(shù)據(jù)中心在2021年由當(dāng)時(shí)的VMware首席技術(shù)官史蒂夫Herrod提出,并
6、成為當(dāng)年?計(jì)算機(jī)經(jīng)銷(xiāo)商新聞? 2021年度十大數(shù)據(jù)中心故事。起源許多廠(chǎng)商,包括VMware都在積極開(kāi)發(fā)軟件定義數(shù)據(jù)中心的方法論其他廠(chǎng)商,正在開(kāi)發(fā)實(shí)現(xiàn)SDDC的組件和標(biāo)準(zhǔn),如Cisco, Ctrix, Dell, HP, IBM, BMC等.大型效勞提供商,如亞馬遜能夠通過(guò)自動(dòng)化帶來(lái)的效率受益,被認(rèn)為是最有可能全面部署軟件定義的數(shù)據(jù)中心的組織開(kāi)展軟件定義的數(shù)據(jù)中心,包含針對(duì)三類(lèi)資源的定義:計(jì)算資源SDC網(wǎng)絡(luò)資源SDN存儲(chǔ)資源SDS三類(lèi)非功能性需求:管理自動(dòng)化高度靈活性業(yè)務(wù)彈性和快速恢復(fù)特征注:摘自?維基百科?6下一代企業(yè)私有云架構(gòu)路線(xiàn)圖傳統(tǒng)豎井式資源組應(yīng)用驅(qū)動(dòng)IT架構(gòu)應(yīng)用與架構(gòu)綁定高端小型機(jī)高端
7、存儲(chǔ)以應(yīng)用劃分的虛擬化實(shí)踐應(yīng)用劃分架構(gòu)應(yīng)用與資源綁定應(yīng)用決定架構(gòu)選型實(shí)施虛擬化局部實(shí)施虛擬化無(wú)虛擬化標(biāo)準(zhǔn)無(wú)統(tǒng)一設(shè)計(jì)大規(guī)模虛擬化共享資源池統(tǒng)一虛擬化資源池設(shè)計(jì)X86虛擬化存儲(chǔ)虛擬化網(wǎng)絡(luò)虛擬化共享資源池應(yīng)用與資源脫鉤應(yīng)用資源動(dòng)態(tài)綁定資源多租戶(hù)共享資源多租戶(hù)共享混合、異構(gòu)、共存的軟件定義架構(gòu)傳統(tǒng)高端資源池小型機(jī)高端存儲(chǔ)大型關(guān)系型數(shù)據(jù)庫(kù)大規(guī)模虛擬化池X86虛擬化存儲(chǔ)虛擬化網(wǎng)絡(luò)虛擬化互聯(lián)網(wǎng)化資源池X86服務(wù)器本地存儲(chǔ)下一代企業(yè)私有云架構(gòu)路線(xiàn)圖企業(yè)架構(gòu)的云計(jì)算路線(xiàn)圖,將經(jīng)歷從傳統(tǒng)豎井式資源組,到以應(yīng)用劃分的虛擬化實(shí)踐,在經(jīng)歷大規(guī)模虛擬化共享資源池,最后到達(dá)下一代企業(yè)架構(gòu)混合、異構(gòu)、共存的三種資源池和軟件定
8、義架構(gòu)。7混合架構(gòu)和軟件定義是下一代企業(yè)架構(gòu)的核心特征盡管不能照搬互聯(lián)網(wǎng)的方案,但是傳統(tǒng)企業(yè)在整合自身現(xiàn)有的傳統(tǒng)異構(gòu)、復(fù)雜的根底架構(gòu)環(huán)境的根底上,需要進(jìn)一步提升軟件定義應(yīng)用環(huán)境交付能力,通過(guò)統(tǒng)一開(kāi)發(fā)開(kāi)平臺(tái),封裝統(tǒng)一的IT組件,如平安、授權(quán)、流程等,類(lèi)似PaaS效勞能力。企業(yè)混合云軟件定義交付應(yīng)用環(huán)境硬件資源具備軟件定義能力與應(yīng)用脫鉤標(biāo)準(zhǔn)化、滿(mǎn)配云平臺(tái)效勞封裝統(tǒng)一運(yùn)營(yíng)流異構(gòu)資源封裝和集成資源可視化和容量管理支持多租戶(hù)多部門(mén)、多數(shù)據(jù)中心運(yùn)營(yíng)管理集成管理流程PLMERPOA01011010CRM資源服務(wù)資源服務(wù)開(kāi)發(fā)平臺(tái)、應(yīng)用運(yùn)行平臺(tái)資源API資源API資源API資源API云平臺(tái)軟件定義(資源與服務(wù)、
9、應(yīng)用脫鉤;按需配置組裝交付)根底架構(gòu)效勞企業(yè)應(yīng)用系統(tǒng)傳統(tǒng)基礎(chǔ)架構(gòu)軟件定義的云互聯(lián)網(wǎng)架構(gòu)8議程1企業(yè)私有云開(kāi)展概述2軟件定義的云根底架構(gòu)3軟件定義能力的載體 - 云管理平臺(tái)2.1 概述2.2 計(jì)算池2.3 存儲(chǔ)池2.4 網(wǎng)絡(luò)支撐2.5 企業(yè)私有云建設(shè)的根底R(shí)2IA9Autonomy效勞器VLAN1交付單元交付單元交付單元VMVMVMVMVMVMVMVMVMVMVMVMVMVM云平臺(tái)裝配引擎空分區(qū)空分區(qū)F5VM空閑資源業(yè)務(wù)終端VMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVM空分區(qū)空分區(qū)空分區(qū)空分區(qū)空閑效勞器RTX效勞器DBDBVMVMVMVMVMVMVMVMVMVMVMVMWebL
10、ogic Portal ServerWebLogic ServerVLAN2VLAN3VLAN4云化數(shù)據(jù)中心例如RAC概述根據(jù)業(yè)務(wù)需求的差異,不同應(yīng)用可以通過(guò)裝配引擎配置不同的計(jì)算資源虛擬機(jī)、物理機(jī)或小型機(jī)資源、網(wǎng)絡(luò)資源和存儲(chǔ)資源。應(yīng)用一應(yīng)用二應(yīng)用三應(yīng)用四X86虛擬池?cái)?shù)據(jù)庫(kù)池X86物理池存儲(chǔ)池10資源池管理能力:大型私有云的管理資源池結(jié)構(gòu)說(shuō)明概述軟件定義的企業(yè)私有云,在根底架構(gòu)按照云的方式改造、應(yīng)用和數(shù)據(jù)庫(kù)根本不需要改造的情況下能夠?qū)崿F(xiàn)行業(yè)內(nèi)對(duì)云計(jì)算的期許。數(shù)據(jù)中心機(jī)房1機(jī)房2計(jì)算資源池1計(jì)算資源池2存儲(chǔ)資源池計(jì)算資源池3計(jì)算資源池4私有云特征企業(yè)私有云-IaaS企業(yè)私有云-PaaS計(jì)算資源存
11、儲(chǔ)資源與應(yīng)用解耦單個(gè)數(shù)據(jù)中心或同城災(zāi)備的數(shù)據(jù)中心內(nèi)資源可以自由調(diào)度自由調(diào)度資源匹配應(yīng)用需求全局資源利用率最正確應(yīng)用性能得到保障關(guān)系型數(shù)據(jù)庫(kù)池分布式數(shù)據(jù)庫(kù)池中間件池應(yīng)用環(huán)境一鍵式交付統(tǒng)一開(kāi)發(fā)平臺(tái)11“軟件定義數(shù)據(jù)中心框架概述軟件定義的數(shù)據(jù)中心SDDC是一種針對(duì)IT根底設(shè)施一種架構(gòu)方法,擴(kuò)展虛擬化的概念,抽象,資源池化和自動(dòng)化所有數(shù)據(jù)中心的資源和效勞,實(shí)現(xiàn)IT即效勞。在軟件定義的數(shù)據(jù)中心,“計(jì)算,存儲(chǔ),網(wǎng)絡(luò),平安和可用性效勞被聚集,以軟件交付,并通過(guò)智能的,策略驅(qū)動(dòng)的軟件進(jìn)行管理。軟件定義的數(shù)據(jù)中心通常被認(rèn)為作為彈性,高效的云計(jì)算的必要根底設(shè)施根底和支撐。概述軟件定義的根底架構(gòu)擁有快速和動(dòng)態(tài)調(diào)整根
12、底架構(gòu)的能力,以滿(mǎn)足應(yīng)用的各類(lèi)需求,包含新應(yīng)用的快速部署、現(xiàn)有應(yīng)用的擴(kuò)容、彈性計(jì)算和變更云管理平臺(tái)跨機(jī)房跨數(shù)據(jù)中心的資源調(diào)度,按應(yīng)用需求打包網(wǎng)絡(luò)存儲(chǔ)計(jì)算資源進(jìn)行快速部署一體化運(yùn)維管理?yè)碛袑?duì)傳統(tǒng)環(huán)境、軟件定義云環(huán)境和互聯(lián)網(wǎng)架構(gòu)進(jìn)行統(tǒng)一運(yùn)維和管理的能力軟件定義的根底架構(gòu)軟件定義計(jì)算軟件定義存儲(chǔ)軟件定義網(wǎng)絡(luò)網(wǎng)絡(luò)根底架構(gòu)機(jī)房環(huán)境設(shè)施云管理平臺(tái)IaaS功能|PaaS功能資源操作審計(jì)運(yùn)維管理監(jiān)管控運(yùn)營(yíng)分析平安與合規(guī)管理用戶(hù)效勞門(mén)戶(hù)運(yùn)營(yíng)管理門(mén)戶(hù)12議程1企業(yè)私有云開(kāi)展概述2軟件定義的云根底架構(gòu)3軟件定義能力的載體 - 云管理平臺(tái)2.1 概述2.2 計(jì)算池2.3 存儲(chǔ)池2.4 網(wǎng)絡(luò)支撐2.5 企業(yè)私有云建設(shè)的
13、根底R(shí)2IA13“軟件定義數(shù)據(jù)中心計(jì)算資源傳統(tǒng)企業(yè)與互聯(lián)網(wǎng)企業(yè)最大差異表達(dá)在兩個(gè)方面,其一是規(guī)模效應(yīng)遠(yuǎn)遠(yuǎn)不如互聯(lián)網(wǎng)動(dòng)輒10萬(wàn)臺(tái)的效勞器數(shù)量,其二是技術(shù)力量的投入遠(yuǎn)少于互聯(lián)網(wǎng)企業(yè),且有限資源更多需要向業(yè)務(wù)系統(tǒng)和數(shù)據(jù)效勞等領(lǐng)域傾斜。所以傳統(tǒng)企業(yè)在“計(jì)算資源“存儲(chǔ)資源和“網(wǎng)絡(luò)虛擬化資源領(lǐng)域更多的需要依靠廠(chǎng)商力量,但技術(shù)路線(xiàn)選擇上又要防止被廠(chǎng)商所綁定概述HypervisorVM計(jì)算池1計(jì)算池2計(jì)算池HypervisorHypervisorHypervisorVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVM機(jī)架式效勞器聚合超融合根底架構(gòu)14Hypervisor
14、VMVMVMVMVMVMVMVMVMVMVM在線(xiàn)遷移虛擬機(jī)HA離線(xiàn)快照開(kāi)源平臺(tái)KVM商用平臺(tái)VMWare“軟件定義數(shù)據(jù)中心-Hypervisor虛擬化層是軟件定義數(shù)據(jù)中心的核心局部,它重新定義劃分IT資源,可以實(shí)現(xiàn)IT資源的動(dòng)態(tài)分配、靈活調(diào)度、跨域共享,提高IT資源利用率,使IT資源能夠被池化改造和使用。概述vSpherevSpherevMotionPortgroupDatastore虛擬機(jī)HA虛機(jī)管理動(dòng)態(tài)遷移功能最強(qiáng)大系統(tǒng)穩(wěn)定維護(hù)支持保障價(jià)格偏高開(kāi)放性差vCenter ServerVMVMVMVMVMVMVMVM優(yōu)勢(shì)劣勢(shì)開(kāi)放性好價(jià)格低功能偏弱系統(tǒng)穩(wěn)定性差維護(hù)復(fù)雜優(yōu)勢(shì)劣勢(shì)RHEV Manage
15、r15數(shù)據(jù)中心數(shù)據(jù)中心集群內(nèi)的資源調(diào)度集群資源Cluster 1HostHostCluster 2HostHostCluster 3HostHostCluster 4HostHost數(shù)據(jù)中心 A數(shù)據(jù)中心 B大二層網(wǎng)絡(luò)Host 1Host 2Host 3Host 4Cluster 1VM資源池通過(guò)集群的方式共享主機(jī)的計(jì)算資源,通過(guò)集群內(nèi)、跨集群和跨數(shù)據(jù)中心的調(diào)度實(shí)現(xiàn)資源的調(diào)配和有效利用。當(dāng)實(shí)現(xiàn)跨集群調(diào)度后,資源池的冗余性被顯著增強(qiáng),集群內(nèi)的預(yù)留資源要求降低,整個(gè)資源池的利用率有效提升。資源池?cái)?shù)據(jù)中心內(nèi)的資源調(diào)度跨數(shù)據(jù)中心的資源調(diào)度VMVM16Host 1Host 2Host 3Host 4Clu
16、ster 1Host 1Host 2Host 3Host 4Cluster 2vCenter云平臺(tái)云平臺(tái)議程1企業(yè)私有云開(kāi)展概述2軟件定義的云根底架構(gòu)3軟件定義能力的載體 - 云管理平臺(tái)2.1 概述2.2 計(jì)算池2.3 存儲(chǔ)池2.4 網(wǎng)絡(luò)支撐2.5 企業(yè)私有云建設(shè)的根底R(shí)2IA17根底架構(gòu)能力要素分析 存儲(chǔ)資源EMC 的 ViPR 2021年5月,EMC以軟件定義存儲(chǔ)作為主體,借用“SDN的概念詮釋了第一個(gè)冠以“SDS名號(hào)的產(chǎn)品。HP 的 VSA 惠普的 VSA 來(lái)自 2021年被 HP 公司收購(gòu)的 iSCSI 廠(chǎng)商,是業(yè)內(nèi)較早在傳統(tǒng)企業(yè)領(lǐng)域?qū)崿F(xiàn)“SDS的存儲(chǔ)方案,是目前全球許可證出貨量最大的
17、虛擬化存儲(chǔ)產(chǎn)品IBM 的 SVC SVC 全稱(chēng)“SAN Volume Controller,是一款“帶內(nèi)存儲(chǔ)虛擬化產(chǎn)品。主流存儲(chǔ)廠(chǎng)商Vmware 的 SDS 2021年上半年預(yù)計(jì)發(fā)布其第一版vSAN產(chǎn)品,正在規(guī)劃VVOL產(chǎn)品。微軟 的 SDS 微軟推出了 Storage Space 產(chǎn)品,邁出了其企業(yè)級(jí)存儲(chǔ)虛擬化的嘗試Nutanix 的 SDS 作為硅谷新興的創(chuàng)業(yè)型企業(yè),Nutanix推出的“NX系列產(chǎn)品,較好符合機(jī)架安裝的“SDS。挑戰(zhàn)者GFS / HDFS 和 Amazon S3 基于 Google 實(shí)踐而開(kāi)源化后的架構(gòu) Hadoop,是一個(gè)分布式計(jì)算框架,其中 HDFS 作為分布式文件系
18、統(tǒng)是其核心組件之一。 Amazon 的 S3 是除了 Google 之外的另一個(gè)成功實(shí)現(xiàn)的云計(jì)算框架。 這兩家互聯(lián)網(wǎng)在云計(jì)算領(lǐng)域的先行者都通過(guò)自身實(shí)踐提出了較為成功的、目前被廣泛接受的分布式存儲(chǔ)體系?;ヂ?lián)網(wǎng)相比互聯(lián)網(wǎng)企業(yè)積極實(shí)踐的分布式存儲(chǔ)方案,主流 IT 廠(chǎng)商在企業(yè)網(wǎng)領(lǐng)域通過(guò)把各類(lèi)存儲(chǔ)設(shè)施整合后通過(guò)“軟件定義的方式提供統(tǒng)一的存儲(chǔ)效勞的“融合存儲(chǔ)概念。其中,惠普處于相對(duì)領(lǐng)先地位,而Vmware和微軟的“SDS剛起步,EMC也要考慮現(xiàn)有業(yè)務(wù)仍處于收購(gòu)相關(guān)公司積累“軟實(shí)力的階段。所以“SDS相比“SDC存在較大的成熟度差距,還有待觀察。概述18存儲(chǔ)虛擬化主機(jī)層網(wǎng)絡(luò)層存儲(chǔ)層SAN存儲(chǔ)虛擬化引擎EMC
19、IBMHDS主機(jī)層網(wǎng)絡(luò)層存儲(chǔ)層SANEMC高端HP高端IBM中端200G金牌200G金牌200G銅牌50G250G映射LUN可用容量可用容量將存儲(chǔ)資源虛擬成一個(gè)“存儲(chǔ)池”,把許多零散的存儲(chǔ)資源整合起來(lái),從而提高整體利用率,同時(shí)降低系統(tǒng)管理成本。概述存儲(chǔ)池傳統(tǒng)SAN存儲(chǔ)架構(gòu)存儲(chǔ)虛擬化架構(gòu)200G200G200G200G200G200G金牌存儲(chǔ) -用于交易型、DB等關(guān)鍵系統(tǒng)銀牌存儲(chǔ) -用于文件系統(tǒng)等次關(guān)鍵系統(tǒng)銅牌存儲(chǔ) -用于非結(jié)構(gòu)化數(shù)據(jù)等HDS低端200G銀牌300G19分布式存儲(chǔ)20CIFS、NFS、私有文件協(xié)議、塊協(xié)議、ISCSI、HTTP、FTP等協(xié)議AIXWindowsLinuxMACSo
20、laris華為FusionStorageVMWarevSANNutanixEMCScaleIO存儲(chǔ)節(jié)點(diǎn)集群分布式處理層APPAPPAPPAPP分布式網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷,利用位置服務(wù)器定位存儲(chǔ)信息;概述文件管理能力:存儲(chǔ)節(jié)點(diǎn)采用對(duì)象存儲(chǔ)機(jī)制,元數(shù)據(jù)分散到多個(gè)存儲(chǔ)節(jié)點(diǎn)上,分散元數(shù)據(jù)處理壓力數(shù)據(jù)訪(fǎng)問(wèn)能力:非對(duì)稱(chēng)架構(gòu),性能隨節(jié)點(diǎn)增加而增加適用大數(shù)據(jù)量大于100Tkey/value或者半結(jié)構(gòu)化數(shù)據(jù)高吞吐高性能高擴(kuò)展不適用Sql查詢(xún)復(fù)雜查詢(xún),如聯(lián)表查詢(xún)復(fù)雜事務(wù)分布式存儲(chǔ)架構(gòu)使用場(chǎng)景架構(gòu)特點(diǎn)主流廠(chǎng)商及產(chǎn)品議程1企業(yè)私有云開(kāi)展概述2軟件定義的云根底架構(gòu)3軟件定義能
21、力的載體 - 云管理平臺(tái)2.1 概述2.2 計(jì)算池2.3 存儲(chǔ)池2.4 網(wǎng)絡(luò)支撐2.5 企業(yè)私有云建設(shè)的根底R(shí)2IA21根底架構(gòu)能力要素分析 網(wǎng)絡(luò)資源 時(shí)下數(shù)據(jù)中心的趨勢(shì)有兩個(gè):網(wǎng)絡(luò)虛擬化和軟件定義網(wǎng)絡(luò)SDN。網(wǎng)絡(luò)虛擬化和軟件定義網(wǎng)絡(luò)都需要對(duì)數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)做出新的要求,推動(dòng)硬件和軟件的開(kāi)展。 基于 CISCO 大二層網(wǎng)絡(luò)環(huán)境下,通過(guò)擴(kuò)展IS-IS路由協(xié)議實(shí)現(xiàn)二層路由,虛機(jī)遷移時(shí),效勞配置隨即更新,保證了虛機(jī)遷移前后IP與MAC地址保持一致。通過(guò)大二層本身協(xié)議TTL值可以有效防止環(huán)路。通過(guò)跨設(shè)備鏈路捆綁支持,實(shí)現(xiàn)鏈路負(fù)載功能。計(jì)算虛擬化對(duì)網(wǎng)絡(luò)提出了新的挑戰(zhàn)課題: 由于云計(jì)算 IaaS 設(shè)計(jì)理
22、念是把根底架構(gòu)資源集中形成“池,通過(guò)動(dòng)態(tài)調(diào)度和裝配給應(yīng)用系統(tǒng)提供支持,因此云計(jì)算引入對(duì)網(wǎng)絡(luò)環(huán)境提出了新的需求和挑戰(zhàn)。22物理效勞器SDN將網(wǎng)絡(luò)設(shè)備上的控制權(quán)別離出來(lái),由集中的控制器管理,無(wú)須依賴(lài)底層網(wǎng)絡(luò)設(shè)備路由器、交換機(jī)、防火墻,屏蔽了來(lái)自底層網(wǎng)絡(luò)設(shè)備的差異。而控制權(quán)是完全開(kāi)放的,用戶(hù)可以自定義任何想實(shí)現(xiàn)的網(wǎng)絡(luò)路由和傳輸規(guī)那么策略,從而更加靈活和智能。概述ControllerSwitchSwitchSwitchSwitchAPPOpenFlowHypervisorNFV根底架構(gòu)V-SwitchV-RouterV-FWvADXV-IDPVMs通過(guò)基于行業(yè)標(biāo)準(zhǔn)的x86效勞器、存儲(chǔ)和交換設(shè)備,來(lái)取代
23、通信網(wǎng)的那些私有專(zhuān)用的網(wǎng)元設(shè)備通過(guò)集中式的控制器(Controller)以標(biāo)準(zhǔn)化的接口對(duì)各種網(wǎng)絡(luò)設(shè)備進(jìn)行管理和配置架構(gòu)角度: 控制平面與數(shù)據(jù)平面別離,邏輯集中管理(集中到控制器上);業(yè)務(wù)角度: 通過(guò)控制器,使低層網(wǎng)絡(luò)被抽象出來(lái),網(wǎng)絡(luò)資源被抽象成效勞,實(shí)現(xiàn)了應(yīng)用程序與網(wǎng)絡(luò)設(shè)備的操作系統(tǒng)解耦和。應(yīng)用看到的是網(wǎng)絡(luò)效勞。運(yùn)營(yíng)角度: 網(wǎng)絡(luò)可以通過(guò)編程的方式來(lái)訪(fǎng)問(wèn),從而實(shí)現(xiàn)應(yīng)用程序?qū)W(wǎng)絡(luò)的直接影響,一些新型的接口,可以實(shí)現(xiàn)傳統(tǒng)網(wǎng)絡(luò)管理不能做到的網(wǎng)絡(luò)優(yōu)化。SDN特點(diǎn)OpenFlowNFV23SDN-VMwareVmware SDN通過(guò)編程的方式將虛擬網(wǎng)絡(luò)調(diào)配、添加到工作負(fù)載,以及在當(dāng)前數(shù)據(jù)中心乃至多個(gè)數(shù)據(jù)中
24、心內(nèi)根據(jù)需要在任何地方放置、移動(dòng)或擴(kuò)展。通過(guò)一個(gè)集成式可延展平臺(tái)即可大幅簡(jiǎn)化操作、實(shí)現(xiàn)資源的高效利用和提高敏捷性,從而根據(jù)業(yè)務(wù)需要進(jìn)行擴(kuò)展。概述優(yōu)勢(shì):使用軟件定義的網(wǎng)絡(luò)和平安獲得效率和敏捷性通過(guò)提高效率和利用率降低運(yùn)營(yíng)、采購(gòu)本錢(qián),實(shí)現(xiàn)資源的按需增長(zhǎng)利用虛擬工作負(fù)載的敏捷性,適應(yīng)動(dòng)態(tài)業(yè)務(wù)需求在根底架構(gòu)中全面使用高度集成并完整的網(wǎng)絡(luò)與平安解決方案劣勢(shì):松耦合方式增加本錢(qián)和整個(gè)網(wǎng)絡(luò)生命周期中日常運(yùn)作的復(fù)雜性物理設(shè)備和虛擬設(shè)備被視為單獨(dú)的實(shí)體,無(wú)法通過(guò)同一個(gè)政策框架和模式進(jìn)行管理24議程1企業(yè)私有云開(kāi)展概述2軟件定義的云根底架構(gòu)3軟件定義能力的載體 - 云管理平臺(tái)2.1 概述2.2 計(jì)算池2.3 存儲(chǔ)
25、池2.4 網(wǎng)絡(luò)支撐2.5 企業(yè)私有云建設(shè)的根底R(shí)2IA25X86平臺(tái)的穩(wěn)定性大幅提升Source: ITIC (Information Technology Intelligence Consulting) server reliability study, 2021非計(jì)劃宕機(jī)時(shí)間(小時(shí)/年) 越低越好11X改善改善2021年之前X86的穩(wěn)定性差,尤其在windows server尤為突出;到2021年隨著X86的架構(gòu)的突破及技術(shù)的成熟,X86效勞器穩(wěn)定性已經(jīng)超出Oracle小機(jī),逐步接近IBM小機(jī);X86設(shè)備穩(wěn)定性已突破99.99%,并逐步接近小型機(jī)向99.999%。概述26X86芯片的性能
26、大幅提升芯片性能X86芯片的性能經(jīng)過(guò)近幾年的開(kāi)展已經(jīng)在局部指標(biāo)上大幅超越Power 7,同時(shí)其所消耗的硬件采購(gòu)本錢(qián)約占P750的28%。Intel Xeon 處理器 E7帶來(lái)比Power7*更高的性?xún)r(jià)比Technical Compute IntensiveEnterprise Resource PlanningGeneral Purpose IntensiveServer-side Java*P75032 core4Way E740 core浮點(diǎn)運(yùn)算4Way E740 coreSAP+MW4Way E740 core整型運(yùn)算4Way E740 coreJava應(yīng)用vs. Power 750 E
27、xpress*POWER 750 Express*Intel XeonE7-4800性?xún)r(jià)比vs. Power 7*最高性能112%占系統(tǒng)本錢(qián)28%27系統(tǒng)層硬件層X(jué)86平臺(tái)為企業(yè)級(jí)關(guān)鍵業(yè)務(wù)做好了準(zhǔn)備全新一代的Intel E7系列處理器的可靠性提高有助于確保數(shù)據(jù)的完整性機(jī)器校驗(yàn)架構(gòu)MCA恢復(fù);校正型機(jī)器檢測(cè)中斷CMCI;損壞數(shù)據(jù)容錯(cuò)模式;英特爾 QPI 鏈路中的 CPU 板熱添加;支持容錯(cuò)啟動(dòng)的單核禁用等更加全面的技術(shù)防止單點(diǎn)故障從而提供業(yè)務(wù)平臺(tái)的連續(xù)性網(wǎng)絡(luò)teaming;磁盤(pán)Raid保護(hù);內(nèi)存Mirror和熱插拔功能;光纖通道冗余Channel;電力供給冗余配置;效勞器間Clustering,
28、等商業(yè)版Linux的高性能與RAS共同演進(jìn)助力開(kāi)放平臺(tái)可用性CPU/內(nèi)存邏輯上線(xiàn)/離線(xiàn),內(nèi)存按需/輪詢(xún)檢查,物理PCIe卡熱添加/移除,PCIe設(shè)備的高級(jí)錯(cuò)誤報(bào)告(AER),機(jī)器檢查架構(gòu)恢復(fù)(MCA恢復(fù)),等商業(yè)版Linux已經(jīng)為企業(yè)級(jí)應(yīng)用做好準(zhǔn)備頂級(jí)的企業(yè)應(yīng)用支持Oracle, SAP, IBM WebSphere, IBM Domino Lotus, SAS, DB2, JBoss, VMware, Apache, MySQL, 及 1000s more更高的平安機(jī)制嵌入到商業(yè)版Linux來(lái)保證系統(tǒng)平安性X86平臺(tái)為企業(yè)級(jí)關(guān)鍵業(yè)務(wù)做好了準(zhǔn)備28X86效勞器的資產(chǎn)運(yùn)維費(fèi)用節(jié)省節(jié)省 87.5%
29、Oracle數(shù)據(jù)庫(kù)授權(quán)費(fèi)用! 節(jié)省 87.5%數(shù)據(jù)庫(kù)服務(wù)維護(hù)費(fèi)用!+ORACLE ORACLE ORACLE ORACLEORACLE ORACLE ORACLE ORACLE8servers16 processors/licenses2servers4 processors/licenses本錢(qián)優(yōu)勢(shì)相似配置下X86硬件比RISC硬件價(jià)格廉價(jià)Intel/AMD X86 CPU是IBM Power CPU Oracle數(shù)據(jù)庫(kù)授權(quán)單價(jià)的一半虛擬化可優(yōu)化容量,提高資源使用效率; 5 10X 的整合比在完整授權(quán)的主機(jī)上可部署無(wú)限數(shù)量的Oracle數(shù)據(jù)庫(kù)實(shí)例經(jīng)由專(zhuān)家分析可以在少量效勞器上最大程度整合更多
30、數(shù)據(jù)庫(kù)實(shí)例29遷移對(duì)象支持R2IA遷移的系統(tǒng)分類(lèi)軟件遷移應(yīng)用PLMSAP數(shù)據(jù)庫(kù)HANAOracleDB2中間件WebSphere(WASMQCICS)WebLogicTomcatJBoss操作系統(tǒng)AIX to LinuxHP UX to LinuxLpar/vPar to vSphere/Hyper-vUnix to Windows聯(lián)想支持眾多主流應(yīng)用、數(shù)據(jù)庫(kù)、中間件和操作系統(tǒng)的遷移,并擁有豐富的遷移成功經(jīng)驗(yàn)。每類(lèi)系統(tǒng)的遷移都有詳盡的遷移方案、遷移工具和保障機(jī)制,確保遷移的成功和性能的優(yōu)化。應(yīng)用遷移定制化應(yīng)用的關(guān)聯(lián)變化開(kāi)發(fā)語(yǔ)言JAVA,ABAP運(yùn)行環(huán)境JRE,NW數(shù)據(jù)庫(kù)中間件遷移遷移窗口數(shù)據(jù)量
31、在線(xiàn)遷移0停機(jī)版本升級(jí)語(yǔ)法差異數(shù)據(jù)存儲(chǔ)架構(gòu)改變RAC/分布式遷移工具命令,在線(xiàn),離線(xiàn)系統(tǒng)遷移:遷移窗口數(shù)據(jù)量在線(xiàn)遷移0停機(jī)版本升級(jí)語(yǔ)法差異數(shù)據(jù)存儲(chǔ)架構(gòu)改變RAC/分布式遷移工具命令,在線(xiàn),離線(xiàn)遷移關(guān)鍵點(diǎn)30議程1企業(yè)私有云開(kāi)展概述2軟件定義的云根底架構(gòu)3軟件定義能力的載體 - 云管理平臺(tái)31企業(yè)私有云的建設(shè)會(huì)帶來(lái)新的挑戰(zhàn)面對(duì)根底架構(gòu)復(fù)雜性的挑戰(zhàn)傳統(tǒng)高端資源池、大規(guī)模虛擬化資源池和互聯(lián)網(wǎng)化扁平化資源池共存和應(yīng)用入池的柔性需求根據(jù)特定需求靈活組裝資源并動(dòng)態(tài)綁定應(yīng)用,云管理平臺(tái)實(shí)現(xiàn)新一代企業(yè)根底架構(gòu)是必備組成局部。云管理平臺(tái)應(yīng)用和資源脫鉤,如何實(shí)現(xiàn)動(dòng)態(tài)、按需匹配異構(gòu)、多供給廠(chǎng)商的技術(shù),如何封裝資源效
32、勞的標(biāo)準(zhǔn)化管理云化轉(zhuǎn)型:根底架構(gòu)轉(zhuǎn)型、組織轉(zhuǎn)型、運(yùn)維模式轉(zhuǎn)型系統(tǒng)的性能和可用性由綁定設(shè)備轉(zhuǎn)向共享資源池更大規(guī)模、復(fù)雜的資源,如何對(duì)業(yè)務(wù)和管理可視化?。?!32什么樣的云平臺(tái)能滿(mǎn)足新一代架構(gòu)的要求呢?新一代架構(gòu)復(fù)雜的異構(gòu)資源、標(biāo)準(zhǔn)化的效勞、應(yīng)用環(huán)境的柔性交付,以及面對(duì)應(yīng)用性能、可用性、資源可視化和企業(yè)組織架構(gòu)轉(zhuǎn)型,都對(duì)云平臺(tái)的效勞交付能力、運(yùn)營(yíng)和運(yùn)維能力提出一體化、更高的要求。概述資源供給能力不僅提供虛擬機(jī)、存儲(chǔ)等云資源效勞;還提供云應(yīng)用效勞和資源調(diào)度能力一體化運(yùn)營(yíng)能力不僅為云效勞提供計(jì)量計(jì)費(fèi)能力;還配合企業(yè)管理實(shí)踐提供配額管理能力多樣化租戶(hù)能力提供云平臺(tái)多租戶(hù)管理能力,滿(mǎn)足云計(jì)算轉(zhuǎn)型中多樣化管理
33、模式端到端運(yùn)維能力不僅為云端應(yīng)用提供日常運(yùn)維能力;還為云平臺(tái)資源池提供日常運(yùn)維能力資源可視化能力提供面向業(yè)務(wù)、應(yīng)用、運(yùn)維管理的資源可視化視圖資源供應(yīng)能力新一代架構(gòu)云平臺(tái)一體化運(yùn)營(yíng)能力多樣化租戶(hù)能力端到端運(yùn)維能力資源可視化能力33資源供給能力 核心能力云資源管理系統(tǒng)對(duì)下適配納管各種類(lèi)型的資源,對(duì)上提供多種多樣的效勞,是資源池效勞能力的集中表達(dá)。云平臺(tái)管理系統(tǒng)的建設(shè)不僅要有功能上的“廣度,還要有“厚度。資源供給資源適配能力可適配的資源種類(lèi)與數(shù)量裝配能力預(yù)定義的效勞模型種類(lèi)與復(fù)雜程度調(diào)度能力能夠支撐的調(diào)度策略種類(lèi)容量規(guī)劃能力預(yù)定義的容量預(yù)測(cè)算法、圖形化工具的種類(lèi)和能力偵測(cè)能力對(duì)資源池和應(yīng)用系統(tǒng)的實(shí)時(shí)
34、運(yùn)行情況進(jìn)行偵測(cè),提升可用性和性能異構(gòu)資源適配能力資源服務(wù)裝配能力全局資源調(diào)度能力資源規(guī)劃支撐能力偵測(cè)能力云平臺(tái)能力成熟度云資源管理系統(tǒng)能力模型34效勞產(chǎn)品與效勞目錄效勞產(chǎn)品是一個(gè)企業(yè)信息化部門(mén)基于內(nèi)部需求,結(jié)合信息化部門(mén)交付能力而提煉出來(lái)的、標(biāo)準(zhǔn)化的效勞內(nèi)容,并以產(chǎn)品的形式進(jìn)行管理;效勞目錄式效勞產(chǎn)品對(duì)用戶(hù)端的呈現(xiàn)方式。云效勞種類(lèi)在企業(yè)私有云領(lǐng)域,主要有三類(lèi)效勞IaaS、PaaS和運(yùn)維效勞,SaaS是一個(gè)業(yè)務(wù)模式,所以我們不放在企業(yè)數(shù)據(jù)中心領(lǐng)域來(lái)闡述。云效勞工程 云效勞工程具備三個(gè)核心要素,根本效勞、配套效勞和參數(shù)化。效勞封裝能力:資源供給與運(yùn)維效勞效勞產(chǎn)品對(duì)于云效勞,在現(xiàn)提供、用戶(hù)自主和標(biāo)
35、準(zhǔn)化是三個(gè)關(guān)鍵特征;而云數(shù)據(jù)中心的關(guān)鍵特征在于“軟件定義的能力,“軟件定義不僅對(duì)云平臺(tái)提出要求,更是對(duì)各類(lèi)根底架構(gòu)提出了“軟件定義的要求。云效勞核心特征硬件資源效勞軟件資源效勞運(yùn)維效勞計(jì)算資源效勞存儲(chǔ)資源效勞存儲(chǔ)資源效勞機(jī)房資源效勞平臺(tái)軟件效勞應(yīng)用環(huán)境效勞操作自動(dòng)化效勞平安效勞資源變更效勞監(jiān)控效勞容量效勞容災(zāi)效勞資源供給能力 面向資源與面向應(yīng)用的供給新一代架構(gòu)的云平臺(tái),不僅能夠提供包括計(jì)算效勞器、存儲(chǔ)和網(wǎng)絡(luò)等根底架構(gòu)資源的云資源效勞;更重要的是提供面向應(yīng)用的軟件定義應(yīng)用環(huán)境交付的云應(yīng)用能力和支持后續(xù)云化應(yīng)用系統(tǒng)運(yùn)維的云運(yùn)維能力。資源供給云應(yīng)用效勞提供面向應(yīng)用的效勞交付,包括:預(yù)定義應(yīng)用自定義應(yīng)
36、用云資源效勞提供面向資源的效勞交付,包括:計(jì)算類(lèi)資源效勞存儲(chǔ)類(lèi)資源效勞網(wǎng)絡(luò)類(lèi)資源效勞軟件類(lèi)資源效勞36資源供給能力 核心能力云資源管理系統(tǒng)對(duì)下適配納管各種類(lèi)型的資源,對(duì)上提供多種多樣的效勞,是資源池效勞能力的集中表達(dá)。云平臺(tái)管理系統(tǒng)的建設(shè)不僅要有功能上的“廣度,還要有“厚度。資源供給資源適配能力可適配的資源種類(lèi)與數(shù)量裝配能力預(yù)定義的效勞模型種類(lèi)與復(fù)雜程度調(diào)度能力能夠支撐的調(diào)度策略種類(lèi)容量規(guī)劃能力預(yù)定義的容量預(yù)測(cè)算法、圖形化工具的種類(lèi)和能力37資源調(diào)度能力 云資源管理系統(tǒng)對(duì)下適配納管各種類(lèi)型的資源,對(duì)上提供多種多樣的效勞,是資源池效勞能力的集中表達(dá)。云平臺(tái)管理系統(tǒng)的建設(shè)不僅要有功能上的“廣度,還
37、要有“厚度。調(diào)度能力資源供給調(diào)度虛擬化比率控制超配比控制資源最優(yōu)調(diào)度網(wǎng)絡(luò)路徑最優(yōu)跨池申請(qǐng)多數(shù)據(jù)中心協(xié)同交付*面向資源交付期的調(diào)度面向資源運(yùn)行期間的調(diào)度故障調(diào)度交付單元內(nèi)部高可用(物理主機(jī)宕機(jī))交付單元內(nèi)部高可用(存儲(chǔ)宕機(jī))*跨交付單元高可用*跨管理單元高可用*跨高密度/高性能區(qū)調(diào)度*跨虛擬化平臺(tái)調(diào)度*容量調(diào)度存儲(chǔ)容量錯(cuò)峰調(diào)度CPU/MEM 容量錯(cuò)峰調(diào)度測(cè)試區(qū)/災(zāi)備區(qū)容量調(diào)度 性能調(diào)度應(yīng)用組件彈性伸縮中間件/數(shù)據(jù)庫(kù)集群彈性伸縮*虛擬資源經(jīng)濟(jì)運(yùn)行多應(yīng)用錯(cuò)峰*多應(yīng)用錯(cuò)類(lèi)面向過(guò)熱的調(diào)度面向能耗的調(diào)度*38資源調(diào)度能力 彈性伸縮云資源管理系統(tǒng)對(duì)下適配納管各種類(lèi)型的資源,對(duì)上提供多種多樣的效勞,是資源池效勞能力的集中表達(dá)。云平臺(tái)管理系統(tǒng)的建設(shè)不僅要有功能上的“廣度,還要有“厚度。調(diào)度能力性能偵測(cè)偵測(cè)應(yīng)用性能的瓶頸彈性伸縮策
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年度腳手架租賃及現(xiàn)場(chǎng)安全管理合同4篇
- 二零二五年度青藏高原生態(tài)修復(fù)工程承包合同4篇
- 2025版木工工程設(shè)計(jì)與施工管理合同范本4篇
- 二零二五年度綜合性門(mén)衛(wèi)管理服務(wù)協(xié)議3篇
- 二零二五版木屑生物質(zhì)炭生產(chǎn)與銷(xiāo)售合同3篇
- 二零二五年度網(wǎng)絡(luò)安全風(fēng)險(xiǎn)評(píng)估與整改合同6篇
- 2025年度家庭小型挖機(jī)作業(yè)合作協(xié)議3篇
- 2025年度影視作品演員臨時(shí)聘用合同范本4篇
- 二零二五年度電商物流快遞快遞員權(quán)益保障協(xié)議4篇
- 2025年沙地水資源利用承包合同4篇
- 人教版(2025新版)七年級(jí)下冊(cè)數(shù)學(xué)第七章 相交線(xiàn)與平行線(xiàn) 單元測(cè)試卷(含答案)
- GB/T 44351-2024退化林修復(fù)技術(shù)規(guī)程
- 完整2024年開(kāi)工第一課課件
- 從跨文化交際的角度解析中西方酒文化(合集5篇)xiexiebang.com
- 中藥飲片培訓(xùn)課件
- 醫(yī)院護(hù)理培訓(xùn)課件:《早產(chǎn)兒姿勢(shì)管理與擺位》
- 《論文的寫(xiě)作技巧》課件
- 空氣自動(dòng)站儀器運(yùn)營(yíng)維護(hù)項(xiàng)目操作說(shuō)明以及簡(jiǎn)單故障處理
- 2022年12月Python-一級(jí)等級(jí)考試真題(附答案-解析)
- T-CHSA 020-2023 上頜骨缺損手術(shù)功能修復(fù)重建的專(zhuān)家共識(shí)
- Hypermesh lsdyna轉(zhuǎn)動(dòng)副連接課件完整版
評(píng)論
0/150
提交評(píng)論