鯤鵬智能計(jì)算導(dǎo)論 課件 第7章 鯤鵬云計(jì)算技術(shù)

第7章

鯤鵬云計(jì)算技術(shù)鯤鵬智能計(jì)算導(dǎo)論7.1云計(jì)算關(guān)鍵技術(shù)7.2鯤鵬云計(jì)算技術(shù)與鯤鵬云服務(wù)學(xué)習(xí)要點(diǎn)7.1.1 虛擬化技術(shù)虛擬化是一種資源管理技術(shù)，對(duì)計(jì)算機(jī)的各種實(shí)體資源，如服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)等進(jìn)行抽象、轉(zhuǎn)換后呈現(xiàn)出來。它打破了實(shí)體結(jié)構(gòu)間不可切割的障礙，使用戶可以以更好的方式使用這些資源。這些資源的虛擬部分是不受現(xiàn)有資源的架設(shè)方式、地域或物理組態(tài)所限制的。未虛擬化的物理機(jī)VS虛擬化后的物理機(jī)左邊展示的是未虛擬化的物理機(jī)，由硬件與操作系統(tǒng)構(gòu)成；右邊展示的是虛擬化后的物理機(jī)，除底層硬件和操作系統(tǒng)以外，還有虛擬機(jī)監(jiān)視器（VirtualMachineMonitor，VMM，也稱虛擬化層）和虛擬機(jī)，其中虛擬機(jī)通過VMM來分配需要使用的硬件資源。7.1.1 虛擬化技術(shù)

類型對(duì)比項(xiàng)寄居型虛擬化裸金屬虛擬化操作系統(tǒng)虛擬化部署難易部署簡單、易于實(shí)現(xiàn)部署相對(duì)較難部署簡單、易于實(shí)現(xiàn)支持的操作系統(tǒng)支持多種操作系統(tǒng)支持多種操作系統(tǒng)、多種應(yīng)用隔離性差，多容器共享同一操作系統(tǒng)依賴性安裝和運(yùn)行應(yīng)用程序依賴于主機(jī)操作系統(tǒng)對(duì)設(shè)備的支持不依賴主機(jī)操作系統(tǒng)依賴主機(jī)操作系統(tǒng)管理開銷管理開銷較大、性能損耗大管理開銷較小管理開銷非常小按照架構(gòu)的不同劃分虛擬化7.1.1 虛擬化技術(shù)按照硬件資源調(diào)用模式劃分虛擬化

類型對(duì)比項(xiàng)全虛擬化半虛擬化硬件輔助虛擬化兼容性無須修改客戶操作系統(tǒng)，兼容性好無須修改客戶操作系統(tǒng)，兼容性較好兼容性差性能性能差性能較差性能好7.1.1 虛擬化技術(shù)針對(duì)不同組件、不同層面劃分虛擬化ACB計(jì)算虛擬化存儲(chǔ)虛擬化網(wǎng)絡(luò)虛擬化①CPU虛擬化②內(nèi)存虛擬化③I/O虛擬化在不同的存儲(chǔ)設(shè)備上加入虛擬化邏輯層，通過邏輯層可以統(tǒng)一訪問這些不同的存儲(chǔ)資源。對(duì)管理員來說，可以很方便地調(diào)整存儲(chǔ)資源、提高存儲(chǔ)利用率。對(duì)用戶來說，集中管理的存儲(chǔ)設(shè)備可以提供更好的性能和易用性。①虛擬網(wǎng)卡②虛擬交換機(jī)7.1.2 基于ARM架構(gòu)的主流虛擬化技術(shù)鯤鵬虛擬化技術(shù)支持將管理節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)全部部署到ARM服務(wù)器上，其中管理節(jié)點(diǎn)可以部署到ARM虛擬機(jī)上。全棧ARM部署，即管理節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)都是ARM部署。管理節(jié)點(diǎn)x86部署，計(jì)算節(jié)點(diǎn)ARM和x86混合部署。管理節(jié)點(diǎn)ARM部署，計(jì)算節(jié)點(diǎn)ARM和x86混合部署。鯤鵬虛擬化技術(shù)架構(gòu)7.1.2 基于ARM架構(gòu)的主流虛擬化技術(shù)鯤鵬虛擬化技術(shù)全棧ARM部署架構(gòu)管理節(jié)點(diǎn)x86部署，計(jì)算節(jié)點(diǎn)ARM和x86混合部署架構(gòu)7.1.2 基于ARM架構(gòu)的主流虛擬化技術(shù)管理節(jié)點(diǎn)ARM部署，計(jì)算節(jié)點(diǎn)ARM和x86混合部署架構(gòu)管理節(jié)點(diǎn)ARM部署，計(jì)算節(jié)點(diǎn)ARM和x86混合部署形態(tài)通常出現(xiàn)在硬件資源包括x86和ARM兩種服務(wù)器且FusionCompute管理節(jié)點(diǎn)采用ARM部署后，后期計(jì)算節(jié)點(diǎn)同樣支持ARM和x86以多節(jié)點(diǎn)為粒度混合部署的場(chǎng)景。7.1.2 基于ARM架構(gòu)的主流虛擬化技術(shù)鯤鵬虛擬化技術(shù)的特點(diǎn)鯤鵬虛擬化技術(shù)基于TaiShan服務(wù)器實(shí)現(xiàn)管理、計(jì)算、存儲(chǔ)等節(jié)點(diǎn)的全部ARM部署，各節(jié)點(diǎn)采用自研芯片，實(shí)現(xiàn)自主可控，保證供應(yīng)安全。鯤鵬虛擬化技術(shù)從硬件底層芯片、服務(wù)器到中間操作系統(tǒng)、虛擬化軟件，再到上層的云平臺(tái)，全部是華為自研的，能夠結(jié)合軟硬件特性進(jìn)行優(yōu)化，實(shí)現(xiàn)最優(yōu)性能；同時(shí)利用芯片優(yōu)勢(shì)，在虛擬化層面提供硬件直通能力，滿足特殊領(lǐng)域的性能需求。在鯤鵬虛擬化技術(shù)中，通過采用基于ARM1822芯片的智能網(wǎng)卡，實(shí)現(xiàn)虛擬交換機(jī)硬件卸載，提升虛擬網(wǎng)絡(luò)的包收發(fā)性能和處理能力，大大提升了網(wǎng)絡(luò)性能。7.1.2 基于ARM架構(gòu)的主流虛擬化技術(shù)鯤鵬虛擬化包括的技術(shù)存儲(chǔ)虛擬化FusionCompute支持將計(jì)算節(jié)點(diǎn)本地存儲(chǔ)，將FusionStorage提供的虛擬存儲(chǔ)空間統(tǒng)一管理，以虛擬卷的形式分配給虛擬機(jī)使用。網(wǎng)絡(luò)虛擬化FusionCompute支持分布式虛擬交換，可以向虛擬機(jī)提供獨(dú)立的網(wǎng)絡(luò)平面。像物理交換機(jī)一樣，不同的網(wǎng)絡(luò)平面間通過虛擬局域網(wǎng)（VirtualLocalAreaNetwork，VLAN）進(jìn)行隔離。計(jì)算虛擬化計(jì)算虛擬化技術(shù)就是將通用ARM服務(wù)器經(jīng)過虛擬化軟件，為最終用戶呈現(xiàn)標(biāo)準(zhǔn)的虛擬機(jī)。這些虛擬機(jī)就像同一個(gè)廠家生產(chǎn)的系列化產(chǎn)品一樣，具備系列化硬件配置，使用相同的驅(qū)動(dòng)程序。0102037.1.3 分布式技術(shù)提供SCSI、iSCSI等標(biāo)準(zhǔn)訪問接口協(xié)議，支持廣泛的虛擬化平臺(tái)及數(shù)據(jù)庫應(yīng)用，提供高性能與高可擴(kuò)展能力，滿足虛擬化、云資源池及數(shù)據(jù)庫等場(chǎng)景的存儲(chǔ)區(qū)域網(wǎng)（StorageAreaNetwork，SAN）存儲(chǔ)需求。提供AmazonS3等標(biāo)準(zhǔn)API，支持主流云計(jì)算生態(tài)，滿足內(nèi)容存儲(chǔ)、云備份、云歸檔及公有云存儲(chǔ)服務(wù)運(yùn)營場(chǎng)景需求。提供網(wǎng)絡(luò)文件系統(tǒng)（NFS）、通用網(wǎng)絡(luò)文件系統(tǒng)（CIFS）和FTP等標(biāo)準(zhǔn)接口，以卓越性能、大規(guī)模橫向擴(kuò)展能力和超大規(guī)模分布式文件系統(tǒng)為用戶提供非結(jié)構(gòu)化數(shù)據(jù)共享存儲(chǔ)資源，應(yīng)用于視/音頻、HPC、視頻監(jiān)控等多業(yè)務(wù)場(chǎng)景。分布式塊存儲(chǔ)服務(wù)分布式對(duì)象存儲(chǔ)服務(wù)分布式文件存儲(chǔ)服務(wù)華為FusionStorage是一款可大規(guī)模橫向擴(kuò)展、彈性伸縮的數(shù)據(jù)中心級(jí)智能分布式存儲(chǔ)產(chǎn)品。FusionStorage通過系統(tǒng)軟件將通用硬件的本地存儲(chǔ)資源組織起來構(gòu)建成全分布式存儲(chǔ)池。7.1.3 分布式技術(shù)FusionStorage主要子系統(tǒng)的功能描述子系統(tǒng)描述子模塊功能描述業(yè)務(wù)系統(tǒng)AccessLayer（接入層）用于應(yīng)用訪問存儲(chǔ)系統(tǒng)的標(biāo)準(zhǔn)訪問接口，支持SCSI/

iSCSI標(biāo)準(zhǔn)訪問接口協(xié)議ServiceLayer（服務(wù)層）提供各種特性，如快照、克隆、異步復(fù)制、雙活等企業(yè)級(jí)特性IndexLayer（索引層）用于數(shù)據(jù)邏輯空間和物理空間的轉(zhuǎn)換，數(shù)據(jù)的重復(fù)刪除、壓縮等功能在該層實(shí)現(xiàn)PersistenceLayer（持久化層）采用Plog接口訪問（一種AppendOnly的ROW寫機(jī)制），用于數(shù)據(jù)的存放，包括多副本、糾刪碼（ErasureCode，EC）、數(shù)據(jù)均衡與重構(gòu)等子系統(tǒng)描述子模塊功能描述管理系統(tǒng)資源管理對(duì)存儲(chǔ)資源池進(jìn)行管理和分配，提供數(shù)據(jù)冗余保護(hù)，包括多副本保護(hù)和糾錯(cuò)碼保護(hù)業(yè)務(wù)管理支持按存儲(chǔ)資源池發(fā)放塊存儲(chǔ)服務(wù)系統(tǒng)管理支持對(duì)系統(tǒng)進(jìn)行初始化配置和必要的業(yè)務(wù)功能配置，支持設(shè)備拓?fù)涔芾?，可提供系統(tǒng)設(shè)備拓?fù)?，方便用戶查看和管理設(shè)備拓?fù)溆脩艄芾碇С謱?duì)用戶的增刪改查，包括用戶的等級(jí)、權(quán)限等安裝部署完成系統(tǒng)的初始安裝、部署升級(jí)支持對(duì)系統(tǒng)的升級(jí)，包括軟件升級(jí)、操作系統(tǒng)升級(jí)、固件升級(jí)等擴(kuò)容完成系統(tǒng)的在線擴(kuò)容、縮容巡檢/信息收集支持對(duì)設(shè)備的詳細(xì)管理，可提供設(shè)備詳細(xì)配置和運(yùn)行狀態(tài)信息，方便用戶了解設(shè)備配置信息和健康狀態(tài)7.1.3 分布式技術(shù)FusionStorage硬件平臺(tái)典型配置硬件類型推薦選型TaiShan硬件節(jié)點(diǎn)HuaweiTaiShan200（Model5280）系列HuaweiTaiShan200（Model2280）系列HuaweiTaiShan5280系列HuaweiTaiShan2280系列x86硬件節(jié)點(diǎn)HuaweiFusionServer5288V5系列HuaweiFusionServer2288HV5系列7.1云計(jì)算關(guān)鍵技術(shù)7.2鯤鵬云計(jì)算技術(shù)與鯤鵬云服務(wù)學(xué)習(xí)要點(diǎn)華為云Stack架構(gòu)從功能上劃分為基礎(chǔ)設(shè)施、資源池、云服務(wù)、應(yīng)用域和管理域。在華為云Stack中，采用FusionSphereOpenStack作為云平臺(tái)，對(duì)各個(gè)物理數(shù)據(jù)中心資源進(jìn)行整合；采用ManageOne作為數(shù)據(jù)中心管理軟件，對(duì)多個(gè)數(shù)據(jù)中心進(jìn)行統(tǒng)一管理；通過云平臺(tái)和數(shù)據(jù)中心管理軟件協(xié)同運(yùn)作，達(dá)到多數(shù)據(jù)中心融合、提升企業(yè)整體IT效率的目的。除此之外，華為云Stack提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、安全、災(zāi)備等豐富的云服務(wù)。7.2.1 鯤鵬云計(jì)算技術(shù)華為云Stack架構(gòu)FusionSphere是華為面向多行業(yè)用戶推出的云操作系統(tǒng)技術(shù)。它基于開放的OpenStack架構(gòu)，針對(duì)企業(yè)云計(jì)算數(shù)據(jù)中心場(chǎng)景進(jìn)行設(shè)計(jì)和優(yōu)化，提供強(qiáng)大的虛擬化功能和資源池管理能力、豐富的云基礎(chǔ)服務(wù)組件和工具、開放標(biāo)準(zhǔn)化API，可以幫助用戶水平整合數(shù)據(jù)中心物理和虛擬資源，垂直優(yōu)化業(yè)務(wù)平臺(tái)，在支持現(xiàn)有企業(yè)IT應(yīng)用的同時(shí)，也面向新興應(yīng)用場(chǎng)景，讓企業(yè)的云計(jì)算建設(shè)、使用及演進(jìn)更加便捷、平滑。7.2.1 鯤鵬云計(jì)算技術(shù)ACB開放性靈活性高可靠性FusionSphere7.2.1 鯤鵬云計(jì)算技術(shù)華為云Stack特性高可用性安全性先進(jìn)性可擴(kuò)展性開放性成熟性可靠性7.2.2 鯤鵬云服務(wù)部分鯤鵬云服務(wù)華為云Stack提供了豐富的鯤鵬云服務(wù)，這些云服務(wù)基于鯤鵬處理器等多元基礎(chǔ)設(shè)施，涵蓋裸機(jī)、虛擬機(jī)、容器等形態(tài)，具備多核高并發(fā)特點(diǎn)，非常適用于AI、大數(shù)據(jù)、HPC、云手機(jī)/云游戲等場(chǎng)景。7.2.2 鯤鵬云服務(wù)對(duì)象存儲(chǔ)服務(wù)（OBS）是一個(gè)基于對(duì)象的海量存儲(chǔ)服務(wù)，提供海量、安全、高可靠性、低成本的數(shù)據(jù)存儲(chǔ)能力，包括創(chuàng)建、修改、刪除桶，上傳、下載、刪除對(duì)象等。OBS適用于任意類型的文件，適合普通用戶、網(wǎng)站、企業(yè)和開發(fā)者使用。裸金屬服務(wù)器（BMS）為租戶提供專屬的物理服務(wù)器，擁有卓越的計(jì)算性能，能夠同時(shí)滿足核心應(yīng)用場(chǎng)景對(duì)高性能及穩(wěn)定性的需求，并可以和虛擬私有云等其他云服務(wù)靈活結(jié)合使用，綜合了傳統(tǒng)托管主機(jī)的穩(wěn)定性與云上資源高度彈性的優(yōu)勢(shì)。云硬盤（EVS）是一種虛擬塊存儲(chǔ)服務(wù)，主要為ECS和BMS提供塊存儲(chǔ)空間。用戶可以在線創(chuàng)建云硬盤并掛載實(shí)例，云硬盤的使用方式與傳統(tǒng)服務(wù)器硬盤完全一致。彈性云服務(wù)器（ECS）是由CPU、內(nèi)存、磁盤等組成的隨時(shí)可獲取、彈性可擴(kuò)展、按需使用的虛擬的計(jì)算服務(wù)器。它結(jié)合虛擬私有云、云服務(wù)器備份服務(wù)等，打造了一個(gè)高效、可靠、安全的計(jì)算環(huán)境，確保安裝在ECS上的其他服務(wù)持久穩(wěn)定運(yùn)行。ECS的CPU、內(nèi)存等為虛擬化技術(shù)整合后的硬件資源。7.2.2 鯤鵬云服務(wù)虛擬私有云（VPC）是一套為實(shí)例構(gòu)建的邏輯隔離的、由用戶自主配置和管理的虛擬網(wǎng)絡(luò)環(huán)境，旨在提升用戶資源的安全性，簡化用戶的網(wǎng)絡(luò)部署。用戶可以在VPC中自由選擇IP地址范圍、創(chuàng)建多個(gè)子網(wǎng)、自定義安全組以及配置路由表和網(wǎng)關(guān)等。