云計算與大數(shù)據(jù)技術 課件 第2章 虛擬化技術

云計算關鍵技術-虛擬化技術概述虛擬化技術傳統(tǒng)特定用途虛擬化技術什么是虛擬化什么是虛擬化

虛擬化是一種方法，本質(zhì)上講是指從邏輯角度出發(fā)的資源配置方案，是對物理資源的一種抽象。抽象的結(jié)果是，在只有一臺計算機硬件的情況下、通過虛擬化技術、可以讓多個操作系統(tǒng)同時運行在此計算機硬件上，并且讓這些操作系統(tǒng)都認為自己獨享整個硬件，資源劃分對操作系統(tǒng)是透明的。虛擬化的工作原理虛擬化的工作原理虛擬機監(jiān)控程序VMM虛擬機監(jiān)控程序（也稱為Hypervisor）軟件可有效分隔物理資源，并將這些資源分配給不同虛擬環(huán)境使用。

虛擬機監(jiān)控程序可能位于操作系統(tǒng)的頂層，或者直接安裝在硬件上。

虛擬機監(jiān)控程序接管物理資源，并對它們進行劃分，以便虛擬環(huán)境能夠?qū)ζ溥M行使用。虛擬化的特點服務器虛擬化虛擬化將硬件、操作系統(tǒng)和應用程序一同封裝在一個可遷移的虛擬機檔案文件中虛擬化的益處實現(xiàn)資源最優(yōu)利用

通過虛擬化實現(xiàn)服務器整合，大大提高硬件利用率，增加了系統(tǒng)可管理性。

簡化服務器安裝過程，減少應急購買需求和節(jié)省維護成本HYPERVISORHYPERVISORHYPERVISORHYPERVISOR虛擬化的益處實現(xiàn)動態(tài)負載均衡

利用虛擬機與硬件無關特性的虛擬機遷移技術，按需分配資源。

HYPERVISORHYPERVISORHYPERVISOR虛擬化的益處系統(tǒng)自愈功能提升可靠性

實現(xiàn)經(jīng)濟高效、獨立于硬件和操作系統(tǒng)的應用程序高可用性。服務器硬件故障時，可自動重啟虛擬機，任何物理服務器均可作為虛擬服務器的恢復目標。HYPERVISORHYPERVISORHYPERVISOR虛擬化的益處節(jié)能減排

優(yōu)化虛擬機資源的實際運行位置，實現(xiàn)耗電最小化，實現(xiàn)節(jié)能減排。HYPERVISORHYPERVISORHYPERVISOR休眠虛擬化與云計算虛擬化是一種技術，可讓用戶以單個物理硬件系統(tǒng)為基礎，創(chuàng)建多個模擬環(huán)境或?qū)Ｓ觅Y源。云是一種能夠抽象、匯集和共享整個網(wǎng)絡中的可擴展資源的IT環(huán)境。簡而言之，虛擬化是一項技術，而云是一種環(huán)境或服務。虛擬化與云計算虛擬化的主要功能是把單個資源抽象成多個給用戶使用，而云計算則是幫助不同部門（通過私有云）或公司（通過公共云）訪問一個自動置備的資源池。如果已經(jīng)有虛擬基礎架構(gòu)，可以將虛擬資源集中在一起，使用管理和自動化軟件對其進行編排，然后為用戶創(chuàng)建自助服務門戶，以此來創(chuàng)建云服務。虛擬化與云計算云計算-虛擬化簡史虛擬化技術

虛擬化技術虛擬化技術主要用于云計算物理資源的池化，從而可以彈性地分配給用戶。物理資源包括服務器（計算）、網(wǎng)絡和存儲。虛擬化發(fā)展簡史VMware公司針對x86平臺推出了商業(yè)虛擬化軟件VMwareWorkstation1999VMWare發(fā)布ESX和GSX，是ESXi的前身2001FabriceBellard發(fā)布開源虛擬化軟件QEMU2001EMC收購VMWare;微軟收購Connectix公司獲得VirtualPC虛擬化技術2003微軟發(fā)布VirtualServer2005計劃2004OpenVZ發(fā)布-Linux操作系統(tǒng)的容器化技術實現(xiàn)2005法布里斯·貝拉（FabriceBellard）虛擬化發(fā)展簡史Intel和AMD對虛擬化技術的支持加入到x86體系結(jié)構(gòu)的中央處理器中（IntelVT-x，AMD-V）

2006紅帽將Xen作為RHEL的默認特性2006AmazonWebServices（AWS）開始以Web服務的形式向企業(yè)提供IT基礎設施服務2006Sun公司發(fā)布了開源虛擬化軟件VirtualBoxXen被Citrix（思杰）收購2007LinuxKernel2.6.20合入

虛擬化內(nèi)核模塊KVM2007微軟發(fā)布了虛擬化產(chǎn)品Hyper-V2008以色列公司Qumranet開發(fā)的虛擬化內(nèi)核模塊KVM（Kernel-basedVirtualMachine，基于內(nèi)核的虛擬機）虛擬化發(fā)展簡史LinuxContainer（LXC）發(fā)布0.1.0版本，提供輕量級的虛擬化2008RedHat收購以色列公司Qumranet，使用KVM替換Xen2008NASA發(fā)布了可以IaaS云操作系統(tǒng)OpenStack2010Docker發(fā)布了第一個正式版本v1.02014Kubernetesv1.0發(fā)布2015IBM正式收購Redhat微軟收購Github2018博通收購VMware2022參考資料計算機體系結(jié)構(gòu):量化研究方法(第5版)亞馬遜的云原生故事/broadview2006/article/details/83780974亞馬遜云服務列表/about-aws/regional-product-services/對話亞馬遜AWSCTO：第一朵“Cloud”出現(xiàn)的故事https://36/p/1722717224961云計算傳奇故事亞馬遜誤入云計算始末/view/9369606e2e60ddccda38376baf1ffc4ffe47e2d4.html#為何這么牛？亞馬遜AWS簡史/s?id=1591645839949053927&wfr=spider&for=pc云計算-虛擬機監(jiān)控器及虛擬化模式虛擬機虛擬機（VM）是在一個硬件平臺上模擬一個或者多個獨立的和實際底層硬件相同的執(zhí)行環(huán)境。每個虛擬的執(zhí)行環(huán)境里面可以運行不同的操作系統(tǒng)（GuestOS）。GuestOS通過虛擬機監(jiān)控器提供的抽象層來實現(xiàn)對物理資源的訪問和操作。虛擬機監(jiān)控器虛擬機監(jiān)控器（VirtualMachineMonitor，VMM），負責為虛擬機統(tǒng)一分配CPU、內(nèi)存和外設，調(diào)度虛擬資源。當VMM與操作系統(tǒng)“合二為一”時，一般稱作Hypervisor。虛擬化模式根據(jù)VMM（虛擬機監(jiān)控器）在物理系統(tǒng)中的位置，將虛擬化模式分為裸機模式、宿主機模式、混合模式三種(1)裸機模式虛擬化模式(2)宿主機模式虛擬化模式(3)混合模式虛擬化的分類不同的虛擬化模式，并不是根據(jù)同一個標準來分類。（1）從應用的角度來分類可分為操作系統(tǒng)虛擬化、應用程序虛擬化、桌面虛擬化、存儲虛擬化、網(wǎng)絡虛擬化等等。（2）從應用模式的角度來分類從應用模式的角度可分為一對多、多對一、多對多三類。（3）從硬件資源調(diào)用模式來分類可分為全虛擬化、半虛擬化、硬件輔助虛擬化三類。等等。（4）從運行平臺的角度來分類可分為基于X86平臺和非X86平臺的虛擬化內(nèi)存虛擬化VMM采用分塊共享的思想來虛擬計算機物理內(nèi)存。將機器內(nèi)存分配給虛擬機，并維護機器內(nèi)存和虛擬機所見的“物理內(nèi)存”的映射關系，使這些內(nèi)存在虛擬機看來是從0開始、連續(xù)的物理地址空間。I/O設備虛擬化模式I/O全虛擬化I/O半虛擬化I/O直通虛擬化I/O設備虛擬化模式-KVMI/O全虛擬化I/O半虛擬化I/O直通虛擬化虛擬化工具個人PC上使用比較多的虛擬化VMware、VirtualBox企業(yè)級服務器上虛擬化工具，VMware服務器端虛擬化工具ESXI，KVM和Xen。linux服務器首選KVM，國內(nèi)的阿里和國外的AWS都是使用的XEN。Linux安裝XENLinux安裝XENDomain0是做管理用的虛機，DomainU是用戶用的虛機在Domain0里面跑物理的驅(qū)動通過Domain0將這個物理的設備虛擬化成多個設備供其他的虛機（DomainU）去使用，所以說Domain0和Hypervisor一起實現(xiàn)了外部設備的虛擬化。Xen和KVM虛擬化XEN虛擬化結(jié)構(gòu)示意圖KVM虛擬化結(jié)構(gòu)示意圖微軟的HyperVisor叫做Hyper_V跟Xen比較類似。VMware云計算操作系統(tǒng)vSphere架構(gòu)

參考資料I/O虛擬化的三種形式/p/7a656326c439虛擬化技術的歷史/view/e310bcccd5d8d15abe23482fb4daa58da0111c0f.htmlLinuxKVMIO設備虛擬化的三種方式/wjw7869/article/details/52020937云計算-服務器虛擬化虛擬化技術服務器虛擬化服務器虛擬化就是將服務器物理資源抽象成邏輯資源，讓一臺物理服務器虛擬出幾臺甚至上百臺相互隔離的虛擬服務器。不再受限于物理上的界限，而是讓CPU、內(nèi)存、I/O設備、磁盤等硬件變成可以動態(tài)管理的“資源池”，從而提高資源的利用率，簡化系統(tǒng)管理，實現(xiàn)服務器整合，讓IT對業(yè)務的變化更具適應力。CPU虛擬化CPU的虛擬化技術是一種硬件方案，支持虛擬技術的CPU帶有優(yōu)化過的指令集來控制虛擬過程，通過這些指令集，虛擬機監(jiān)控器（VMM）會很容易提高性能。CPU的架構(gòu)有X86、ARM等。X86架構(gòu)（TheX86architecture）是微處理器執(zhí)行的計算機語言指令集。X86服務器又稱CISC（ComplexInstructionSetComputer-復雜指令集）架構(gòu)服務器，即通常所講的PC服務器，它是基于PC機體系結(jié)構(gòu)，使用Intel或其它兼容x86指令集的處理器芯片的服務器。大多數(shù)CPU廠商(如AMD，Intel)生產(chǎn)的就是這種處理器。CPU虛擬化服務器虛擬化就是將服務器物理資源抽象成邏輯資源，讓一臺物理服務器虛擬出幾臺甚至上百臺相互隔離的虛擬服務器。不再受限于物理上的界限，而是讓CPU、內(nèi)存、I/O設備、磁盤等硬件變成可以動態(tài)管理的“資源池”，從而提高資源的利用率，簡化系統(tǒng)管理，實現(xiàn)服務器整合，讓IT對業(yè)務的變化更具適應力。X86服務器X86架構(gòu)CPU特點CPU都會劃分為用戶態(tài)和內(nèi)核態(tài)。

x86CPU更是細分為Ring0~3四種執(zhí)行狀態(tài)。Ring0核心態(tài)（KernelMode）Ring3用戶態(tài)（UserMode）X86架構(gòu)CPU特點Ring0核心態(tài)是操作系統(tǒng)內(nèi)核的執(zhí)行狀態(tài)（運行模式），運行在核心態(tài)的代碼（OS）可以無限制的對系統(tǒng)內(nèi)存、設備驅(qū)動程序、網(wǎng)卡接口、顯卡接口等外部設備進行訪問。Ring3用戶態(tài)（UserMode）

所有的應用程序都應該運行在用戶態(tài)中。當應用程序需要訪問外圍硬件設備時，CPU會通過特別的接口去調(diào)用核心態(tài)的代碼。

X86架構(gòu)CPU虛擬化x86架構(gòu)的虛擬化需要在操作系統(tǒng)(運行于最高權(quán)限的ring0)之下放置一個提供共享資源的虛擬化層（Hypervisor）來創(chuàng)建和管理虛擬機。虛擬化在這里就遇到了一個難題，因為宿主操作系統(tǒng)是工作在ring0的，客戶操作系統(tǒng)（guestOS）就不能工作在ring0了，但是它不知道這一點，以前執(zhí)行什么指令，現(xiàn)在還是執(zhí)行什么指令，但是沒有執(zhí)行權(quán)限，這時就會出現(xiàn)“非法指令”等異常錯誤信息。這時，虛擬機就要通過VMM或Hypervisor來避免上述錯誤的發(fā)生，根據(jù)其實現(xiàn)原理的不同，共有三種技術來實現(xiàn)x86架構(gòu)CPU敏感指令和特權(quán)指令的虛擬化，常用虛擬化技術內(nèi)存虛擬化內(nèi)存虛擬化涉及到對系統(tǒng)物理內(nèi)存的共享和動態(tài)地為虛擬機分配內(nèi)存，內(nèi)存虛擬化的效率將對虛擬機的性能產(chǎn)生重大影響；而現(xiàn)代計算機通常都采用段頁式存儲管理、多級頁表等復雜的存儲體系結(jié)構(gòu)，又給高性能內(nèi)存虛擬化的設計帶來很大挑戰(zhàn)。內(nèi)存虛擬化云計算服務中在虛擬機中運行的客戶操作系統(tǒng)（GuestOS）的虛擬內(nèi)存和操作系統(tǒng)的虛擬內(nèi)存不同，它需要通過虛擬化技術來對virtualmemory（虛擬內(nèi)存）進行虛擬化。為了在一個系統(tǒng)上運行多個虛擬機，還需要另外一層的內(nèi)存虛擬化。也就是說，MMU需要被虛擬化來支持虛擬機系統(tǒng)。內(nèi)存虛擬化虛擬內(nèi)存

虛擬內(nèi)存訪問：CPU訪問主存的時候會將一個虛擬地址（virtualaddress）被內(nèi)存管理單元（MemoryManagementUnit,MMU）進行翻譯成物理地址PA（physicaladdress）才能訪問。地址轉(zhuǎn)換帶頁表虛擬內(nèi)存地址轉(zhuǎn)換物理內(nèi)存地址缺頁轉(zhuǎn)換頁表與虛擬內(nèi)存內(nèi)存虛擬化在引入虛擬化技術后，內(nèi)存地址空間就變得復雜了，客戶機(Guest)和宿主機(Host)都有自己的地址空間?？蛻舨僮飨到y(tǒng)（GuestOS）本身有虛擬地址和物理地址。宿主操作系統(tǒng)（HostOS）也有虛擬機地址和物理地址。那虛擬機如何訪問到物理機上的物理地址就是內(nèi)存虛擬化技術。內(nèi)存虛擬化內(nèi)存虛擬化主要通過VMM采用分塊共享的思想來虛擬計算機的物理內(nèi)存。VMM將機器的內(nèi)存分配給各個虛擬機，并維護機器內(nèi)存和虛擬機內(nèi)存之間的映射關系，這些內(nèi)存在虛擬機看來是一段從地址0開始的、連續(xù)的物理地址空間。在進行內(nèi)存虛擬化后，內(nèi)存地址將有物理地址、中間物理地址和虛擬地址三種地址。內(nèi)存虛擬化虛擬地址和物理地址內(nèi)存虛擬化虛擬機地址轉(zhuǎn)換常用虛擬化技術為了在一個系統(tǒng)上運行多個虛擬機，還需要另外一層的內(nèi)存虛擬化。也就是說，MMU需要被虛擬化來支持虛擬機系統(tǒng)。常用虛擬化技術軟件方式：通過軟件實現(xiàn)內(nèi)存地址的翻譯，比如Shadowpagetable（影子頁表）技術常用虛擬化技術硬件實現(xiàn)：基于CPU的輔助虛擬化功能，比如AMD的NPT和Intel的EPT技術I/O設備虛擬化為了滿足多個客戶機操作系統(tǒng)對I/O外部設備訪問的需求，VMM必須通過I/O虛擬化的方式復用有限的I/O外部設備資源。所謂的虛擬I/O設備就是由VMM創(chuàng)建的，提供給客戶操作系統(tǒng)進行I/O訪問的虛擬I/O設備。I/O外部設備虛擬化包括虛擬芯片組；虛擬PCI總線布局；虛擬系統(tǒng)設備：PIC、IO-APIC、PIT、RTC；虛擬基本輸入輸出設備：顯卡、網(wǎng)卡、硬盤。I/O設備虛擬化VMM系統(tǒng)針對I/O設備虛擬化主要有全虛擬化、半虛擬化、直接I/O訪問等設計思路。I/O設備虛擬化全虛擬化I/O設備虛擬化全虛擬化I/O設備虛擬化半虛擬化I/O設備虛擬化I/O直通虛擬化技術就是將宿主機（host）中的物理PCI/PCIe設備直接分配給GuestOS使用，虛擬機獨占這個PCI/PCIe設備，利用效率幾乎等同于將硬件插到了虛擬機的主板擴展槽里一樣。I/O設備虛擬化硬件輔助虛擬化I/O設備虛擬化MMU(MemoryManagementUnit)，即內(nèi)存管理單元，是CPU芯片上的專用硬件，主要功能包括將用戶訪問的虛擬地址翻譯為實際的物理地址，以便CPU對實際的物理地址進行訪問，實現(xiàn)對一些虛擬地址進行訪問權(quán)限控制，對系統(tǒng)的物理內(nèi)存資源進行管理。Intel為支持虛擬機而設計的I/O虛擬化技術DMARemapping出現(xiàn)。DMARemapping硬件會把DMA地址翻譯成物理內(nèi)存地址，并檢查訪問權(quán)限等等。負責DMARemapping操作的硬件稱為IOMMU。常用虛擬化技術IOMMU常用虛擬化技術I/O直通虛擬化技術

I/O直通虛擬化技術需要硬件平臺具備I/O透傳技術，目前與此相關的技術有IOMMU（IntelVT-d,PCIe之SR-IOV等），旨在建立高效的I/O虛擬化直通道。常用虛擬化技術IntelVT-d技術在Intel平臺上的設備直接分配（Deviceassignment\DevicePass-Through）是VT-d（IntelVirtualizationTechnologyforDirectedI/O），VT-d是在VT-X的基礎上對硬件輔助虛擬化的擴展。VT-d是一個位于CPU、內(nèi)存和I/O設備之間的硬件設備。

IntelVT-d把設備訪問的虛擬地址轉(zhuǎn)化成物理地址，在芯片組里引入了DMA重映射硬件（DMARemapping），以提供設備重映射和設備直接分配的功能。I/O設備虛擬化通過SR-IOV（SingleRootI/OVirtualization）技術，一個物理網(wǎng)卡可以虛擬出多個網(wǎng)卡，分配給虛擬機使用,從而讓每個虛擬機都能直接和物理網(wǎng)卡通信，獲得接近物理網(wǎng)卡的網(wǎng)絡性能。存儲虛擬化存儲虛擬化是指將