FusionSphere虛擬化套件GPU直通技術(shù)白皮書

1、 DOCPROPERTY DocumentName GPU直通技術(shù)白皮書華為專有和保密信息 版權(quán)所有 華為技術(shù)有限公司文檔版本 DOCPROPERTY DocumentVersion V1.0 ( DOCPROPERTY ReleaseDate 2019-03-30) DOCPROPERTY Product Project Name 華為FusionSphere 虛擬化套件 DOCPROPERTY DocumentName GPU直通技術(shù)白皮書目 錄 TOC o 1-3 h z u HYPERLINK l _Toc525892354 1 簡(jiǎn)介 PAGEREF _Toc525892354 h 1

2、 HYPERLINK l _Toc525892355 1.1 背景簡(jiǎn)介 PAGEREF _Toc525892355 h 1 HYPERLINK l _Toc525892356 1.2 方案簡(jiǎn)介 PAGEREF _Toc525892356 h 1 HYPERLINK l _Toc525892357 2 技術(shù)和方案介紹 PAGEREF _Toc525892357 h 2 HYPERLINK l _Toc525892358 2.1 PCI直通方案 PAGEREF _Toc525892358 h 2 HYPERLINK l _Toc525892359 2.1.1 方案概述 PAGEREF _Toc52

3、5892359 h 2 HYPERLINK l _Toc525892360 2.1.2 適用場(chǎng)景 PAGEREF _Toc525892360 h 3 HYPERLINK l _Toc525892361 2.1.3 方案特點(diǎn) PAGEREF _Toc525892361 h 3 HYPERLINK l _Toc525892362 2.2 GPU資源組方案 PAGEREF _Toc525892362 h 4 HYPERLINK l _Toc525892363 2.2.1 方案概述 PAGEREF _Toc525892363 h 4 HYPERLINK l _Toc525892364 2.2.2 適用

4、場(chǎng)景 PAGEREF _Toc525892364 h 4 HYPERLINK l _Toc525892365 2.2.3 方案特點(diǎn) PAGEREF _Toc525892365 h 6 HYPERLINK l _Toc525892366 3 術(shù)語 PAGEREF _Toc525892366 h 6簡(jiǎn)介背景簡(jiǎn)介隨著信息化社會(huì)的飛速發(fā)展，大數(shù)據(jù)分析、深度學(xué)習(xí)等新技術(shù)的不斷涌現(xiàn)，高性能計(jì)算不僅應(yīng)用在石油勘探、地震分析、流體力學(xué)計(jì)算、分子運(yùn)力學(xué)等傳統(tǒng)領(lǐng)域，互聯(lián)網(wǎng)、金融、政府信息化、教育等領(lǐng)域?qū)Ω咝阅苡?jì)算的需求也飛速增長(zhǎng)。GPU在高性能計(jì)算領(lǐng)域的使用，使得CPU不再是計(jì)算芯片的唯一選擇。與CPU相比，GP

5、U具備更強(qiáng)大的計(jì)算能力以及更簡(jiǎn)單的任務(wù)處理模式，在高性能計(jì)算領(lǐng)域扮演者越來越重要的角色。與此同時(shí)，在傳統(tǒng)的圖形渲染領(lǐng)域，包括虛擬桌面、游戲、工業(yè)設(shè)計(jì)、影視渲染等場(chǎng)景中，GPU也扮演者不可替代的角色。GPU直通方案，為虛擬機(jī)提供接近于物理GPU能力的GPU設(shè)備。方案簡(jiǎn)介華為FusionSphere虛擬化套件針對(duì)不同的業(yè)務(wù)場(chǎng)景及對(duì)GPU資源的使用情況，提供以下兩種有針對(duì)性的解決方案：主機(jī)PCI設(shè)備直通GPU資源組方案類型解決方案功能特點(diǎn)應(yīng)用場(chǎng)景PCI直通直接將主機(jī)上GPU對(duì)應(yīng)的PCI設(shè)備直通給虛擬機(jī)使用獨(dú)占GPU設(shè)備不允許GPU超分配視頻云等GPU資源組將GPU設(shè)備添加到GPU資源組，再?gòu)腉PU資

6、源組中分配GPU給虛擬機(jī)在虛擬機(jī)關(guān)閉后，GPU可被其他虛擬機(jī)使用；允許GPU超分配桌面云等FusionSphere虛擬化套件使用PCI直通技術(shù)將GPU設(shè)備直通給虛擬機(jī)，即將GPU在計(jì)算節(jié)點(diǎn)中呈現(xiàn)的PCI設(shè)備直接綁定給虛擬機(jī)以呈現(xiàn)成為虛擬機(jī)的一個(gè)PCI設(shè)備。技術(shù)和方案介紹PCI直通方案方案概述FusionSphere虛擬化套件在主機(jī)（計(jì)算節(jié)點(diǎn)）啟動(dòng)等時(shí)機(jī)主動(dòng)發(fā)現(xiàn)其以裝配的GPU設(shè)備，這些GPU設(shè)備可直接綁定給虛擬機(jī)。適用場(chǎng)景使用場(chǎng)景適用于對(duì)GPU資源需求明確，需要對(duì)GPU進(jìn)行持續(xù)獨(dú)占使用的場(chǎng)景。例如：地震分析、視頻云等領(lǐng)域使用約束PCI直通方案存在以下約束：虛擬機(jī)必須與GPU設(shè)備所在主機(jī)綁定；已

7、直通GPU設(shè)備的虛擬機(jī)不支持內(nèi)存快照；已直通GPU設(shè)備的虛擬機(jī)不支持熱遷移、休眠、喚醒操作；僅支持在GPU關(guān)閉狀態(tài)下進(jìn)行GPU設(shè)備的綁定與解綁定操作；一個(gè)GPU只能綁定給一個(gè)虛擬機(jī)或一個(gè)GPU資源組；需要進(jìn)行GPU直通的虛擬機(jī)的內(nèi)存必須全部預(yù)留；每個(gè)虛擬機(jī)最多支持直通8個(gè)GPU設(shè)備；需要提前在主機(jī)的BIOS中開啟VT-d和VT-x支持。不同廠商服務(wù)器開啟的方式會(huì)有區(qū)別，請(qǐng)參考具體的服務(wù)器幫助文檔；方案特點(diǎn)綁定GPU的虛擬機(jī)，不會(huì)因?yàn)镚PU資源不足導(dǎo)致虛擬機(jī)無法啟動(dòng)說明即使綁定GPU的虛擬機(jī)的電源已關(guān)閉，GPU也不能被其他虛擬機(jī)使用GPU資源組方案方案概述GPU資源組方案需要管理員首先創(chuàng)建以直通

8、方式使用的GPU資源組，并將主機(jī)上的GPU設(shè)備添加到資源組中。在需要對(duì)虛擬機(jī)分配GPU資源時(shí)，直接將GPU資源組綁定給虛擬機(jī)，并指定預(yù)計(jì)在資源組中分配的GPU數(shù)量?？蛻籼摂M機(jī)啟動(dòng)時(shí)，GPU資源組按照虛擬機(jī)所需的GPU數(shù)量，找到空閑的GPU數(shù)量滿足條件的主機(jī)，并從該主機(jī)中分配所需數(shù)量的GPU資源以PCI直通的方式直通給虛擬機(jī)，以使虛擬機(jī)順利啟動(dòng)?？蛻籼摂M機(jī)在關(guān)閉后，GPU資源會(huì)釋放給資源組，此時(shí)這些GPU資源可以被分配給其他虛擬機(jī)使用。相比于FusionSphere虛擬化套件6.3之前的版本，該方案支持在一套環(huán)境中同時(shí)使用多種規(guī)格的GPU卡，只需將不同的GPU卡劃分在不同的資源組中即可。該方案可

9、以支持系統(tǒng)中存在需要使用不同GPU的應(yīng)用的情況，同時(shí)也可在設(shè)備演進(jìn)中平臺(tái)地支持GPU卡進(jìn)行更新?lián)Q代。多種GPU卡是否可以同時(shí)直通給一臺(tái)虛擬機(jī)，需要從虛擬機(jī)操作系統(tǒng)供應(yīng)商以及顯卡芯片廠商處獲取支持。說明每個(gè)GPU資源組可以管理相同產(chǎn)品型號(hào)的GPU資源，虛擬機(jī)可以通過綁定多個(gè)不同產(chǎn)品型號(hào)的GPU資源組以掛載不同型號(hào)的GPU設(shè)備，但是這些設(shè)備在虛擬機(jī)的操作系統(tǒng)中是否可以正常使用，由GPU的驅(qū)動(dòng)程序以及操作系統(tǒng)決定。適用場(chǎng)景使用場(chǎng)景適用于對(duì)GPU資源需求存在彈性，允許進(jìn)行GPU分時(shí)復(fù)用的場(chǎng)景。場(chǎng)景舉例：大數(shù)據(jù)分析、深度學(xué)習(xí)、互聯(lián)網(wǎng)、教育等領(lǐng)域例如：分時(shí)復(fù)用某公司有3種業(yè)務(wù)A、B、C均需要使用GPU，但

10、各業(yè)務(wù)運(yùn)行的高峰時(shí)段存在明顯差異，如下表所示：業(yè)務(wù)高峰時(shí)段對(duì)GPU數(shù)量的訴求常規(guī)時(shí)段高峰時(shí)段A8:0010:0016:0020:0026B11:0014:0024C1:004:0013時(shí)段對(duì)GPU數(shù)量的訴求業(yè)務(wù)A業(yè)務(wù)B業(yè)務(wù)C總數(shù)1:004:0022378:0010:00621911:0014:00241716:0020:006219在此種場(chǎng)景下，為滿足所有業(yè)務(wù)在高峰時(shí)段對(duì)于GPU的訴求，共需配備13塊GPU；而各業(yè)務(wù)存在明顯的高峰時(shí)段差異，此時(shí)對(duì)各高峰時(shí)段進(jìn)行分析得出在每個(gè)高峰時(shí)段中，所需要的GPU數(shù)量都不超過9個(gè)，如下表所示：在業(yè)務(wù)系統(tǒng)支持動(dòng)態(tài)擴(kuò)縮容的情況下，在某個(gè)業(yè)務(wù)處于高峰時(shí)段時(shí)，業(yè)務(wù)系

11、統(tǒng)通過擴(kuò)展節(jié)點(diǎn)（虛擬機(jī)）的方式進(jìn)行擴(kuò)容，在脫離高峰時(shí)段時(shí)進(jìn)行縮容，只需配備9塊GPU，即可滿足所有業(yè)務(wù)在各自高峰時(shí)段對(duì)GPU的訴求。此種相同GPU在不同時(shí)間由不同的系統(tǒng)或應(yīng)用使用的情況即為分時(shí)復(fù)用。使用約束GPU資源組方案存在以下約束：同一臺(tái)虛擬機(jī)所使用的GPU必須集中在同一臺(tái)主機(jī)上，當(dāng)任意主機(jī)空閑的GPU不足以滿足虛擬機(jī)運(yùn)行所需時(shí)，即使資源組中的空閑GPU總量滿足，虛擬機(jī)也無法被分配到所需的GPU資源；已直通GPU設(shè)備的虛擬機(jī)不支持內(nèi)存快照；已直通GPU設(shè)備的虛擬機(jī)不支持熱遷移、休眠、喚醒操作；僅支持在GPU關(guān)閉狀態(tài)下進(jìn)行GPU設(shè)備的綁定與解綁定操作；一個(gè)GPU只能綁定給一個(gè)虛擬機(jī)或一個(gè)GPU資源組；需要進(jìn)行GPU直通的虛擬機(jī)的內(nèi)存必須全部預(yù)留；每個(gè)虛擬機(jī)最多支持直通8個(gè)GPU設(shè)備；需要提前在主機(jī)的BIOS中開啟VT-d和VT-x支持。不同廠商服務(wù)器開啟的方式會(huì)有區(qū)別，請(qǐng)參考具體的服務(wù)器幫助文檔；方案特點(diǎn)允許對(duì)GPU資源進(jìn)行超分配，同一個(gè)GPU在多個(gè)虛擬機(jī)間分時(shí)復(fù)