酷炫研發(fā)與應(yīng)用動向節(jié)能計算與虛擬化

酷炫研發(fā)與應(yīng)用動向

節(jié)能計算與虛擬化2007/10/30謝裕偉研發(fā)顧問工程師IBM臺灣系統(tǒng)與科技研發(fā)中心（IBMTSTL）摘要根據(jù)ＩＤＣ的分析報告，電算中心每投資一元於電腦硬體便需花費(fèi)０．５元於能源開銷，而且此能源開銷的比重將在四年內(nèi)達(dá)到０．７１元。在高昂能源成本的時代及日益暖化的全球氣候下，ＩＴ產(chǎn)業(yè)已然面臨能源危機(jī)，因此需要思考如何提高能源效率。[1]本演講將介紹計算系統(tǒng)中硬體與應(yīng)用程式對功耗的影響，並介紹ＩＢＭ用以對抗ＩＴ產(chǎn)業(yè)能源危機(jī)所提出的計畫及新技術(shù)。議程節(jié)能計算計算系統(tǒng)硬體的演進(jìn)計算系統(tǒng)中硬體與應(yīng)用程式對功耗的影響虛擬化計算虛擬化計算的起源虛擬化計算的技術(shù)分類IBM的「綠色工程計畫（ProjectBigGreen）」結(jié)論節(jié)能計算節(jié)能計算的目的是使計算機(jī)的使用更有效率計算系統(tǒng)硬體的演進(jìn)[2]古代巴比倫，阿拉伯，中國，日本等地的算盤1623,WilhelmSchickhard(Germany)–加法器1642,BlaisePascal(France)–加法器1671,GottfriedLeibniz(Germany)–通用計算器(+,-,x,/)…1823,CharlesBabbage(England)-差分引擎節(jié)能計算：計算系統(tǒng)硬體的演進(jìn)1937,HowardAiken(USA)withIBM-HarvardMarkI(electromechanicalmachine)第一臺可連續(xù)工作的電機(jī)式計算機(jī)15x2.4

m1943-46,ENIAC,byJ.Mauchly,J.PresperEckertandHermanHeine

Goldstine第一臺可連續(xù)工作的數(shù)位計算機(jī)18,000真空管，十進(jìn)制組合邏輯式只有資料儲存在機(jī)器裡面，程式並不在裡面5,000ops/sec(333乘法)30噸重，10x13mJohnVonNeumann對其結(jié)構(gòu)不以為然1951,UNIVACI,byEckertandMauchly真空管Memoryaccesstime0.5ms.124.5kWaverage節(jié)能計算：計算系統(tǒng)硬體的演進(jìn)1952,JohnVonNeumann'sIASbit-parallelmachine1953,IBM650–第一臺量產(chǎn)型計算機(jī)1968,CrayCDC7600supercomputerachieves40MFLOPS1985,Cray2andThinkingMachines'parallel-processorConnectionMachine,1billionops/second(1Gops)節(jié)能計算：計算系統(tǒng)硬體與功耗的關(guān)係計算系統(tǒng)硬體與功耗的關(guān)係假設(shè)：不工作的硬體不消耗功率，則計算系統(tǒng)硬體的功耗可由下式表示： Totalpowerconsumption~=Sumi,j(Prob(App-i)xPwr(Comp-j|App-i))但實(shí)際上，大部分計算系統(tǒng)中不工作的硬體仍然消耗可觀的功率，解決之道有幾種：儘量讓電腦處於高使用率，例如OSVirtualization電腦處於低使用率時，關(guān)閉不用的元件，例如PowerExecutive虛擬化計算虛擬化計算的起源計算的起源來自虛擬化與抽象化人類最先發(fā)明的符號或文字已經(jīng)包含了數(shù)字：結(jié)繩記事（紀(jì)錄交易）楔形文字（紀(jì)錄商業(yè)交易）中文數(shù)字（象形文字）人類的語言與符號自然語言的形成(4000-2000B.C.)，兩河流域虛擬化計算：虛擬化計算的起源數(shù)字系統(tǒng)與邏輯系統(tǒng)的建立1854,GeorgeBoole(England)-binarylogic1945,JohnvonNeumann-storedprogram1948,ClaudeShannon–“AMathematicalTheoryofCommunication“消息理論1957,JohnBackus(IBM)--FORTRANcompiler1969,ARPANET,CommunicationbetweenComputers1971,FTP(FileTransferProtocol),Tosenddataoverthenets1973,AlanKay(Apple)-icons,graphicsandamouse圖形作業(yè)系統(tǒng)1990,Berners-Lee–URL,HTML,HTTP(WWW)作業(yè)系統(tǒng)，多人與多工，．．．虛擬化計算：虛擬化與計算資源[3]1971Intel4004(4bit)2.3k0.74MHz0.06MIPS1972Intel8008(8bit)3.5k0.50MHz0.06MIPS1974Intel8080(8bit)3.5k2.00MHz0.64MIPS1978Intel8086(16bit)29k8.00MHz0.66MIPS1982Intel80286(16bit)134k8.00MHz1.50MIPS1989Intel80486DX(32

bit)1.2M33.0MHz27.0MIPS2004IntelPentium4F(64bit,Prescott)125M533MHzsystem,3.2~3.6GHzcore7500~11000MIPS2005IBMCE/BE241M3.20GHzcore220GFLOPSTheIBMCellBEConcept

[4]Compatibilitywith64bPowerArchitecture?IncreasedefficiencyandperformanceAttacksonthe“PowerWall”NonHomogenousCoherentMultiprocessor:PPEandSPEHighdesignfrequency@alowoperatingvoltagewithadvancedpowermanagementAttacksonthe“MemoryWall”StreamingDMAarchitecture3-levelMemoryModel:MainStorage,LocalStorage,RegisterFilesAttacksonthe“FrequencyWall”HighlyoptimizedimplementationLargesharedregisterfilesandsoftwarecontrolledbranchingtoallowdeeperpipelinesInterfacebetweenuserandnetworkedworldMulti-OSsupport,includingRTOS/non-RTOSIBMCellSystemFeaturesHeterogeneousmulti-coresystemPowerProcessorElementforcontroltasksSynergisticProcessorElementsfordataintensiveProcessingSynergisticProcessor

Element(SPE)consistsofSynergisticProcessorUnit(SPU)SynergisticMemoryFlowControl(MFC)SynergisticIBMCellSynergyCellisnotacollectionofdifferentprocessors,butasynergisticwhole –Operationparadigms,dataformatsandsemanticsconsistent –ShareaddresstranslationandmemoryprotectionmodelPPEforoperatingsystemsandprogramcontrolSPEoptimizedforefficientdataprocessing –SPEsshareCellsystemfunctionsprovidedbyPowerArchitecture –MFCimplementsinterfacetomemory ?Copyin/copyouttolocalstoragePowerPCprovidessystemfunctions –Virtualization –Addresstranslationandprotection –ExternalexceptionhandlingEIBintegratessystemasdatatransporthubIBMCellSimulatorEnvironmentIBMCellBEWorkloads/DemosCellBroadbandEngineArchitecture?Technology

CompetitiveRoadmapCellResourceCellresourcecenteratdeveloperWorks –/developerworks/power/cell/Celldeveloper'scornerat –http:///resources/devcorner/cellcorner/ThecellprojectatIBMResearch –http:///cell/TheCellBEatIBMalphaWorks –http:///topics/cellCellBEatIBMEngineering&TechnicalServices –/technology/IBMPowerArchitecture –/chips/power/CellBEdocumentationatIBMMicroelectronics –http://www-306./chips/techlib/techlib.nsf/products/Cell_Broadband_EngineCellLinuxinfoattheBarcelonaSupercomputingCenterwebsite –http://www.bsc.es/projects/deepcomputing/linuxoncell/虛擬化計算的技術(shù)分類：CPU及系統(tǒng)硬體的虛擬化[5]虛擬化計算的技術(shù)分類CPU及系統(tǒng)硬體的虛擬化：以IntelVT-x(CPU)及VT-d(I/O)為例VT-xx86架構(gòu)為了保護(hù)指令的運(yùn)行，提供了指令的4個不同Privilege特權(quán)級別，術(shù)語稱為Ring，從Ring0～Ring3。Ring0的優(yōu)先級最高，Ring3最低。各個級別對可以運(yùn)行的指令有所限制，例如，GDT，IDT，LDT，TSS等這些指令就只能運(yùn)行于Privilege0，也就是Ring0。CPU及系統(tǒng)硬體的虛擬化：IntelVT-x作業(yè)系統(tǒng)必須要運(yùn)行一些Privilege0的特權(quán)指令，因此Ring0是被用於運(yùn)行作業(yè)系統(tǒng)內(nèi)核，Ring1和Ring2是用於作業(yè)系統(tǒng)服務(wù)，Ring3則是用於應(yīng)用程式。然而實(shí)際上並沒有必要用完4個不同的等級，一般的作業(yè)系統(tǒng)實(shí)現(xiàn)都僅僅使用了兩個等級，即Ring0和Ring3，如圖所示：CPU及系統(tǒng)硬體的虛擬化：IntelVT-x也就是說，在一個常規(guī)的x86作業(yè)系統(tǒng)中，系統(tǒng)內(nèi)核必須運(yùn)行于Ring0，而VMM軟體以及其管理下的GuestOS卻不能運(yùn)行于Ring0——因?yàn)槟菢泳蜔o法對所有虛擬機(jī)進(jìn)行有效的管理。在沒有處理器輔助的虛擬化情況下，挑戰(zhàn)就是採用Ring0之外的等級來運(yùn)行VMM(VirtualMachineMonitor，虛擬機(jī)監(jiān)視器)或Hypervisor，以及GuestOS。現(xiàn)在流行的解決方法是RingDeprivileging（暫時譯為特權(quán)等級下降），並具有兩種選擇：客戶OS運(yùn)行于Privilege1（0/1/3模型），或者Privilege3（0/3/3模型）。無論是哪一種模型，客戶OS都無法運(yùn)行于Privilege0，這樣，如GDT，IDT，LDT，TSS這些特權(quán)指令就必須通過模擬的方式來運(yùn)行，這會帶來很明顯的性能問題。特別是在負(fù)荷沉重、這些指令被大量執(zhí)行的時候。CPU及系統(tǒng)硬體的虛擬化：IntelVT-x對於虛擬化而言，使用Paging模式的一個致命之處是它不區(qū)分Privileg0/1/2模式，因此客戶機(jī)運(yùn)行于Privileg3就成為了必然（0/3/3模型），這樣Paging模式才可以將主機(jī)OS和客戶OS隔離開來，然而在同一個Privileg模式下的不同應(yīng)用程式（如，不同的虛擬機(jī)）是無法受到Privileg機(jī)構(gòu)保護(hù)的，這就是目前IA32帶來的隔離性問題，這個問題被稱為RingCompression。這個問題的實(shí)際表現(xiàn)是：VMware在不支援IntelVT的IA32架構(gòu)CPU上無法虛擬64-bit客戶作業(yè)系統(tǒng)，因?yàn)闊o法在客戶OS之間安全地隔離。CPU及系統(tǒng)硬體的虛擬化：IntelVT-xVT-x將IA32的CU操作擴(kuò)展為兩個forms（表單）：VMXrootoperation（根虛擬化操作）和VMXnon-rootoperation（非根虛擬化操作），VMXrootoperation設(shè)計來供給VMM/Hypervisor使用，其行為跟傳統(tǒng)的IA32並無特別不同，而VMXnon-rootoperation則是另一個處在VMM控制之下的IA32環(huán)境。所有的forms都能支援所有的四個Privilegeslevels，這樣在VMXnon-rootoperation環(huán)境下運(yùn)行的虛擬機(jī)就能完全地利用Privilege0等級。CPU及系統(tǒng)硬體的虛擬化：IntelVT-xVT同時為VMM和GuestOS提供了所有的Privilege運(yùn)行等級，而不是只讓它們分別佔(zhàn)據(jù)一個等級：因?yàn)閂MM和GuestOS運(yùn)行于不同的兩個forms。由此，GDT、IDT、LDT、TSS等這些指令就能正常地運(yùn)行于虛擬機(jī)內(nèi)部了，而在以往，這些特權(quán)指令需要模擬運(yùn)行。而VMM也能從模擬運(yùn)行特權(quán)指令當(dāng)中解放出來，這樣既能解決RingAliasing問題（軟體運(yùn)行的實(shí)際Ring與設(shè)計運(yùn)行的Ring不相同帶來的問題），又能解決RingCompression問題，從而大大地提升運(yùn)行效率。RingCompression問題的解決，也就解決了64bit客戶作業(yè)系統(tǒng)的運(yùn)行問題。CPU及系統(tǒng)硬體的虛擬化：IntelVT-dVT-d我們知道對於伺服器而言，很重要的一個組成部分就I/O，CPU的計算能力提升雖然可以更快地處理數(shù)據(jù)，但是前提是數(shù)據(jù)能夠順暢的到達(dá)CPU，因此，無論是存儲，還是網(wǎng)路，以及圖形卡、記憶體等，I/O能力都是企業(yè)級架構(gòu)的一個重要部分。為此，人們不但在傳輸帶寬上投資（比如從百兆乙太網(wǎng)到千兆乙太網(wǎng)再到萬兆乙太網(wǎng)），還在各種系統(tǒng)和架構(gòu)上進(jìn)行了大量的投入（比如吞吐量更高的RAID系列、多層數(shù)據(jù)中心）。在虛擬化技術(shù)中，隨著整體處理器資源的利用效率的提升，對數(shù)據(jù)I/O也提出了更高的要求。VMM虛擬機(jī)管理器必須提供I/O虛擬化來支援處理來自多個客戶機(jī)的I/O請求，當(dāng)前的虛擬化技術(shù)採用下列的方式來處理I/O虛擬化CPU及系統(tǒng)硬體的虛擬化：IntelVT-dFullVirtualizationPara-VirtualizationCPU及系統(tǒng)硬體的虛擬化：IntelVT-dI/O虛擬化的關(guān)鍵在於解決I/O設(shè)備與虛擬機(jī)數(shù)據(jù)交換的問題，而這部分主要相關(guān)的是DMA直接記憶體存取，以及IRQ中斷請求，只要解決好這兩個方面的隔離、保護(hù)以及性能問題，就是成功的I/O虛擬化。CPU及系統(tǒng)硬體的虛擬化：IntelVT-dIntelVT-d技術(shù)是一種基於NorthBridge北橋晶片（或者按照較新的說法：MCH）的硬體輔助虛擬化技術(shù)，通過在北橋中內(nèi)置提供DMA虛擬化和IRQ虛擬化硬體，實(shí)現(xiàn)了新型的I/O虛擬化方式，IntelVT-d能夠在虛擬環(huán)境中大大地提升I/O的可靠性、靈活性與性能。傳統(tǒng)的IOMMUs（I/Omemorymanagementunits，I/O記憶體管理單元）提供了一種集中的方式管理所有的DMA——除了傳統(tǒng)的內(nèi)部DMA，還包括如AGPGART、TPT、RDMAoverTCP/IP等這些特別的DMA，它通過在記憶體地址範(fàn)圍來區(qū)別設(shè)備，因此容易實(shí)現(xiàn)，卻不容易實(shí)現(xiàn)DMA隔離，因此VT-d通過更新設(shè)計的IOMMU架構(gòu)，實(shí)現(xiàn)了多個DMA保護(hù)區(qū)域的存在，最終實(shí)現(xiàn)了DMA虛擬化。這個技術(shù)也叫做DMARemapping。VT-d實(shí)現(xiàn)的中斷重映射（interrupt-remapping）架構(gòu)通過重新定義MSI的格式來解決這個問題，新的MSI仍然是一個DMA寫請求的形式，不過並不嵌入目標(biāo)記憶體地址，取而代之的是一個消息ID，通過維護(hù)一個表結(jié)構(gòu)，硬體可以通過不同的消息ID辨認(rèn)不同的虛擬機(jī)區(qū)域。VT-d實(shí)現(xiàn)的中斷重映射可以支援所有的I/O源，包括IOAPICs，以及所有的中斷類型，如通常的MSI以及擴(kuò)展的MSI-X。CPU及系統(tǒng)硬體的虛擬化：IntelVT-dVirtualization–directI/O虛擬化計算的技術(shù)分類：OS的虛擬化OS的虛擬化IBM於１９９６年發(fā)明了虛擬作業(yè)系統(tǒng)[6]過去１０年，

VMware

純軟體VMM相當(dāng)成功過去５年，Xenopen-source開始paravirtualization

及fullvirtualization.(SuSE10.0,RH5.0已經(jīng)整合Xen)KVM(Kernel-basedVirtualMachine)isanewLinuxsubsystemwhichleveragesthesevirtualizationextensionstoaddavirtualmachinemonitor(orhypervisor)capabilitytoLinux.目前提供相當(dāng)於Xen

的功能(VT-x)虛擬化計算的技術(shù)分類：

OS的虛擬化OS的虛擬化典型應(yīng)用與其重要性伺服器整併（ServerConsolidation）提高伺服器使用效率降低ＩＴ系統(tǒng)管理的成本任務(wù)隔離（WorkloadIsolation）提高安全性任務(wù)管理（WorkloadManagement）根據(jù)任務(wù)需求，量身訂製系統(tǒng)資源任務(wù)可輕易在伺服器中移動系統(tǒng)升級容易．．．虛擬化計算的技術(shù)分類：OS的虛擬化Easilydeploynew

applicationsand

adjustprioritiesEasilyprovision,

configure,and

managesystemsDataCenterOperationsMakechanges

transparently,without

“changewindows”PhysicalEnvironmentVirtualizationVirtualEnvironmentVirtualStorageVirtualApplicationServerVirtualApplicationServerVirtualApplicationServer

VirtualNetworksVirtualApplicationServersFixedsizes,limitedports/slots,incompatibleversions,

rigidconfigurations,workloadsboundtoboxes,…Allresourcesarevirtual–easytodeploy,grow,move,…Virtualresourcesandtheirconfigurationsaredurable–

insulatedfromphysicalchangesPre-builtvirtualresourcesserveastheunitsofproduct

distributionandprovisioningSeparationof

VirtualandPhysical

EnvironmentsFacilitatesrequiredchanges;

LimitstheimpactofchangesSMPServersNetwork

HardwareStorageServers

andStorageBlades虛擬化計算的技術(shù)分類：OS的虛擬化PoolofphysicalX86servers(blades,drawers,frames)SeveralgenerationswithevolvingarchitectureSamegeneralarchitecturefamily(Power,x86,…)HypervisorintegratedwitheachserverNewGenerationserverswillrunPreviousGenerationvirtualserversGen.NwillsupportN-kVirtualserversareprovisioned

fromlibraryServiceappliedoncetoasharedimagewillpropagatetoNclonesSnapshots/backupsofvirtualserverscanbecreatedforHA,DR,andarchivalpurposesPre-builtimagescanbeusedforsoftwaredistributionAppSLES10.0HypervisorHypervisorHypervisorVirtualserversholdsoftwarestackskeyinvestmentstobepreservedSeverArch(CPU,I/O)isadurableVirtualServerPropertyREL4.0AppWin2000AppWin2003AppAppWin2000AppWin2003AppSLES9.0AppREL5.0AppWin2003AppWin2003AppSLES9.0Virtualserverscanbemovedfromservertoserver,whileactive,evenacrossservergenerationsMoveformaintenanceBalanceWorkloadsEnd-to-endvirtualnetworksarepreserved(LANandSAN)RepositoryLibraryofvirtualserverimages,virtualdisks,…AppSLES10.0AppWin2000AppWin2003AppREL4.0虛擬化計算的技術(shù)分類：Application的虛擬化Application的虛擬化，例如SimulationPhysicallybasedsimulation

[7]Gaming3DS[8]MayaOthergameenginesIBM的「綠色工程計畫（ProjectBigGreen）」[9]運(yùn)用以上所介紹的許多觀念及技術(shù)，目標(biāo)是大幅降低電算中心能源耗量的成長以及對環(huán)境的衝擊。五階段式「綠色工程計畫」包含：診斷IBM的資料中心節(jié)能評估服務(wù)（IBMDataCenterEnergyEfficiencyAssessment），以標(biāo)準(zhǔn)化程序衡量資料中心的用電效益，並研擬改善計畫。針對資料中心現(xiàn)有設(shè)施中高度用電部分，進(jìn)行3D模擬與散熱分析評估。透過創(chuàng)新的行動測量技術(shù)，以3D方式模擬資料中心內(nèi)部的溫度分佈情境，並進(jìn)行高度運(yùn)算的熱能分析，找出並且解決可能導(dǎo)致資料中心電源中斷的過熱問題，以作為有效節(jié)能與日後擴(kuò)編的參考。IBM的「綠色工程計畫（ProjectBigGreen）」建置節(jié)能自我評估（EnergyEfficiencySelfAssessment），讓客戶檢視其資料中心的節(jié)能狀況；可擴(kuò)充模組化資料中心（IBMScalableModularDataCenter），為一具備能源效益、預(yù)先設(shè)定之500或1,000平方英尺的資料中心解決方案，可在8至12周內(nèi)完成建置，且整體費(fèi)用比建造傳統(tǒng)資料中心減少15%；IBM最佳化配線氣流評估（IBMOptimizedAirflowAssessmentforCabling），可增加資料中心高架地板下方氣流量並降低配線成本；專業(yè)設(shè)備（SpecializedFacilities），協(xié)助設(shè)計與建造能夠整合客戶所有子系統(tǒng)的環(huán)保建築，使其在安全、高效率且高度節(jié)能的環(huán)境下運(yùn)作IBM的「綠色工程計畫（ProjectBigGreen）」虛擬使用虛擬化架構(gòu)及採用專用處理器，減少耗電量，利用大型主機(jī)、UNIX、x86架構(gòu)或儲存系統(tǒng)，將更多的作業(yè)量整合至較少的主機(jī)上，同時達(dá)成使用率提升與能源耗量降低的成果。企業(yè)並可採用特殊目的處理器，以整合離散系統(tǒng)，例如WebSphere

DataPowerSOA設(shè)備可解決XML效能暨安全問題，而Cell寬頻引擎處理器（IBMCellBroadbandEngine），則可針對各式統(tǒng)計與數(shù)位應(yīng)用，提供較傳統(tǒng)處理器更為強(qiáng)大的效能。IBM的「綠色工程計畫（ProjectBigGreen）」管理善用電源管理軟體，達(dá)成有效控管。在不需使用伺服器資源時，服務(wù)供應(yīng)軟體能自動將伺服器轉(zhuǎn)換為待機(jī)模式，進(jìn)而省下高達(dá)八成的用電量；而IBM更為酷藍(lán)（CoolBlue）用電管理和散熱技術(shù)組合，增添Tivoli軟體功能，不但可追蹤能源使用情況，並針對資料中心各單位用電量進(jìn)行計費(fèi)；PowerExecutive