ESXi性能系列之二 虛擬機(jī)CPU優(yōu)化指南

1、 2014 VMware Inc. All rights reserved.ESXi性能系列之二性能系列之二 虛擬機(jī)虛擬機(jī)CPU優(yōu)化指南優(yōu)化指南萬翀VMware大中華區(qū)三線技術(shù)支持2014.11.27前言前言CONFIDENTIAL2應(yīng)用應(yīng)用操作系統(tǒng)（操作系統(tǒng)（GuestOS+ToolsGuestOS+Tools）虛擬機(jī)（虛擬機(jī)（VMX/VMMVMX/VMM）Hypervisor Hypervisor vmkernelvmkernel硬件硬件CONFIDENTIAL3應(yīng)用應(yīng)用操作系統(tǒng)（操作系統(tǒng)（GuestOS+ToolsGuestOS+Tools）虛擬機(jī)（虛擬機(jī)（VMX/VMMVMX/VMM）

2、Hypervisor Hypervisor vmkernelvmkernel硬件硬件處處理理器器內(nèi)內(nèi)存存Network網(wǎng)網(wǎng)絡(luò)絡(luò)Storage存存儲(chǔ)儲(chǔ)前言前言CONFIDENTIAL44分析分析工具工具EsxtopvmkstatsvProbevscsistatsvstracetop,free,netstat,iostat, vmstat, systemtap,oprofileLog,sed,awk,grep,rrdPerfmonHALPowerPolicyC-stat,P-statx2apicclockddSuper_piiperf應(yīng)用應(yīng)用操作系統(tǒng)（操作系統(tǒng)（GuestOS+ToolsGuest

3、OS+Tools）虛擬機(jī)（虛擬機(jī)（VMX/VMMVMX/VMM）Hypervisor Hypervisor vmkernelvmkernel硬件硬件 處處理理器器 內(nèi)內(nèi)存存Network 網(wǎng)網(wǎng)絡(luò)絡(luò)Storage 存存儲(chǔ)儲(chǔ)前言前言CONFIDENTIAL5BIOSvmkernelVMguestOSCPU性能性能優(yōu)化優(yōu)化議題議題內(nèi)存內(nèi)存性能調(diào)試性能調(diào)試網(wǎng)絡(luò)網(wǎng)絡(luò)性能調(diào)試性能調(diào)試存儲(chǔ)存儲(chǔ)性能調(diào)試性能調(diào)試硬件優(yōu)化硬件優(yōu)化電源模式pCPU虛擬化開關(guān)x2apic硬件硬件優(yōu)化優(yōu)化#1#1CONFIDENTIAL7pBIOS中打開CPU虛擬化技術(shù)選項(xiàng)Intel VT-XAMD AMD-VCPU的虛擬化技術(shù)直接影

4、響虛擬機(jī)指令執(zhí)行模塊VMM的執(zhí)行性能硬件硬件優(yōu)化優(yōu)化#2#2CONFIDENTIAL8p電源模式選項(xiàng) 關(guān)閉節(jié)電高性能策略O(shè)S Control模式節(jié)電使物理CPU在低頻下運(yùn)行虛擬機(jī)，對虛擬機(jī)內(nèi)的操作系統(tǒng)透明CONFIDENTIAL9硬硬件優(yōu)化件優(yōu)化#2#2硬件硬件優(yōu)化優(yōu)化#3#3CONFIDENTIAL10px2APICAuto/enable wikipedia/wiki/X2APICIntel spechttp:/ -參考資料參考資料 知識(shí)庫文章：處知識(shí)庫文章：處理理器電源管理設(shè)置導(dǎo)致虛擬機(jī)應(yīng)用性能問題器電源管理設(shè)置導(dǎo)致虛擬機(jī)應(yīng)用性能問題Poor v

5、irtual machine application performance may be caused by processor power management settings (1018206) http:/ 技術(shù)白皮書之性能學(xué)習(xí)：技術(shù)白皮書之性能學(xué)習(xí)： ESXi5.1ESXi5.1及及ESXi5.5ESXi5.5電源管理與性能電源管理與性能http:/ 官方博客：官方博客： ESXi5.1ESXi5.1電源管理與性能測試對比電源管理與性能測試對比http:/ vmkernelmkernel CPUCPU關(guān)鍵指標(biāo)關(guān)鍵指標(biāo)CPU Pool就緒時(shí)間Ready利用率Used&Run同

6、步時(shí)間cstop資源限制MLimit綁定Affinity資源池限制LAT_CCONFIDENTIAL13VmkernelVmkernel-CPU-CPU指標(biāo)指標(biāo)#1 (CPU#1 (CPU利用率利用率) )CPU利用率計(jì)算方法有兩種，根據(jù)時(shí)間和根據(jù)頻率來計(jì)算使用情況。如果沒有打開CPU超線程技術(shù)，只會(huì)顯示PCPU USED和PCPU UTIL。在這種情況下，紅藍(lán)色方框針對一個(gè)虛擬機(jī)的值基本一樣，或者相差甚少。如果開啟了超線程，會(huì)多顯示CORE UTIL記錄，即黃色方框部分，這時(shí)紅藍(lán)方框的值大約相差一倍。如果紅色方框的值相差很多，比如藍(lán)色方框的對比相差約8倍，說明物理CPU在節(jié)電模式下運(yùn)行，導(dǎo)致

7、虛擬機(jī)性能慢。配置電源管理交由ESXi控制。CONFIDENTIAL14下面這幅圖是沒有開啟超線程的情景， PCPU USED和PCPU UTIL相差1倍，說明主機(jī)在BIOS級別有開啟CPU節(jié)電功能。虛擬機(jī)開機(jī)啟動(dòng)會(huì)比較慢。VmkernelVmkernel-CPU-CPU指標(biāo)指標(biāo)#1 (#1 (CPUCPU利用率利用率) )CONFIDENTIAL15虛擬機(jī)vCPU就緒時(shí)間（%RDY）反映了vmkernel是否能夠及時(shí)調(diào)度虛擬機(jī)到物理CPU上。如果vmkernel需要較長時(shí)間完成該調(diào)度工作，則虛擬機(jī)在相同時(shí)間里獲得物理CPU的機(jī)會(huì)就會(huì)減少，虛擬機(jī)性能會(huì)受到明顯影響。如果虛擬機(jī)vCPU數(shù)量多，v

8、mkernel調(diào)度該虛擬機(jī)的難度就會(huì)加大，因?yàn)楸仨氃谕粫r(shí)刻有和vCPU相同數(shù)量的物理CPU空閑該虛擬機(jī)才能被調(diào)度成功。圖例顯示物理CPU利用率較高，多臺(tái)虛擬機(jī)RDY值較高(10)，說明主機(jī)負(fù)荷較重，虛擬機(jī)之間存在CPU競爭。遷移部分虛擬機(jī)是快速簡單而又有效的方法。VmkernelVmkernel-CPU-CPU指標(biāo)指標(biāo)#2 (CPU#2 (CPU就緒時(shí)間就緒時(shí)間) )CONFIDENTIAL16VmkernelVmkernel-CPU-CPU指標(biāo)指標(biāo)#3 (CPU#3 (CPU同步時(shí)間同步時(shí)間) )虛擬機(jī)vCPU同步停止時(shí)間（%CSTP）是虛擬機(jī)在多處理器環(huán)境下需要處理器的速度一樣。如果某個(gè)

9、CPU速度快了，該CPU需要跑慢點(diǎn)等待運(yùn)行速度慢的CPU跟上。CSTP反映虛擬機(jī)內(nèi)部vCPU之間的速度一致性，或者內(nèi)部競爭關(guān)系。如果同步停止時(shí)間長，虛擬機(jī)vCPU速度會(huì)變慢從而帶來性能問題。如果該值較高，說明該虛擬機(jī)有可能不需要這么多vCPU，也有可能說明有的vCPU在處理等待慢速IO操作結(jié)束,比如磁盤讀寫。由于虛擬機(jī)快照對vmdk文件訪問的特殊性，有可能造成CSTP值偏高而導(dǎo)致虛擬機(jī)性能問題。CONFIDENTIAL17VMkernelVMkernel-CPU-CPU指標(biāo)指標(biāo)#4 (#4 (資源限制資源限制) )如果設(shè)置了vCPU資源限制不適當(dāng)，也會(huì)導(dǎo)致虛擬機(jī)性能低。圖例中該虛擬機(jī)僅僅分配了

10、10MHz的CPU頻率。CONFIDENTIAL18VMkernelVMkernel-CPU-CPU指標(biāo)指標(biāo)#4 (#4 (資源限制資源限制) )該虛擬機(jī)CPU利用率低，但Ready時(shí)間高，說明該虛擬機(jī)被調(diào)度到物理虛擬機(jī)的機(jī)會(huì)少；而不管主機(jī)的物理CPU利用率還是虛擬機(jī)的CPU利用率都低說明不是由CPU計(jì)算資源競爭或者過度消耗造成。MLMTD的值高并導(dǎo)致了Ready值高，說明該虛擬機(jī)是由于資源限制的配置不當(dāng)造成的。VMkernelVMkernel-CPU-CPU指標(biāo)指標(biāo)#4 (#4 (資源限制續(xù)資源限制續(xù)) )CONFIDENTIAL20VmkernelVmkernel-CPU-CPU指標(biāo)指標(biāo)#

11、5 (#5 (資源池限制資源池限制) )CONFIDENTIAL21VmkernelVmkernel-CPU-CPU指標(biāo)指標(biāo)#6 (#6 (綁定綁定- -Affinity)Affinity)虛擬機(jī)配置虛擬機(jī)配置虛擬機(jī)調(diào)度VMM選項(xiàng)滯后時(shí)間敏感CONFIDENTIAL23虛虛擬機(jī)擬機(jī)配置配置#1 (VMM#1 (VMM選項(xiàng)選項(xiàng)) )使用不同類型的虛擬化技術(shù)，對虛擬機(jī)性能影響很大BT軟件虛擬化對Java類型的應(yīng)用支持較好硬件虛擬化適用于大多數(shù)的情況使用BT：CPU使用軟件虛擬化技術(shù)，內(nèi)存使用軟件虛擬化技術(shù)CPU使用硬件虛擬化技術(shù)，內(nèi)存使用軟件虛擬化技術(shù)CPU使用硬件虛擬化技術(shù)，內(nèi)存使用硬件虛擬化技

12、術(shù)自動(dòng)選擇指令和尋址的VMM，通常都是使用硬件虛擬化技術(shù)CONFIDENTIAL24虛擬機(jī)配置虛擬機(jī)配置#1 (VMM#1 (VMM配置記錄配置記錄) )如如果使用默認(rèn)自動(dòng)選擇果使用默認(rèn)自動(dòng)選擇VMMVMM，可以打開虛擬機(jī)目錄下的，可以打開虛擬機(jī)目錄下的vmware.logvmware.log文件來確定實(shí)際使用的是硬件虛擬機(jī)還是軟文件來確定實(shí)際使用的是硬件虛擬機(jī)還是軟件虛擬化。使用件虛擬化。使用vivi命令打開該日志文件。命令打開該日志文件。查查找關(guān)鍵字找關(guān)鍵字“HV SettingsHV Settings”。下面紅色部分顯示該虛擬機(jī)運(yùn)行態(tài)實(shí)際使用的虛擬化技術(shù)是硬件；黃色部分顯。下面紅色部分顯

13、示該虛擬機(jī)運(yùn)行態(tài)實(shí)際使用的虛擬化技術(shù)是硬件；黃色部分顯示該物理示該物理CPUCPU以及客戶機(jī)操作系統(tǒng)能夠支持的虛擬化技術(shù)。以及客戶機(jī)操作系統(tǒng)能夠支持的虛擬化技術(shù)。BTBT是使用軟件翻譯指令和尋址，是使用軟件翻譯指令和尋址，HVHV是硬件翻譯指令是硬件翻譯指令，HWMMUHWMMU是采用硬件尋址。是采用硬件尋址。CONFIDENTIAL25虛擬機(jī)配置虛擬機(jī)配置#1” (VMM#1” (VMM實(shí)際實(shí)際記錄記錄) )查查找關(guān)鍵字找關(guān)鍵字“HV SettingsHV Settings”。下面紅色部分顯示該虛擬機(jī)運(yùn)行態(tài)實(shí)際使用的虛擬化技術(shù)是。下面紅色部分顯示該虛擬機(jī)運(yùn)行態(tài)實(shí)際使用的虛擬化技術(shù)是BTBT，

14、即軟件虛擬化，即軟件虛擬化；該虛擬機(jī)加電裝載的配置文件也顯示使用了軟件方式翻譯指令和尋址該虛擬機(jī)加電裝載的配置文件也顯示使用了軟件方式翻譯指令和尋址CONFIDENTIAL26虛擬機(jī)配虛擬機(jī)配置置#2 (#2 (調(diào)度調(diào)度參參數(shù)數(shù)1)1)Vmx: monitor_control.halt_desched=FALSE手工添加該參數(shù)到手工添加該參數(shù)到虛擬虛擬機(jī)配置文件機(jī)配置文件vmxvmx里。啟動(dòng)里。啟動(dòng)虛擬機(jī)后，虛擬機(jī)將獨(dú)占已經(jīng)綁定的物理虛擬機(jī)后，虛擬機(jī)將獨(dú)占已經(jīng)綁定的物理CPUCPU，及時(shí)虛擬機(jī)處于及時(shí)虛擬機(jī)處于idleidle狀態(tài)也不會(huì)被置換出狀態(tài)也不會(huì)被置換出物理物理CPUCPU，從而保證虛

15、擬機(jī)的，從而保證虛擬機(jī)的CPUCPU計(jì)算資源。計(jì)算資源。 該參數(shù)該參數(shù)用于測試、調(diào)優(yōu)排查等場景，不用于生產(chǎn)環(huán)境。用于測試、調(diào)優(yōu)排查等場景，不用于生產(chǎn)環(huán)境。使用參數(shù)后在使用參數(shù)后在esxtopesxtop里虛擬機(jī)占用里虛擬機(jī)占用CPUCPU會(huì)一直處會(huì)一直處于高位，是正常預(yù)期。于高位，是正常預(yù)期。舊版本舊版本ESXiESXi也可使用參數(shù)也可使用參數(shù)monitor.idleLoopSpinUS = -1CONFIDENTIAL27虛擬機(jī)配置虛擬機(jī)配置#2 #2 ( (調(diào)調(diào)度參數(shù)度參數(shù)2)2)參考：KB# 1018276 monitor.idleLoopSpinBeforeHalthttp:/ 白皮書

16、：http:/ (#2” (調(diào)度參數(shù)調(diào)度參數(shù)3-3-滯后時(shí)間敏感滯后時(shí)間敏感) )在 VMware vSphere 5.5 中部署對延遲極度敏感的應(yīng)用：性能研究 PDFhttp:/ = highCONFIDENTIAL29虛擬機(jī)配置虛擬機(jī)配置#2” #2” ( (調(diào)度參調(diào)度參數(shù)數(shù)4)4)客戶機(jī)操作系統(tǒng)客戶機(jī)操作系統(tǒng)Linux Linux 內(nèi)核配置啟動(dòng)參數(shù)內(nèi)核配置啟動(dòng)參數(shù) idle=pollidle=poll， LinuxLinux操作系統(tǒng)在操作系統(tǒng)在idleidle的時(shí)候不再向的時(shí)候不再向CPUCPU發(fā)送發(fā)送HALTHALT指令，而是發(fā)送指令，而是發(fā)送PAUSEPAUSE指令，這樣在喚起指令，

17、這樣在喚起CPUCPU的時(shí)候速度更快。的時(shí)候速度更快。 VMXVMX添加參數(shù)：添加參數(shù)：monitor_control.disable_pause_loop_exitingmonitor_control.disable_pause_loop_exiting = = truetrue該參數(shù)可以捕獲客戶機(jī)操作系統(tǒng)該參數(shù)可以捕獲客戶機(jī)操作系統(tǒng)LinuxLinux發(fā)出的發(fā)出的PAUSEPAUSE指令并識(shí)別后仍然讓該虛擬機(jī)綁定在物理指令并識(shí)別后仍然讓該虛擬機(jī)綁定在物理CPUCPU上運(yùn)行。上運(yùn)行。虛擬化性能數(shù)據(jù)采集虛擬化性能數(shù)據(jù)采集虛擬機(jī)統(tǒng)計(jì)數(shù)據(jù)主機(jī)性能esxtopCPU性能計(jì)數(shù)器vPMCESXiESXi

18、 基本性能收集基本性能收集 KB: Collecting performance snapshots using KB: Collecting performance snapshots using vmvm-support (-support (19671967) )KB: Collecting performance data for ESXi5.x hosts via the KB: Collecting performance data for ESXi5.x hosts via the vSpherevSphere client ( client (20091242009124) )

19、20s5s虛虛擬化性能數(shù)據(jù)采集擬化性能數(shù)據(jù)采集#1 (#1 (主機(jī)性能數(shù)據(jù)主機(jī)性能數(shù)據(jù)) )注注意：意：須選擇主機(jī)或者以上對象須選擇主機(jī)或者以上對象ESXi 基本性能收集 虛虛擬化性能數(shù)據(jù)采集擬化性能數(shù)據(jù)采集#1 (#1 (主機(jī)性能數(shù)據(jù)主機(jī)性能數(shù)據(jù)) )CONFIDENTIAL33虛擬虛擬機(jī)機(jī)配置配置#2 (#2 (虛擬虛擬機(jī)統(tǒng)計(jì)數(shù)據(jù)機(jī)統(tǒng)計(jì)數(shù)據(jù)GUI)GUI)KB: 2009512KB: 2009512http:/ )命命令行操作參考令行操作參考 KB: 2009512KB: 2009512http:/ # 1. # # 1. 獲取虛擬機(jī)名稱信息獲取虛擬機(jī)名稱信息# vim-cmd vmsvc

20、/getallvms# # 2. # # 2. 打開數(shù)據(jù)收集開關(guān)打開數(shù)據(jù)收集開關(guān)# /bin/vmx-buildtype -vmname= -server localhost -buildType stats ssr# # 3. # # 3. 檢查并確認(rèn)開關(guān)狀態(tài)檢查并確認(rèn)開關(guān)狀態(tài)# head n1 /vmfs/volumes/vmware.log# # 4. # # 4. 開始壓力測試開始壓力測試# # 5. # # 5. 關(guān)閉收集開關(guān)關(guān)閉收集開關(guān)# /bin/vmx-buildtype -vmname= -server localhost -buildType release -ssr# #

21、 3. # # 3. 檢查并確認(rèn)開關(guān)狀態(tài)檢查并確認(rèn)開關(guān)狀態(tài)# head n1 /vmfs/volumes/vmware.logCONFIDENTIAL35虛擬機(jī)配置虛擬機(jī)配置#2”(#2”(虛擬虛擬機(jī)統(tǒng)機(jī)統(tǒng)計(jì)數(shù)計(jì)數(shù)據(jù)據(jù)分析分析) )舉例分析：配置2顆vCPU的虛擬機(jī)運(yùn)行Super-PI壓力測試，采樣周期5分鐘CONFIDENTIAL36虛虛擬化性能數(shù)據(jù)采集擬化性能數(shù)據(jù)采集#3 (CPU#3 (CPU性能計(jì)數(shù)器性能計(jì)數(shù)器vPMCvPMC) )Compatibility pCPU Intel Xeon Core i7AMD Greyhound VT-X or AMD-V enabled ESXi

22、5.1 and later VM HW v9 and later EVC disabled enable vPMC in vSphere Web Client常常用用分析分析工具工具vtopESXiesxtopPerfmonWindowsxPerfoProfileLinuxSystemTapCONFIDENTIAL38常用工常用工具具#1 (#1 (esxtopesxtop) )Vtop http:/ (#2 (vtopvtop) )Windows Perfmonhttps:/ (How-To Steps)https:/ (Illustration) 常用工常用工具具#3 (#3 (perfm

23、onperfmon - windows)- windows)Xperf http:/ (download) http:/ (How-To)常用工常用工具具#4 (#4 (xperfxperf - windows) - windows)CONFIDENTIAL42Oprofile主頁http:/常用工常用工具具#5 (#5 (oProfileoProfile - Linux) - Linux)參考資料參考資料3-13-1Gathering esxtop performance data at specific times using crontab http:/ Exporting esxtop

24、 performance data as a CSV file and manipulating it from the command-linehttp:/ High CPU utilization of inactive Windows virtual machines (HAL)http:/ Interpreting esxtop Statistics https:/ 參考資料參考資料3-23-2How to analyze and compare 2+ ESXTOP logs with Windows Perfmonhttp:/www.viktorious.nl/2012/11/01/

25、how-to-analyze-and-compare-two-or-more-esxtop-logs-with-perfmon/Using Perfmon For Accurate, ESX Performance Counters https:/ Time to Learn Windows Performance Analyzer!http:/ Xperf for Excess CPU Consumption: WPA editionhttp:/ 參考資料參考資料3-33-3PR# 944276 srVM display refreshes very slow when user stock application is receive real time data(network receives packets 300400