基于雙VIO的Power 虛擬化高可用解決方案

1、 基于雙VIO的Power 虛擬化高可用解決方案 本文作者：張志強摘要在IT技術(shù)快速發(fā)展的今天，虛擬化技術(shù)日趨成熟，由于其在資金節(jié)省和IT效率提高上的優(yōu)勢日益明顯，越來越多的企業(yè)也開始部署虛擬化平臺。IBM的Power VM虛擬化解決方案一直占據(jù)UNIX平臺的領(lǐng)先位置。國內(nèi)外的眾多企業(yè)也逐漸的將各自重要的業(yè)務(wù)轉(zhuǎn)移到了Power平臺中，為了保障業(yè)務(wù)的連續(xù)性和穩(wěn)定性，高可用的需求就應(yīng)運而生。本文則主要以實現(xiàn)如何在IBM Power服務(wù)器上實現(xiàn)LPAR的規(guī)劃和部署，通過雙VIO在單機Power上實現(xiàn)一定程度的高可用性。為了方便理解，將通過以往的項目實戰(zhàn)與經(jīng)驗，把操作實施過程記錄下來，供大家參考。主要

2、有以下幾個主要內(nèi)容。簡介Power VM虛擬化架構(gòu)設(shè)計Power VM虛擬化規(guī)劃與實施Power VM虛擬化的配置一、簡介1、背景介紹通過以往的實施經(jīng)驗，在大多數(shù)情況下企業(yè)IT并沒有將硬件的資源充分利用，資源分配不合理。隨著企業(yè)業(yè)務(wù)的不斷發(fā)展，企業(yè)的IT環(huán)境也在不斷進行演變。機房的服務(wù)器數(shù)量也在逐漸形成規(guī)模，數(shù)量多、型號多、利用率低、管理復(fù)雜是IT人員最頭疼的事。同樣企業(yè)的決策層也為IT成本不斷升高、管理難和使用復(fù)雜的問題所苦惱。核心業(yè)務(wù)處于單點運行的狀態(tài)下，很難保證服務(wù)的有效性。考慮到上述問題，項目采用IBM領(lǐng)先的虛擬化技術(shù)Power VM實現(xiàn)服務(wù)器虛擬化。并通過IBM提供的雙VIO設(shè)計方案

3、，最大化資源的利用率，實現(xiàn)資源動態(tài)調(diào)整、LPAR高可用性、虛擬機動態(tài)部署遷移、全方位虛擬化及集成。從而簡化 IT 基礎(chǔ)設(shè)施，降低成本，增強服務(wù)的連續(xù)性，有效性。2、Power VM 虛擬化介紹Power VM 為 IBM Power Systems上的 AIX、IBM i 和 Linux 操作系統(tǒng)提供行業(yè)領(lǐng)先的虛擬化技術(shù)。Power VM 自身的一些領(lǐng)先的優(yōu)勢和特征，如微分區(qū)、動態(tài)邏輯分區(qū)、共享處理器池、共享存儲池、實時分區(qū)遷移、Active Memory 重復(fù)數(shù)據(jù)刪除等，能夠針對客戶端的不同需求，虛擬化處理器、內(nèi)存、存儲和 I/O 資源，從而可提高資產(chǎn)利用率、增強基礎(chǔ)架構(gòu)靈活性并降低成本。P

4、ower VM是基于Power5以上處理器的IBM System P上的可選硬件特征。有三個版本，分別是Power VM Express Edition，Power VM Standard Edition，Power VM Enterprise Edition。（1） Power VM Express EditionPower VM Express Edition只能在IBM Power520、Power550、PS700、PS701、PS702、PS703、PS704、Power710、Power720、Power730、Power740和Power750這幾種服務(wù)器上購買。它們的主要功能包

5、括：最多可以創(chuàng)建三個分區(qū)，支持微分區(qū)虛擬化功能，支持Shared Dedicated Capacity，支持Power VM Lx86功能不支持Multiple Shared Processor Pools，Live Partition Mobility和Active Memory Sharing功能，分區(qū)創(chuàng)建和管理使用IVM工具。（2） Power VM Standard EditionPower VM Standard Edition可以在全部的IBM Power服務(wù)器上購買。它們的主要功能包括：對分區(qū)數(shù)量沒有限制，支持微分區(qū)虛擬化功能，支持Shared Dedicated Capacit

6、y，支持Power VM Lx86功能，支持Multiple Shared Processor Pools功能。不支持Live Partition Mobility和Active Memory Sharing功能。分區(qū)創(chuàng)建和管理可以使用IVM或者HMC工具。（3） Power VM Enterprise EditionPower VM Enterprise Edition可以在全部的IBM Power服務(wù)器上購買。它們的主要功能包括：對分區(qū)數(shù)量沒有限制，支持微分區(qū)虛擬化功能，支持Shared Dedicated Capacity，支持Power VM Lx86功能，支持Multiple Sha

7、red Processor Pools功能，Live Partition Mobility功能和Active Memory Sharing功能。分區(qū)創(chuàng)建和管理可以使用IVM或者HMC工具。此文章將主要介紹企業(yè)版Power VM。圖片1.png圖1-1 Power VM虛擬化原理圖3、管理平臺HMC：全名 Hardware Management Console，是一個圖形界面軟件，運行在經(jīng)過定制的Linux之上。用戶可以通過基于Web的圖形用戶界面GUI（graphical user interface）和命令行界面CLI（command line Interface）配置和管理Power Sy

8、stem系列服務(wù)器以及服務(wù)器上的分區(qū)。系統(tǒng)管理員也通過HMC對Power System 服務(wù)器上的分區(qū)進行配置和日常管理。圖片2.png圖1-2 HMC連接圖VIO Server：談及Power VM虛擬化技術(shù)，就不得不說VIO，全稱為虛擬I/O服務(wù)器。VIO server是一個IBM的虛擬化軟件，有限制的 AIX 操作系統(tǒng)。通過它來配置和映射虛擬資源并使用虛擬的存儲 和網(wǎng)絡(luò)適配器，其本身由HMC創(chuàng)建管理。 默認不允許 root 用戶直接登錄，登錄用戶名為 padmin，缺省口令無。通過 oem_setup_env 進入 VIO 的環(huán)境，可以很方便的使用我們熟悉的 AIX 命令達到大多數(shù)操作相

9、同的效果。4、硬件基礎(chǔ)設(shè)備IBM Power7+ 740服務(wù)器：Power 740 是一款單插槽或雙插槽服務(wù)器，可在靈活的4U 機架優(yōu)化外形下支持多達16個POWER7+ 內(nèi)核。Power 740 提供了超高的內(nèi)存容量，POWER7+ 處理器超凡的性能，及Power VM工作負載優(yōu)化功能。通過提高系統(tǒng)的利用率和性能，并同時幫助降低基礎(chǔ)架構(gòu)和能源成本，使企業(yè)能夠充分發(fā)揮其系統(tǒng)的價值。Power 740 的最新型號增添了更高的內(nèi)存容量和更高性能的 POWER7+ 處理器以及高帶寬的第2代PCI-Express 插槽，可以提供更卓越的性能。IBM Hardware Management Consol

10、e with version 7：IBM硬件管理控制臺（Hardware Management Console）提供了標(biāo)準(zhǔn)的用戶接口來配置和管理Power System系列服務(wù)器以及服務(wù)器上的分區(qū)。系統(tǒng)管理員通過HMC對Power System服務(wù)器上的分區(qū)進行配置和日常管理。IBM Storwize V7000：提供了與虛擬化服務(wù)器環(huán)境配套的虛擬化存儲系統(tǒng)，具有無與倫比的性能、可用性、先進的功能和高度可擴展的容量，這在中端磁盤系統(tǒng)中是前所未有的。同時支持10Gbps網(wǎng)絡(luò)環(huán)境也是我們選擇V7000的重要理由之一。強大的功能優(yōu)勢如下：A 整合塊存儲和文件存儲，以便實現(xiàn)卓越的簡易性、更高的效率和管

11、理簡易性B 通過動態(tài)遷移實現(xiàn)近乎連續(xù)的應(yīng)用程序可用性C 易于使用的數(shù)據(jù)管理采用圖形化用戶界面和點擊式系統(tǒng)管理功能D 支持RAID 0、1、5、6 和 10表2-1硬件列表：硬件角色說明IBM Power 740+VM Host物理系統(tǒng)：Power 740IBM HMC V7Partition Manager1.物理系統(tǒng)：IBM system X 2.運行HMC v7版本IBM Storwize V7000Storage1.通過光纖卡連接存儲 2.RAID5三、Power VM虛擬化規(guī)劃在整個文章的架構(gòu)設(shè)計中，我們完全采用IBM產(chǎn)品來實現(xiàn)虛擬化。從眾多IBM的產(chǎn)品中，我們選擇了如下產(chǎn)品進行整合實

12、施。以下架構(gòu)主要是為了在VIO出現(xiàn)問題時，不會影響LPAR的使用和業(yè)務(wù)的正常運行。從下圖可以看出，雙VIO中的LV被交叉分配給不同的LPAR，并做rootvg的鏡像。每個LPAR設(shè)置兩塊網(wǎng)卡分別連接不同的VIO，使其網(wǎng)絡(luò)上保持連通在單個VIO出現(xiàn)故障的時候。圖片3.png圖2-1VIO網(wǎng)絡(luò)架構(gòu)原理圖圖片4.png圖2-2 VIO存儲架構(gòu)原理圖一個Power 740+預(yù)計建立兩個VIO server，15個LPAR。每個VIO服務(wù)器建立15個虛擬SCSI適配器，每個LPAR兩個虛擬SCSI適配器和兩個虛擬網(wǎng)絡(luò)適配器。QQ截圖20171219113334.pngQQ截圖20171219113417

13、.png四、Power VM虛擬化安裝1、創(chuàng)建VIOs以下將通過HMC V7在P740+上建立第一個VIO。如下圖所示，選擇一臺740服務(wù)器，選擇 Configuration-Create Logic Partition-VIO server圖片5.png圖4-1 建立VIO Lpar輸入Partition ID 和Partition Name，完成后點擊下一步：圖片6.png圖4-2輸入分區(qū)名稱輸入分區(qū)概要文件，完成后點擊下一步：圖片7.png圖4-3輸入分區(qū)配置文件在劃分CPU時有Shared及Dedicated兩種選項，根據(jù)項目實際情況，當(dāng)需要動態(tài)調(diào)整CPU或者不需要使用整顆CPU的系統(tǒng)

14、，選擇Shared方式。如果確定了分區(qū)使用整數(shù)顆CPU時，建議選擇Dedicated方式（對于VIO Server，由于其CPU需求較少，建議使用Shared方式，不需要分配整顆以上CPU）。圖片8.png圖4-4選擇shared模式根據(jù)需求劃分CPU使用量，由于VIO不占用很多的CPU，所以期望值設(shè)為0.5，可以根據(jù)實際需求調(diào)整，完成后點擊下一步：圖片9.png圖4-5輸入VIO的CPU值VIO需要的內(nèi)存量也相對較少，所以此處設(shè)置為8G，完成后點擊下一步：圖片10.png圖4-6輸入VIO內(nèi)存值對于使用VIO Server配置的系統(tǒng)，由于預(yù)備建立雙VIO，所以建議把所有IO資源平均分配給Se

15、rver端，Client端使用虛擬設(shè)備。選擇部分設(shè)備添加為必需的IO資源。圖片11.png圖4-7分配I/O資源虛擬適配器設(shè)置，根據(jù)需要建立四個虛擬適配器，創(chuàng)建Adapter ID-2對應(yīng)Vlan ID-1；Adapter ID-3對應(yīng)Vlan ID-2；Adapter ID-4對應(yīng)Vlan ID -10；Adapter ID-5對應(yīng)Vlan ID -20。圖片12.png圖4-8輸入虛擬網(wǎng)卡ID根據(jù)需要建立的Client分區(qū)個數(shù)建立相應(yīng)數(shù)量的Virtual SCSI Adapter，每塊硬盤創(chuàng)建一個VSCSI Adapter， 分別創(chuàng)建VIOSERVER SCSI adapter ID 是3

16、1、32、33分別對應(yīng)vhost30、vhost31、vhost32。完成后點擊下一步：圖片13.png圖4-9虛擬適配器啟用連接監(jiān)控，并點擊下一步：圖片14.png圖4-10啟用連接監(jiān)控預(yù)覽Profile配置信息，如果確認完成，選擇Finish. VIO Server Profile 配置建立完成。效仿第一個VIO的建立方式，建立第二個VIO Server，名稱為testv2。并將剩余I/O資源分配給第二個VIO。2、創(chuàng)建LPAR照建立VIO的方式建立LPAR，注意名稱和I/O設(shè)置。對于虛擬適配器，根據(jù)需要建立兩個虛擬適配器,創(chuàng)建Adapter ID-2對應(yīng)Vlan ID-2；Adapter

17、 ID-3對應(yīng)Vlan ID-1；每個Client分區(qū)建立三個Virtual SCSI Adapter，分別創(chuàng)建VIOSERVER SCSI Adapter ID 是31、32、33分別對應(yīng)vhost30、vhost31、vhost32。3、安裝VIO Server為了安裝VIO Server軟件，我們需要激活第一個VIO分區(qū)，并選擇SMS模式啟動，在HMC界面，選擇Open Terminal Windows 打開終端。圖片15.png圖4-11激活分區(qū)配置文件圖片16.png圖4-12打開終端窗口進入SMS菜單，更改啟動順序，選擇5。圖片17.png圖4-13引導(dǎo)窗口將插有VIO安裝盤的cd

18、作為第一個啟動項。圖片18.png圖4-14選擇啟動項CD進入歡迎界面，選擇全新安裝。圖片19.png圖4-15歡迎界面圖片20.png圖4-16安裝方式選擇hdisk0硬盤安裝VIO Server操作系統(tǒng)，然后回車開始安裝。圖片21.png圖4-17選擇安裝硬盤位置安裝完成后，自動重啟并進入操作系統(tǒng)。五、Power VM虛擬化配置1、配置VIO Server系統(tǒng)安裝完成后，用戶名和密碼均是padmin。由于默認并非root權(quán)限，所以無法劃分LV從rootvg中。鍵入oem_setup_env進入到aix root模式，通過mklv -y Client01_lv1 rootvg 30G ；mk

19、lv -y Client01_lv2 rootvg 30G 建立兩個LV。首先通過mklv命令在VIO1的rootvg中分出30G的lv，詳細命令如下：#mklv -y Client01_lv1 rootvg 30GClient01_lv1-命令執(zhí)行成功# mklv -y Client02_lv2 rootvg 30GClient02_lv2-命令執(zhí)行成功#exit$ mkvdev -vdev Client01_lv1 -vadapter vhost31 -dev client01rootvgclient01rootvg Available-命令執(zhí)行成功$ mkvdev -vdev Clien

20、t02_lv2 -vadapter vhost37 -dev client02rootvgclient02rootvg Available-命令執(zhí)行成功在VIO2中輸入如下指令：# mklv -y Client02_lv1 rootvg 30GClient02_lv1-命令執(zhí)行成功# mklv -y Client01_lv2 rootvg 30GClient01_lv2-命令執(zhí)行成功# exit$ mkvdev -vdev Client02_lv1 -vadapter vhost30 -dev client02rootvgclient02rootvg Available-命令執(zhí)行成功$ mkv

21、dev -vdev Client01_lv2 -vadapter vhost31 -dev client01rootvgclient01rootvg Available-命令執(zhí)行成功mkvdev -sea ent1 -vadapter ent0 -default ent0 -defaultid1-生成SEA網(wǎng)卡Ent2 available-命令執(zhí)行成功Smit tcpip來設(shè)計VIO ent2的IP地址為了批量和快速的部署AIX到兩個LPAR中，我們可以通過NIM server進行安裝。系統(tǒng)安裝完成后，通過如下命令分別在不同的client上，將hdisk0與hdisk1進行鏡像。extendv

22、g rootvg hdisk1-將hdisk1加入到rootvg中mirrorvg -S rootvg-鏡像并進行后臺同步0516-1804 chvg: The quorum change takes effect immediately.0516-1126 mirrorvg: rootvg successfully mirrored, user should performbosboot of system to initialize boot records. Then, user must modifybootlist to include: hdisk0 hdisk1.按照上述提示執(zhí)行

23、bosboot -ad /dev/hdisk1-將啟動信息寫入到hdisk1中bootlist -m normal hdisk0 hdisk1-設(shè)定啟動順序bootlist -m normal -o-查看最終結(jié)果hdisk0 blv=hd5 pathid=0hdisk1 blv=hd5 pathid=0通過網(wǎng)卡命令將每個client上的網(wǎng)卡聚合，實現(xiàn)冗余，命令如下：Smit etherchannel-Add An EtherChannel /Link Aggregation-選擇兩塊網(wǎng)卡-回車將生成新的網(wǎng)卡ent2，并通過smit mktcpip來設(shè)定IP地址。2、測試可用性場景一：通過HMC手動去掉client的一塊網(wǎng)卡