王炎坤--RHEL中虛擬化集群

1、安徽工業(yè)經(jīng)濟職業(yè)技術學院職業(yè)技術學院畢業(yè)設計學生姓名： 王炎坤 學 號： 200931304 所在學院： 安徽工業(yè)經(jīng)濟職業(yè)技術學院 專 業(yè)： 計算機網(wǎng)絡 設計(論文)題目： RHEL中集群虛擬化研究 指導教師： 朱小彥 2011 年 11 月 22 日摘 要隨著計算機技術的發(fā)展和越來越廣泛的應用,人們對計算機的依賴程度也越來越高。計算機的可靠性和可用性也變得越來越重要。虛擬化技術很早就在計算機體系結構、操作系統(tǒng)、編譯器和編程語言等領域得到了廣泛應用。該技術實現(xiàn)了資源的邏輯抽象和統(tǒng)一表示，在服務器、網(wǎng)絡及存儲管理等方面都有著突出的優(yōu)勢，大大降低了管理復雜度，提高了資源利用率，提高了運營效率，從而

2、有效地控制了成本。由于在大規(guī)模數(shù)據(jù)中心管理和基于互聯(lián)網(wǎng)的解決方案交付運營方面有著巨大的價值，服務器虛擬化技術受到人們的高度重視，人們普遍相信虛擬化將成為未來數(shù)據(jù)中心的重要組成部分。盡管單臺計算機的性能和可靠性越來越好,但還是有許多現(xiàn)實的要求是單臺計算機難以達到的。計算機集群技術就是將多臺計算機組織起來進行協(xié)同工作來模擬一臺功能更強大的計算機的技術。本文首先對虛擬化和現(xiàn)有服務器集群系統(tǒng)的技術進行了分析,介紹了幾個典型的虛擬化系統(tǒng)和集群系統(tǒng),重點討論了VMWare ESX 架構虛擬化、負載均衡集群（LVS）和高可用集群(High Availability)的工作原理和實現(xiàn)技術。然后根據(jù)現(xiàn)有的集群技

3、術的缺點進行了改進，將虛擬化、負載均衡集群和高可用集群整合在一起，結合虛擬化和Linux技術實現(xiàn)了三層構架的WWW服務器集群，以較低的價格達到了昂貴的商業(yè)硬件存儲解決方案所實現(xiàn)的效果。關鍵字：虛擬化 VMWare Linux 集群 High Availability AbstractWith the development of computer technology and more widely used, peoples dependence on computers is also increasing.Reliability and availability of computers

4、 has become increasingly important.Virtualization technology is already in the computer architecture, operating systems, compilers, and programming language widely used areas.The technology to achieve a logical abstraction of resources and unity of that in the server, network and storage management,

5、 all have outstanding advantages, greatly reducing management complexity, improve resource utilization, improve operating efficiency, thereby effectively control thecosts.Since large-scale data center management and Internet-based solution delivery operations has a tremendous value, the server virtu

6、alization technology by people attach great importance to the widespread belief that virtualization will become the important part of the data center.Although a single computers performance and reliability is getting better, but still there are many practical requirements are difficult to achieve a

7、single computer.Computer cluster technology is to be organized in multiple computers to work together to simulate a more powerful computer technology.Firstly, the existing server virtualization and cluster analysis techniques were introduced a few typical systems and cluster virtualization, VMWare E

8、SX architecture focused on virtualization, load balancing cluster (LVS) and high-availability cluster (High Availability) working principle and implementation of technology.Then the shortcomings of the existing clustering technology has improved, virtualization, load balancing, high availability clu

9、sters and cluster together, combining virtualization and Linux technology to achieve the three-tier architecture of the WWW server clusters, to achieve a lower priceexpensive hardware storage solutions business achieved results.Key words: Virtualization VMWare Linux Cluster High AvailabilityII目錄摘 要I

10、AbstractII第一章 引言11.1 選題背景和意義11.2 國內外的研究現(xiàn)狀2第二章 虛擬化技術42.1 硬件虛擬化42.2 軟件虛擬化5第三章 集群技術63.1 集群的定義63.2 集群的分類63.3 集群的優(yōu)點7第四章 研究平臺所采用的關鍵技術84.1 雙機熱備技術84.2 IP負載調度均衡技術84.3 IP-SAN存儲技術8第五章 系統(tǒng)實現(xiàn)過程105.1 系統(tǒng)實現(xiàn)環(huán)境105.1.1 網(wǎng)絡拓撲圖及相關網(wǎng)絡節(jié)點說明105.1.2 服務器選型105.1.3 存儲IP-SAN配置115.2 RHEL雙網(wǎng)卡負載均衡實現(xiàn)125.3 AS500N存儲調試及服務器節(jié)點上ISCSI掛載155.4 浪

11、潮BCP Cluster部署225.5 部署VMWare 虛擬化主機305.6 系統(tǒng)的優(yōu)點32總結33參考文獻34致謝35第一章 引言1.1 選題背景和意義在過去的半個多世紀，信息技術的發(fā)展，尤其是計算機和互聯(lián)網(wǎng)技術的進步極大地改變了人們的工作和生活方式。大量企業(yè)開始采用以數(shù)據(jù)中心為業(yè)務運營平臺的信息服務模式。進入新世紀后，數(shù)據(jù)中心變得空前重要和復雜，這對管理工作提出了全新的挑戰(zhàn)，一系列問題接踵而來。企業(yè)如何通過數(shù)據(jù)中心快速地創(chuàng)建服務并高效地管理業(yè)務；怎樣根據(jù)需求動態(tài)調整資源以降低運營成本；如何更加靈活、高效、安全地使用和管理各種資源；如何共享已有的計算平臺而不是重復創(chuàng)建自己的數(shù)據(jù)中心；業(yè)內人

12、士普遍認為，信息產(chǎn)業(yè)本身需要更加徹底的技術變革和商業(yè)模式轉型，虛擬化正是在這樣的背景下應運而生的。計算機技術已進入以網(wǎng)絡為中心的計算時代。由于客戶/服務器模型的簡單性、易管理性和易維護性，客戶/服務器計算模式在網(wǎng)上被大量采用。在九十年代中期，萬維網(wǎng)（World Wide Web）的出現(xiàn)以其簡單操作方式將圖文并茂的網(wǎng)上信息帶給普通大眾，Web也正在從一種內容發(fā)送機制成為一種服務平臺，大量的服務和應用（如新聞服務、網(wǎng)上銀行、電子商務等）都是圍繞著Web進行。這促進Internet用戶劇烈增長和Internet流量爆炸式地增長。現(xiàn)在Web服務中越來越多地使用CGI、動態(tài)主頁等CPU密集型應用，這對服

13、務器的性能有較高要求。未來的網(wǎng)絡服務會提供更豐富的內容、更好的交互性、更高的安全性等，需要服務器具有更強的CPU和I/O處理能力。例如，通過HTTPS（Secure HTTP）取一個靜態(tài)頁面需要的處理性能比通過HTTP的高一個數(shù)量級，HTTPS正在被電子商務站點廣為使用。所以，網(wǎng)絡流量并不能說明全部問題，要考慮到應用本身的發(fā)展也需要越來越強的處理性能。大部分網(wǎng)站都需要提供每天24小時、每星期7天的服務，對電子商務等網(wǎng)站尤為突出，任何服務中斷和關鍵性的數(shù)據(jù)丟失都會造成直接的商業(yè)損失。例如，根據(jù)Dell的新聞發(fā)布，Dell現(xiàn)在每天在網(wǎng)站上的交易收入為一千四百萬美元，一個小時的服務中斷都會造成平均五

14、十八萬美元的損失。所以，這對網(wǎng)絡服務的可靠性提出了越來越高的要求。1.2 國內外的研究現(xiàn)狀虛擬化技術可以有效地簡化數(shù)據(jù)中心管理，但是仍然不能消除企業(yè)為了使用 IT系統(tǒng)而進行的數(shù)據(jù)中心構建、硬件采購、軟件安裝、系統(tǒng)維護等環(huán)節(jié)。早在大型機盛行的20世紀五六十年代，就是采用“租借”的方式對外提供服務的。IBM公司當時的首席執(zhí)行官 Thomas Watson曾預言道：“全世界只需要五臺計算機”，過去三十年的 PC大繁榮似乎正在推翻這個論斷，人們常常引用這個例子，來說明信息產(chǎn)業(yè)的不可預測性。然而，信息技術變革并不總是直線前進，而是螺旋式上升的，半導體、互聯(lián)網(wǎng)和虛擬化技術的飛速發(fā)展使得業(yè)界不得不重新思考這

15、一構想，這些支撐技術的成熟讓我們有可能把全世界的數(shù)據(jù)中心進行適度的集中，從而實現(xiàn)規(guī)?；?，人們只需遠程租用這些共享資源而不需要購置和維護。而九十年代末期，Linux操作系統(tǒng)不斷走向成熟，它的健壯性不斷增強，并且提供了GNU軟件和標準化的PVM、MPI消息傳遞機制，最重要的是Linux在普通PC機上提供了對高性能網(wǎng)絡的支持，這樣就大大推動了基于Linux的集群系統(tǒng)的發(fā)展。在國內,包括中國科學院在內的許多大學與研究機構早在20世紀90年代就開始了基于Linux集群研究,聯(lián)想、浪潮等國內許多公司都有Linux集群產(chǎn)品和解決方案。Google、Baidu和騰訊后臺均采用Linux集群，其中Googl

16、e在2005年就達到了200萬臺，不僅如此，Linux集群大量在金融、證券、電信以及IT行業(yè)使用。名為 High-Availability Linux 的開源項目的目標是，通過社區(qū)開發(fā)努力提供一個提升 Linux 可靠性（reliability）、可用性（availability）和可服務性（serviceability）（RAS）的群集解決方案。Linux-HA 項目得到了廣泛的應用，是很多有趣的高可用性解決方案的重要組成部分。 LVS是中國章文嵩博士發(fā)起和領導的優(yōu)秀的集群解決方案,許多商業(yè)的集群產(chǎn)品,比如RedHat的Piranha等,都是基于LVS的核心代碼的。HA和LVS的不足主要有：

17、HA集群一般都是以兩個節(jié)點的形式出現(xiàn)的，單機處理能力有限，所以當服務器壓力較大時，想擴容服務器的處理能力往往得把以前的服務器淘汰掉，浪費了以前的投資；LVS集群的真實服務器都是靠前端IP負載器進行調度分配的，所以存在單點故障，如果IP負載器Down機，整個集群系統(tǒng)就會癱瘓。所以必須把HA和LVS整合在一起。真實服務器的數(shù)據(jù)源所涉及的共享存儲一般都是利用商業(yè)的硬件解決方案，如SAN網(wǎng)絡區(qū)域存儲，對于小型集群系統(tǒng)來說，投入非常高昂，完全可以利用Linux的軟件RAID5技術和NFS網(wǎng)絡文件系統(tǒng)來實現(xiàn)。第二章 虛擬化技術虛擬化是指計算機元件在虛擬的基礎上而不是真實的基礎上運行。虛擬化技術可以擴大硬件

18、的容量，簡化軟件的重新配置過程。CPU的虛擬化技術可以單CPU模擬多CPU并行，允許一個平臺同時運行多個操作系統(tǒng)，并且應用程序都可以在相互獨立的空間內運行而互不影響，從而顯著提高計算機的工作效率。虛擬化技術與多任務以及超線程技術是完全不同的。多任務是指在一個操作系統(tǒng)中多個程序同時并行運行，而在虛擬化技術中，則可以同時運行多個操作系統(tǒng)，而且每一個操作系統(tǒng)中都有多個程序運行，每一個操作系統(tǒng)都運行在一個虛擬的CPU或者是虛擬主機上；而超線程技術只是單CPU模擬雙CPU來平衡程序運行性能，這兩個模擬出來的CPU是不能分離的，只能協(xié)同工作。2.1 硬件虛擬化而CPU的虛擬化技術是一種硬件方案，支持虛擬技

19、術的CPU帶有特別優(yōu)化過的指令集來控制虛擬過程，通過這些指令集，VMM會很容易提高性能，相比軟件的虛擬實現(xiàn)方式會很大程度上提高性能。虛擬化技術可提供基于芯片的功能，借助兼容VMM軟件能夠改進純軟件解決方案。由于虛擬化硬件可提供全新的架構，支持操作系統(tǒng)直接在上面運行，從而無需進行二進制轉換，減少了相關的性能開銷，極大簡化了VMM設計，進而使VMM能夠按通用標準進行編寫，性能更加強大。另外，在純軟件VMM中，缺少對64位客戶操作系統(tǒng)的支持，而隨著64位處理器的不斷普及，這一嚴重缺點也日益突出。而CPU的虛擬化技術除支持廣泛的傳統(tǒng)操作系統(tǒng)之外，還支持64位客戶操作系統(tǒng)。虛擬化技術是一套解決方案。完整

20、的情況需要CPU、主板芯片組、BIOS和軟件的支持，例如VMM軟件或者某些操作系統(tǒng)本身。即使只是CPU支持虛擬化技術，在配合VMM的軟件情況下，也會比完全不支持虛擬化技術的系統(tǒng)有更好的性能。2.2 軟件虛擬化純軟件虛擬化解決方案存在很多限制?！翱蛻簟辈僮飨到y(tǒng)很多情況下是通過虛擬機監(jiān)視器（Virtual Machine Monitor，VMM）來與硬件進行通信，由VMM來決定其對系統(tǒng)上所有虛擬機的訪問。(注意，大多數(shù)處理器和內存訪問獨立于VMM，只在發(fā)生特定事件時才會涉及VMM，如頁面錯誤。)在純軟件虛擬化解決方案中，VMM在軟件套件中的位置是傳統(tǒng)意義上操作系統(tǒng)所處的位置，而操作系統(tǒng)的位置是傳統(tǒng)

21、意義上應用程序所處的位置。這一額外的通信層需要進行二進制轉換，以通過提供到物理資源(如處理器、內存、存儲、顯卡和網(wǎng)卡等)的接口，模擬硬件環(huán)境。這種轉換必然會增加系統(tǒng)的復雜性。此外，客戶操作系統(tǒng)的支持受到虛擬機環(huán)境的能力限制，這會阻礙特定技術的部署，如64位客戶操作系統(tǒng)。在純軟件解決方案中，軟件堆棧增加的復雜性意味著，這些環(huán)境難于管理，因而會加大確保系統(tǒng)可靠性和安全性的困難。第三章 集群技術3.1 集群的定義集群（cluster）就是一組計算機，它們作為一個整體向用戶提供一組網(wǎng)絡資源。這些單個的計算機系統(tǒng)就是集群的節(jié)點（node）。一個理想的集群是，用戶從來不會意識到集群系統(tǒng)底層的節(jié)點，在他/她

22、們看來，集群是一個系統(tǒng)，而非多個計算機系統(tǒng)。并且集群系統(tǒng)的管理員可以隨意增加和刪改集群系統(tǒng)的節(jié)點。集群計算機通常用來改進單個計算機的計算速度和/或可靠性。一般情況下集群計算機比單個計算機，工作站或超級計算機性能價格比要高得多。3.2 集群的分類集群分為同構與異構兩種，它們的區(qū)別在于：組成集群系統(tǒng)的計算機之間的體系結構是否相同。集群計算機按功能和結構的不同可以分成：高可用性集群 (High-availability clusters，簡稱HA)、負載均衡集群(Load balancing clusters)、高性能計算集群(High-performance clusters，簡稱HPC)、網(wǎng)格計

23、算(Grid computing)等幾類。高可用性集群一般是指當集群中有某個節(jié)點失效的情況下，其上的任務會自動轉移到其他正常的節(jié)點上。還指可以將集群中的某節(jié)點進行離線維護再上線，該過程并不影響整個集群的運行。負載均衡集群運行時一般通過一個或者多個前端負載均衡器將工作負載分發(fā)到后端的一組服務器上，從而達到整個系統(tǒng)的高性能和高可用性。這樣的計算機集群有時也被稱為服務器群（Server Farm）。 一般高可用性集群和負載均衡集群會使用類似的技術，或同時具有高可用性與負載均衡的特點。高性能計算集群采用將計算任務分配到集群的不同計算節(jié)點而提高計算能力，因而主要應用在科學計算領域。比較流行的HPC采用L

24、inux操作系統(tǒng)和其它一些免費軟件來完成并行運算。這一集群配置通常被稱為Beowulf集群。這類集群通常運行特定的程序以發(fā)揮HPC cluster的并行能力。這類程序一般應用特定的運行庫, 比如專為科學計算設計的MPI庫。HPC集群特別適合于在計算中各計算節(jié)點之間發(fā)生大量數(shù)據(jù)通訊的計算作業(yè)，比如一個節(jié)點的中間結果或影響到其它節(jié)點計算結果的情況。網(wǎng)格計算或網(wǎng)格集群是一種與集群計算非常相關的技術。網(wǎng)格與傳統(tǒng)集群的主要差別是網(wǎng)格是連接一組相關并不信任的計算機，它的運作更像一個計算公共設施而不是一個獨立的計算機。還有，網(wǎng)格通常比集群支持更多不同類型的計算機集合。3.3 集群的優(yōu)點性能：網(wǎng)絡服務的工作負

25、載通常是大量相互獨立的任務，通過一組服務器分而治之，可以獲得很高的整體性能。性能/價格比：組成集群系統(tǒng)的PC服務器或RISC服務器和標準網(wǎng)絡設備因為大規(guī)模生產(chǎn)降低成本，價格低，具有最高的性能/價格比。若整體性能隨著結點數(shù)的增長而接近線性增加，該系統(tǒng)的性能/價格比接近于PC服務器。所以，這種松耦合結構比緊耦合的多處理器系統(tǒng)具有更好的性能/價格比?？缮炜s性：集群系統(tǒng)中的結點數(shù)目可以增長到幾千個，乃至上萬個，其伸縮性遠超過單臺超級計算機。高可用性：在硬件和軟件上都有冗余，通過檢測軟硬件的故障，將故障屏蔽，由存活結點提供服務，可實現(xiàn)高可用性。第四章 研究平臺所采用的關鍵技術4.1 雙機熱備技術所謂雙機

26、熱備，就是將中心服務器安裝成互為備份的兩臺服務器，并且在同一時間內只有一臺服務器運行。當其中運行著的一臺服務器出現(xiàn)故障無法啟動時，另一臺備份服務器會迅速的自動啟動并運行（一般為2分鐘左右），從而保證整個網(wǎng)絡系統(tǒng)的正常運行！雙機熱備的工作機制實際上是為整個網(wǎng)絡系統(tǒng)的中心服務器提供了一種故障自動恢復能力。4.2 IP負載調度均衡技術用戶通過虛擬IP地址（Virtual IP Address）訪問服務時，訪問請求的報文會到達負載調度器，由它進行負載均衡調度，從一組真實服務器選出一個，將報文的目標地址Virtual IP Address改寫成選定服務器的地址，報文的目標端口改寫成選定服務器的相應端口，

27、最后將報文發(fā)送給選定的服務器。真實服務器的回應報文經(jīng)過負載調度器時，將報文的源地址和源端口改為Virtual IP Address和相應的端口，再把報文發(fā)給用戶。4.3 IP-SAN存儲技術IP SAN基于十分成熟的以太網(wǎng)技術，由于設置配置的技術簡單、低成本的特色相當明顯，而且普通服務器或PC機只需要具備網(wǎng)卡，即可共享和使用大容量的存儲空間。 由于是基于IP協(xié)議的，能容納所有IP協(xié)議網(wǎng)絡中的部件，因此，用戶可以在任何需要的地方創(chuàng)建實際的SAN網(wǎng)絡，而不需要專門的光纖通道網(wǎng)絡在服務器和存儲設備之間傳送數(shù)據(jù)。同時，因為沒有光纖通道對傳輸距離的限制，IP SAN使用標準的TCP/IP協(xié)議，數(shù)據(jù)即可在

28、以太網(wǎng)上進行傳輸。IP SAN網(wǎng)絡對于那些要求流量不太高的應用場合以及預算不充足的用戶，是一個非常好的選擇。服務器組提供統(tǒng)一的存儲空間，這使得系統(tǒng)的維護工作比較輕松，如Webmaster只需要更新共享存儲中的頁面，對所有的服務器都有效。分布式文件系統(tǒng)提供良好的伸縮性和可用性，當分布式文件系統(tǒng)的存儲空間增加時，所有服務器的存儲空間也隨之增大。對于大多數(shù)Internet服務來說，它們都是讀密集型（Read-intensive）的應用，分布式文件系統(tǒng)在每臺服務器使用本地硬盤作Cache（如2Gbytes的空間），可以使得訪問分布式文件系統(tǒng)本地的速度接近于訪問本地硬盤。RAID是“Redundant

29、Array of Independent Disk”的縮寫，中文意思是獨立冗余磁盤陣列。冗余磁盤陣列技術誕生于1987年，由美國加州大學伯克利分校提出。簡單地解釋，就是將N臺硬盤通過RAID Controller（分Hardware，Software）結合成虛擬單臺大容量的硬盤使用。RAID的采用為存儲系統(tǒng)（或者服務器的內置存儲）帶來巨大利益，其中提高傳輸速率和提供容錯功能是最大的優(yōu)點。第五章 系統(tǒng)實現(xiàn)過程5.1 系統(tǒng)實現(xiàn)環(huán)境5.1.1 網(wǎng)絡拓撲圖及相關網(wǎng)絡節(jié)點說明圖5-1 集群網(wǎng)絡拓撲圖表5-1 集群網(wǎng)絡節(jié)點IP分配名稱硬件環(huán)境公網(wǎng)IP私網(wǎng)IPOS作用node1浪潮NF522510.91.1

30、1.11111RHEL 5.6集群節(jié)點node2浪潮NF52252222RHEL 5.6集群節(jié)點 as500n浪潮AS500N00-LiveStor存儲節(jié)點 5.1.2 服務器選型浪潮NF5225：采用英特爾 至強處理器5500/5600系列處理器，數(shù)據(jù)傳輸速率最高可達6.4GT/S，4-8MB的三級高速緩存支持64位擴展、I/O加速、Turbo、超線程技術，系統(tǒng)應用性能較上代產(chǎn)品提高2.25倍；采用最新的INTEL 5500+ICH10R,創(chuàng)新的主板VR電路設計，整體功耗降低5-12%，噪音降低4-5分貝，支

31、持DPNM電源管理技術，節(jié)能環(huán)保；采用DDR III內存，8個內存插槽，支持DDR3 800/1066/1333MHz內存，最大可擴展64GB內存，支持三通道讀取，滿足用戶性能需求更加節(jié)能；支持8塊3.5寸SAS/SATA硬盤，對熱插拔存儲設備的支持更加靈活；增強型應變散熱系統(tǒng)和側位循環(huán)風流設計集中并控制風流的方向，保證在2U高擴展狀態(tài)下CPU、內存、系統(tǒng)的良好散熱，高系統(tǒng)的可靠性，延長部件的壽命并降低成本；關鍵部件硬盤、電源支持熱插拔冗余技術，不關機就可以進行部件的更換與維護，提高了系統(tǒng)的可用性；集成SATA 0、1、10、5；SAS RAID 0、1、10，可選Ibutton 硬虛擬RAI

32、D5，為用戶提供多種數(shù)據(jù)保護方案；配置3個PCI-E2.0擴展槽，采用自適應選件技術，支持主流的PCI-E，可同時保護用戶的多重需求，并降低用戶的擴展成本；標配集成BMC智能控制芯片，支持符合IPMI2.0規(guī)范的遠程控制，在異地全面管理服務器，支持遠程操作、管理、部署操作系統(tǒng)與應用系統(tǒng)，并監(jiān)控服務器的運轉狀態(tài)；集成SATA，可選SAS，按照業(yè)務發(fā)展隨意配置，高產(chǎn)品靈活度，低各配置之間的切換成本；最大支持8塊熱插拔SAS/SATA硬盤。5.1.3 存儲IP-SAN配置浪潮AS500N企業(yè)級2U存儲提供統(tǒng)一的IP SAN、NAS特性，融合FC SAN，靈活部署系統(tǒng)架構；IP SAN是基于高速以太網(wǎng)

33、的SAN架構，適合Exchange、Notes、SQL Server等數(shù)據(jù)庫應用。NAS存儲服務支持不同操作系統(tǒng)和多臺主機的文件共享，適合Web、文件服務器應用，并可為不同用戶分配獨立的共享網(wǎng)絡文件夾，用于文檔集中存儲和備份。融合FC SAN，提供統(tǒng)一存儲。AS500N2在iSCSI配置下提供Snapshot Copy（數(shù)據(jù)快照拷貝）功能。Snapshot Copy是對源數(shù)據(jù)卷“克隆”出一個數(shù)據(jù)完全一致但物理上獨立的卷，原數(shù)據(jù)卷的損壞不會影響克隆卷，輕松實現(xiàn)對在線訪問數(shù)據(jù)的備份、測試和數(shù)據(jù)倉庫分析等，有效提升災難恢復能力。AS500N2支持SAS、SATA兩種類型的不同容量硬盤的混插，節(jié)省不必

34、要的系統(tǒng)升級成本。單AS500N2產(chǎn)品可容納16塊SAS硬盤或者企業(yè)級SATA II硬盤，提供最高1000MB/s的帶寬吞吐量和138,000 IOPS的處理能力，滿足各種應用的性能要求。系統(tǒng)支持SAS JBOD的擴展功能，充分滿足企業(yè)數(shù)據(jù)的倍速增長。64位專用存儲處理器、存儲操作系統(tǒng)，保證系統(tǒng)在海量數(shù)據(jù)存取時的性能和可靠性。提供啟動時磁盤順序加電功能，防止由于所有磁盤同時加電引起的電源故障和系統(tǒng)故障。保障了用戶因電源功率不足而無法啟動機器。支持磁盤熱插拔，并為了防止用戶誤操作，在插入磁盤時，會讓用戶確認磁盤中是否有有用數(shù)據(jù)，確認后方進行磁盤掃描。支持磁盤漫游，即存儲系統(tǒng)內部磁盤可以任意的更換

35、位置，而磁盤內部的陣列配置信息和數(shù)據(jù)完全不會改變或丟失，避免由于磁盤被錯誤插拔而導致的數(shù)據(jù)丟失。AS500N2采用了多個冗余風扇對所有的磁盤和控制單元進行散熱，可保證整個系統(tǒng)長時間的正常運行。AS500N2可選配冗余、負載均衡熱插拔電源，支持電源自動故障切換和在線的故障電源更換。還可與多種型號的外接UPS聯(lián)動，有效避免由于突然掉電導致設備緩存中的數(shù)據(jù)丟失。支持即插即用。用戶只需將PC或服務器插上網(wǎng)線與AS500N2通過網(wǎng)絡相連，并進行簡單的軟件配置就可以像訪問本地磁盤一樣訪問連接到網(wǎng)絡上的AS500N2存儲資源，無需添加任何其它專用設備。AS500N2采用可視化管理，在GUI管理界面上可以所見

36、即所得地對磁盤、RAID組等進行配置操作和狀態(tài)監(jiān)控。AS500N2采用中文管理界面，便于操作使用。5.2 RHEL雙網(wǎng)卡負載均衡實現(xiàn)搭建系統(tǒng)環(huán)境，安裝RHEL5.6，常規(guī)模式，默認配置安裝即可。采用雙網(wǎng)卡綁定技術實現(xiàn)服務器網(wǎng)絡連接的高可用性及吞吐量,如圖5-2所示。1）效果：網(wǎng)卡eth0和eth1虛擬成設備bond0，并且向外公布一個虛擬IP地址。存儲AS500N的root管理密碼為“inspur!dks01?”。配置完成后在inspur: #處輸入命令： ifconfig，出現(xiàn)信息：bond0 Link encap:Ethernet HWaddr 00:0C:76:6C:86:1Finet

37、addr:00 Bcast:55 Mask:inet6 addr: fe80:20c:76ff:fe6c:861f/64 Scope:LinkUP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1RX packets:10831 errors:0 dropped:0 overruns:0 frame:0TX packets:476 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:0RX byt

38、es:1290093 (1.2 Mb) TX bytes:164685 (160.8 Kb)eth0 Link encap:Ethernet HWaddr 00:0C:76:6C:86:1Finet addr:00 Bcast:55 Mask:inet6 addr: fe80:20c:76ff:fe6c:861f/64 Scope:LinkUP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1RX packets:5396 errors:0 dropped:0 overr

39、uns:0 frame:0TX packets:238 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:1000RX bytes:643234 (628.1 Kb) TX bytes:83262 (81.3 Kb)Base address:0xb000 Memory:f5000000-f5020000eth1 Link encap:Ethernet HWaddr 00:0C:76:6C:86:1Finet addr:00 Bcast:55 Mask:255.255.255.

40、0inet6 addr: fe80:20c:76ff:fe6c:861f/64 Scope:LinkUP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1RX packets:5435 errors:0 dropped:0 overruns:0 frame:0TX packets:238 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:1000RX bytes:646859 (631.6 Kb) TX bytes:81423 (79.5 Kb)Base addre

41、ss:0xc000 Memory:f9000000-f9020000lo Link encap:Local Loopbackinet addr: Mask:inet6 addr: :1/128 Scope:HostUP LOOPBACK RUNNING MTU:16436 Metric:1RX packets:108 errors:0 dropped:0 overruns:0 frame:0TX packets:108 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:0RX byt

42、es:7288 (7.1 Kb) TX bytes:7288 (7.1 Kb)2）使用VI編輯器將標有/的內容添加到/etc/init.d/network中的相應位置。（/不用輸入，修改完后需要重啟服務器操作系統(tǒng)）mode為網(wǎng)卡工作方式，“1”為互援式工作方式（熱備份工作方式，當前工作鏈路或網(wǎng)卡出現(xiàn)故障時，備份網(wǎng)卡會自動接管網(wǎng)絡鏈路），“0”為集群式工作方式（同時在線提供兩倍帶寬，一條鏈路或網(wǎng)卡故障時，網(wǎng)絡帶寬為工作網(wǎng)卡帶寬，不需切換）:Inspur: # vi /etc/networkInspur: # vi /etc/init.d/networkrc_status -vfi/#modpro

43、be bonding mode=active-backup miimon=100 primary=eth0/modprobe bonding mode=0 miimon=100 primary=eth0/ifconfig bond0 inet 00 netmask /route add default gw 00/ifenslave bond0 eth0/ifenslave bond0 eth1/ifconfig bond0 up;stop)echo Shutting down network interfaces:echo S

44、hutting down network interfaces:/ifenslave -d bond0 eth0/ifenslave -d bond0 eth1/ifconfig bond0 down圖5-2 實現(xiàn)存儲節(jié)點網(wǎng)絡負載均衡5.3 AS500N存儲調試及服務器節(jié)點上ISCSI掛載AS500N存儲管理系統(tǒng)出廠設置的IP 地址為，在管理員控制臺的瀏覽器地址欄中輸入: 即可顯示登錄界面，系統(tǒng)默認管理員為admin，密碼：root,如圖5-3所示.圖5-3 浪潮海量存儲登陸界面進入后顯示AS500N存儲信息,如圖5-4所示。圖5-4

45、 AS500N存儲信息點擊磁盤管理，物理磁盤管理顯示信息，如圖5-5所示。列出了系統(tǒng)中一個raid 卡上當前所有可用的磁盤。系統(tǒng)物理磁盤狀態(tài)可分為member、hotspare、good 及bad 四種使用狀態(tài)，其中member 為成員盤，hotspare 為全局熱備盤，good 為可使用的游離盤，bad 為不可使用的游離盤；hotspare，good 狀態(tài)磁盤可相互轉換，bad 狀態(tài)磁盤必須先進行掃描轉換，才可以正常使用。用戶可點擊按鈕執(zhí)行磁盤狀態(tài)轉換及磁盤定位顯示操作。圖5-5 物理磁盤信息點擊RAID管理，Raid列表顯示信息，如圖5-6所示。圖5-6 顯示RAID列表信息點擊新建RAI

46、D 顯示信息，如圖5-6所示。圖5-6 創(chuàng)建新RAID創(chuàng)建完Raid后可在上一層查看創(chuàng)建的Raid后的編輯顯示詳細Raid信息狀態(tài)，如圖5-7所示。圖5-7 編輯RAID并顯示RAID狀態(tài)在磁盤管理中點擊存儲管理可查看存儲邏輯卷，如圖5-8所示。圖5-8 查看管理存儲卷點擊新建存儲池可添加之前創(chuàng)建的Raid陣列，如圖5-9所示。圖5-9 新建存儲池并添加陣列創(chuàng)建完成后顯示存儲池詳細信息，如圖5-10所示。圖5-10 心事存儲池詳細信息點擊邏輯分區(qū)管理創(chuàng)建邏輯分區(qū)，如圖5-11所示。圖5-11 創(chuàng)建邏輯分區(qū)點擊新建邏輯分區(qū)開始創(chuàng)建邏輯分區(qū)，ISCSI的應用類型為SAN，所以選擇SAN，如圖5-1

47、2所示。圖5-12 創(chuàng)建SAN的iscsi的邏輯分區(qū)點擊主頁面中的SAN管理進入SAN的配置，如圖5-13所示。圖5-13 進入SAN管理上圖中的“Target iqn.2011-04.lygtc.iscsi:storage.disk1.sys1.xyz”這 Target 名稱也稱作iSCSI Qualified Name（簡稱：iqn），這格式在 iSCSI 規(guī)格書中有詳細說明：iqn.yyyy-mm.:identifier格式意義yyyy-mm 年份-月份 例如：2011-04reversed domain name 倒過來的網(wǎng)域名稱 例如：lygtc.iscsiidentifier 識別

48、代號 例如：storage.disk1.sys1.xyzLUN（Logical Unit Number），“#Lun 0 Path=/dev/dm-1,Type=fileio”這一行中， Path 改成您提供的硬盤名稱，此例為“Path=/dev/dm-1”。我們可以使用像是區(qū)塊裝置（Block devices，例 /dev/sdc）、一般檔案（regular files）、LVM 邏輯卷軸（Logical Volume）與磁碟陣列（RAID）提供給 Initiators 主機當做區(qū)塊裝置（硬盤）。然后選擇隱射的邏輯分區(qū)即可，如圖5-14所示。圖5-14 映射邏輯分區(qū)到此，AS500N上的存儲

49、陣列配置已經(jīng)結束。現(xiàn)在開始將安裝服務器需要的服務器iscsi端軟件，該軟件可以從安裝系統(tǒng)所在光盤中找到，需要符合當前所安裝的操作系統(tǒng)版本，本次研究環(huán)境是RHEL 5.6，iscsi的rpm程序包在光盤根目錄下的Server 目錄中的iscsi-initiator-utils-72-6.el5.i386.rpm。將本文件拷貝到RHEL系統(tǒng)中，然后進行iscsi的rmp包安裝。命令處理：# rpm -ivh iscsi-initiator-utils-72-6.el5.i386.rpm 安裝iscsi#cat /etc/iscsi/initiatorname.iscsi

50、 察看啟動器名稱列出本機target，得到反饋信息：InitiatorName=iqn.1994-.redhat:cd29a6b9aea# service iscsid start 設置使iscsi服務在系統(tǒng)啟動時自動啟# chkconfig iscsid on設置使iscsi服務在系統(tǒng)啟動時自動啟#iscsiadm -m discovery -t sendtargets -p 00:3260列出目標AS500N存儲器的target，得到反饋信息：iqn.2011-04.lygtc.iscsi:storage.disk1.sys1.xyz#/etc/init.d/iscsi

51、 restart 重啟iscsi服務#iscsiadm -m node 查看添加的iscsi的lun信息#iscsiadm -m node -T iqn.2011-04.lygtc.iscsi:storage.disk1.sys1.xyz p 00:3260 l連接目標存儲器LUN，然后就可以看到存儲端所映射的硬盤，可以像使用本地硬盤一樣使用所映射的存儲空間。#fdisk l 查看存儲硬盤第一步：創(chuàng)建新磁盤分區(qū)：用root用戶執(zhí)行命令fdisk /dev/sdb，完成硬盤的分區(qū)。在Command (m for help)：提示下輸入n，即創(chuàng)建新的磁盤分區(qū)。在Command

52、actione extendedp primary partition (1-4)：提示下輸入p，即創(chuàng)建主分區(qū)。在Partition number (1-4): 提示下輸入1 ，即分區(qū)號在First cylinder (1-522, default 1): 提示下按回車，即指定起始柱面（注意：括號中尾柱面數(shù)字取決于硬盤的具體型號）在Last cylinder or +size or +sizeM or +sizeK (1-522, default 522): 提示下按回車，即指定尾柱面。在Command (m for help): 提示下輸入p ，即查看分區(qū)狀態(tài)，如果看到/dev/sdb1等信

53、息則說明分區(qū)成功。在Command (m for help): 提示下輸入t，即轉換分區(qū)類型在Hex code (type L list codes): 提示下輸入L，即顯示分區(qū)編碼列表在Hex code (type L list codes): 提示下輸入fd，即LinuxRaid分區(qū)編碼在Command (m for help): 提示下輸入w ，即保存退出第二步：格式化創(chuàng)建磁盤分區(qū)：用root用戶執(zhí)行命令mkfs -t ext3 /dev/sdb1，完成硬盤的格式化。第三步：掛載分區(qū)用root用戶執(zhí)行命令mkdir /data 創(chuàng)建一個根目錄用root用戶執(zhí)行命令mount /dev/s

54、db1 /data 將sdb1分區(qū) mount to /data完成后需要重新啟動Linux主機，以使設置生效。注意系統(tǒng)開機順序：啟動AS500N存儲系統(tǒng)，存儲系統(tǒng)正常啟動后依次打開兩臺服務器5.4 浪潮BCP Cluster部署在兩臺節(jié)點服務器上安裝好BCP后，使用PC機端連接節(jié)點服務器。在地址欄中先輸入其中一個節(jié)點公網(wǎng)IP：22:29003如圖5-15所示。圖5-15 初次進入BCP集群點擊設定進入bulider第一次要編輯java授權策略文件，如圖5-16、17所示。圖5-16 編輯JAVA授權策略編輯完策略文件關掉，重新啟動瀏覽器進程才能正常進入配置模式

55、。圖5-17 編輯JAVA授權策略重啟瀏覽器后進入BCP，如圖5-18所示。圖5-18 重啟瀏覽器后進入BCP進去后右擊集群生成向導，進入集群配置模式，如圖5-19所示。圖5-19 集群生成向導在此中心服務器node1的ip公網(wǎng)地址是11私網(wǎng)是11,node2的公網(wǎng)是22.私網(wǎng)是22，漂移地址是23，心跳分區(qū)是/dev/adb1,數(shù)據(jù)分區(qū)時/dev/adb2數(shù)據(jù)分區(qū)的掛載點是/data，具體操作如圖5-20到5-39所示。圖5-20 添加集群名稱并新建節(jié)點服務器圖5-21 分別加入私網(wǎng)、公網(wǎng)

56、IP信息圖5-22 添加心跳分區(qū)圖5-23心跳分區(qū)用的是裸設備，裸設備需要給分區(qū)綁定一個裸設備的名字圖5-24 同樣添加第二臺機器的信息并創(chuàng)建完成節(jié)點服務器設置圖5-25 添加集群資源類型圖5-26 添加資源切換組圖5-27 在資源切換組里面添加資源圖5-28 添加漂移ip信息圖5-29 添加共享磁盤資源圖5-30 創(chuàng)建集群依賴關系圖5-31 編輯集群監(jiān)視資源圖5-32 添加資源的監(jiān)控，共享型集群默認會自動添加用戶空間的監(jiān)控圖5-33 添加漂移ip監(jiān)控，linux下沒有浮動ip監(jiān)控選項監(jiān)控類型只能選擇ip監(jiān)控圖5-34 添加集群磁盤資源圖5-35 添加磁盤的監(jiān)控圖5-36 查看集群最終設置圖5-37 然后上傳配置文件重新啟動集群服務器共享型集群的基本配置到現(xiàn)在結束圖5-38 到此，浪潮BCP Cluster部署完畢5.5 部署VMWare 虛擬化主機在節(jié)點一中安裝VMware-Workstation-6.5.2-156735.i386.bundle，并將Vmware網(wǎng)絡設置為橋模式，并將設備指向bond0(節(jié)