Openstack云平臺的部署及應(yīng)用

蘇州大學(xué)本科生畢業(yè)設(shè)計（論文）

III

目錄

TOC\o"1-3"\h\u

32136

摘要

1

3615

Abstract

2

22434

前言

3

5875

第1章緒論

4

7270

1.1研究背景及意義

4

15629

1.2本文的主要工作

5

5765

1.3本文的組織結(jié)構(gòu)

5

11398

第2章云計算概論

7

17724

2.1云計算起源與發(fā)展歷程

7

25887

2.2云計算的定義

7

6357

2.3云計算體系架構(gòu)

8

3909

2.4云計算服務(wù)模式

9

21548

2.5云計算的部署模型

10

13823

第3章Openstack云平臺架構(gòu)

11

17250

3.1Openstack技術(shù)簡介

11

30035

3.2Openstack架構(gòu)

11

14629

3.2.1Openstack系統(tǒng)架構(gòu)

11

26865

3.2.2Openstack各層次的HA設(shè)計

12

3892

3.3Openstack的展望

13

17704

3.4Openstack的應(yīng)用

14

3080

第4章Openstack的部署與管理

15

5220

4.1準備工作

15

24268

4.1.1服務(wù)器配置環(huán)境

15

9677

4.1.2操作系統(tǒng)要求

15

11273

4.2Openstack部署流程

16

24006

4.2.1部署控制節(jié)點

16

14509

4.2.2部署計算節(jié)點

21

24399

4.3Openstack的管理

22

28249

4.4本章小結(jié)

26

32157

第5章Hadoop與開源云計算

27

2843

5.1Hadoop應(yīng)用

27

8046

5.2Hadoop技術(shù)介紹

27

8194

5.2.1Hadoop的構(gòu)造

27

18900

5.2.2Hadoop的運行模式

28

23843

第6章Openstack云平臺下的Hadoop部署

29

30357

6.1Hadoop的部署

29

24338

6.1.1部署環(huán)境要求

29

14930

6.1.2安裝JAVA

29

4315

6.1.3安裝SSH-SERVER

29

8463

6.1.4Hadoop的安裝

29

3835

6.2部署偽分布式模式

30

7122

6.3程序?qū)嵗\行

31

6891

第7章總結(jié)與展望

33

28791

7.1總結(jié)全文

33

27706

7.2未來展望

33

25838

參考文獻

34

21324

致謝

35

摘要

近幾年來，云計算正以超乎人們想象力的速度在互聯(lián)網(wǎng)中大步向前，并且由于其擁有較強的運算能力，在多種場景下均能成功應(yīng)用。隨著用戶對大數(shù)據(jù)需求的日益增大，云計算將成為其對大數(shù)據(jù)問題進行處理的最優(yōu)選擇方案。它能以很快的速度提供用戶自我需求的網(wǎng)絡(luò)，對可用的資源進入共享池實施交互，訪問操作，大大提高了各類設(shè)施的存儲量、計算效率和性能。

本文介紹了云計算其中一個開源平臺Openstack，它是一個高度自由、支持開放源代碼的平臺方案。Openstack由幾個核心組件組合完成，極大減少了基礎(chǔ)固件帶來的資源消耗，同時用戶可以根據(jù)自己的需求靈活搭建自己的平臺。本文介紹了怎樣簡單部署一個簡易的平臺，并且與Hadoop相結(jié)合進行簡單的展示。

關(guān)鍵詞：云計算；大數(shù)據(jù)；開源；Openstack；Hadoop

Abstract

Inrecentyears,CloudComputinghasbeendevelopedalotatarapidspeedbeyondpeople'simagination,anditcanbesuccessfullyappliedinmanyscenariosduetoitsstrongcomputingpower.WiththeincreaseofhugedemandforBigData,CloudComputingwillbecomethebestchoiceforprocessingproblemsofit.Cloudcomputingisakindofpaybyusagepattern,whichprovidesavailable,convenient,on-demandnetworkaccess,andinthepoolofconfigurablecomputingresourcessharing,theseresourcescanprovidedquickly,andbecauseofthatitgreatlyimprovesthestoragecapacity,calculationefficiencyandperformanceofallkindsoffacilities.

ThisarticleintroducestheOpenstack,anopensourceplatformforcloudcomputing,whichisahighlyfreeandopensourceplatformsolution.Openstackiscomposedofseveralcorecomponents,greatlyreducingtheresourceconsumptionofthebasefirmware,anduserscanbuildtheirownplatformaccordingtotheirneeds.NowwewilldescribehowtodeployasimpleplatformandcombineitwithHadoopforapresentation.

Keywords:CloudComputing;BigData;OpenSource;Openstack;Hadoop

前言

很多年前，首次關(guān)于云計算服務(wù)的提出鮮為人知并且也不被人看好，然而隨著對大數(shù)據(jù)日益增長的需求，云計算已然成為各國眾多領(lǐng)域的焦點，同時也在我們國家新興行業(yè)占據(jù)重要地位。

集約化，大型專業(yè)化的行進趨勢已經(jīng)出現(xiàn)在了互聯(lián)網(wǎng)的各大領(lǐng)域，顯而易見云計算在其中占據(jù)主導(dǎo)地位。云計算也因此被比喻為在Internet的工業(yè)化革命。云是在網(wǎng)絡(luò)中的一種十分形象的比喻說法，抽象地表示Internet和底層基礎(chǔ)設(shè)施。云計算可以用很快的速度提供用戶自我需求的網(wǎng)絡(luò)，對可用的資源，進入共享池實施交互和訪問，用戶能夠在投入精力較少的情況下對其進行操作。另一方面，憑借強大的計算、存儲能力，云計算出現(xiàn)在各大云平臺，比如Google，IBM，Amazon以及我國的華為、銳捷、阿里云等公司并且獲得巨大的成功，讓整個計算機領(lǐng)域發(fā)生了很大的變動。

Openstack結(jié)合了幾個核心組件來完成特定的任務(wù)，支持大多數(shù)的云環(huán)境。而提供一個易搭建，高擴展性，完善和具有統(tǒng)一標準的云計算管理平臺是其主要目的。Nova和Swift是OpenStack中最重要的組件元素，其中負責(zé)部署與計算任務(wù)是由美國宇航局開發(fā)的Nova模塊實現(xiàn)的;而負責(zé)分布式云存儲功能的則是Swift模塊。二者可以互相結(jié)合，也能單獨使用。Openstack由NASA和Rackspace發(fā)起，幫助一些企業(yè)、SP提供最基礎(chǔ)架構(gòu)即服務(wù)。

Openstack是一個可以靈活組合使用的開放源碼的實現(xiàn)方案，而Hadoop是一個基礎(chǔ)的分布式架構(gòu)，最重要的就是完成了HDFS和MapReduce。Hadoop在分布式系統(tǒng)中的優(yōu)秀的計算與存儲能力，成為了大數(shù)據(jù)分析的完成平臺，是一個基于云計算較好的應(yīng)用。其中HDFS負責(zé)存儲方面的工作，MapReduce則為其實現(xiàn)了計算功能。

第1章緒論

149

19070

1.1

研究背景及意義

在以前的網(wǎng)絡(luò)環(huán)境中，企業(yè)要想建立一套自己的IT系統(tǒng)，在搭建好底層基礎(chǔ)設(shè)施之后，更多的是花費大量時間、精力招聘去工作人員，讓工作人員來進行一些日?；镜木S護。隨著一些公司數(shù)據(jù)存儲的規(guī)模逐漸擴大，待處理數(shù)量日漸增長，信息來源數(shù)據(jù)越來越廣，對硬件、軟件和網(wǎng)絡(luò)等資源的需求越來越高，生產(chǎn)成本也越來越高。此時，云計算的誕生，極大地提高了各類資源的利用率，并且減少若干固件的成本。

當(dāng)前，“云計算”這股熱浪早已席卷全球。云計算是一種新型的計算模型，一種在互聯(lián)網(wǎng)中被普遍接受的計算模式。云計算最重要的外部特征之一，就是IT資源服務(wù)化[1]。

云計算技術(shù)的應(yīng)運而生具有客觀必然性[2]。隨著云計算的迅猛發(fā)展，全球的云計算產(chǎn)業(yè)規(guī)模日漸增長。同時，專家預(yù)測，在未來網(wǎng)絡(luò)領(lǐng)域的強勢崛起下，公共云服務(wù)將持續(xù)增長[3]。企業(yè)從傳統(tǒng)IT向云端計算傳移的發(fā)展勢頭，表明數(shù)字化的商業(yè)戰(zhàn)略越發(fā)成熟。圖1.1說明2009-2017年全球云計算服務(wù)市場規(guī)模。

圖1.12009-2017年全球云計算服務(wù)市場規(guī)模(單位：億美元，%)

隨著云計算的茁壯成長，開源企業(yè)的發(fā)展也疾速展開。在爭奪的猛勢下也能看出企業(yè)組織對人才的渴求，以及在云計算服務(wù)發(fā)展中突破重圍的鋒芒[4]。對云計算市場的發(fā)展進行總覽可以看到，不同開源組織在爭奪人才的過程中會更加清晰認識到企業(yè)自身的定位，保證在接下來的發(fā)展中后繼有力。在眾多的云計算市場開源挑戰(zhàn)中，Openstack初露鋒芒，成為其中的一員，受到各界的矚目。OpenStack在全球的IT發(fā)展中迎來了它的時代[5]。

Openstack是一個可以靈活組合使用的開放源碼的實現(xiàn)方案，Hadoop的搭建可以基于Openstack云平臺，來達到用戶的計算、存儲目的。Hadoop是一個基礎(chǔ)的分布式架構(gòu)，HDFS和MapReduce是它的核心功能。它在分布式系統(tǒng)中的優(yōu)秀的計算與存儲能力，使其成為用戶、企業(yè)進行大數(shù)據(jù)分析的首選平臺。其中HDFS負責(zé)存儲方面的工作，MapReduce則為其實現(xiàn)了計算功能。

19070

1.2本文的主要工作

本文主要研究的是如何部署一個Openstack云計算平臺。第一部分先介紹有關(guān)云計算的內(nèi)容，如起源，發(fā)展趨勢以及基礎(chǔ)架構(gòu)等。第二部分會具體地介紹Openstack的基礎(chǔ)知識、相關(guān)結(jié)構(gòu)等。本次設(shè)計決定通過三臺服務(wù)器搭建一個最小化的云平臺。接下來則是詳細地部署Openstack。搭建Openstack完成之后，會簡單介紹Openstack的管理界面。最后，研究與Openstack相結(jié)合的有關(guān)應(yīng)用，本文采用Hadoop，在Openstack平臺上安裝分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop，安裝完成后運行一個簡單的程序?qū)嵗?/p>

28440

1.3本文的組織結(jié)構(gòu)

第一章：緒論。本章主要介紹了本次研究的背景和意義，其次粗略介紹了本篇文章主要做些什么，最后介紹了本文的組織結(jié)構(gòu)。

第二章：云計算概論。本章詳細介紹了云計算的起源，發(fā)展過程和現(xiàn)狀。對云計算的體系、服務(wù)模式和部署類型進行一個簡要的敘述，最終對云計算有一個較為系統(tǒng)的闡述。

第三章：Openstack云平臺架構(gòu)。本章主要介紹了Openstack的基本概念、基礎(chǔ)架構(gòu)。其次簡單介紹Openstack的發(fā)展前景。為下一章的部署做準備。

第四章：Openstack的部署與管理。這一章介紹了如何部署三臺服務(wù)器來搭建Openstack的一個最小化云平臺，并簡單介紹了Openstack的管理方式。

第五章：Hadoop與開源云計算。本章介紹Hadoop的基礎(chǔ)知識、誕生概念，以及它和云平臺的關(guān)系。其次詳細介紹了Hadoop的技術(shù)構(gòu)造原理，即構(gòu)造模塊和運行模式。

第六章：Openstack云平臺下的Hadoop部署。本章主要闡述了怎樣在單機中部署Hadoop，默認采用偽分布式模式。并且運行一個簡單的Hadoop程序?qū)嵗?/p>

第七章：總結(jié)全文，展望未來技術(shù)。

第2章云計算概論

25646

2.1云計算起源與發(fā)展歷程

很多年前，關(guān)于云計算的基礎(chǔ)概念被初次提起。接下來的20年，隨著網(wǎng)格計算和ASP的巨大發(fā)展，云計算帶來的龐大效益開始顯山露水。到了20世紀末，網(wǎng)絡(luò)的飛速發(fā)展使得云計算正式大規(guī)模躍入人們視野。

隨著云計算在網(wǎng)絡(luò)領(lǐng)域的大躍進，不可否認的是它已然成為信息領(lǐng)域的領(lǐng)頭標準。云計算憑借其操作簡單、存儲量巨大的優(yōu)勢出現(xiàn)在各大企業(yè)用戶眼前，同時新的挑戰(zhàn)也伴隨著巨大的機遇出現(xiàn)。目前，眾多知名的IT公司都提供對外的云計算服務(wù)，使資源的利用率呈現(xiàn)越來越高的趨勢，對網(wǎng)絡(luò)領(lǐng)域的前行又貢獻了一部分推力。同時，整合成為一體的趨勢出現(xiàn)在各大云服務(wù)之間，越來越多的公司企業(yè)更傾向于購買云基礎(chǔ)設(shè)施服務(wù)，獨立部署云平臺耗資耗力不是它們的最佳選擇。可以預(yù)見，最終各大云服務(wù)提供商強強聯(lián)合，互相合作加速發(fā)展，會推動IT業(yè)實現(xiàn)全球化，形成獨一無二的特殊的“云”。

全球許多公有云和私有云都運行著同一套核心服務(wù)體系[6]。云計算不止意味著便宜，它能在用戶的手下創(chuàng)造出最原始最新的價值，然而隨之帶來的不僅僅是機遇，還有眾多的威脅，比如安全問題，由于與本文沒有較大聯(lián)系，這里不再贅述。

圖2.1云計算的演進

6969

2.2云計算的定義

云計算被提出來已經(jīng)幾十年了，但是不同的組織對它卻有著不同的定義。云計算通過互聯(lián)網(wǎng)將大量的計算服務(wù)器連接起來，互聯(lián)網(wǎng)就是云計算時代的云[7]。眾多的組織機構(gòu)從不同的角度、不同的結(jié)構(gòu)分別對云計算進行了不一樣的定義。其實NIST對其的定義為以方便快捷、按需付費的方式在Internet中獲取各類資源，并提高其可用性的模式。在維基百科中，云計算被定義為共享硬件資源和信息可被提供給計算機或其他設(shè)備以實現(xiàn)不同需求的模塊；而Gartner說，通過網(wǎng)絡(luò)技術(shù)，使IT具有可擴展性，并將服務(wù)提供給多個外部用戶的計算方式叫做云計算。隨著科技的日漸發(fā)展，云計算的定義也在不斷地變換中。

總的來說，云計算是一種超級Computing模式，它通過Internet，將計算、存儲、服務(wù)器、網(wǎng)絡(luò)等網(wǎng)絡(luò)資源放入資源的共享池，企業(yè)也根據(jù)它們自身需要獲取相關(guān)資源。站在企業(yè)的那一方，將用戶的虛擬資源集中化的管理，將大幅減少管理成本和人工費用[8]。云計算就像是我們生活中的水電等生活必需品，獲得的方式方便快捷，而我們也按照自身需求來使用。云計算對擴建基礎(chǔ)設(shè)備沒有硬性的條件，隨時隨地都能進行擴建操作，而用戶只需按使用量的大小來交付相應(yīng)的費用。

4758

2.3云計算體系架構(gòu)

分布式處理、GridComputing和并行處理的發(fā)展，到如今成就了云計算，也就是說，云計算是某些Internet概念的商業(yè)實現(xiàn)。隨著網(wǎng)絡(luò)的發(fā)展，各類數(shù)據(jù)蜂擁而至，大規(guī)模的、存儲分散的大數(shù)據(jù)，遭遇到計算、存儲和速率等的挑戰(zhàn)[9]。其中開源云計算平臺已然成為標準[10]。而一般的云計算體系架構(gòu)都包含：云用戶端、服務(wù)目錄、管理系統(tǒng)和部署工具、監(jiān)控以及服務(wù)器集群幾個部分。其中云用戶端是云平臺的入口，提供用戶發(fā)起請求的交互界面。服務(wù)目錄則是用戶在獲取權(quán)限之后，定制屬于自己的個性化服務(wù)列表，可進行滿足自己需求的諸多操作，并且提供一個圖形化界面來展示服務(wù)列表。管理系統(tǒng)和部署工具，顧名思義就是云平臺為客戶提供了一個工具，能進行授權(quán)、認證及登錄等操作，同時還能接收客戶的操作請求，并與請求的程序建立連接，資源池中的共享源也被部署到配置應(yīng)用和循環(huán)使用源中去。云計算能夠使客戶通過較低投資，獲取許多無限的網(wǎng)絡(luò)資源[11]。而監(jiān)控則負責(zé)監(jiān)視和度量云平臺資源的使用情況，確保用戶的請求到達之后，能快速反應(yīng)，完成用戶的各類請求，比如部署節(jié)點、完成負載均衡配置等。從而成功地分配資源。服務(wù)器集群是一個virtual或者physical的服務(wù)器，在管理系統(tǒng)的控制下，對一些高并發(fā)量、大運算量、用戶網(wǎng)頁應(yīng)用服務(wù)、云計算存儲等采用數(shù)據(jù)切割算法，通過并行方式upload和download大容量數(shù)據(jù)。圖2.2是通用的云計算體系整體架構(gòu)。

圖2.2通用的云計算體系架構(gòu)

20270

2.4云計算服務(wù)模式

可以將云計算的服務(wù)模式劃成四種：

SaaS：軟件即服務(wù)（SoftwareasaService），SaaS公司為用戶提供完整的可以直接使用的應(yīng)用軟件，用戶通過接入瀏覽器可馬上使用，但是用戶沒有權(quán)限對操作系統(tǒng)應(yīng)用、Internet基礎(chǔ)架構(gòu)進行修改配置。常見的SaaS公司有GoToMeeting，WebEx和Salesforce等。

BaaS：后端即服務(wù)（BackendasaService），該服務(wù)基于使用移動應(yīng)用開發(fā)的用戶，具有諸如云數(shù)據(jù)商店、帳戶管理、消息接發(fā)等基本組件功能，并且使得應(yīng)用開發(fā)流程化繁為簡。

PaaS：平臺即服務(wù)（PlatformasaService），也叫做中間件，是以SaaS為基礎(chǔ)的發(fā)展。在登錄Internet之后，用戶可以使用PaaS公司提供的開發(fā)和配送的解決方案。同時應(yīng)用程序的開發(fā)和運行都能在PaaS上進行，大大提高了開發(fā)效率以及降低了成本的消耗。開發(fā)人員是PaaS主要的面向基礎(chǔ)。

IaaS：基礎(chǔ)設(shè)施即服務(wù)（InfrastructureasaService），供應(yīng)商將多臺服務(wù)器連接起來，組成云基礎(chǔ)設(shè)施。并且將其存儲能力、計算能力、網(wǎng)絡(luò)組件行成的virtual資源池提供給用戶，用戶利用網(wǎng)絡(luò)就可以獲取完整的云基礎(chǔ)設(shè)施服務(wù)，很大程度上降低了硬件設(shè)施的成本。圖2.3是四種服務(wù)模式的簡要關(guān)系模型。

圖2.3云計算四種服務(wù)模式關(guān)系模型

2251

2.5云計算的部署模型

云平臺面向的服務(wù)對象的不盡相同，云計算的部署模型可以粗略地劃分成為公有云，私有云和混合云。

公有云（PublicCloud）：也可以被稱為外部云，它為外部的客戶提供用戶需求的云服務(wù)，服務(wù)對象并沒有特定的限制。公有云所有的服務(wù)都能提供給別人使用，公有云也能對服務(wù)商自身進行管理操作。其最大的優(yōu)勢是軟件相關(guān)的數(shù)據(jù)都存放在公有云上，無需花費巨大的成本與為期較長的搭建過程。

私有云（PrivateCloud）：也稱為內(nèi)部云，它為各個組織架構(gòu)部署組織內(nèi)部的云平臺，而不是為外部人員，是被核心開發(fā)人員或者企業(yè)內(nèi)部的機構(gòu)使用。私有云也是一些無法使用公有云企業(yè)機構(gòu)最優(yōu)的一個選擇。它最大的優(yōu)點就是系統(tǒng)的可用性用戶自己能進行控制，數(shù)據(jù)的安全性也較高，缺點是前期需要大量的投資。

混合云（HybridCloud）：是公有云與私有云的結(jié)合，結(jié)合兩者的優(yōu)點，為一些考慮數(shù)據(jù)安全性和控制性的企業(yè)，提供了一個低成本的選擇。混合的公有云和私有云成為當(dāng)今眾多企業(yè)必然的選擇。

第3章Openstack云平臺架構(gòu)

23488

3.1Openstack技術(shù)

簡介

Openstack是云計算的一個開源平臺，它是一個高度自由、支持開放源代碼的平臺方案。Openstack由幾個核心組件組合完成，極大減少了基礎(chǔ)固件帶來的資源消耗，同時用戶可以根據(jù)自己的需求靈活搭建自己的平臺。只有極少數(shù)云環(huán)境不支持Openstack，它為大數(shù)據(jù)提供能提高計算速度與存儲效率的云環(huán)境基礎(chǔ)，旨在構(gòu)建簡單基礎(chǔ)、可擴展性高、內(nèi)容豐富的標準云管理平臺。Openstack作為一個開放源碼的云平臺也在不斷地拓展，除了支持公有云的建設(shè)以外,最大的利用場景還是私有云建設(shè),Openstack幾乎成為私有云建設(shè)的標準[12]。

Openstack中包含了許多節(jié)點，主要包括一個控制節(jié)點和N個計算節(jié)點。為了擴展云平臺，Openstack提供給了計算節(jié)點足夠的伸縮性，可以進行添加操作，但是主要的控制節(jié)點有且只能有一個。此外，為了保證整個云平臺的穩(wěn)定性與容錯性，每個節(jié)點都配有冗余的鏡像存儲，雖然較為麻煩，但可以保證當(dāng)一個節(jié)點出錯時別的節(jié)點能隨時頂上，使得系統(tǒng)進程穩(wěn)定運行。

13595

3.2Openstack架構(gòu)

4355

3.2.1Openstack系統(tǒng)架構(gòu)

Openstack是面向基礎(chǔ)設(shè)施即服務(wù)的云操作系統(tǒng)，Openstack提供并對計算機網(wǎng)絡(luò)、存儲進行管理的工具。Openstack的核心組件如下：

Compute（Nova）：計算服務(wù)。主要提供自動部署、管理功能，并且將計算節(jié)點集群，再按照不同需求進行分配。同時Nova也負責(zé)Openstack中實例生命周期的所有行為。

IdentityService（Keystone）：認證服務(wù)。在運行計算節(jié)點上的Openstack云上?？梢赃M行認證、登錄管理等操作,并為OpenstackObjectStorage提供授權(quán)服務(wù)[13]。

ObjectStorage（Swift）：對象存儲。提供擴展性較強的分布式平臺，防止沒有備用節(jié)點導(dǎo)致云平臺崩潰情況的發(fā)生。Swift的擴展是通過增加節(jié)點來完成的[14]。

Networking（Neutron）：網(wǎng)絡(luò)服務(wù)。在云臺中負責(zé)網(wǎng)絡(luò)服務(wù)的供應(yīng)，管理Opensatck中所有的VNI、PNI的接入層，支持安全組。

ImageService（Glance）：鏡像服務(wù)。為Nova虛擬機提供鏡像的存儲、查詢、檢索的選項。

Dashboard（Horizon）：儀表板。是應(yīng)用程序編程接口程序基礎(chǔ)上的網(wǎng)頁呈現(xiàn)。

BlockStorage（Cinder）：塊存儲，為虛擬機提供云硬盤服務(wù)，實現(xiàn)了管理塊存儲，允許整合商業(yè)化企業(yè)存儲平臺。

圖3.1是Openstack的基本架構(gòu)圖。

圖3.1Openstack的基本架構(gòu)

1555

3.2.2Openstack各層次的HA設(shè)計

（1）基礎(chǔ)服務(wù)Mysql和RabbitMQ

作為開源數(shù)據(jù)庫管理系統(tǒng)的Mysql已經(jīng)相當(dāng)成熟了，功能十分完善，能在多個數(shù)據(jù)庫表引擎中運行。但以分布式DBMS的角度來看，并沒有達到很高的預(yù)期要求，不夠成熟。同時，大多數(shù)人使用基于二進制日志復(fù)制的主從模式來復(fù)制數(shù)據(jù)，HA和讀寫分離也在主從模式下應(yīng)運而生。

Cluster是Rabbitmq的一個內(nèi)置功能，相同集群的節(jié)點共享眾多元信息，如topic、queue等。另一方面，對于實際的隊列消息數(shù)據(jù)，消息的高可用性取決于MirrorQueue機制。同時建議組建至少3個節(jié)點的集群，否則難以劃分網(wǎng)絡(luò)分區(qū)。因此，Cluster+MirrorQueue基本上是實現(xiàn)Rabbitmq高可用性的最佳解決方案。

（2）Nova、Neutron、Cinder接入與控制服務(wù)

完善基礎(chǔ)的設(shè)施服務(wù)之后，就Openstack的諸多核心組件來說，運行過程中實際上是無狀態(tài)的，但是只要同時開啟若干個組件，并且實現(xiàn)它們負載的均衡，也就實現(xiàn)了高可用性。

（3）網(wǎng)絡(luò)服務(wù)

在Openstack中，網(wǎng)絡(luò)處理是不可分割的一個重要部分，獨立部署好的網(wǎng)絡(luò)節(jié)點一般都取決于網(wǎng)絡(luò)的特殊與復(fù)雜性。其中L3Agent、DHCPAgent以及門下的DHCP服務(wù)和虛擬路由服務(wù)是核心。

2687

3.3Openstack的展

望

Openstack在一些程度上暫且不太成熟，還有很多待研發(fā)子項目。但在眾多的使用者和支持者的推動下，Openstack發(fā)展迅速。通過OpenStack構(gòu)建的私有云、公有云和混合云的企業(yè)發(fā)展迅猛，成為IT領(lǐng)域的飛速發(fā)展的一員，如惠普云、戴爾的OpenStack解決方案等。與此同時，Openstack在中國的普及率越來越高。高德地圖、京東、百度、阿里巴巴、華為等都對其有濃厚的興趣，雖然發(fā)展緩慢，但是相信后續(xù)的研發(fā)會逐漸升溫。自2010年創(chuàng)立以來，Openstack已發(fā)布10個版本，它的發(fā)展離不開諸多組織和用戶的貢獻與支持。在未來的基礎(chǔ)架構(gòu)即服務(wù)（IaaS）資源管理中，Openstack將繼續(xù)領(lǐng)先，最終占據(jù)三種云共同管理標準的龍頭位置。圖3.2為Openstack在全球的部署情況。

Openstack擁有眾多的競爭者，新成代謝晝夜更替，不斷有新的項目涌現(xiàn)出來，但大多都無法代替其地位。

圖3.2Openstack在全球的部署情況

6294

3.4Openstack的應(yīng)用

Openstack是一個可以靈活組合使用的開放源碼實現(xiàn)方案，在我們國家，也有越來越多企業(yè)搭建Openstack云平臺。眾多云計算的框架就是Openstack，它一般與SDN、Docker或者Hadoop結(jié)合使用，來達到用戶的計算、存儲目的。

作為一個基礎(chǔ)的分布式架構(gòu)，Hadoop利用分布式存儲與計算，同時具有高效性。是大數(shù)據(jù)分析的實現(xiàn)，是一個基于云計算較好的應(yīng)用。本文中將以O(shè)penstack為基礎(chǔ)來應(yīng)用一個Hadoop實例，詳情見第五章、第六章。

第4章Openstack的部署與管理

23564

4.1準備工作

19702

4.1.1服務(wù)器配置環(huán)境

本次采用多節(jié)點模式進行實驗，預(yù)期部署三臺服務(wù)器（server1、server2、server3），表4.1顯示了服務(wù)器的具體配置環(huán)境。

表4.1服務(wù)器配置環(huán)境

服務(wù)器

Server1

Server2

Server3

主機名

Controller

Compute

Compute1

角色

控制節(jié)點

計算節(jié)點

計算節(jié)點

IP

0

1

3

安裝的服務(wù)和軟件

NTP、MYSql、Keystone、Glance、

Neutron、nova-conductor、

nova-api、nova-consoleauth、nova-scheduler和

Dashboard

Nova-compute和Neutron

Nova-compute和Neutron

30534

4.1.2操作系統(tǒng)要求

本次實驗的VMware版本是VmwareWorkstationPro14；在VMware中創(chuàng)建虛擬機，安裝的版本是UbuntuServer16.04。

8606

4.2Openstack部署流程

1390

4.2.1部署控制節(jié)點

統(tǒng)一時間源，部署NTP服務(wù)，本文選擇安裝chrony：

安裝完成后，在chrony.conf配置文件中修改內(nèi)容：

重啟服務(wù)：

安裝Openstack配置工具:

安裝SQL：

修改配置文件，添加以下內(nèi)容：

重啟Mysql之后查看端口情況：

配置消息隊列服務(wù)Rabbitmq：

添加Openstack用戶，并開啟權(quán)限：

配置Keystone：

創(chuàng)建Keystone數(shù)據(jù)庫：

生成臨時ADMIN_TOKEN：3496706578cabaed49e6

安裝keystone和ApacheHTTPServer：

修改配置后將其寫入Keystone，進行初始化操作：

配置管理賬號：

創(chuàng)建service項目：

配置普通任務(wù)和開放用戶權(quán)限，添加user到demo中去，重置環(huán)境變量，編輯腳本并加載腳本來獲得身份認證令牌：

配置Glance服務(wù)

創(chuàng)建glance數(shù)據(jù)庫，并進行授權(quán)操作：

創(chuàng)建glance用戶：

添加admin到glance和service上，創(chuàng)建glance實體：

創(chuàng)建鏡像服務(wù)的API端點：

安裝鏡像API：

配置鏡像注冊服務(wù)，最后同步服務(wù)器數(shù)據(jù)庫：

進行驗證操作：

（7）部署Nova:

創(chuàng)建nova_api、nova數(shù)據(jù)庫并賦予權(quán)限：

進入admin模式，進行創(chuàng)建用戶、服務(wù)、api的部署：

安裝nova，其中包含nova-api、nova-conductor、nova-consoleauth、nova-scheduler：

打開/etc/nova/nova.conf文件，進行配置文件的修改,在[DEFAULT]中，增加以下內(nèi)容：

由于bug原因，刪除log-dir選項;此外還有如下設(shè)置：

最后將[database]和[api_database]中connnetion的默認密碼改為自己設(shè)置的密碼。

同步數(shù)據(jù)庫服務(wù)之后重啟nova服務(wù)：

（8）部署Neutron：

創(chuàng)建neutron數(shù)據(jù)庫并進行授權(quán)：

創(chuàng)建neutron用戶：

在neutorn中添加adimn：

創(chuàng)建neutron服務(wù)實體：

創(chuàng)建API端點：

安裝組件：

最后對neutron進行配置來實現(xiàn)網(wǎng)絡(luò)服務(wù)（分別配置ML2插件、配置Linuxbridge、layer-3、DHCP以及元數(shù)據(jù)代理）。

（9）部署管理面板，并且進行相關(guān)設(shè)置：

21861

4.2.2部署計算節(jié)點

本次實驗設(shè)置了兩個計算節(jié)點，兩個節(jié)點的ip分別為1和3,。計算節(jié)點的配置較為簡單，nova的服務(wù)模塊只需安裝nova-compute和neutron，具體的文件配置情況與controller節(jié)點的差別不大，因此只作一個簡單的流程描述。以compute為例，大致配置情況如下。

啟用Openstack庫，安裝客戶端：

安裝配置nova-compute：

設(shè)置計算節(jié)點的網(wǎng)絡(luò)：

18299

4.3Openstack的管理

至此，在Ubuntu16中部署一個最小化的Openstack云平臺已經(jīng)部署完成。通過查看Openstack的服務(wù)信息，可以得到表4.2的輸出結(jié)果。

表4.2Openstack的服務(wù)列表

Id

Binary

Host

Zone

Status

State

1

nova-consoleauth

controller

internal

enabled

up

2

nova-scheduler

controller

internal

enabled

up

3

nova-conductor

controller

internal

enabled

up

4

nova-compute

compute

nova

enabled

up

5

nova-compute

compute1

nova

enabled

up

我們還可以查看Openstack的網(wǎng)絡(luò)代理服務(wù)是否開啟，執(zhí)行相關(guān)指令之后可以得到表4.3中的數(shù)據(jù)。

表4.3Openstack網(wǎng)絡(luò)代理服務(wù)

AgentType

Host

AvailabilityZone

Alive

State

Binary

Metadataagent

controller

None

True

UP

neutron-metadata-agent

DHCPagent

controller

nova

True

UP

neutron-dhcp-agent

Linuxbridgeagent

compute

None

True

UP

neutron-linuxbridge-agent

Linuxbridgeagent

compute1

None

True

UP

neutron-linuxbridge-agent

Linuxbridgeagent

controller

None

True

UP

neutron-linuxbridge-agent

搭建好Openstack之后，我們一般選擇在web界面對其進行管理，在瀏覽器中（本例選用Goole瀏覽器）登入：http://192.168.247/dashboard,可以進入云平臺的登錄界面：

圖4.1Openstack登錄界面

有兩種方式可以登錄進入Openstack云平臺，一個是普通用戶，來一個則是管理員。登陸進去的界面如下：

圖4.2Openstack初始界面

這個界面是Openstack云平臺界面的總體概覽，我們可以看到在左側(cè)管理選項中，包含對實例、鏡像和路由的一些選項。接下來我們將在Openstack中創(chuàng)建一個實例，即虛擬機。首先為vm添加安全規(guī)則。為了使虛擬機能夠?qū)崿F(xiàn)安全訪問以及連通，我們手動選擇出入的icmp和ssh規(guī)則，如圖4.3。

圖4.3Openstack創(chuàng)建實例時的出入規(guī)則

接下來開始創(chuàng)建秘鑰，我們會獲得一個后綴為.pem的文件，手動給其添加權(quán)限：chomd600key.pem。秘鑰創(chuàng)建成功之后，正式進行實例的創(chuàng)建。在左側(cè)的拉桿可以清楚看到項目的選項，選擇“項目”-“實例”，然后點擊按鈕，創(chuàng)建一個“test”實例，如圖4.4所示。

圖4.4Openstack創(chuàng)建一個實例

創(chuàng)建好之后，我們需要對其進行一些配置。先從鏡像中選擇一個cirros源，實例類型選擇m1.tiny，可以得到如4.5圖所示界面。

圖4.5Openstack實例鏡像的配置

選擇好默認的網(wǎng)絡(luò)之后，我們需要設(shè)置秘鑰對：

圖4.6Openstack實例秘鑰對的設(shè)置

然后拉動下滑選項，進行浮動ip的配置，實現(xiàn)虛擬機訪問外網(wǎng)的功能，系統(tǒng)自動分配相關(guān)的地址。最后點擊有關(guān)按鈕，完成實例的創(chuàng)建。

1869

4.4本章小結(jié)

本章主要描述Openstack部署與管理的詳細過程。經(jīng)過細致的部署過程，可以深刻體會到Opestack提供的IaaS服務(wù)對云平臺部署的影響。Openstack的幾個核心組件讓用戶可以根據(jù)自己的需求靈活搭建自己的平臺，提供簡單基礎(chǔ)、可擴展性高、內(nèi)容豐富的標準云管理平臺，大大降低了基礎(chǔ)開銷。

第5章Hadoop與開源云計算

17451

5.1Hadoop應(yīng)

用

Openstack是一個IaaS平臺，是Amazonaws的開放源碼的實現(xiàn)。而Hadoop則是一個軟件結(jié)構(gòu)，采用分布式來計算和存儲。二者并沒有直接的聯(lián)系，但是二者結(jié)合起來可以進行諸多的實現(xiàn)，如果把Openstack比作Window系統(tǒng)，那么Hadoop則是一個可以安裝在Window系統(tǒng)中的分布式DB。

Hadoop主要由分布式文件系統(tǒng)（HDFS）和編程模型MapReduce構(gòu)成[15]。Hadoop在分布式系統(tǒng)中的優(yōu)秀的計算與存儲能力，成為了大數(shù)據(jù)分析的完成平臺，是一個基于云計算較好的應(yīng)用。其中HDFS負責(zé)存儲方面的工作，MapReduce則為其實現(xiàn)了計算功能。

云計算能夠給用戶提供最大化資源利用的可靠服務(wù)。在用戶按需的要求下，實現(xiàn)不同需求的分布式計算模式[16]。而Hadoop的分布式計算能力，強大的可擴張性，使得諸多使用Hadoop的企業(yè)將其應(yīng)用到實際場景中去，比如在線旅游網(wǎng)站、電子商務(wù)（eBay）、能源開采和節(jié)約能耗等方面。

5.2

32725

Hadoop技術(shù)介紹

4790

5.2.1Hadoop的構(gòu)造

Hadoop的集群中主要包含以下節(jié)點：一個是NameNode（名字節(jié)點），它是Hadoop中非常重要的守護進程。負責(zé)控制DataNode的工作狀況。另一個是DataNode（數(shù)據(jù)節(jié)點），將分割后的數(shù)據(jù)塊存入或者取出，最終在本地文件系統(tǒng)中存取數(shù)據(jù)。用戶可通過NameNode查找數(shù)據(jù)塊具體儲存在哪個數(shù)據(jù)節(jié)點中。還有一個特殊的SecondaryNameNode（次名字節(jié)點），是一個輔助進程，用來檢測集群狀態(tài)。

此外，Hadoop還包含兩個后臺程序：JobTracker（作業(yè)跟蹤節(jié)點），它是應(yīng)用程序和Hadoop之間的紐帶[17]。TaskTracker（任務(wù)跟蹤節(jié)點），負責(zé)管理每個節(jié)點上的每個任務(wù)的執(zhí)行情況[18]。

圖5.1為Hadoop個構(gòu)造模塊的關(guān)系。

圖5.1Hadoop構(gòu)造模塊關(guān)系

24044

5.2.2Hadoop的運行模式

Hadoop本身有很多優(yōu)越的特性：高可靠性、高擴展性、高效性、高容錯性、以及經(jīng)濟性[19]。同時虛擬化的環(huán)境部署，大大簡化了部署的過程，增強了系統(tǒng)的可移植性[20]。它為我們提供了一個相對可靠的存儲系統(tǒng)，Hadoop的運行模式有集群模式、偽分布式模式、獨立模式[21]。

偽分布運行模式，這是默認的一種模式，在單機情景下，通過不同的Java進程來模擬集群中的節(jié)點，適合學(xué)習(xí)部署的工作。獨立模式即本地運行模式，不需要守護進程的保護，所有程序的執(zhí)行環(huán)境是一個獨立的JVM，適用于開發(fā)階段。完全分布式模式，是一個完整的Hadoop集群，節(jié)點分為名字節(jié)點和數(shù)據(jù)節(jié)點，其中名字節(jié)點是唯一的，數(shù)據(jù)節(jié)點可以有多個，通常在生產(chǎn)環(huán)境中使用。

第6章Openstack云平臺下的Hadoop部署

32108

6.1Hadoop的部署

6.1.1部署環(huán)境要求

部署Hadoop我們選擇的也是在VMware虛擬機中，使用Ubuntu16.04版本。

6.1.2安裝JAVA

由于Hadoop是使用JAVA語言開發(fā)的平臺，因此需要先安裝JAVA安裝包。

首先去官網(wǎng)下載JDK壓縮文件：

解壓之后移動到指定文件夾：

修改環(huán)境變量：

6.1.3安裝SSH-SERVER

Hadoop需要通過ssh登錄，在安裝ubuntu的時候已經(jīng)安裝過ssh客戶端，現(xiàn)在安裝的是ssh的服務(wù)。同時為了方便登錄，我們一般設(shè)置成為免密登錄。

6.1.4Hadoop的安裝

下載好Hadoop安裝包之后進行解壓操作，并且放在指定的目錄文件下：

創(chuàng)建好Hadoop用戶組并且賦予權(quán)限后，編輯配置文件/etc/profile：

編輯完成后測試配置是否成功。

21548

6.2部署偽分布式模式

要實現(xiàn)Hadoop的偽分布模式，我們需要對其中幾個文件進行修改配置。

core-site-xml文件：

hdfs-site.xml文件：

yarn-site.xml文件：

測試Hadoop是否安裝配置完成，如果顯示相應(yīng)版本號則表示安裝成功：

6.3程序?qū)嵗\行

30160

安裝完Hadoop之后，查看hadoop-0.20.2-examples.jar壓縮包里面的運行實例，選擇其中的