基于Hadoop的云架構(gòu)系統(tǒng)實(shí)施方案

1、基于Hadoop的云架構(gòu)系統(tǒng)方案作者:日期:2基于Hadoop的云架構(gòu)系統(tǒng)方案云計(jì)算是目前最熱門的研究領(lǐng)域之一，也是眾多企業(yè)及研究機(jī)構(gòu)研究的課 題。云計(jì)算是分布式處理、并行處理和網(wǎng)格計(jì)算的發(fā)展，或者說是這些計(jì)算機(jī)科 學(xué)概念的商業(yè)實(shí)現(xiàn)。云計(jì)算的新穎之處在于它幾乎可以提供無限的廉價存儲和計(jì) 算能力。未來存儲模式將改變目前的存儲模式。 不再存放在個人計(jì)算機(jī)及服務(wù)器 上,而是存放在云服務(wù)器中。同時所有的計(jì)算及處理工作也將在云服務(wù)器完成。 這樣給企業(yè)及各廠商帶來很多便利。節(jié)省了投入成本、企業(yè)能夠很好的應(yīng)付突發(fā) 的大訪問量以及能夠提供存儲服務(wù)的同步升級和數(shù)據(jù)的有效管理。因此，云計(jì)算在近年來贏得了眾多廠商和

2、企業(yè)的關(guān)注并得到長足的發(fā)展。1.云計(jì)算及其存儲結(jié)構(gòu)1.1云計(jì)算概念云計(jì)算是網(wǎng)格計(jì)算、分布式計(jì)算、并行計(jì)算、效用計(jì)算、網(wǎng)絡(luò)存儲、虛擬化、 負(fù)載均衡等傳統(tǒng)計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。它旨在通過網(wǎng)絡(luò)把多個 成本相對較低的計(jì)算實(shí)體整合成一個具有強(qiáng)大計(jì)算能力的完美系統(tǒng)，并借助SaaS PaaS laaS、MSP等先進(jìn)的商業(yè)模式把這強(qiáng)大的計(jì)算能力分布到終端用戶 手中。云計(jì)算的一個核心理念就是通過不斷提高“云”的處理能力，進(jìn)而減少用 戶終端的處理負(fù)擔(dān)。最終使用戶終端簡化成一個單純的輸入輸出設(shè)備。并能按需享受“云”的強(qiáng)大計(jì)算處理能力。也就是說用戶端只需要進(jìn)行輸入輸出。其它所 有計(jì)算、存儲、處理等功能全

3、部交給“云”去處理 ，用戶可以根據(jù)自己的需求訂 購“云”中的服務(wù)。1.2云計(jì)算的體系結(jié)構(gòu)在云計(jì)算體系結(jié)構(gòu)中，用戶的操作及存儲等服務(wù)都由云中的各個服務(wù)器完 成。根據(jù)需求訪問計(jì)算機(jī)和存儲系統(tǒng)。用戶的系統(tǒng)不需安裝任何軟件，數(shù)據(jù)也存儲在云的計(jì)算機(jī)及服務(wù)器中。圖1是云計(jì)算體系結(jié)構(gòu)的模型。由用戶端、服務(wù)目 錄、系統(tǒng)管理、配置工具、監(jiān)控、服務(wù)器幾個模塊構(gòu)成，各模塊負(fù)責(zé)不同的功能。用戶端：用戶與云系統(tǒng)交互的界面，用戶通過用戶端向云發(fā)出請求。服務(wù)目錄：顯示該用戶能夠訪問及操作的所有服務(wù)的目錄列表， 用戶可以在 這些目錄里進(jìn)行選擇操作。系統(tǒng)管理：管理可分配給計(jì)算機(jī)的各種資源，從而保證負(fù)載平衡。配置工具：用戶通過配

4、置工具在分配的服務(wù)器節(jié)點(diǎn)上配置需要的各種運(yùn)行 環(huán)境。監(jiān)控：監(jiān)控和計(jì)算云系統(tǒng)資源的使用情況，確保資源能順利分配給合適的用 戶。服務(wù)器集合：云系統(tǒng)中的各個服務(wù)器的集合。在云計(jì)算體系結(jié)構(gòu)中，用戶通過用戶端訪問服務(wù)目錄，選擇所需的服務(wù)；當(dāng) 服務(wù)請求發(fā)送并驗(yàn)證通過后，由系統(tǒng)管理負(fù)責(zé)找到所需要的資源；用戶通過用戶 端在服務(wù)目錄中選取調(diào)用一個服務(wù)， 該命令傳遞到系統(tǒng)管理后，由系統(tǒng)管理選取 合適的節(jié)點(diǎn)。調(diào)用配置工具為用戶準(zhǔn)備運(yùn)行環(huán)境。1.3云存儲及其架構(gòu)模型 1.3.1云存儲的定義云存儲指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能將網(wǎng)絡(luò)中大量各 種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供

5、數(shù)據(jù)存儲 和業(yè)務(wù)訪問功能的一個系統(tǒng)。云存儲可以簡單的理解為云計(jì)算中的存儲。 云存儲 系統(tǒng)可以認(rèn)為是配置了大容量存儲空間的云計(jì)算系統(tǒng)。用戶所有的數(shù)據(jù)都保存在“云”中，需要時從“云”中讀取，本地不需要任何的存儲設(shè)備。云存儲更準(zhǔn)精 確地說是一種服務(wù)，用戶使用的是由許多個存儲設(shè)備和服務(wù)器所構(gòu)成的集合體提 供的數(shù)據(jù)訪問服務(wù)。1.3.2云存儲的架構(gòu)模型云存儲系統(tǒng)主要用來進(jìn)行數(shù)據(jù)存儲與管理而且處理的數(shù)據(jù)都是超大規(guī)模的。 云存儲系統(tǒng)是網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng) 和客戶端程序等多個部分組成的復(fù)雜系統(tǒng)。 各部分以存儲設(shè)備為核心，通過應(yīng)用 軟件對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問服務(wù)。 云存儲

6、模型與云計(jì)算模型相比，增加了 一個存儲層，且基礎(chǔ)管理層增加了與數(shù)據(jù)管理和數(shù)據(jù)安全有關(guān)的功能。兩者在訪 問層和應(yīng)用接口層則是完全相同的。存儲層主要包括存儲設(shè)備及存儲設(shè)備管理系統(tǒng)。存儲設(shè)備分布在不同地域， 彼此之間通過網(wǎng)絡(luò)互聯(lián)在一起。存儲設(shè)備管理系統(tǒng)負(fù)責(zé)存儲設(shè)備的虛擬化管理、 多鏈路冗余管理、硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)、設(shè)備升級等?；A(chǔ)管理層通 過集群系統(tǒng)、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存儲中多個存儲設(shè)備之 間的協(xié)同工作。應(yīng)用接口層根據(jù)用戶訂購的服務(wù)為用戶分配權(quán)限，為不同的用戶提供不同的API接口及應(yīng)用軟件，同時提供網(wǎng)絡(luò)接入、用戶認(rèn)證等功能。訪問層 包括各種能夠訪問云存儲系統(tǒng)的用戶，用戶

7、可以通過標(biāo)準(zhǔn)的公共應(yīng)用接口登錄云 存儲系統(tǒng)，享受云存儲服務(wù)。2. HadooP平臺介紹Hadoop是 一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。用戶可以輕松地 在Hadoopt開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個優(yōu)點(diǎn)：1高可靠性。Hadoop按位存儲和處理數(shù)據(jù)的能力值得人們信賴。2高擴(kuò)展性。Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的, 這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。3高效性。Hadoop能夠在節(jié)點(diǎn)之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點(diǎn)的動態(tài) 平衡，因此處理速度非?？?。4高容錯性。Hadoop能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的 任務(wù)重新分配。

8、Hadoop帶有用Java語言編寫的框架，因此運(yùn)行在 Linux生產(chǎn)平臺上是非常 理想的。Hadoop上的應(yīng)用程序也可以使用其他語言編寫，比如C+Hadoop最核心的設(shè)計(jì)就是分布式文件系統(tǒng)HDFS和Ma p/Reduce算法模型。 分布式文件系統(tǒng)HDF是專門為Map/Reduce乍業(yè)所設(shè)計(jì)的文件系統(tǒng)。但HDFS并不是用來處理隨機(jī)存取數(shù)據(jù)的，HDFS的設(shè)計(jì)中更多的考慮到了數(shù)據(jù)批處理，而不 是用戶交互處理，比之?dāng)?shù)據(jù)訪問的低延遲問題，更關(guān)鍵的在于數(shù)據(jù)訪問的高吞吐 量。因此，HDFS是一個給應(yīng)用提供高吞吐量的分布式文件系統(tǒng)，可能由成百上 千的機(jī)器所構(gòu)成，每個機(jī)器上存儲著文件系統(tǒng)的部分?jǐn)?shù)據(jù)。計(jì)算模型Map/Reduce 是Hadoop的核心計(jì)算模型，是