Hoop云計算平臺搭建方案

1、Hoop云計算平臺搭建方案The Standardization Office was revised on the afternoon of December 13, 2020Hadoop云計算平臺搭建方案一、平臺搭建概述總體思路針對于電網(wǎng)企業(yè)在營銷服務(wù)領(lǐng)域展開的大數(shù)據(jù)分析處理，搭建Hadoop云計算 平臺進行海量數(shù)據(jù)存儲，并作深層次加工、處理，挖掘出無法簡單直觀便可得 到的新的模式，為電力企業(yè)的決策提供指導(dǎo)。平臺采用作為海量數(shù)據(jù)存儲和分 析工具，將其部署在4個物理計算機節(jié)點上，搭建Hadoop集群，其中1個節(jié)點 作為master節(jié)點，其余3個作為slave節(jié)點。為了獲取更好的穩(wěn)定性，平臺搭

2、建 在Linux系統(tǒng)()環(huán)境下。軟件列表軟件描述版本VMware Workstation虛擬化軟件VMware Workstation 08UbuntuLinux操作系統(tǒng)JDKJava的軟件開發(fā)工具包開源的云計算基礎(chǔ)框架分布式數(shù)據(jù)存儲系統(tǒng)可靠協(xié)調(diào)系統(tǒng)數(shù)據(jù)遷移工具平臺搭建總流程和節(jié)點信息一覽表在平臺搭建前，給出實現(xiàn)的總流程圖和節(jié)點信息一覽表，從而對平臺搭建過程和各節(jié)點信息有一個全局的認識，平臺搭建總流程如下圖所示。各節(jié)點信息如下表所示:機器名IP地址用戶名充當(dāng)角色masterhadoopJobTrackers Namenodeslave 1hadoopTaskTrackerx Datanodes

3、lave2hadoopTaskTrackers Datanodeslave3hadoopTaskTrackers Datanode二、基礎(chǔ)平臺的搭建步驟此次大數(shù)據(jù)存儲和處理平臺的搭建，需要4臺物理節(jié)點來部署Hadoop平臺環(huán) 境。我們使用虛擬機軟件VMware Workstation創(chuàng)建4臺虛擬機，承載平臺搭建 工作。另外，由于對4臺虛擬機的配置大部分是相同的，所以利用VMware Workstation的克隆功能，可以減少部署的工作量。安裝虛擬機軟件VMware Workstation首先在4臺PC機器上均安裝虛擬化軟件VMware Workstation,并輸入相應(yīng)的序列號。在master

4、節(jié)點上安裝Linux系統(tǒng)Ubuntu 在設(shè)定為master PC節(jié)點上首先安裝Linux系統(tǒng)(版本為),在安裝過程中為提 高后期安裝軟件的兼容性和穩(wěn)定性，在系統(tǒng)語言上選擇英語。創(chuàng)建用戶名為 “hadoop的普通用戶，設(shè)置統(tǒng)一的密碼。安裝完成后將系統(tǒng)的terminal命令窗口 調(diào)出來，以便使用。同時，為實現(xiàn)虛擬機的Ubuntu系統(tǒng)與本機的Windows系統(tǒng)之間方便快捷的文 字復(fù)制粘貼以及物理主機系統(tǒng)與虛擬機系統(tǒng)相互拖放文件進行共享，需要安裝 VMare Tools T具，具體操作如下：啟動虛擬機，進入Ubuntu系統(tǒng)，在VM菜單欄“虛擬機(M)”的下拉菜單點擊“安 裝VMare Tools(T)

5、后，會彈出一個“VMare Tools文件夾，里面包含VMare Tools的安裝包，將該安裝包拷貝到/home/hadoop 錄下，輸入命令進行解壓安 裝:tar xzvf此時在/home/hadoop/目錄下產(chǎn)生vmware-tools-distrib文件夾,進入 該目錄，通過在terminal終端輸入相應(yīng)命令，運行腳本：cd /home/hadoop/vmware-tools-distrib$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=SJAVA_HOME/bin:SJRE_HOME/bin:$PATH ocal/share/, b

6、ut failed: No such file or directory(gedit:2949): Gtk-WARNING *: Attempting to store changes into/root/.local/share/, but failed: Failed to create file /root/.local/share/: No such file or directory(gedit:2949): Gtk-WARNING Attempting to set the permissions of/root/.local/share/1, but failed: No suc

7、h file or directory解決方法:只需直接在終端中輸入命令:sudo mkdir -p /root/.local/share/ ,創(chuàng)建 警告信息中所提示的目錄即可。若無視警告重啟ubuntu后將會出現(xiàn)以下情況：輸入密碼無法進入系統(tǒng)，一直處 于輸入密碼后又跳轉(zhuǎn)回輸入密碼的界面。此時的解決方法是：在輸入密碼界面同時按下alt+ctrl+F2進入ubuntu命令模式，并使用root用戶及對應(yīng)密碼登陸系 統(tǒng)，然后鍵入：/usr/bin/vi /etc/profile打開etc/profile文件，找到最近在末尾加上 的hadoop配置文件，按delete鍵刪除這些行，然后鍵入命令:wq

8、!（注意此處 有冒號，不可省略）保存文件。然后同時按下ctrl+alt+del重啟系統(tǒng)即可使系統(tǒng) 恢復(fù)正常登陸，然后按照上述方法重新配置。目錄設(shè)置在普通用戶hadoop下創(chuàng)建hadoop的數(shù)據(jù)存儲目錄（若使用root用戶創(chuàng)建上述文件夾則會因權(quán)限問題導(dǎo)致無法向這些文件夾中寫入并讀取數(shù)據(jù)），可自行選 擇數(shù)據(jù)存儲的路徑，我們選擇在/home/hadoop/文件夾下創(chuàng)建dfs和tmp作為數(shù) 據(jù)存儲與交換的目錄，并在dfs文件夾下創(chuàng)建name和data兩個子文件夾。分別 執(zhí)行命令:mkdir Zhome/hadoop/dfs/name/description*（4）配置文件，打開該文件，在文件末尾添加以

9、下語句。文件名打開文件后，在其末尾添加語句： :9001 file:/home/hadoop/dfs/namefile:/honie/hadoop/dfs/data4true注意：需要在中配置屬性時，屬性指定HDFS中文件塊復(fù)制的份數(shù).其默認值 為3,當(dāng)datanode節(jié)點少于3臺便會報錯。在一般情況下，當(dāng)其屬性值為3的 時候，HDFS的部署策略是在本地機柜中一個節(jié)點放置一個備份，在本地機柜 的不同結(jié)點再放置一個備份，然后再在另一個機柜中的一個結(jié)點放置一個備 份。(5) 配置文件。事實上在進行配置之前，文件默認并不存在，需要首先將該目錄下的文件進行復(fù)制，并重命名為，接下來打開，添加以下語句。文

10、件名打開文件后，在其末尾添加語句：yarn:l 0020:l 9888(6) 配置文件，打開該文件，在文件末尾添加以下語句。文件名打開文件后，在其末尾添加語句：v! Site specific YARN configuration properties mapreduce shuffle :8032 : 8030 :8031 : 8033 :8088(7)配置文件，打開該文件，檢索u# export JAVA_HOME=/home/y/Iibexec/語句，在該語句下一行添加：export JAVA_HOME二/homc/hadoop/通過對上述文件的修改，完成對Hadoop的 配置。事實上，

11、配置過程并不復(fù)雜，一般而言，除了規(guī)定的端口、IP地址、文 件的存儲位置外，其他配置都不是必須修改的，可以根據(jù)需要決定是采用默認 配置還是自行修改。還有一點需要注意的是以上配置都被默認為最終參數(shù)，這 些參數(shù)都不可以在程序中被再次修改。Hadoop集群的部署與各節(jié)點的通信安裝SSH服務(wù)通過建立SSH無密碼互訪，可以實現(xiàn)Hadoop虛擬機群之間的無密碼登錄互訪。在安裝SSH服務(wù)之前，首先需要更新軟件源，并保證每臺機器上都安裝了SSH服務(wù)器，且都能正常啟動。更新軟件源命令為：sudo apt-get update軟件源更新完畢后，在terminal輸入如下命令開始安裝openssh-server :s

12、udo apt-get install openssh-server輸入如下命令，檢查openssh-server是否成功安裝：which ssh如顯示/usr/bin/ssh表示ssh安裝成功which sshd如顯示/usr/bin/sshd表示sshd安裝成功如果以上二者都成功顯示，表示open-server安裝成功克隆虛擬機作為Slave節(jié)點將上面配置好的虛擬機作為master,關(guān)閉作為master的ubuntu系統(tǒng)，然后修改 虛擬機的網(wǎng)絡(luò)連接設(shè)置，改為“橋接模式”，即在master虛擬機主界面點擊“虛擬 機一設(shè)置一硬件一網(wǎng)絡(luò)適配器”，在彈出的對話的“網(wǎng)絡(luò)連接”項目下選擇“橋接模 式(

13、B)”此舉的目的在于使主節(jié)點和各從節(jié)點都能連上網(wǎng)絡(luò)，從而使各臺機器之 間能夠互訪。接下來對master進行克隆，得到slave 1 s slavc2、slave3的雛形，即點擊VM菜 單下的“虛擬機一管理一克?。哼M入克隆虛擬機的向?qū)Ы缑?，根?jù)向?qū)崾荆?在“克隆類型引導(dǎo)界面選擇“創(chuàng)建完整克隆，具體設(shè)置如下圖所示:然后輸入被克隆的虛擬機名稱，先暫輸入slave 1，點擊確認進行克隆，將克隆 好的系統(tǒng)復(fù)制到除master之外的三臺PC節(jié)點上，用虛擬機VMware識別并將 其啟動，并在虛擬機啟動界面點擊“虛擬機一設(shè)置一選項一常規(guī)”設(shè)置中，分別 修改虛擬機名稱為slave 1、slave2和slave

14、3,如下圖所示。設(shè)置IP地址在Hadoop平臺上，各個節(jié)點之間的互訪是基于TCP/IP協(xié)議的，所以要為各個 節(jié)點分配IP地址。在四個PC節(jié)點上，點擊桌面右上角從左到右的第一個數(shù)據(jù) 連接圖標(biāo)在下拉菜單中選擇最后一項Edit Connections./在彈出的Network Connections框中選擇Edit顯示Editing Ethernet connecdonL框,點擊IPv4Seftings”將彈出的Method選擇框設(shè)置為Manual,然后添加IP地址。Network ConnectionsEn11:26 PM 住wTn filedar,$ /lib.$ /lib/*.jar,S)/./lib/*.jar,/usr/lib/hadoop/*.jar,/home/hadoop/ (2)配置 文件打/home/hadoop/下的文件，在文件中檢索文本“，將等號“二后的目錄修改