Hadoop安裝與配置管理

Hadoop安裝與配置管理第一頁，共12頁。Hadoop平臺程序運(yùn)行示例第二頁，共12頁。第三頁，共12頁。安裝環(huán)境安裝虛擬機(jī)和Linux，虛擬機(jī)推薦使用vmware，Linux使用CentOS7。所需軟件：jdk-7u79-linux-x64.tar.gzhadoop-2.4.1.tar.gzWinSCP2023/4/274第2章第四頁，共12頁。運(yùn)行模式偽分布模式：在單節(jié)點(diǎn)上同時啟動namenode、datanode、ResourceManager、NodeManager、secondarynamenode5個進(jìn)程，模擬分布式運(yùn)行的各個節(jié)點(diǎn)完全分布式模式：正常的Hadoop集群，由多個各司其職的節(jié)點(diǎn)構(gòu)成2023/4/275第2章第五頁，共12頁。集群計算機(jī)集群是一種計算機(jī)系統(tǒng)，

它通過一組松散集成的計算機(jī)軟件和/或硬件連接起來高度緊密地協(xié)作完成計算工作。集群系統(tǒng)中的單個計算機(jī)通常稱為節(jié)點(diǎn)，通常通過局域網(wǎng)連接。集群技術(shù)的特點(diǎn)：通過多臺計算機(jī)完成同一個工作達(dá)到更高的效率。兩機(jī)或多機(jī)內(nèi)容、工作過程等完全一樣，一臺死機(jī)，另一臺可以起作用。2023/4/276第2章第六頁，共12頁。配置網(wǎng)絡(luò)VMware提供了3種工作模式，分別是bridged模式、NAT模式和host-only模式。建議選擇host-only。(1)在brig橋接模式下，VMware虛擬出來的操作系統(tǒng)就像是局域網(wǎng)中的一個獨(dú)立的主機(jī)，可以訪問網(wǎng)內(nèi)的任何一臺機(jī)器，需要手工配置IP地址，和宿主主機(jī)在同一網(wǎng)段。

(2)在NAT模式下，就是讓虛擬系統(tǒng)借助NAT功能，通過宿主機(jī)器所在的網(wǎng)絡(luò)來訪問公網(wǎng)。

(3)在host-only僅主機(jī)模式下，虛擬系統(tǒng)間可以相互通信，與真實(shí)的網(wǎng)絡(luò)是隔離開的。第七頁，共12頁。偽分布式模式的安裝和配置步驟單機(jī)網(wǎng)絡(luò)設(shè)置：若采用主機(jī)模式，需將ip設(shè)置為虛擬機(jī)網(wǎng)絡(luò)設(shè)置窗口中VMnet1網(wǎng)卡的地址范圍。宿主計算機(jī)VMnet1的ip設(shè)置為主節(jié)點(diǎn)的網(wǎng)關(guān)。修改主機(jī)名：vi/etc/sysconfig/network將主機(jī)與IP綁定：vi/etc/hosts上傳所需的Java和Hadoop軟件包：可使用遠(yuǎn)程登錄軟件WinSCP（虛擬機(jī)如果安裝了Virtualtools，也可直接在系統(tǒng)間復(fù)制、粘貼文件）。安裝和配置Java：查看（rpm-qa|grepjdk）并刪除已有的Java版本（yum-yremovejdk版本），解壓（tar-zxvf）、重命名(mv)，配置環(huán)境變量/etc/profile并通過source命令使其生效，測試是否安裝配置成功。Hadoop環(huán)境：解壓文件，導(dǎo)入環(huán)境變量，修改配置文件。2023/4/278第2章第八頁，共12頁。網(wǎng)絡(luò)配置：第九頁，共12頁。Hadoop啟動與測試格式化文件系統(tǒng)：hdfsnamenode-format啟動HDFS：start-dfs.sh啟動Yarn：start-yarn.sh查看啟動的進(jìn)程：jps查看生成的文件夾管理jobHistoryserver：在瀏覽器中查看Hadoop運(yùn)行情況集群驗(yàn)證：執(zhí)行mapreduce例程第十頁，共12頁。完全分布式機(jī)器名在slaves文件中添加子節(jié)點(diǎn)，如node1、node2克隆主節(jié)點(diǎn)，修改子節(jié)點(diǎn)網(wǎng)絡(luò)配置，修改主機(jī)名關(guān)閉防火墻：systemctlstopfirewalld.service配置SSH免密碼登錄：ssh-keygen–t，連按四次回車鍵，生成公鑰和私鑰，執(zhí)行catid_rsa.pub>>authorized_keys創(chuàng)建權(quán)限文件，執(zhí)行chmod600authorized_keys設(shè)置權(quán)限(前面的操作每個節(jié)點(diǎn)都執(zhí)行)，復(fù)制公鑰（node和node1節(jié)點(diǎn)執(zhí)行）：ssh-copy-id–i/.ssh/id_rsa.pubnode2，最后復(fù)制到所有其他節(jié)點(diǎn)（node2節(jié)點(diǎn)執(zhí)行）：scp/root/.ssh/authorized_keysnode:/root/.ssh/;scp/root/.ssh/authorized_keysnode1:/root/