《Hadoop技術(shù)原理》課件-2.Hadoop環(huán)境設(shè)置

Hadoop技術(shù)原理Hadoop環(huán)境設(shè)置安裝模式01三種安裝模式01三種安裝模式和特點(diǎn)模式概念特點(diǎn)用途單機(jī)模式Hadoop默認(rèn)模式1.沒有分布式文件系統(tǒng)HDFS2.MapReduce處理的是本地Linux的文件數(shù)據(jù)一般僅用于本地MapReduce程序的調(diào)試偽分布模式是在單機(jī)上，模擬一個(gè)分布式的環(huán)境具備Hadoop的主要功能常用于調(diào)試程序完全分布式模式也叫集群模式，是將Hadoop運(yùn)行在多臺(tái)機(jī)器上，各個(gè)機(jī)器按照相關(guān)配置運(yùn)行相應(yīng)的hadoop守護(hù)進(jìn)程在多臺(tái)機(jī)器上運(yùn)行，是真正的分布式環(huán)境常用于生產(chǎn)三種安裝模式02三種安裝模式的配置差異單機(jī)模式配置項(xiàng)三種安裝模式03三種安裝模式的配置差異偽分布模式配置項(xiàng)三種安裝模式04三種安裝模式的配置差異完全分布模式配置項(xiàng)Hadoop安裝02Hadoop安裝01單機(jī)模式安裝特點(diǎn)：沒有HDFS、只能測(cè)試MapReduce程序MapReduce處理的是本地Linux的文件數(shù)據(jù)安裝前的準(zhǔn)備工作01Linux安裝LinuxCentos7x6402防火墻關(guān)閉防火墻03JDK安裝JDK04ssh-server安裝ssh-servcer05安裝包（1）獲取安裝包（2）解壓（3）配置環(huán)境變量Hadoop安裝02單機(jī)模式安裝安裝配置過程及測(cè)試01修改配置hadoop-env.sh02測(cè)試MapReduce

使用：hadoop-mapreduce-examples-2.7.3.jarHadoop安裝03偽分布模式安裝特點(diǎn)：是在單機(jī)上，模擬一個(gè)分布式的環(huán)境具備Hadoop的主要功能啟動(dòng)的進(jìn)程：HDFS:NamenodeDatanodeSecondaryNamenodeYarn:ResourcemanagerNodemanagerHadoop安裝04偽分布模式安裝安裝前的準(zhǔn)備01Linux安裝Linux02防火墻關(guān)閉防火墻03JDK安裝JDK04ssh-server安裝ssh-servcer05安裝包（1）獲取安裝包（2）解壓（3）配置環(huán)境變量06其他配置主機(jī)名設(shè)置免登錄Hadoop安裝05SSH免密登錄原理非對(duì)稱加密算法：公鑰加密（給別人）、私鑰解密給自己serverAserverB1.首先生成一對(duì)密鑰ssh-keygen-t.....2.將公鑰copy給serverB追加為authorized_keysssh-copy-id-i......3.serverA向serverB發(fā)送一個(gè)連接請(qǐng)求，信息包括用戶名、IP等4.查找authorized_keys中，如有相應(yīng)的用戶名和IP，serverB會(huì)隨機(jī)生成一個(gè)字符串:asdf5.serverB將使用公鑰對(duì)字符串a(chǎn)sdf進(jìn)行加密，然后發(fā)送給serverA6.得到serverB發(fā)來的消息后，會(huì)使用私鑰進(jìn)行解密，然后將解密后的字符串發(fā)送給serverB7.接受到解密后的字符串會(huì)跟先前生成的字符串進(jìn)行對(duì)比，若一致，就允許免登錄公鑰私鑰公鑰(authorized_keys)Hadoop安裝0601修改配置參考文檔02格式化hdfsnamenode-format03啟動(dòng)/停止start-all.shstop-all.sh04測(cè)試看進(jìn)程通過Web界面：HDFS：50070Yarn：8088偽分布模式安裝安裝配置過程及測(cè)試Hadoop安裝07偽分布模式安裝訪問HDFS打開Chrome瀏覽器，地址欄中輸入：主機(jī)名:50070Hadoop安裝08偽分布模式安裝訪問Yarn打開Chrome瀏覽器，地址欄中輸入：主機(jī)名:8088Hadoop安裝09完全分布模式安裝特點(diǎn)：用在正式的分布式環(huán)境，用于生產(chǎn)安裝規(guī)劃NamenodeDatanodeDatanodeIP:192.168.1.51主機(jī)名：node1IP:192.168.1.52主機(jī)名：node2IP:192.168.1.53主機(jī)名：node3Hadoop安裝10完全分布模式安裝安裝前的準(zhǔn)備工作01Linux安裝Linux02防火墻關(guān)閉防火墻03JDK安裝JDK04ssh-server安裝ssh-servcer05安裝包（1）獲取安裝包（2）解壓（3）配置環(huán)境變量06其他(1)設(shè)置主機(jī)名(2)安裝NTP網(wǎng)絡(luò)時(shí)間服務(wù)(3）任兩臺(tái)機(jī)器免密碼登錄Hadoop安裝11完全分布模式安裝安裝配置過程及測(cè)試01修改配置參考配置文檔02拷貝配置將配置復(fù)制到其