Hadoop平臺搭建與應用（第2版）（微課版）-教案 項目7 Ambari搭建與管理

第④執(zhí)行命令“ambari-serverstart”,啟動ambari-server。訪問“http://宿主機IP:8080”，在打開的頁面中輸入正確的用戶名和密碼，默認都是‘a(chǎn)dmin’。執(zhí)行命令“ambari-serverstop”，停止ambari-server服務，執(zhí)行命令“ambari-serverstatus”，查看ambari-server的狀態(tài)。2.部署管理Hadoop集群登錄頁面hpP8080在“用戶名”文本框中輸入“admin”，在“密碼”文本框中輸入“admin”啟動安裝向、創(chuàng)集群安服務。Ambari管理界面。單擊“啟動安裝向導”開始部署，安裝向導提示為集群起名稱，此處名稱設置為‘hdpCluster’，然后單擊“next”按鈕。單擊“RegisterandConfirm”按鈕，打開“ConfirmHosts”界面，在該界面中單擊“Check”按鈕進行主機認證操作，此處經(jīng)常會出現(xiàn)認證失敗，此時可以單擊“Failed”鏈接，打開查看失敗原因。下面給出錯誤的解決方案。（1）修改權限。（2）編輯ambari-agent.ini文件。（3）更新openssl版本。最后單擊“check”按鈕，直到“Status”項為“Success”為止，需要注意的是該處必須全部檢查通過，才能保證后續(xù)操作的順利實現(xiàn)。在檢查成功后，單擊“Next”按鈕，選擇要安裝的軟件，操作演示中，我們選擇安裝“HDFS”、“Zookeeper”和“AmbariMetrics”3個組件。安裝軟件選擇后，單擊“Next”按鈕，將會打開“AssignMasters”界面。單擊“Next”按鈕,打開“AssignSlavesandClient”界面，對Master節(jié)點的角色進行設置后，單擊“Next”按鈕。在打開的“CustomizeServices”頁面中，可以看到有2處紅色的提示，該提示表明需要進一步進行設置操作。單擊“AmbariMetrics”鏈接，在打開頁面中的紅色提示框中輸入默認密碼，“admin”。單擊“SmartSense”鏈接，在頁面的右邊部分輸入默認密碼“admin”。在兩個紅色提示處理完成后，單擊“Next”按鈕，進入“Review”頁面。再次確認安裝軟件正確后，單擊“Deploy”按鈕，開始全自動化的部署安裝，部署操作完成。單擊“Next”按鈕，打開“Summary”頁面，查看軟件安裝進程的情況，并單擊“Complete”按鈕，完成軟件的安裝和部署操作。單擊頁面導航欄中的“Dashboard”按鈕，在主頁面中可以查看集群狀態(tài)和監(jiān)控信息。2．利用Ambari擴展集群利用Ambari搭建好的集群可以通過Ambari來擴展。（1）進入“Hosts”界面，單擊左上角的“Actions”下拉按鈕，在彈出的下拉列表中選擇“AddNewHosts”選項。（2）進入“AddHostWizard”界面，需要輸入新增的機器名（包含完整域名）及AmbariService機器上生成的私鑰。(3)在“ConfirmHosts”頁面，若出現(xiàn)failed，重復master節(jié)點的修改操作，并重新部署，直到“Status”顯示“Success”。（4）分配Slaves和Client，為slave1節(jié)點分配角色。完成后，即可安裝AmbariAgent，并安裝選擇的組件。（5）隨后后的“Configurations”和“Review”頁面，Ambari為用戶選擇了默認的配置。單機“Next”按鈕即可，轉到“Install,StartandTest”后，等待部署完成。當AddHostWizard設置完成時，可以從“Hosts”界面中看到新的機器，以及安裝的模塊。任務7.2使用Ambari管理Hadoop集群Ambari的用戶圖形界面有助于平臺管理員去管理、維護和監(jiān)控Hadoop集群，下面將介紹如何使用Ambari來進行集群管理。在Hadoop集群部署完成后，打開部署AmbariServer主機的8080端口。默認的管理員用戶名為admin，密碼為admin。登錄后進入的是Ambari管理Hadoop集群的主界面，該界面形象化地展示了集群服務的運行狀態(tài)、資源使用狀況、配置參數(shù)及錯誤告警等。集群管理包含服務管理、主機管理、進程管理和配置管理。1．服務管理。選擇“概要”選項卡，可以看到HDFS運行的進程信息，包括運行狀態(tài)、資源使用情況及監(jiān)控信息。單擊頁面導航欄中的“服務”按鈕，單擊導航欄下方的“服務操作”下拉按鈕，在彈出的下拉列表中看到很多服務的控制進項，如“啟動”“停止”“重啟”等，通過這些控制進項，可以對服務進行管理。Hadoop的集群部署完成后，并不知道這個集群是否可用。此時可以借助“運行服務檢查”選項來確保集群服務正常運行。選擇此選項后，會在彈出的對話框中顯示的HDFS服務操作進度。其實，這里就是通過向HDFS文件系統(tǒng)/tmp目錄中上傳一個臨時文件來檢測系統(tǒng)運行是否正常。當進度條執(zhí)行完畢后，全綠代表服務運行正常，全紅代表服務運行失敗，黃色代表出現(xiàn)告警信息?！胺詹僮鳌毕吕斜碇械摹皢印薄巴Ｖ埂薄爸貑ⅰ?個選項的含義分別是指啟動、停止、重啟集群中所有該服務的進程。當進入HDFS服務重啟界面時，可以查看每個主機進程的操作進度和運行日志。在“服務操作”下拉列表中有“打開維護模式”進項，該選項用于在用戶調(diào)試或者維護過程中抑制不必要的告警信息，以及避免批量操作的影響（啟動所有服務、停止所有服務、重啟所有服務等）。維護模式中有不同的級別設置，分別是服務級別、主機級別及進程級別。3種級別之間存在著覆蓋關系。例如，由于HDFS部署在多臺主機中，當它的維護模式功能啟用后，HDFS便不會產(chǎn)生任何新的告警。當用戶重啟集群所有服務時，該服務會忽略這個批量操作。當用戶重啟一個機器的所有進程時，該服務的進程也會被忽略。在主界面左側的服務列表的最下方有一個“動作”按鈕，單擊該按鈕，可以彈出對服務進行操作的下拉列表，其中包含“增加服務”“啟動所有服務”“停止所有服務”等進項。2．主機管理單擊導航欄中的“主機”按鈕，可以打開Ambari所管理的主機列表。單擊導航欄左下方的“動作”下拉按鈕，在彈出的下拉列表中列出了與主機相關的動作的選項，其效果和“服務操作”是類似的，只是執(zhí)行的范圍不一樣。當用戶在“動作”下拉列表中選擇“顯示主機”→“主機”→“啟動所有組件”選項時，Ambari會啟動主機中的所有服務。當用戶在“動作”下拉列表中選擇“所有主機”→“DataNodes”→“停止所有組件”選項時，Ambari會關閉所有機器關于DataNode的進程。當集群不能夠滿足生產(chǎn)環(huán)境所需的資源時，可以通過“動作”下拉列表中“添加新的主機”進項來擴展集群。新的主機節(jié)點在加入集群之前，需要完成任務6.1中基本環(huán)境的配置及AmbariAgent服務的安裝配置。進入其中的一臺主機，如Master，可以看到該主機中所有進程的運行狀態(tài)、主機資源使用情況、主機的IP地址、資源棧等信息。在導航欄右下方有“主機動作”下拉按鈕，通過單擊該下拉按鈕可以進行一系列操作。在“主機動作”下拉列表中有“打開維護模式”選項，對于主機級別的維護模式來說，就是打開了該主機所有進程的維護模式。如果該主機已經(jīng)有告警信息，一旦維護模式被打開，告警信息就會被屏蔽，并抑制新告警信息的產(chǎn)生，所有的批量操作都會忽略該機器。3．進程管理每個服務都由相應的進程組成，如HDFS服務包含了NameNode、SecondaryNameNode、DateNode等進程。每臺主機中都安裝了相應的服務進程，如Master節(jié)點中包含HDFS的NameNode進程，Slave1節(jié)點中包含SecondaryNameNode、DateNode進程。進入Master節(jié)點，找到需要進行管理的進程，如NameNode，該進程后面有“Started”按鈕，表示該進程正在運行中，單擊該按鈕可以改變進程的運行狀態(tài)，如“重啟”“停止”“移動”“打開維護模式”“均衡HDFS”等。其中，打開進程級別的維護模式后會有以下兩個影響。①該進程不再受批量操作的控制。②抑制該進程告警信息的產(chǎn)生。例如，打開主機Master節(jié)點的DataNode的維護模式，那么當用戶在“服務操作”下拉列表中選擇“停止”選項時，將會停止所有HDFS服務，但該主機的DataNode不會被關閉，這是因為停止HDFS服務的批量操作后，會直接忽略Master節(jié)點中的DataNode。4．配置管理Ambari管理工具可以很方便地修改配置文件，并應用到集群的每一臺主機中，尤其是在集群中的主機數(shù)量非常多的情況下。例如，需要修改集群HDFSBlock復制因子（BlockReplication）為2，在手動部署集群的情況下，要修改每一臺主機的hdfs-site.xml配置文件。如果一個集群中有幾十臺或者幾百臺主機，則工作量是非常大的。而Ambari集群管理工具可以很好地應對這種情況，由集群中的AmbariServer向每臺主機中的AmbariAgent發(fā)送相關的心跳信息，由此更新每臺主機中的配置文件。具體操作步驟如下。在頁面導航欄中選擇“服務”→“HDFS”選項，在其服務列表右側選擇“配置”→“Advanced”→“General”→“BlockReplic