大數(shù)據(jù)培訓(xùn)_Module13支持大規(guī)模集群安裝部署FusionInsightHD安裝部署

1、FusionInsight HD安裝與部署前言第1頁(yè)FusionInsight Manager是FusionInsight HD的運(yùn)維管理系統(tǒng)，為 部署在集群內(nèi)的服務(wù)提供統(tǒng)一的集群管理能力，支持大規(guī)模集群的 安裝部署、性能監(jiān)控、告警、用戶管理、權(quán)限管理、審計(jì)、服務(wù)管 理、健康檢查、日志采集、升級(jí)和補(bǔ)丁等功能。本章主要介紹華為FusionInsight HD安裝與部署相關(guān)流程，以及相關(guān)注意事項(xiàng)。目標(biāo)第2頁(yè)學(xué)完本課程后，您將能夠：清楚FusionInsigh HD產(chǎn)品安裝流程；描述安裝前準(zhǔn)備各種事項(xiàng)；了解FusionInsigh HD產(chǎn)品具體安裝過(guò)程；了解FusionInsigh HD產(chǎn)品安裝后配

2、置；能夠自行安裝FusionInsigh HD產(chǎn)品；處理常見(jiàn)安裝問(wèn)題；目錄第3頁(yè)1. FusionInsight HD基本概念基本概念2.FusionInsight HD安裝流程3.FusionInsight HD安裝前準(zhǔn)備4.FusionInsight HD安裝過(guò)程具體步驟5.FusionInsight HD安裝后檢查項(xiàng)6.FusionInsight HD安裝后配置7.FusionInsight HD安裝過(guò)程常見(jiàn)問(wèn)題處理方法FusionInsight HD基本概念第4頁(yè)基本概念說(shuō)明OMS節(jié)點(diǎn)：操作維護(hù)系統(tǒng)的管理節(jié)點(diǎn)，一般有兩個(gè)，互為主備Agent Node：操作維護(hù)系統(tǒng)中的被管理節(jié)點(diǎn)，一般有

3、多個(gè)，負(fù)責(zé)接收并執(zhí) 行OMS節(jié)點(diǎn)的管理命令，比如啟動(dòng)一個(gè)DataNode實(shí)例集群：管理節(jié)點(diǎn)和服務(wù)的一個(gè)邏輯概念服務(wù)：對(duì)外提供服務(wù)的服務(wù)組件，比如HDFS、HBase角色：服務(wù)組件的邏輯組成部分，比如HDFS的NameNode和DataNode實(shí)例：承載角色運(yùn)行的一個(gè)具體進(jìn)程，比如NameNode會(huì)部署到兩個(gè)節(jié)點(diǎn)上形成兩個(gè)運(yùn)行的進(jìn)程，這兩個(gè)進(jìn)程就是兩個(gè)實(shí)例目錄第5頁(yè)1.FusionInsight HD基本概念2. FusionInsight HD安裝流程安裝流程3.FusionInsight HD安裝前準(zhǔn)備4.FusionInsight HD安裝過(guò)程具體步驟5.FusionInsight HD安

4、裝后檢查項(xiàng)6.FusionInsight HD安裝后配置7.FusionInsight HD安裝過(guò)程常見(jiàn)問(wèn)題處理方法FusionInsight HD安裝流程軟件安裝與部署軟件安裝與部署PC/工具/文檔準(zhǔn)備環(huán)境規(guī)劃數(shù)據(jù)生成配置文件LLD工具生成手動(dòng)生成配置操作系統(tǒng)安裝集群模板自動(dòng)化安裝 手動(dòng)安裝檢查服務(wù)狀態(tài)安裝前準(zhǔn)備安裝前準(zhǔn)備安裝后檢查安裝后檢查檢查主機(jī)狀態(tài)北向配置監(jiān)控告警配置用戶配置安裝后配置安裝后配置校驗(yàn)軟件包檢查節(jié)點(diǎn)環(huán)境安裝Manager第6頁(yè)目錄第7頁(yè)1.FusionInsight HD基本概念2.FusionInsight HD安裝流程3. FusionInsight HD安裝前準(zhǔn)備安

5、裝前準(zhǔn)備4.FusionInsight HD安裝過(guò)程具體步驟5.FusionInsight HD安裝后檢查項(xiàng)6.FusionInsight HD安裝后配置7.FusionInsight HD安裝過(guò)程常見(jiàn)問(wèn)題處理方法FusionInsight HD安裝前準(zhǔn)備軟件工具：PuTTY、WinSCP、網(wǎng)絡(luò)瀏覽器、解壓工具等 配置規(guī)劃工具(LLD工具):生成安裝過(guò)程中所需的配置文件 版本說(shuō)明書(shū)：硬件、軟件的版本配套關(guān)系指引準(zhǔn)備工準(zhǔn)備工具和具和文文檔檔硬件：FusionInsight HD支持通用的X86服務(wù)器 軟件：Linux操作系統(tǒng)（例如SuSE、RedHat或CentOS）FusionInsight

6、HD軟件包 其他：可靠性要求、磁盤(pán)分區(qū)要求準(zhǔn)備環(huán)境準(zhǔn)備環(huán)境規(guī)劃數(shù)據(jù)規(guī)劃數(shù)據(jù)規(guī)劃集群部署方案 規(guī)劃網(wǎng)絡(luò)參數(shù)（支持雙平面隔離組網(wǎng)） 規(guī)劃角色部署位置，可使用配置規(guī)劃工具輔助規(guī)劃第8頁(yè)目錄第9頁(yè)1.FusionInsight HD基本概念2.FusionInsight HD安裝流程3.FusionInsight HD安裝前準(zhǔn)備4. FusionInsight HD安裝過(guò)程具體安裝過(guò)程具體步驟步驟5.FusionInsight HD安裝后檢查項(xiàng)6.FusionInsight HD安裝后配置7.FusionInsight HD安裝過(guò)程常見(jiàn)問(wèn)題處理方法FusionInsight HD安裝與部署將獲取的Fu

7、sionInsight HD軟件壓縮包解壓，生成 FusionInsight_HD_V100R002C30SPC600_RHEL.tar.gz和 FusionInsight_HD_V100R002C30SPC600_RHEL.tar.gz.sha256解壓軟件包用WinSCP工具登錄將要安裝Manager的服務(wù)器，將上述軟件包 傳輸?shù)焦芾砉?jié)點(diǎn)指定目錄上傳軟件包校驗(yàn)軟件包在管理節(jié)點(diǎn)執(zhí)行命令，完成校驗(yàn)和解壓1.sha256sum -c FusionInsight_HD_V100R002C30SPC600_RHEL.tar.gz.sha256 2.tar -zxf FusionInsight_HD_

8、V100R002C30SPC600_RHEL.tar.gz第10頁(yè)生成配置文件利用配置規(guī)劃工具生成各項(xiàng)安裝配置文件，并上傳到相應(yīng)節(jié)點(diǎn)的指定路 徑，生成的配置文件在安裝Manager和自動(dòng)化安裝集群時(shí)會(huì)被使用第11頁(yè)配置節(jié)點(diǎn)操作系統(tǒng)第12頁(yè)目的目的：即執(zhí)行preinstall.sh，以此來(lái)配置節(jié)點(diǎn)操作系統(tǒng)環(huán)境，使其滿足FusionInsight HD的安裝要求Step 1. 適配OS：修改OS配置，使OS滿足FusionInsight HD的安裝要求。包括檢查 內(nèi)核版本、關(guān)閉swap分區(qū)、設(shè)置共享內(nèi)存大小、設(shè)置服務(wù)器時(shí)區(qū)、配置業(yè)務(wù)和主機(jī) 名的映射等Step 2. 補(bǔ)齊RPM包：執(zhí)行preinst

9、all，可以自動(dòng)補(bǔ)齊OS缺失的RPM包Step 3. 格式化分區(qū)：執(zhí)行preinstall，可以自動(dòng)對(duì)服務(wù)器磁盤(pán)進(jìn)行格式化，使磁盤(pán)滿 足FusionInsight HD的分區(qū)要求具體操作參考軟件安裝手冊(cè)，首次安裝請(qǐng)務(wù)必執(zhí)行preinstall注意注意：操作前務(wù)必保證所有節(jié)點(diǎn)的操作系統(tǒng)root用戶密碼一致。檢查節(jié)點(diǎn)環(huán)境第13頁(yè)目的目的：即執(zhí)行precheck.sh，以此來(lái)檢查節(jié)點(diǎn)操作系統(tǒng)環(huán)境是否滿足FusionInsight HD的安裝要求方式方式一一：執(zhí)行precheck，帶配置文件參數(shù)，檢查所有節(jié)點(diǎn)環(huán)境（推薦）方式二方式二：執(zhí)行precheck，不帶配置文件參數(shù)，只檢查本節(jié)點(diǎn)環(huán)境preche

10、ck腳本可反復(fù)使用，執(zhí)行后會(huì)列出檢查不通過(guò)的項(xiàng)，用戶根據(jù)軟件安裝手冊(cè)的修復(fù)建議進(jìn)行修復(fù)，修復(fù)完后再次執(zhí)行precheck檢查注注意意：請(qǐng)務(wù)必確保precheck腳本的所有檢查項(xiàng)都通過(guò)，再進(jìn)入后續(xù)安裝步驟安裝Manager 包含兩個(gè)管理節(jié)點(diǎn)，分別為主管理節(jié)點(diǎn)和備管理節(jié) 點(diǎn)，用以保證業(yè)務(wù)的連續(xù)性及高可靠性 推薦使用安裝雙機(jī)Manager 僅包含一個(gè)管理節(jié)點(diǎn)，當(dāng)出現(xiàn)系統(tǒng)掉電等意外場(chǎng)景時(shí)無(wú)法保證業(yè)務(wù)的可靠性 不推薦使用安裝單機(jī)Manager第14頁(yè)有雙機(jī)/單機(jī)兩種方式進(jìn)行Manager安裝安裝雙機(jī)Manager安裝雙機(jī)Manager步驟1 獲取配置文件，該文件可由LLD工具生成， 也可手動(dòng)填寫(xiě)。配置文

11、件填寫(xiě)舉例如右圖所 示。2 在主備管理節(jié)點(diǎn)分別執(zhí)行安裝命令Eg:sh /opt/FusionInsight_Hadoop/software/install.shf /opt/install.ini第15頁(yè)安裝雙機(jī)Manager第16頁(yè)安裝命令執(zhí)行結(jié)果顯示如果出現(xiàn)”Install Successfully”字樣，即表示安裝Manager成 功，可以通過(guò)提示的URL地址進(jìn)行瀏覽器訪問(wèn)，從而繼續(xù)安裝 集群安裝單機(jī)Manager安裝單機(jī)Manager步驟使用-m single（也可以通過(guò)配置文件安裝），執(zhí)行命令：sh/opt/FusionInsight_Hadoop/software/install.

12、sh m single命令執(zhí)行結(jié)果顯示第17頁(yè)安裝集群1 配置瀏覽器2 登錄FusionInsight Manager系統(tǒng)3 首次登錄修改密碼，修改密碼成功后 使用新密碼重新登錄第18頁(yè)首次登陸需要修改密碼安裝集群 使用LLD工具生成的安裝模板，可以自動(dòng)填 寫(xiě)安裝時(shí)所需的各項(xiàng)參數(shù) 推薦使用模板自動(dòng)化 安裝集群 在界面上手工填寫(xiě)各項(xiàng)參數(shù) 不推薦使用手動(dòng)安裝集群第19頁(yè)有模板安裝/手動(dòng)安裝兩種方式進(jìn)行集群安裝模板自動(dòng)化安裝集群Step1. 進(jìn)入安裝頁(yè)面，選擇Template Installation導(dǎo)入準(zhǔn)備好的安裝模板，點(diǎn)擊OK第20頁(yè)模板自動(dòng)化安裝集群Step 2. 系統(tǒng)跳轉(zhuǎn)至確認(rèn)頁(yè)面，該頁(yè)面包

13、含安裝模板中填寫(xiě)的相關(guān)信息第21頁(yè)模板自動(dòng)化安裝集群Step 3. 如果確認(rèn)無(wú)誤，則點(diǎn)擊Submit按鍵進(jìn)行提交；如果發(fā)現(xiàn) 配置規(guī)劃數(shù)據(jù)有誤，可點(diǎn)擊Back按鍵，回到各配置項(xiàng)檢查或更 改參數(shù)值第22頁(yè)模板自動(dòng)化安裝集群Step 4. 安裝等待：提交集群安裝請(qǐng)求后，界面顯示安裝集群進(jìn)度，全部步驟完成后點(diǎn)擊Finish按鍵第23頁(yè)手動(dòng)安裝集群Step 1. 進(jìn)入安裝頁(yè)面，選擇Manual Installation，點(diǎn)擊OK第24頁(yè)手動(dòng)安裝集群Step 2. 填寫(xiě)集群基本信息，即：填寫(xiě)集群名稱、選擇集群版 本和安全模式、填寫(xiě)集群描述信息（可選），點(diǎn)擊Next按鍵 進(jìn)入下一頁(yè)面第25頁(yè)手動(dòng)安裝集群St

14、ep 3. 發(fā)現(xiàn)節(jié)點(diǎn)。輸入主機(jī)信息以及主機(jī)root用戶密碼，然 后點(diǎn) 擊 “Start Discovery”，選擇發(fā)現(xiàn)成功的節(jié)點(diǎn)，點(diǎn)擊Next 進(jìn)入下一頁(yè)面第26頁(yè)手動(dòng)安裝集群Step 4. 選擇安裝節(jié)點(diǎn)與設(shè)置機(jī)架。根據(jù)需要選擇節(jié)點(diǎn)并為其設(shè) 置機(jī)架信息，支持單獨(dú)設(shè)置和統(tǒng)一設(shè)置。完成設(shè)置后，點(diǎn)擊Next 進(jìn)入服務(wù)選擇頁(yè)面第27頁(yè)手動(dòng)安裝集群Step 5. 選擇安裝服務(wù)。根據(jù)業(yè)務(wù)需要選擇待安裝的服務(wù)，當(dāng) 選擇上層服務(wù)時(shí)，系統(tǒng)會(huì)自動(dòng)為其選擇依賴的底層服務(wù)第28頁(yè)手動(dòng)安裝集群Step 6. 拓?fù)湓O(shè)置。根據(jù)規(guī)劃，將組件部署到指定節(jié)點(diǎn)上。完 成設(shè)置后點(diǎn)擊Next進(jìn)入服務(wù)配置頁(yè)面第29頁(yè)手動(dòng)安裝集群Step

15、 7. 安裝配置。配置必須要設(shè)置的配置項(xiàng)，完成設(shè)置后點(diǎn) 擊Next進(jìn)入確認(rèn)頁(yè)面第30頁(yè)手動(dòng)安裝集群Step 8. 選擇升級(jí)模式。選擇版本升級(jí)模式，推薦選擇Common Mode，完成選擇后點(diǎn)擊Next進(jìn)入確認(rèn)頁(yè)面第31頁(yè)手動(dòng)安裝集群Step 9. 提交安裝。完成配置操作后，進(jìn)入確認(rèn)頁(yè)面，確認(rèn)頁(yè)面包含前面步驟的概要信息。確認(rèn)后點(diǎn)擊submit按鍵進(jìn)行提交第32頁(yè)手動(dòng)安裝集群Step 10. 安裝等待。提交集群安裝請(qǐng)求后，界面顯示安裝集群 進(jìn)度，全部步驟完成后點(diǎn)擊Finish按鍵第33頁(yè)目錄第34頁(yè)1.FusionInsight HD基本概念2.FusionInsight HD安裝流程3.Fusi

16、onInsight HD安裝前準(zhǔn)備4.FusionInsight HD安裝過(guò)程具體步驟5. FusionInsight HD安裝后檢查安裝后檢查6.FusionInsight HD安裝后配置7.FusionInsight HD安裝過(guò)程常見(jiàn)問(wèn)題處理方法安裝后檢查集群安裝成功后，登錄管理頁(yè)面進(jìn)行安裝后檢查Step 1. 觀察儀表盤(pán)：Dashboard頁(yè)面上圖形正常顯示，Service Summary圖中組件健康狀態(tài)為Good第35頁(yè)安裝后檢查Step 2. 服務(wù)健康檢查，集群安裝成功后，登錄管理頁(yè)面，點(diǎn)擊More Actions中的Health Check進(jìn)行服務(wù)的健康檢查第36頁(yè)安裝后檢查Ste

17、p 3. 服務(wù)狀態(tài)檢查，集群安裝成功后，登錄管理頁(yè)面檢查 Services頁(yè)面所有組件，操作狀態(tài)為Started，健康狀態(tài)為 Good，配置狀態(tài)為Synchronized第37頁(yè)安裝后檢查Step 4. 主機(jī)狀態(tài)檢查，點(diǎn)擊”Hosts”圖標(biāo)，各節(jié)點(diǎn)”Health Status”均為”Good”第38頁(yè)安裝后檢查Step 5. 告警檢查，頁(yè)面右上角各類告警的個(gè)數(shù)均為0，聽(tīng)不到告警鈴聲進(jìn)入告警頁(yè)面，無(wú)告警信息顯示第39頁(yè)目錄第40頁(yè)1.FusionInsight HD基本概念2.FusionInsight HD安裝流程3.FusionInsight HD安裝前準(zhǔn)備4.FusionInsight H

18、D安裝過(guò)程具體步驟5.FusionInsight HD安裝后檢查項(xiàng)6. FusionInsight HD安裝后配置安裝后配置7.FusionInsight HD安裝過(guò)程常見(jiàn)問(wèn)題處理方法安裝后配置北向配置，點(diǎn)擊System頁(yè)面，可以選擇“Syslog Configuration” 和 “ SNMP Configuration”，分別進(jìn)行 Syslog和SNMP配置第41頁(yè)安裝后配置監(jiān)控告警配置，點(diǎn)擊System頁(yè)面，點(diǎn)擊“ThresholdConfiguration”，可以進(jìn)行監(jiān)控告警相關(guān)閾值配置第42頁(yè)安裝后配置用戶配置，點(diǎn)擊System頁(yè)面，在”Rights Configuartion”功能

19、可以進(jìn)行用戶/用戶組/權(quán)限配置第43頁(yè)目錄第44頁(yè)1.FusionInsight HD基本概念2.FusionInsight HD安裝流程3.FusionInsight HD安裝前準(zhǔn)備4.FusionInsight HD安裝過(guò)程具體步驟5.FusionInsight HD安裝后檢查項(xiàng)6.FusionInsight HD安裝后配置7. FusionInsight HD安裝過(guò)程常見(jiàn)安裝過(guò)程常見(jiàn)問(wèn)題問(wèn)題處處理方法理方法安裝過(guò)程常見(jiàn)問(wèn)題處理方法第45頁(yè)FusionInsight HD安裝過(guò)程中會(huì)產(chǎn)生詳細(xì)日志，記錄安裝的具體情況，在安裝過(guò)程中如果出現(xiàn)意外情況，請(qǐng)先查看日志模塊名稱職責(zé)描述Preinsta

20、ll安裝日志/var/log/fi-preinstall.logManager安裝日志/var/log/Bigdata/controller/scriptlog/install.log集群安裝與運(yùn)行日志/var/log/Bigdata/controller/controller.lognodeagent進(jìn)程安裝與啟動(dòng)日 志/var/log/Bigdata/nodeagent/scriptlog/install.log/var/log/Bigdata/nodeagent/scriptlog/start-agent.logWeb服務(wù)運(yùn)行日志/var/log/Bigdata/tomcat/web.log安裝過(guò)程常見(jiàn)問(wèn)題處理方法案案例例1. 安裝Manager失敗，提示“The ws_float_ip_interface isEmpty.”原原因因：該錯(cuò)誤一