ClouderaManager大數(shù)據(jù)平臺部署指南

ClouderaManagerClouderaManager大數(shù)據(jù)平臺部署指南#/17RoleDatabaseUserPasswordActivityMonitoramonamonamon_passwordReportsManagerrmanrmanrman_passwordHiveMetastoreServermetastorehivehive.passwordSentryServersentrysentrysentry.passwordClouderaNavigatorAuditServernavnavnav^passv/ordClouderaNavigatorMetadataServernavmsnavmsnavms^passwordcreatedatabasedatabaseDEFAULTCHARACTERSETutf8;grantallondatabase?*TO'user'?%'IDENTIFIEDBY'password';注：在部署中發(fā)現(xiàn)hive,oozie使用的庫需要使用"tin字符集，否則在啟動服務時日志中會報錯創(chuàng)建索引時超長度限制。安裝程序驅動包mysqljdbcdriver總計有以下角色所在的主機需要安裝這個驅動包。如果你把以下角色都部署在一個主機節(jié)點上，那就只需要安裝一個節(jié)點的驅動，否則就需要各節(jié)點都部署—下。ClouderaManagerServerhost,ActivityMonitor,ReportsManager,HiveMetastoreServer,HueServer,SentryServer,ClouderaNavigatorAuditServer,andClouderaNavigatorMetadataServer從以下網址下載需要使用的驅動包：tar-zxvfmysql-connector-java-5?1.43.tar?gzmkdir一p/usr/share/java/cpmysql-connector-java-5?1?43/mysq].一connector一java一5?1?43一bin.jar/usr/share/java/mysql-connector-java?jar6、配置NTP時間同步服務在所有節(jié)點上安裝和啟用。如果是內網環(huán)境，也需要另想辦法保證所有節(jié)點的系統(tǒng)時間嚴格同步。yum-yinstallntpservicentpdrestartchkconfigntpdon注：請選擇一個節(jié)點做為ntpserver直接和外部時間服務器同步，其它所有節(jié)點均配置/etc/ntp.conf,將同步的server信息指向前面這個節(jié)點即可。7、安裝ClouderaManagerServer軟件我們選擇把ClouderaManagerServer部署在cluster-70節(jié)點上。（1）下載和分發(fā)安裝資源clouderamanager下載地址：cdhparcels下載地址:wget-cwget~cwget~cwget~c變更為sha,否則上傳到系統(tǒng)中后，CDH平臺反而會說找不到sha文件。將c1oudera-manager-e16~cm5.12.0_x86_64?tar.gz文件放到所有節(jié)點的/opt/cloudera-manager□錄下。mkdir/opt/cloudera-managercd/opttarzxvfcloudera-manager-e16-cm5?12.0_x86_64.tar.gz(2)創(chuàng)建CMServer系統(tǒng)用戶賬號useradd-一system一一home=/opt/cloudera-manager/cm-5?12.O/run/cloudera一scm一server--no-create-home--shell=/bin/false--comment，zClouderaSCMUser"cloudera-scm創(chuàng)建CMServer的本地數(shù)據(jù)存儲目錄登錄cluster-70：mkdir-p/var/lib/cloudera-scm-serverchowncloudera-scm:cloudera-scm/var/lib/cloudera-scm-server配置所有節(jié)點上的ClouderaManagerAgentssed-i?s/server_host=localhost/server_host=cluster-70Z，/opt/cloudera-manager/cm-5?12.O/etc/cloudera一scm一agent/config?ini創(chuàng)建和初始化CMServer數(shù)據(jù)庫我們的mysql數(shù)據(jù)庫是安裝在cluster-71上面，登錄cluster-71：部署一個JDBC驅動包：cp mysql一connector一java一5?1.43一bin?jar /opt/cloudera-mandger/cm-5?12.O/share/cmf/lib初始化腳本語法如下：scm_prepare_database?shdatabase-type[options]database-nameusernamepassword/opt/c1oudera-manager/cm-5?12.0/share/cmf/schema/scm__prepare_database?shmysql-hlocalhost-uroot-pHstest2017scmscmscm屏幕輸出信息：JAVA_H0ME=/usr/java/jdk1.7.0_80Verifyingthatwecanwriteto/opt/cloudera-manager/cm-5?12.O/etc/cloudera-scm一serverCreatingSCMconfiguration/opt/cloudera-manager/cm-5?12.O/etc/cloudera-scm一serverExecuting: /usr/java/jdk1?7.0_80/bin/java一cp/usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java?jar:/opt/clouder&一manager/cm一3?12.O/share/cmf/schema/??/lib/*com.cloudera?enterprise?dbuti1?DbCommandExecutor/opt/cloudera-manager/cm-5?12.0/etc/cloudera一scm-server/db?propertiescom.cloudera?cmf.db?[main]DbCommandExecutor INFOSuccessfullyconnectedtodatabase?Alldone,yourSCMdatabaseisconfiguredcorrectly!登錄mysql,增加一條對CMServer主機的訪問授權：grantallonscm?歡TO'scm'cluster一70、IDENTIFIEDBY'sen?;登錄cluster-70節(jié)點配置CMServer的數(shù)據(jù)庫配置文件：/opt/cloudera-manager/cm~5?12.O/etc/cloudera一scm一server/db.properties需要根據(jù)實際悄況更新以下參數(shù)。com?cloudera?cmf.db.host二cluster一71com?cloudera?cmf?db.name二scmcom?cloudera?cmf?db.user二scmcom.cloudera?cmf.db.password二scmcom?cloudera?cmf?db.setupType=EXTERNAL創(chuàng)建CDHParcel資源目錄在cluster-70節(jié)點上：mkdir-p/opt/cloudera/parcel-:repo將以下已經準備好的parcel資源文件放入該目錄：CDH-5.12.0-1.cdh5.12.0.pO.29-el6.parcelCDH-5.12.0-1.cdh5.12.0.pO.29-el6.parcel.shalmanifest.jsonchown-Rcloudera-scm:cloudera-scm/opt/cloudera/parcel-repo在其它所有節(jié)點上：mkdir-p/opt/cloudera/parcelschowncloudera-scm:cloudera-scm/opt/cloudera/parcels啟動clouderamanagerserverandagents直接使用root運行啟動腳本即可，腳本中已經默認設定為會切換到cloudera-scm用戶運行進程。在所有節(jié)點上，先調整下文件屬主權限：chown-Rcloudera-scm：cloudera-scm/opt/cloudera-manager在cluster-70節(jié)點上啟動CMServer：/opt/clouderd-mdndgier/cm-5.12.0/etc/init.d/cloudera-scm-serverstart在所有節(jié)點上啟動CMagent：/opt/clouderd-mdndge:r/cm-5.12.0/etc/init.d/cloudera-scm-agent start注：在啟動上面的服務時，注意檢查進程是否運行，是否因報錯退出?？梢詸z查.../log/下面的日志文件，分析錯誤原因。8、登錄ClouderaManager管理控制臺并配置CDH服務訪問以下地址：初始管理賬號信息為：admin/admin（1） 登錄后按提示操作，先是選擇1icense許可，如果沒采購企業(yè)許可，就選免費版，繼續(xù)。（2） 選擇要加入CDH集群的主機，因為我們已經配置好6臺主機的訪問關系了，這6個主機會被自動識別出來，選中然后下一步。（3） 安裝CDH服務的方式，選擇使用Parcels,因為之前已經把離線安裝資源放到系統(tǒng)默認的路徑下了，這里會自動識別到，點擊下一步將開始在CDH集群各節(jié)點中分發(fā)所有需要使用的應用的parcels安裝資源。（4） 經過一個主機正確性檢查的步驟，點擊完成按鈕。如果系統(tǒng)提示有參數(shù)配置上的優(yōu)化建議，遵照處理后重新做檢驗檢查即可。（5） 選擇一種集群服務組合，如果不確定哪個組合更合適，選擇“全部服務”也可以。（6） 進入集群角色分配環(huán)節(jié)，這一步比較關鍵，注意要把NameNode分配到我們設計的cluster-70節(jié)點，SecondaryNameNode分配到cluster-71節(jié)點上。注意調整HDFS的DataNode角色，自定義分配到cluster-72到cluster-75這4個節(jié)點上。注意有多個服務的角色是還沒有分配的，請將這些角色統(tǒng)一都分配到cluster-71節(jié)點上即可，這樣做是因為簡化數(shù)據(jù)節(jié)點的角色和職責，便于維護,且cluster-70節(jié)點已經被默認分配了很多的角色了，也不適合再繼續(xù)增加。（7） 下一步，進入數(shù)據(jù)庫設置。按實際配置信息填寫，然后下一步。（8） 進入審核更改環(huán)節(jié)，檢查下DataNode數(shù)據(jù)目錄，設置為/dfs/dn；NameNode的數(shù)據(jù)□錄設置為/dfs/nn。這里要特別注意，如果給數(shù)據(jù)節(jié)點準備了多塊數(shù)據(jù)磁盤，要在這里定義更多的“DataNode數(shù)據(jù)LI錄”，即按照/dfs/dn2,/dfs/dn3這樣的規(guī)則繼續(xù)增加即可。前文已經說過，在數(shù)據(jù)節(jié)點有多塊數(shù)據(jù)磁盤時，按這樣的規(guī)則掛載到系統(tǒng)中的。（9） 在進入下一步之前有一個細節(jié)非常重要，因為我們是使用的獨立的數(shù)據(jù)磁盤，掛載到系統(tǒng)的/dfs/dn這樣的路徑下的。這個路徑是我們手動創(chuàng)建的，而非CDH服務自行生成，所以這個LI錄存在屬主權限問題，會直接造成下一步驟中的HDFS啟動失敗。請在所有的主機節(jié)點上面執(zhí)行：chown-Rhdfs.hadoop/dfs/dn（10） 點擊下一步，即完成了所有配置任務，并進入了首次運行服務啟動命令的環(huán)節(jié)。9、啟動服務并解決各種問題hive和solr服務在啟動前，都需要先在clouderamanager管理平臺上菜單中點擊庫表數(shù)據(jù)初始化。在啟動后發(fā)現(xiàn)hbasemaster角色無法啟動，日志中報錯"Permissiondenied:user=hbase,access=WRITE,inode="/":hdfs:supergroup:drwxr-xr-xw。解決辦法為，在管理平臺上進入HDFS的參數(shù)配置界面，找到dfs.permissions,設置為false。詳細說明參見下面鏈接：其它多個服務在啟動過程中也或多或少遇到一些問題，但都不難解決，指導思想就是先看CDH管理平臺上的報錯信息、報錯日志，再到系統(tǒng)的/var/log下査看下服務日志，基本上都能立位到問題的原因。大多數(shù)問題，都能在網上找到