教案成果cloudera enterprise遷移cdh v

前 遷移準 卸載 停止作業(yè)并HDFS寫 備份Hive元數(shù) 記錄IDH運行時一些關(guān)鍵 結(jié) 停止集群所有服 集群停止后的關(guān) 結(jié) 內(nèi) 卸載 Hadoop 安裝Cloudera 為Hive元數(shù)據(jù)安裝 安裝ClouderaManager 啟動ClouderaManager并安裝 *給集群節(jié)點分配角 *配置組件屬性并啟動集 部署客戶端配 *進入Cloudera的管理界面并啟動升 您是做的 Manager加IDH2.5.1）到（ClouderaManager加CDH5.1.2）的遷CDHIDHHBaseRegionServerIDHxCDHRegionServerxClouderaManagerIDHManagerIDH2.5.1CDH5.1.2集群。換句話說，您必須熟悉如何使用IDH2.5.1HAdrbd通過“sudo–uhdfshadoopfsckHDFSWeb Mis-replicatedblocks(缺少的 A缺少兩個，B缺少一 (停止作業(yè)并HDFS寫1停止HBaseHBase內(nèi)部有些會觸HDFS停止HBase2sudo–uhdfshadoopdfsadmin–safemode3fsimagesudo–uhdfshadoopdfsadmin-NameNode主 化，如圖1和圖2所示；IDH將NameNode的主 下保存fsimage之前 保存fsimage之后 Hive1.以root登InHadoop的NameNode2備份Hive的元數(shù)據(jù)cd/root;mysqldump–uroot–metastore>metastore.sql3拷貝dumpInManager節(jié)scpmanager>:~4記錄HDFSHive的角色部署信息在安裝CDH后，組件記錄IDH運行時一些關(guān)鍵 結(jié)HadoopNameNode 結(jié)構(gòu)HadoopDatanode的 結(jié)HDFSHBase集群停止后的關(guān) 結(jié)HadoopNamenode ：in_use.lock文件被刪除HadoopDatanode 記錄并保存一些關(guān)鍵 內(nèi)記錄用 1記錄fsmagefsimage存放在其中的current下，NameNode的 in_use.lock文件的2.secondarynamenode3記錄各些數(shù)據(jù)同樣也是含有in_use.lock文件的；可以將hdfs-site.xml中的配置4fsimage內(nèi)tarczf5namenoderm–r在這步之前的所有操作都是可逆的，任何一步操作對集群的正常狀態(tài)都沒什么影響，卸載 Hadoop修改，比如HDFS的數(shù)據(jù)，HBase表的數(shù)據(jù)。（如何保存配置文件？是讓用戶記錄修改的配置項還是將IDH的配置文件拷貝出來，供之后分析比對用？）如果卸載完成之后，想回退到IDH的版本，我們提供了保留集群數(shù)據(jù)的安裝過程，包括有數(shù)據(jù)時候的HA搭建。（相應(yīng)的文檔是否存在？）1.以root用戶登錄 Manager節(jié)2停止Inservicein-manager3shuninstall.sh4卸載時為每個節(jié)546清除所有節(jié)點中的JAVA_HOME變量（在.bashrc中7重新登錄曾經(jīng)安裝過InManager對Java的8rpm–ejdk-1.6.0_31-ClouderaEnterprise會自行安裝JDK，為不致引起，故將IDH安裝的JDKClouderaHive1yuminstall–ymysql-MySQLchkconfigmysqld不要安裝在servicemysqldManager現(xiàn)MySQL以參照MySQL2 創(chuàng)建 數(shù)據(jù)庫配置root用戶 的 機器root root用戶登錄，$Entercurrentpasswordforroot(enterfornone):OK,successfullyusedpassword,movingon...Setrootpassword?[Y/n]yNewpassword:Re-enternewRemoveanonymoususers?[Y/n]YDisallowrootloginremoy?[Y/n]NRemovetestdatabaseandaccesstoit[Y/n]YReloadprivilegetablesnow?[Y/n]All3將備份的mysqldump件拷貝到安裝了MySQL的scpmetastore.sql4將mysqldump文件中的NameNode5創(chuàng)建metastoremysql-uroot--password=<PWDforroot>-e'createdatabasemetastoredefaultcharactersetutf8;'6將mysqldumpmetastoremysql-uroot--password=<PWDforroot>metastore<metastore.sql7.創(chuàng)建ClouderaEnterpriseHiveMySQLmetastore庫的用戶名和密mysql-uroot--password=<PWDforroot>-e"CREATEUSER'Hiveuser'@'%'IDENTIFIEDBY'password';GRANTALLPRIVILEGESONmetastore.*TO'Hiveuser'@'%';FLUSHPRIVILEGES;"ClouderaManager1.安裝CDH /Cloudera 2配置本地Manager的apachehttpd服務(wù)，并啟動服拷貝pacel包和json文件至拷貝clouderamanagerRPM包至/var/www/html/cm5_1_2_el6，并執(zhí)createrepo.的parcel包有可能在通過web時list不出來，可以將parceljson3在要作為Manager的name=ClouderaManagerRepository4.關(guān)閉所有serviceiptablesstopchkconfigiptablesoffseten#edit/etc/sysconfig/selinux5的DNS配置并檢查/etc/hosts6安裝sudoyuminstalloracle-7在選擇作為ClouderaManageryuminstall–ycloudera-manager-daemonscloudera-manager-server8（若選擇因為在此之前已經(jīng)安裝MySQL，這步可9（yuminstall–ymysql-MySQL數(shù)據(jù)庫10所有節(jié)點安裝mysql-yuminstall–ymysql-java-11（僅適合$sudo/usr/bin/mysql_secure_installationEntercurrentpasswordforroot(enterforOK,successfullyusedpassword,movingSetrootpassword?[Y/n]yNewpassword:Re-enternewRemoveanonymoususers?[Y/n]YDisallowrootloginremoy?[Y/n]NRemovetestdatabaseandaccesstoit[Y/n]YReloadprivilegetablesnow?[Y/n]YAlldone!12（僅適合Metastore數(shù)mysql–uroot--password=<PWDfor-e‘createdatabase<MS_DB>DEFAULTCHARACTERSETutf8’;13（僅適合問HiveMetastore庫mysql-uroot--password=<PWDfor-e"CREATEUSER'<HIVE_MS_DB_USER>'@'%'IDENTIFIEDBY'<HIVE_MS_DB_PWD>';GRANTALLPRIVILEGESON<MS_DB>.*TO'<HIVE_MS_DB_USER>'@'%'IDENTIFIEDBY‘<HIVE_MS_DB_PWD>’;GRANTALLPRIVILEGESON<MS_DB>.*TO'<HIVE_MS_DB_USER>'@'localhost'IDENTIFIEDBY‘<HIVE_MS_DB_PWD>’;FLUSHPRIVILEGES;"14mysql–uroot--password=<PWDforManager數(shù)-e‘createdatabase<CM_DB>DEFAULTCHARACTERSETutf8’;15創(chuàng)建Manager庫mysql-uroot--password=<PWDfor-e"CREATEUSER'<CM_DB_USER>'@'%'IDENTIFIEDBY'<CM_DB_PWD>';GRANTALLPRIVILEGESON<MS_DB>.*TO'<CM_DB_USER>'@'%'IDENTIFIEDBY‘<CM_DB_PWD>’;FLUSHPRIVILEGES;"17Manager配abase.sh<DB_TYPE><DATABASE><USERNAME>DB_TYPE可以是mysql,oracleDATABASE即為之前為ClouderaManager配置的數(shù)據(jù)庫USERNAME/PASSWORD即為可以這ClouderaManager1啟動Clouderaservicecloudera-scm-serverstart2登錄Clouderaadmin/admin3開始執(zhí)行CDH：InternetCDHCloudera：選項自定義ParcelParcel庫添加成功，在“選擇CDH的版本項”就會出現(xiàn)自己配置的CDHParcel；并添加ClouderaManagerClouderaManager庫地址：ClouderaManagerClouderaManagerAgent并分發(fā)Parcel主機正確性檢查和組件版本HBaseIDH*idhcdhidhdatanode，cdhdatanodecdhidh中沒有的角色，這種情況下您可以按mapreduceV1yarnidhtasktrackernodemanager，idhjobtrackercdhresourcemanager至關(guān)重要的是，idhnamenodecdhnamenode同樣重要的是：idhsecondarynamenodecdhsecondarynamenode節(jié)點。對于hdfsdatanode，namenodesecondarynamenode的角色，其他的hdfs角色您必HBase、Hive*正確配置各CDH組件的屬性對集群的正常升級有至關(guān)重要的影響，請務(wù)必仔細核對這些屬性和先前IDH的屬性配置是一致的。HiveMetastoreIDHmetastore的內(nèi)容遷移HDFS/HBase/Hive的關(guān)鍵配置項，包括.dir、node.checkpoint.dir、HDFSHDFSHBase配置項（不需要修改

Hive配置項（不需要修改

當(dāng)配置完集群后，ClouderaManagerHDFS時，會失敗，這是正常ClouderaManager界面：

clusteractions *ClouderaClouderaManagementServiceHDFS1HDFS2.HDFSAction按鈕，然后從上下文菜單中選擇“HDFS元數(shù)據(jù)”3.在詢問您是否要升級的對HDFS4HDFS5HDFS6HDFS7.HDFS升級完 變HDFS。HDFS。HDFSactionHDFS： HDFSNameNode 下多了個 ，是之前IDH最后停止時的（若要恢復(fù)