Cloudera大數(shù)據(jù)平臺遷移方案

1、Cloudera大數(shù)據(jù)平臺遷移方案cloudera TOC o 1-5 h z HYPERLINK l bookmark2 o Current Document 前言4 HYPERLINK l bookmark4 o Current Document 大數(shù)據(jù)處理平臺遷移方案 4 HYPERLINK l bookmark6 o Current Document 方案一：原地升級 4 HYPERLINK l bookmark8 o Current Document 方案二：拷貝遷移5 HYPERLINK l bookmark10 o Current Document 方案優(yōu)缺點(diǎn)比較5 HYPERL

2、INK l bookmark12 o Current Document 遷移準(zhǔn)備5 HYPERLINK l bookmark14 o Current Document 卸載 IDH6停止作業(yè)并阻止 HDFS寫入 6 HYPERLINK l bookmark16 o Current Document 備份Hive元數(shù)據(jù)7 HYPERLINK l bookmark18 o Current Document 記錄IDH運(yùn)行時一些關(guān)鍵的目錄結(jié)構(gòu) 7 HYPERLINK l bookmark22 o Current Document 停止集群所有服務(wù)8集群停止后的關(guān)鍵目錄結(jié)構(gòu) 9記錄并保存一些關(guān)鍵的目錄

3、內(nèi)容9 HYPERLINK l bookmark36 o Current Document 同步標(biāo)記點(diǎn) 10 HYPERLINK l bookmark34 o Current Document 卸載 Intel Hadoop 發(fā)行版 11 HYPERLINK l bookmark41 o Current Document 安裝 Cloudera Enterprise12為Hive元數(shù)據(jù)安裝 MySQL12安裝 Cloudera Manager Server15 HYPERLINK l bookmark43 o Current Document 啟動 Cloudera Manager 并安裝CD

4、H19 HYPERLINK l bookmark45 o Current Document *給集群節(jié)點(diǎn)分配角色 27 HYPERLINK l bookmark47 o Current Document *配置組件屬性并啟動集群 28部署客戶端配置31進(jìn)入Cloudera的管理界面并啟動升級 32擴(kuò)展工作40Cloudera Manager Database HA and Metastore HA40HDFS HA40Sqoop 240多 HBase 的方案 41.前言此手冊是基于以下假設(shè)的：. 您是做的(Intel Manager 加 IDH 2.5.1 )至U ( Cloudera Man

5、ager 力口 CDH 5.2.1 )的 遷移.您已經(jīng)安裝并配置好了 IDH 2.5.1. IDH 2.5.1的集群按照您期望的運(yùn)行，例如：運(yùn)行作業(yè)會得到您預(yù)期的結(jié)果. CDH和IDH的服務(wù)角色盡可能一致，例如 HBase的RegionServer 在IDH節(jié)點(diǎn)x上運(yùn) 行，則CDH中此RegionServer 也應(yīng)在節(jié)點(diǎn) x上運(yùn)行. Cloudera Manager運(yùn)行的節(jié)點(diǎn)應(yīng)該是以前 IDH Manager 運(yùn)行的節(jié)點(diǎn).您應(yīng)該知道怎么樣安裝和配置IDH 2.5.1和CDH 5.2.1集群。換句話說，您必須熟悉如何使用各自的發(fā)行版安裝集群.在 IDH 2.5.1 中 HA drbd 被啟用.

6、升級的操作在CentOS/RedHat/SUSE 11 SP2上都做過驗(yàn)證.用戶了解自己的平臺配置，數(shù)據(jù)以及應(yīng)用.對新平臺的開發(fā)也已經(jīng)有所了解.應(yīng)用程序在新平臺的測試環(huán)境中已經(jīng)能夠運(yùn)行.大數(shù)據(jù)處理平臺遷移方案本次平臺遷移的方案有兩種可選方案：原地升級和拷貝升級方案一：原地升級該方案主要思想是將原IDH集群直接遷移到Cloudera集群并遷移應(yīng)用。在升級的過程中用 特定的工具將集群上得 HDFS上的數(shù)據(jù)和HBASE上的數(shù)據(jù)分別從 HDFS1.X和HFile V1轉(zhuǎn)換為 HDFS2.X 和 HFileV3 。優(yōu)點(diǎn)：原有IDH集群中的數(shù)據(jù)不需要重新加工和導(dǎo)入；升級時間短。缺點(diǎn)：原有IDH集群中的組件

7、例如 Hadoop、Hive、HBase等對應(yīng)CDH集群的版本變化較 大(Hadoop1.0.3 升級至U Hadoop2.5 版本；Hive0.11 升級至U Hive0.13 版本；HBase0.94 升級 到HBase0.98版本)，涉及的技術(shù)細(xì)節(jié)較多，停機(jī)時間較長，在平臺遷移期間，Hadoop集群無法對外提供服務(wù)。方案二：拷貝遷移該方案的主要思想是用額外資源組建一套新的CDH集群，在CDH集群上重新加載數(shù)據(jù)并遷移上層應(yīng)用。等基于 CDH集群上的所有工作就緒后，逐步切換到CDH上，然后再將剩余的IDH集群節(jié)點(diǎn)升級到CDH集群上。優(yōu)點(diǎn)：業(yè)務(wù)停機(jī)時間短，風(fēng)險可控缺點(diǎn)：在遷移期間，需要將已有系

8、統(tǒng)的數(shù)據(jù)導(dǎo)入到新集群中，視集群的規(guī)模而定，導(dǎo)入的時 間會比較長，后期還需要兩邊同時導(dǎo)入。方案優(yōu)缺點(diǎn)比較實(shí)施風(fēng)險業(yè)務(wù)中斷是否需要額外硬 件數(shù)據(jù)重新導(dǎo)入原地升級低較長（數(shù)小時）/、需要額外備份小rm理拷貝遷移低較短需要后鬲余的存 儲生建MJ 3A綜上，經(jīng)過對上述兩種種方案各自優(yōu)缺點(diǎn)的分析，推薦在數(shù)據(jù)量小于集群總?cè)萘?/2 ,或者有富余集群的情況下采用拆分拷貝升級方案；對于數(shù)據(jù)量大于總?cè)萘?/2的集群又沒有額外節(jié)點(diǎn)存儲資源的，可以使用原地升級方案。本篇內(nèi)容會介紹拷貝遷移的方案。.遷移準(zhǔn)備遷移之前的準(zhǔn)備工作要確保數(shù)據(jù)平臺當(dāng)時的運(yùn)行狀況是良好的，可以通過以下幾個方面判斷：.運(yùn)行相關(guān)的應(yīng)用，能得到正常的結(jié)

9、果；.組件服務(wù)運(yùn)行良好，沒有任何非故意的節(jié)點(diǎn)服務(wù)失敗現(xiàn)象；. 通過sudo -u hdfs hadoop fsck /或者HDFS的Web界面檢查文件是否有損壞現(xiàn)象Under-replicated blocks （那些復(fù)制份數(shù)小于配置要求的塊數(shù)量）Mis-replicated blocks （缺少的塊復(fù)制數(shù)量，如果有兩個塊 A和B,復(fù)制份數(shù)小于實(shí)際配置，A缺少兩個復(fù)制，B缺少一個復(fù)制，則最后缺少的塊復(fù)制份數(shù)是3）Corrupt blocks （損壞的塊數(shù)量，應(yīng)該是 0）. 停止所有作業(yè)3.1.卸載 IDH3.1.1,停止作業(yè)并阻止HDFS寫入步驟說明操作備注1,停止集群中兩個HBase集群服務(wù)

10、HBase內(nèi)部有些事件會觸發(fā)HDFS的寫入操作。故而要先停止HBase集群。2.登錄主NameNode 節(jié)點(diǎn)，進(jìn)入safemodesudo -u hdfs hadoop dfsadmin -safemode enter3,將所有edits修 改保存到fsimage 中sudo -u hdfs hadoop dfsadmin -saveNamespace可以觀察執(zhí)行前后 NameNode 主 目錄發(fā)生的變化，如圖1和圖2 所示；IDH將NameNode 的主目 錄配置在/hadoop/drbd/hadoop_image下保存 fsimage 之前，$.dir/current 目錄的內(nèi)容:Qi*c

11、xt&i p-172 -1S- 247 cur r en+ # 11total 1944一w. 1 hdfs hdfs*rw*r*-r* 1 hdfs hdfs-rw-r-r-. 1 hdfs hdfs104858。MW82ei4-e9-is2014*0182014-69-181A1 2014-09-1s14:2914:2214:2214:22edits fsirrage fstime VERSIONLr，xtPip-172-J1-1S-247 curren4zJ #保存 fsimage 之后，$.dir/current 目錄的內(nèi)容:rootfrip-17Z-31-15-Z47 current

12、# 11total 20-rw-r-r-s 1 hdfs-rw-r-i 1 hdfs-rw- r- r - - metastore.sql;3.記錄 HDFS、MapReduce、HBase、 Hive 的角色部署信息在安裝CDH后，組 件角色部署要盡量一 致3.1.3. 記錄IDH運(yùn)行時一些關(guān)鍵的目錄結(jié)構(gòu)Hadoop NameNode主目錄結(jié)構(gòu)，previous.checkpoint有可能不存在:rroot#i|ji7Z-3i-fl-55 hodoc|i_ ivagel# 11 total 13rfrwAr-Mr-i.,f hdfs lidfi 496 ?014-B9-19p-172-31-

13、fl-55- Mdgp_in.e#(JrMTLr -KP- *T J hd fa drwxr2 hd fs-ra-r,-r-+ 1 hdfsW-Fs 翻 14-的-tg kd千宇 443% 2Q14-09 19kidft 0MTQ cu.-re- - m14:5Q i nuie.Lock 14:37Hadoop Datanode 的主目錄結(jié)構(gòu)h上油坤 it-r- pr r M*1-v-y 聲,*R ” -faM*+ ”/，l ” T * w *! I*1 in TC-：1 ZFIfgHC- ir -t. in 竄”W4陰?“：蒲d整”，必才V4 45- 19 ：WId 機(jī) W MilF Um

14、ITX3 ：CC r：TXl，餐i? /前IrcTtl*.y-17 Z-2 L-*-：SF c3ic F .3 k. = arir jnr-.JH -.|f(|B HiMEF =?HHS|；-3& ；UX1E坦3r4 國事明MFF!?TJggE，眸心E 國”/*?eh.j-1?24.4： Elk Ji _.i iFMrb&，it .A HIl 小*匕 ；%加工l“ i-ijxz ac MTzueca亡】總富算：融“ y眥.“ 皿3 rz.x&m 值i融w歷n i”一 -n-&ie 辿 zgq+T dl*U*S ILM，H aW 一,ELi -WMG1 i；=二3M二二JL F Ji. f .3

15、L 4d l mr ：L . !J ,4 F-U B ,4 4. B akuj1, -.l. d，l =E q* i m -I 5 4 bfa muS11 1EL4 fcL-c tL4 EL匚工MZiILM XT門 33cHs1M7J LM.IU卡lliH.*.- .tel v TZS-TBS-EC 7H“AI ； * 四也“3 遍一 MK11( YHKB1E 隕 Hld“4回川用印M-Ll q -注口二* JEMU -NUCXHfl IWia?aJ希中航,部jii加器* 皿 A4 JlU 44金#J I=.3Hf.f1d3KlE I.LEl.-ar-9心gHDFS上HBase的存放結(jié)構(gòu)3.1

16、.4.停止集群所有服務(wù)LLiM-mi做 WhEir具 NM HEILGb5ssvpwaTQura-HcxarwhHF&-hrirwPJI |EU?MTT曾 rr，f Mir *1即廣；* Wf N 竹 5:zrasnfcafiw4jxIntel Mjnafltr for Apache Hadoop* softwareFtirnarai“加二帽二匚H94igrjd3&pNH LMrtG九 IkFri *、n3 rZnrtp SafiIn Mlp1- ITS-U-t-SS data* 10 fi -li /TihiMFound 7 iltciH川門翼i* - hbaM hba。2flr54-9-1

17、9 1 id-rih-i-ir- J hbatc hfaai 2914-09-19 1：99 /ihtwshbst,andrrt-zm- hbxc hbas0 2QQ4-勃-工勺 14:29 /thtz*“七七蛙上raotfip-172-31-#-55 dutol* Iradc口 fs -Is /hbi3t/. tiip- ihbaw Mmm8 2H4-H-L9 14:52 /HMaft/tMfl3t5MrHBiaeS257gbbF7K31FF777El國* a s.ijHrt-. ihe m 93.1.5.集群停止后的關(guān)鍵目錄結(jié)構(gòu)6岷14:0115：乃3 in_use.loclr嶼滑3eur

18、ren1/15:05 tditl15;。5 fsiiMBc1S:GS fshimcA5 VERSIOM14闋115：婚Hadoop Namenode 主目錄：in_use.lock 文件被刪除了Crootip-1?2-31 -0-S5 huiioop.imaflrjf ll tctol 12drwur-Kr-M. 2 卜肝彗 hdfs dr*nr-itr-M. 2 fidfs hdFs 4096 2414-09-19 r , 1 tidfs Wfs Z#14-OT-19drurtr-Kf-x, 2 M向KCtWip-172-n-S511totcl m-rw-r-r-.1*idfsMfi4zei

19、4*OT-19-rw-r-r-.1tidfs血凸5H9費(fèi)14-耨T9_，一”.1hdfMF工aN14-的T9-r*_r，-r-.1tidfthdfs1電 1root？ip172-31-0-55 Ntdoopim4e9 ll totcl Cdrurtr-Kf-x. 2 hdfs MF箏 40% N4-09-19 diWKF-xr-xh 2 hdfs 愉向 40% 214 09-19 drwxr-xr-x. 2 tidfi WB 49% 2ei4-09-19 IHadoop Datanode 主目錄：in_use.lock 文件也被刪除了Qt 4* tuJuiiJ. ?5 -4 F .Lii,.

20、*I也小裾二帶;IK bh限小仲blc-武:工修71*0*匚前， hlbflJSJK4：LdWW嗚珅狀4912*1呼* -師所產(chǎn)新|登“鼻遣17倡 alKWf L3iT4；lrH.v JMH.M-3 j_ aj如心!Jtug、，中中譯p：叫町；=田，ri.* za?s L：Z424K 3T4g 1M郵 sn Mut H9431 yg 工 g+S4也/h*” we* j/i、v-m楣 *fi IWJI I lilk.aMk LLir網(wǎng)MLl MULK 意匕” ：由的412” b-lk E-*jimS-ltT-ldltaHh產(chǎn):W WA.fi圖83.1.6.記錄并保存一些關(guān)鍵的目錄內(nèi)容記錄用各目錄

21、的用戶和組名稱，最好能保存用戶、組及其對應(yīng)的用戶、組名步驟說明操作備注1.記錄NameNode 存放 fsmage 的目錄/hadoop/drbd/hadoop_image/ 以及/hadoop/hadoop_image_localfsimage 存放在 其中的current目 錄下，NameNode 的主 目錄應(yīng)該是運(yùn)行 起來含有 in_use.lock 文件 的目錄2.記錄 secondary namenode 存儲兒數(shù)據(jù)的 目錄/hadoop/namesecondary/3.記錄各datanode 存儲 數(shù)據(jù)的目錄（current目 錄的上層目錄）/mnt/disk1/hadoop/da

22、ta/mnt/disk2/hadoop/data務(wù)必把所有數(shù)據(jù)目錄都記錄正確；這些數(shù)據(jù)目錄同樣也是含有 in_use.lock 文件 的目錄；可以將hdfs- site.xml中的配置 讀出4.檢查原來IDH配置的所 有元數(shù)據(jù)存儲目錄內(nèi)容是 否一致5.在i NameNode 節(jié)點(diǎn) 中備份fsimage 內(nèi)容cd /root/CDH_backup tar czf hadoop_image.tar.gz /hadoop/drbd/hadoop_image確保之前已經(jīng)執(zhí) 行過saveNamespace 操作6.登錄SecondaryNameNode , 備份并刪除secondary namenode

23、 的目錄mkdir -p /root/IDH_backupcd /root/IDH_backup tar czfsecondaryNamenode.tar.gz /hadoop/namesecondary rm -r /hadoop/namesecondary同步標(biāo)記點(diǎn)在這步之前的所有操作都是可逆的，任何一步操作的失敗對集群的正常狀態(tài)都沒什么影響, 集群可以按照一般方式啟動或工作。103.1.8.卸載Intel Hadoop 發(fā)行版卸載集群只會刪除相應(yīng)的程序包，配置文件以及日志等，不會對集群的應(yīng)用數(shù)據(jù)產(chǎn)生任何 修改，比如HDFS的數(shù)據(jù)，HBase表的數(shù)據(jù)。（如何保存配置文件？是讓用戶記錄修改的

24、配置項(xiàng) 還是將IDH的配置文件拷貝出來，供之后分析比對用？）卸載本身是不可逆的過程，一旦發(fā)起卸載動作，只有將卸載動作執(zhí)行完，要必須也是一定 能成功卸載的！如果卸載完成之后，想回退到 IDH的版本，我們提供了保留集群數(shù)據(jù)的安裝過程，包括 有數(shù)據(jù)時候的HA搭建。（相應(yīng)的文檔是否存在？）步驟說明操作1.以root用戶登 錄 Intel Manager 節(jié)點(diǎn)，并找到原始 的安裝包文件2.停止 IntelManagerservice intel-manager stop3.執(zhí)行卸載腳本sh uninstall.sh all , 或者 sh uninstall.sh sh uninstall.sh sh

25、uninstall.sh 也可以執(zhí)行并行刪除 過程，但務(wù)必將intel manager 節(jié)點(diǎn)放在最 后刪除4.卸載時為每個節(jié) 點(diǎn)輸入安裝時用的 用戶名，并按回車 j a -1 r2 -31 -15 ifall !HexEEurtE 山_clm_nodE!.Iui-efwie of ipa 12-3145-248; |15.重復(fù)步驟4,直 至全部卸載完畢確認(rèn)所有節(jié)點(diǎn)都已經(jīng)卸載6.清除所有節(jié)點(diǎn)中的 JAVA_HOME 變量（在.bashrc清除所啟節(jié)點(diǎn)中root用戶的JAVA_HOME環(huán)境變量：清空.bashrc文件，并拷貝至全集11中）群所有節(jié)點(diǎn)7.重新登錄曾經(jīng)安裝過IntelManager 的

26、節(jié)點(diǎn)以清除環(huán)境變量中對Java的引用8.清除MySQL的數(shù)據(jù)文件mysql數(shù)據(jù)文件是存 放在drbd中的，就 可以忽略此步驟9.刪除節(jié)點(diǎn)中其余Hadoop 相關(guān)目錄/usr/include/hadoop /var/run/hadoop, /var/run/hbase, /etc/hadoop, /etc/hive, /etc/hbase10.清除CDH依賴包（沒有安裝過CDH ,跳過此步驟）/etc/alternatives/hadoop-*, hbase-*, hive-*由于安裝CDH帶來 的影響，在生產(chǎn)環(huán)境 中/、需要執(zhí)行 /usr/lib64/cmf /mnt/diskN/yarn /

27、mnt/diskN/impala /usr/lib/hue /var/lib/impala zypper rm-yoracle-j2sdk1.711.卸載 MySQL相關(guān)包查看安裝的mysql相關(guān)的包(zypper se mysql ),并做清理 zypper rm-y mysql-clientmysel-java-connectorlibmysqlclient15Cloudera 5.2.1 最好 安裝MySQL 5.5以上 的包，所以為避免版 本沖突，需要卸載老 版本的mysql相關(guān)包9.卸載所有節(jié)點(diǎn)的jdk （可選）Cloudera Enterprise會自行安裝JDK3.2.安裝 Cl

28、oudera Enterprise為Hive元數(shù)據(jù)安裝MySQL步驟說明121.選擇一個節(jié)點(diǎn)安裝 MySQL數(shù)據(jù)庫，（建議 安裝在獨(dú)立的節(jié)點(diǎn)上）； 若要實(shí)現(xiàn)MySQL的局可 用性，可以參照MySQL 高可用配置文檔rpm -ivh Mysql-server-5.5.41- 1.sles11.x86_64.rpm Mysql- client-5.5.41-1.sles11.x86_64.rpmchkconfig mysql on service mysql start在 SUSE11 SP2 中建議選擇 MySQL 5.5 的 版本，Cloudera Navigator 對止匕 有特殊需求2.運(yùn)

29、行mysql_secure_installation ,配置root用戶訪問數(shù) 據(jù)庫的密碼，禁止遠(yuǎn)程機(jī) 器以root用戶登錄，禁止 匿名登錄/usr/bin/mysql_secure_insta11ati on.創(chuàng)建root訪問數(shù)據(jù)庫的密碼.禁止遠(yuǎn)程機(jī)器以root用戶登錄.禁止以匿名方式登錄數(shù)據(jù)庫$ sudo/usr/bin/mysql_secure_insta11ation.Enter current password for root(enter for none):OK, successfully used password, moving on.Set root password? Y

30、/n yNew password: 123456Re-enter new password:Remove anonymous users?Y/n Y.Disallow root login remotely?Y/n N.Remove test database andaccess to it Y/n Y.13Reload privilege tables now? Y/n Y All done!3.創(chuàng)建metastore 數(shù)據(jù)庫mysql -u root - password= -e create database metastore default character set utf8;4.

31、創(chuàng)建 ClouderaEnterprise Hive 訪問MySQL metastore 庫的用戶名和密碼mysql -u root - password= -e CREATE USER hive% IDENTIFIED BY 123456;GRANT ALL PRIVILEGES ON metastore. * TO hive%;FLUSH PRIVILEGES;5.創(chuàng)建其它組件用的數(shù)據(jù) 庫，包括：Cloudera Manager server , Activity Monitor , Reports Manager , Hive Metastore Server , Sentry Serv

32、er ,Cloudera Navigator Audit Server , Cloudera Navigator Metadata Server6.將備份的mysqldump文件拷貝到安裝了MySQL的節(jié)點(diǎn)上scp metastore.sqlroot:7.將mysqldump 文件中 的虛擬主機(jī)名替換成 NameNode 的實(shí)際主機(jī) 名如：seds/ /g metastore.sql8.將mysqldump 文件導(dǎo)入metastore 數(shù)據(jù)庫mysql -u root - password=hive metastore.sql安裝 Cloudera Manager Server步驟說明操作1.

33、下載安裝 包CDH Parcel: http:archive- /cdh5/parcels /5.2.1/Cloudera Manager: http:archive-/cm5/redhat/6/x86_64/cm/5.2.1/RPMS/x86_64/2.配置本地 軟件庫（可 以在一個非 集群節(jié)點(diǎn)或 者選為 Cloudera Manager 的 節(jié)點(diǎn)）安裝apache httpd服務(wù)，并啟動服務(wù)拷貝 pacel包和json 文件至 /var/www/html/cdh5_2_1_el6;拷貝 cloudera manager RPM 包 至/var/www/html/cm5_2_1_el6,并執(zhí)

34、行 createrepo .下載的parcel包后可 能在通過web訪問時 list不出來，可以將 parcel包和對應(yīng)的 json文件拷貝一遍3.在要作為ClouderaManager 的節(jié)點(diǎn)上配置yumCM-5_2_1name=Cloudera ManagerRepositorybaseurl=http:/cm5 _2_1_el6enabled=115gpgcheck=04.關(guān)閉所有 主機(jī)的 iptables , 并禁用 SELinuxservice iptables stopchkconfig iptables offsetenforce 0#edit /etc/sysconfig/se

35、linuxSELINUX=disabled5.為所后主 機(jī)配置正確 的DNS配直并檢查/etc/hosts 文件6.在ClouderaManager 節(jié)點(diǎn)上安裝JDKzypper install oracle-j2sdk1.77.在選擇作 為 Cloudera Manager 的 節(jié)點(diǎn)上安裝 軟件zypper install oracle-j2sdk1.7 zypper install -y cloudera- manager-daemons cloudera- manager-server8.（若選擇 使用外部數(shù) 據(jù)庫）安裝 配置外部數(shù) 據(jù)庫因?yàn)樵诖酥耙呀?jīng)安裝 MySQL ,這步 可以忽略

36、。9.（僅適合 非遷移安 裝）安裝 MySQL數(shù)據(jù) 庫yum install-y mysql-server11.（僅適合 非遷移安 裝）運(yùn)行$ sudo/usr/bin/mysql_secure_installation .16mysql- secureinstallation 程序Enter current password for root (enter for none):OK, successfully used password, moving on.Set root password? Y/n yNew password:Re-enter new password:Remove a

37、nonymous users? Y/n Y.Disallow root login remotely? Y/nN.Remove test database and accessto it Y/n Y.Reload privilege tables now? Y/n Y All done!12.（僅適合 非遷移安 裝）創(chuàng)建 Hive Metastore 數(shù)據(jù)庫mysql -u root -password= -e create databaseDEFAULT CHARACTER SET utf8 ;數(shù)據(jù)庫名PJ以是metastore13.（僅適合 非遷移安 裝）創(chuàng)建訪 問 Hive Metast

38、ore 庫的用戶并 授權(quán)mysql -u root -password= -e CREATE USER % IDENTIFIED BY; GRANT ALL PRIVILEGES ON . * TO % IDENTIFIED BY ; GRANT ALL PRIVILEGES ON . *用戶名可以是Hiveuser ,密碼是 password17TO localhostIDENTIFIED BY ;FLUSH PRIVILEGES;14.（僅適合 非遷移安 裝）創(chuàng)建Cloudera Manager 數(shù)據(jù)庫mysql -u root -password= -e create databaseD

39、EFAULT CHARACTER SET utf8 ;數(shù)據(jù)庫名pJ以是cloudera_manager15.（僅適合 非遷移安 裝）創(chuàng)建訪問 Cloudera Manager 庫的用戶并授 權(quán)mysql -u root -password= -e CREATE USER% IDENTIFIED BY ; GRANT ALL PRIVILEGES ON . * TO % IDENTIFIEDBY ; FLUSH PRIVILEGES;用戶名可以是manager ,密碼是 password16.在所后需 要訪問MySQL數(shù)據(jù) 庫的客戶端 上安裝Mysql- Connectorjavacp mysq

40、l-connector-java-5.1.34.jar /usr/share/java/ln -s mysql-connector-java-5.1.34.jar mysql-connector-java.jar1817.為ClouderaManager 配置外部數(shù)據(jù)庫/usr/share/cmf/schema/scm_prepare_database.sh -h-h 可以不指定，默認(rèn)是 localhostDB_TYPE 可以是 mysql, oracleDATABASE 即為之前為 ClouderaManager配置的數(shù)據(jù)庫USERNAME/PASSWORD 即為可以訪問這個數(shù)據(jù)庫的用戶啟動

41、 Cloudera Manager 并安裝 CDH步驟說明操作1.啟動 ClouderaManagerservice cloudera-scm-server start2.登錄 ClouderaManager以 admin/admin 用戶登錄管理界面3.開始執(zhí)行CDH的安 裝向?qū)О惭b過程如后續(xù)截圖19登錄 Cloudera Manager選擇相應(yīng)的版本并繼續(xù):圖10搜索并添加機(jī)器:20era e己rw 3elTA 1小 JTlU1W r J UMH Ji * -Til.出h寸!1H乂5國 j11tLi mu nr .二j*icrr -. =00 Hrii.T，：ne |-ni4rn II京

42、|T圖11選擇機(jī)器并繼續(xù):r b xphiiic IOO0SFV manage r為CDH辟梟豆做挎土土卬.CRt力廣.gjmHHirt + T足3里 ：X - 司hik *廿塞Nh二乙廠上害：_s .1 rliTL-n，-3生E8處山81改】二HM.r虹1?M 1 I上上比FiWW+方T1mrEi岬六用如1 #Fi：3c-Lri JhITt I|r -ITi-a -fl- fi.1- -Ehwu iT-： r，*n：V7力*共量3Ji-ilSJiE!士皿 d .*“士伊M憶甯 帆*J上劇曲V受雕，3/BlRj 力71：* I * Idn -. WJWHUI軻m* pH1-i . jtEHIJ

43、t/Ll、 . -s-f.加 .*LJ.*.Ln 匚-I： J，=_!1.A，Hhf.si.dif e lla ?FTJ i * 1 仲IZ .- ( fT” “ = qLLH-ai再3/-： n圖14刪除不想用的庫:22修.誦-flCM : 5 fteM-M Nirtr 注日聲 J VriTS .；* 1 5.VBFMF-工-J +f/JE圖15添加自己的庫工戈暇j I-青 ，。4；：%,40海-11-L*1.TH 叫7.3一廣：!里卡士 K=_i|-KJLG二:下MN. 51 但小二小- H-titm已 pmk- J （ T:F!T .4博1界4，/都比制的rMh*則fi4附I7E/河聲一

44、看葉方*F工，7：*rj=沌一久日一跟 lirrj.r ini）134f7r: i 】港 W JU 一一帖T*UfFLB!EW . .1 11斤y wt I：-h 孫M 風(fēng)土=：a. , T*.l 恥 SU $mii bt/ 4tm m Hrtlw f *1 WMdJ小 U.l bitiI I l14靠3 r.圖16Parcel庫添加成功，在“選擇 CDH的版本項(xiàng)”就會出現(xiàn)自己配置的CDH Parcel ;并添力口 Cloudera Manager 庫，輸入之前配置的 Cloudera Manager 庫地址：23。53.修明*11.m,一居/依*工,白苗，1： 丁51G,，便稈二. ji *

45、 am許尸m“ i . N LW-IE.M但可配電用:去.TP Arpp寸-1，J _占不!死以nE fI：-，仃 4l4lr lliMKMlwl.D!HI：l.lHFm iijgp.cjuh.t -1二滬M，r圖19下載并分發(fā)Parcel包:群集安裝王也金女坨走餐歸期/Mig* F h?t圖20主機(jī)正確性檢查和組件版本審查:25時策安蕓噌玄土布!鞘!1匚/峭kTW匯.Je/村肯工人I/ 任女主乜百六Nt& ,氣,m_.j 迎1m04.口比市上去2才基.5J 拒 F，tEKsUJ * ifln / f “ st手 ：1：.3-j m Li-r i n J ji*=zi )*u，&J叩 H i*

46、s,J*陽上J *，隔1甲什十57 .L|-0. 僧：wwi*N-r*、*4 J * 汗* * 1# 1 7諦. Whan皿 iHK樽 J*h 一2吊產(chǎn)史乜Xi .*. i 州二, Y Jfc - tf.fl w-r.,弋,&：氏鼻木_*1&_1 條Lt.1*，Ait, 3-TULVRKfl Ji市 UI nipt qr CwniCM* KtTTJl 4弓 TFhrtli T , h -V-.ir* A 4*t i - * ；噌工，.&回m h.j ft產(chǎn)口r irr *y i行 ” 彳口口，/ 薩a t；vt4 全m*, *3F E* fa 47軍/*以用；：口.17*.42中14* IMK

47、5Ff9照書一9，Jh - ；!?, fl t- H- *若圖213 g 5CCHfi1U.1l-1 J ；7、r -ii4 diiKi I* 5fM.XWITHGDH 三整mru rKjfccmiiCJDCdnfi.l.Z C1C ：l：7芯 IHt：MK九k，U4正工H。i !LW J .|kl A杷跖c,sesi -1輸w1cT5-上$3EHHEV 1 -| hii& |rtri；w- % G B-5 =i r i| p -TTi - p-iHl-hl.”1l+M&1 11 b . |7.th -1=31 !l%iWit公示3 1 u-ji a -方HurilEkWDM b .?. cd

48、E-I.Z C1 c i-5 J.F? EBHHW mill：.dH，N - -+! 1 l!-*h j-：l )：Q.UE45口、UeiET 的1dl5agFar7_ E_ZD cd v：. I.Z, 3C1 ci-5 J.p 2HH心i-h1： Uf 1.-t!1 rs*R * kJll*2 Irrs.iQ-dfcl.i2-aL1 u J b . xJ 2HHE圖22選擇包含有HBase的服務(wù)組合，盡量選擇和 IDH 一樣的集合:26，標(biāo)KFS YifiJ Muu工- 2-K1XJ.-. Cjljj T*.j 恥人口*包TH-力山看11 21 i. 丫“ N Zj： M*T lT；W；bl

49、 /4|K|NEH I IHW , 11all4 i：m R 11 91#付寸 Ui?。碰干 產(chǎn)啦-：可 叫而 jkr.nrRjk.占lFS呻霽驚ll：l；i 丫小；H * hliji HTir- ?；蚪2小向修春ll；l Yrf N .F Mmh imiEh!I inrfh-|R1 , VI bN 每聊3RM加向inr5- y*h .imxLvigklii RlbHi 3|jnnpH ilwhi. imf4vi -rbR*:nEnfi*r產(chǎn)卜七口_：甘也工-咕匚力EiF 耳3篙斗 工、？:4.心一1 H. rftc-r ： AMT 工喈，f rZM的kM r,FllflllT nil- TJ

50、 中 和，二：K二 1 Ja Ilk ； ；|-.F EHI 4百.圖233.2.4.*給集群節(jié)點(diǎn)分配角色在自定義角色分配頁面：確保您在idh中得角色分配以同樣的方式分配給cdh ,例如：如果節(jié)點(diǎn)在 idh中是datanode ,它在cdh中也應(yīng)該是 datanode ,注意cdh會又一些idh中沒有的角色， 這種情況下您可以按照您的想法隨意分配。您將會從 mapreduce V1 切換到y(tǒng)arn ,因此，所有以前是 idh tasktracker 的節(jié)點(diǎn)應(yīng)該 成 為 cdh 的 nodemanager , idh 的 jobtracker 節(jié)點(diǎn)應(yīng) 該成為 cdh 的 resourcemana

51、ger 節(jié)點(diǎn)。至關(guān)重要的是， idh 中的 namenode 節(jié)點(diǎn)也應(yīng)是 cdh 中namenode 節(jié)點(diǎn)同樣重要的是： idh 中得 secondary namenode節(jié)點(diǎn)也應(yīng)是 cdh 中的 secondarynamenode 節(jié)點(diǎn)。對于 hdfs ,只分配 datanode , namenode ,和 secondary namenode的角色，其他的 hdfs角色您必須確保沒有分配給其他節(jié)點(diǎn)HBase、Hive的角色分配:27sr RE方:依*為安力士&*外加產(chǎn)a-r密：-W.:他叫*廿in-0制電才生aYWFKk Ti5,*也mW;兌+Mv，+ 4 M：_占U3a K中$Q包 g

52、盤日r/匕噌m工廠工.*=h皿，hm g* . y -. r泅3 issriH-A.-33 幅3ML SueIH1巴mEm1*4 IK力1Ti S- O |= 5?1 ti.F 十口工IF十才k -r 3- C |5t &n -rB HCf-5IT H產(chǎn) r+71：rl.喑UrrTM、工 ” r g ll- Ifli F MF 1 1 務(wù)起n Hpis,5- W,43IV 1； JL：LUi -一*TI I-tA?U、卻皿Wq m i制界F.心 , ；i* H%.q XhB * 93時i aw州火牖匕。辦用網(wǎng)士六曠7 F-1 4網(wǎng) EHIfl HwU3 * hrBr、I 訴理ik ida)rTRk.圖24t-1Alr.fh Vfl-iwr -r:tmg| l |-#f hv ri!* M ，Wt*iJJI 1*|1中 .23F, W 7Rli&)L(IITvHIk翩ir-ilH-ilh1 H:qi iriiinlraniIkxrmr