大數(shù)據(jù)hadoop storm hive等系列教程

1、WARN util.NativeCoader: Unable to load native-hadoop library for your platform. using builtin-java classes where applicable主從機(jī)構(gòu)主：jobtracker從：tasktracker四個(gè)階段：1、 Split2、 Mapper：key-value（對(duì)象） 3、 Shufflea)分區(qū)（partition，HashPartition：根據(jù) key 的 hashcode 值 和 Reduce 的數(shù)量 模運(yùn)算），可以自定義分區(qū)，運(yùn)算速度要快。一定要解決數(shù)據(jù)傾斜和 reduce 的

2、負(fù)載均衡。b)排序：默認(rèn)按照字典排序。partor（比較）合并：減少當(dāng)前 mapper 輸出數(shù)據(jù)，根據(jù) key 相同（比較），把分組（key 相同（比較），value 組成一個(gè)集合）（merge）4、 Reducea)輸入數(shù)據(jù)：key + 迭代器value 進(jìn)行合并。Hadoop2.5 HA 搭建四臺(tái)機(jī)器：hadoop1，hadoop2，hadoop3，hadoop41.core-site.xmlfs.defaultFShdfs:/bjsxtha.zookeeper.quorumhadoop1:2181,hadoop2:2181,hadoop3:2181NNDNZKZKFCJNRMNM（任務(wù)管

3、理）Hadoop1YYYHadoop2YYYYYYYHadoop3YYYYHadoop4YYYhadoop.tmp.dir/op hdfs-site.xmldoop2.dameservibjsxtnodes.bjsxtnn1,nn2damenodc-address.bjsxt.nn1hadoop1:8020damenodc-address.bjsxt.nn2hadoop2:8020damenode.http-address.bjsxt.nn1hadoop1:50070damenode.http-address.bjsxt.nn2hadoop2:50070damenode.shared.edit

4、s.dirqjournal:/hadoop2:8485;hadoop3:8485;hadoop4:8485/t.failovvider.bjsxte.node.ha.ConfiguredFailovroxyProvider/valudfs.ha.fencing.methodssshfencedfs.ha.fencing.ssh.private-key-files/root/.ssh/id_dsadfs.journalnode.edits.dir/opdoop/datadfs.ha.automatic-failover.enabledtrue準(zhǔn)備 zookeeper三臺(tái) zookeeper：ha

5、doop1，hadoop2，hadoop3編輯 zoo.cfg 配置文件3.修改 dataDir=/opt/zookeeper server.1=hadoop1:2888:3888 server.2=hadoop2:2888:3888server.3=hadoop3:2888:3888i.ii.c)在 dataDir 目錄中創(chuàng)建一個(gè) myid 的文件，文件內(nèi)容為 1，2，3配置 hadoop 中的 slaves啟動(dòng)三個(gè) zookeeper：./zkServer.sh start啟動(dòng)三個(gè) JournalNode：./hadoop-daemon.sh start journalnode.8.在其中一個(gè) namenode 上格式化：hdamenode -format把剛剛格式化之后的元數(shù)據(jù)拷貝到另外一個(gè) namenode 上a)啟動(dòng)剛剛格式化的 namenode :hadoop-daemone.sh start namenode在沒(méi)有格式化的 namenode 上執(zhí)行：hd啟動(dòng)第二個(gè) namenode在其中一個(gè) namenode 上初始化 zkfc