傳智播客-培訓(xùn)課程1orientation

1、高級(jí)軟件人才實(shí)作培訓(xùn)專家!Hadoop深入淺出講師:吳超博客：QQ:3774 86624北京傳智播客教育 高級(jí)軟件人才實(shí)作培訓(xùn)專家!答疑解惑就業(yè)前景學(xué)習(xí)hadoop有什么基礎(chǔ)hadoop會(huì)影響javaEE工作嗎hadoop會(huì)像塞班一樣，熱一陣子嗎hadoop學(xué)習(xí)起來容易還是困難課堂上的學(xué)習(xí)方法(所有試驗(yàn)必須按照要求做、重原理、重實(shí)踐)通過本課程能學(xué)到什么高級(jí)軟件人才實(shí)作培訓(xùn)專家!課程簡(jiǎn)介l 以真實(shí)的電信詳單分析程序?yàn)橹骶€，講解Hadoop,Hbase,Hive在大數(shù)據(jù)處理的應(yīng)用場(chǎng)景與過程。l 通過此課程，你能1. 掌握Hadoop基本知識(shí)，

2、進(jìn)行Hadoop的HDFS和MapReduce應(yīng)用開發(fā)，搭建Hadoop集群。2. 掌握Hbase基本知識(shí)，搭建Hbase集群，Hbase的基本操作3.高級(jí)軟件人才實(shí)作培訓(xùn)專家!7天課程體系Day1 搭建偽分布實(shí)驗(yàn)環(huán)境Day2 介紹HDFS體系結(jié)構(gòu)及shell、java操作方式Day3 介紹MapReduce體系結(jié)構(gòu)及各種算法(1) Day4 介紹MapReduce體系結(jié)構(gòu)及各種算法(2) Day5 介紹Hadoop集群、zookeeper操作Day6 介紹HBase體系結(jié)構(gòu)及基本操作Day7 介紹Hive、sqoop體系結(jié)構(gòu)及基本操作和最后項(xiàng)機(jī)遇高級(jí)軟件人才實(shí)作培訓(xùn)專家!機(jī)遇高級(jí)軟件人才實(shí)作

3、培訓(xùn)專家!機(jī)遇高級(jí)軟件人才實(shí)作培訓(xùn)專家!高級(jí)軟件人才實(shí)作培訓(xùn)專家!第一天 課程安排l Hadoop項(xiàng)目簡(jiǎn)介*l 搭建Hadoop的偽分布環(huán)境*l 使用eclipse查看hadoop源碼*高級(jí)軟件人才實(shí)作培訓(xùn)專家!高級(jí)軟件人才實(shí)作培訓(xùn)專家!高級(jí)軟件人才實(shí)作培訓(xùn)專家!Hadoop是什么?適合大數(shù)據(jù)的分布式存儲(chǔ)與計(jì)算平臺(tái)l 作者：Doug Cuttingl 受Google三篇論文的啟發(fā)高級(jí)軟件人才實(shí)作培訓(xùn)專家!版本l Apache官方版本(1.1.2)l Cloudera使用下載最多的版本，穩(wěn)定，有商業(yè)支持，在Apache的基礎(chǔ)上打上了一些patch。推薦使用。l YahooYahoo內(nèi)部使用的版本

4、，發(fā)布過兩次，已有的版本都放到了Apache上，后續(xù)不在繼續(xù)發(fā)布，而是集中在Apache的版本上。高級(jí)軟件人才實(shí)作培訓(xùn)專家!Hadoop核心項(xiàng)目l HDFS: Hadoop Distributed File System 分布式文件系統(tǒng)l MapReduce：并行計(jì)算框架高級(jí)軟件人才實(shí)作培訓(xùn)專家!HDFS的架構(gòu)l 主從結(jié)構(gòu) 主節(jié)點(diǎn)，只有一個(gè): namenode 從節(jié)點(diǎn)，有很多個(gè): datanodesl namenode負(fù)責(zé)： 接收用戶操作請(qǐng)求 維護(hù)文件系統(tǒng)的目錄結(jié)構(gòu) 管理文件與block之間關(guān)系，block與datanode之間關(guān)系l datanode負(fù)責(zé)： 存儲(chǔ)文件 文件被分成block存儲(chǔ)

5、在磁盤上 為保證數(shù)據(jù)安全，文件會(huì)有多個(gè)副本高級(jí)軟件人才實(shí)作培訓(xùn)專家!MapReduce的架構(gòu)l 主從結(jié)構(gòu) 主節(jié)點(diǎn)，只有一個(gè): JobTracker 從節(jié)點(diǎn)，有很多個(gè): TaskTrackersl JobTracker負(fù)責(zé)： 接收客戶提交的計(jì)算任務(wù) 把計(jì)算任務(wù)分給TaskTrackers執(zhí)行 監(jiān)控TaskTracker的執(zhí)行情況l TaskTrackers負(fù)責(zé)： 執(zhí)行JobTracker分配的計(jì)算任務(wù)高級(jí)軟件人才實(shí)作培訓(xùn)專家!Hadoop的特點(diǎn)擴(kuò)容能力（Scalable）：能可靠地（reliably）存儲(chǔ)和處理千兆字節(jié)（PB）數(shù)據(jù)。成本低（Economical）：可以通過普通機(jī)器組成的服務(wù)器群來

6、分發(fā)以及處理數(shù)據(jù)。這些服務(wù)器群總計(jì)可達(dá)數(shù)千個(gè)節(jié)點(diǎn)。高效率（Efficient）：通過分發(fā)數(shù)據(jù)，hadoop可以在數(shù)據(jù)所在的節(jié)點(diǎn)上并行地（parallel）處理它們， 這使得處理非常的快速?？煽啃裕≧eliable）：hadoop能自動(dòng)地維護(hù)數(shù)據(jù)的多份副本，并且在任務(wù)失敗后能自動(dòng)地重新部署（redeploy）計(jì)算任務(wù)。llll16高級(jí)軟件人才實(shí)作培訓(xùn)專家!Hadoop集群的物理分布高級(jí)軟件人才實(shí)作培訓(xùn)專家!單節(jié)點(diǎn)物理結(jié)構(gòu)高級(jí)軟件人才實(shí)作培訓(xùn)專家!l 本地模式l 偽分布模式l 集群模式Hadoop部署方式高級(jí)軟件人才實(shí)作培訓(xùn)專家!l VitualVoxl rhel-server-6.3-i386-

7、dvd.isol jdk-6u24-linux-xxx.binl hadoop-1.1.2.tar.gz安裝前準(zhǔn)備軟件高級(jí)軟件人才實(shí)作培訓(xùn)專家!l 關(guān)閉l 修改ipl 修改hostnamel 設(shè)置ssh自動(dòng)登錄l 安裝jdkl 安裝hadoop偽分布模式安裝步驟高級(jí)軟件人才實(shí)作培訓(xùn)專家!1.hadoop-env.shexport JAVA_HOME=/usr/local/jdk/2.hdfs:/hadoop0:9000change your own hostnamehadoop.tmp.dir/usr/local/hadoop/tmp修改

8、hadoop配置文件3.hdfs-site.xmldfs.replication1dfs.permissionsfalse4.mapred-site.xmlmapred.job.trackerhadoop0:9001change your own hostname高級(jí)軟件人才實(shí)作培訓(xùn)專家!高級(jí)軟件人才實(shí)作培訓(xùn)專家!再執(zhí)行start-all.sh啟動(dòng)hadoop高級(jí)軟件人才實(shí)作培訓(xùn)專家!瀏覽hadoop高級(jí)軟件人才實(shí)作培訓(xùn)專家!高級(jí)軟件人才實(shí)作培訓(xùn)專家!練習(xí)：搭建偽分布環(huán)境高級(jí)軟件人才實(shí)作培訓(xùn)專家!思考題l 培養(yǎng)目標(biāo)是什么l hadoop是什么l hadoop的核心組成是什么，分別解釋一下l 安

9、裝偽分布模式的步驟l hadoop的目錄包括哪些，分別解釋一下l 如何運(yùn)行jar包中的hadoop程序28高級(jí)軟件人才實(shí)作培訓(xùn)專家!解壓縮文件tar xzvf xxx常用linux命令修改passwd xxx查看磁盤空間df -ah查看進(jìn)程ps -ef |grep殺掉進(jìn)程kill -9修改環(huán)境變量vi /etc/profile修改主機(jī)名vi /etc/sysconfig/networkvi /etc/hosts修改ip地址vi /etc/sysconfig/network- scripts/ifcfg-eth0service iptables stopchkconfig iptables off關(guān)閉setenforce permissive修改/etc/selinux/config關(guān)閉s