




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、高級軟件人才實作培訓(xùn)專家!Hadoop深入淺出講師:吳超博客:QQ:3774 86624北京傳智播客教育 高級軟件人才實作培訓(xùn)專家!答疑解惑就業(yè)前景學(xué)習(xí)hadoop有什么基礎(chǔ)hadoop會影響javaEE工作嗎hadoop會像塞班一樣,熱一陣子嗎hadoop學(xué)習(xí)起來容易還是困難課堂上的學(xué)習(xí)方法(所有試驗必須按照要求做、重原理、重實踐)通過本課程能學(xué)到什么高級軟件人才實作培訓(xùn)專家!課程簡介l 以真實的電信詳單分析程序為主線,講解Hadoop,Hbase,Hive在大數(shù)據(jù)處理的應(yīng)用場景與過程。l 通過此課程,你能1. 掌握Hadoop基本知識,
2、進行Hadoop的HDFS和MapReduce應(yīng)用開發(fā),搭建Hadoop集群。2. 掌握Hbase基本知識,搭建Hbase集群,Hbase的基本操作3.高級軟件人才實作培訓(xùn)專家!7天課程體系Day1 搭建偽分布實驗環(huán)境Day2 介紹HDFS體系結(jié)構(gòu)及shell、java操作方式Day3 介紹MapReduce體系結(jié)構(gòu)及各種算法(1) Day4 介紹MapReduce體系結(jié)構(gòu)及各種算法(2) Day5 介紹Hadoop集群、zookeeper操作Day6 介紹HBase體系結(jié)構(gòu)及基本操作Day7 介紹Hive、sqoop體系結(jié)構(gòu)及基本操作和最后項機遇高級軟件人才實作培訓(xùn)專家!機遇高級軟件人才實作
3、培訓(xùn)專家!機遇高級軟件人才實作培訓(xùn)專家!高級軟件人才實作培訓(xùn)專家!第一天 課程安排l Hadoop項目簡介*l 搭建Hadoop的偽分布環(huán)境*l 使用eclipse查看hadoop源碼*高級軟件人才實作培訓(xùn)專家!高級軟件人才實作培訓(xùn)專家!高級軟件人才實作培訓(xùn)專家!Hadoop是什么?適合大數(shù)據(jù)的分布式存儲與計算平臺l 作者:Doug Cuttingl 受Google三篇論文的啟發(fā)高級軟件人才實作培訓(xùn)專家!版本l Apache官方版本(1.1.2)l Cloudera使用下載最多的版本,穩(wěn)定,有商業(yè)支持,在Apache的基礎(chǔ)上打上了一些patch。推薦使用。l YahooYahoo內(nèi)部使用的版本
4、,發(fā)布過兩次,已有的版本都放到了Apache上,后續(xù)不在繼續(xù)發(fā)布,而是集中在Apache的版本上。高級軟件人才實作培訓(xùn)專家!Hadoop核心項目l HDFS: Hadoop Distributed File System 分布式文件系統(tǒng)l MapReduce:并行計算框架高級軟件人才實作培訓(xùn)專家!HDFS的架構(gòu)l 主從結(jié)構(gòu) 主節(jié)點,只有一個: namenode 從節(jié)點,有很多個: datanodesl namenode負責(zé): 接收用戶操作請求 維護文件系統(tǒng)的目錄結(jié)構(gòu) 管理文件與block之間關(guān)系,block與datanode之間關(guān)系l datanode負責(zé): 存儲文件 文件被分成block存儲
5、在磁盤上 為保證數(shù)據(jù)安全,文件會有多個副本高級軟件人才實作培訓(xùn)專家!MapReduce的架構(gòu)l 主從結(jié)構(gòu) 主節(jié)點,只有一個: JobTracker 從節(jié)點,有很多個: TaskTrackersl JobTracker負責(zé): 接收客戶提交的計算任務(wù) 把計算任務(wù)分給TaskTrackers執(zhí)行 監(jiān)控TaskTracker的執(zhí)行情況l TaskTrackers負責(zé): 執(zhí)行JobTracker分配的計算任務(wù)高級軟件人才實作培訓(xùn)專家!Hadoop的特點擴容能力(Scalable):能可靠地(reliably)存儲和處理千兆字節(jié)(PB)數(shù)據(jù)。成本低(Economical):可以通過普通機器組成的服務(wù)器群來
6、分發(fā)以及處理數(shù)據(jù)。這些服務(wù)器群總計可達數(shù)千個節(jié)點。高效率(Efficient):通過分發(fā)數(shù)據(jù),hadoop可以在數(shù)據(jù)所在的節(jié)點上并行地(parallel)處理它們, 這使得處理非常的快速。可靠性(Reliable):hadoop能自動地維護數(shù)據(jù)的多份副本,并且在任務(wù)失敗后能自動地重新部署(redeploy)計算任務(wù)。llll16高級軟件人才實作培訓(xùn)專家!Hadoop集群的物理分布高級軟件人才實作培訓(xùn)專家!單節(jié)點物理結(jié)構(gòu)高級軟件人才實作培訓(xùn)專家!l 本地模式l 偽分布模式l 集群模式Hadoop部署方式高級軟件人才實作培訓(xùn)專家!l VitualVoxl rhel-server-6.3-i386-
7、dvd.isol jdk-6u24-linux-xxx.binl hadoop-1.1.2.tar.gz安裝前準(zhǔn)備軟件高級軟件人才實作培訓(xùn)專家!l 關(guān)閉l 修改ipl 修改hostnamel 設(shè)置ssh自動登錄l 安裝jdkl 安裝hadoop偽分布模式安裝步驟高級軟件人才實作培訓(xùn)專家!1.hadoop-env.shexport JAVA_HOME=/usr/local/jdk/2.hdfs:/hadoop0:9000change your own hostnamehadoop.tmp.dir/usr/local/hadoop/tmp修改
8、hadoop配置文件3.hdfs-site.xmldfs.replication1dfs.permissionsfalse4.mapred-site.xmlmapred.job.trackerhadoop0:9001change your own hostname高級軟件人才實作培訓(xùn)專家!高級軟件人才實作培訓(xùn)專家!再執(zhí)行start-all.sh啟動hadoop高級軟件人才實作培訓(xùn)專家!瀏覽hadoop高級軟件人才實作培訓(xùn)專家!高級軟件人才實作培訓(xùn)專家!練習(xí):搭建偽分布環(huán)境高級軟件人才實作培訓(xùn)專家!思考題l 培養(yǎng)目標(biāo)是什么l hadoop是什么l hadoop的核心組成是什么,分別解釋一下l 安
9、裝偽分布模式的步驟l hadoop的目錄包括哪些,分別解釋一下l 如何運行jar包中的hadoop程序28高級軟件人才實作培訓(xùn)專家!解壓縮文件tar xzvf xxx常用linux命令修改passwd xxx查看磁盤空間df -ah查看進程ps -ef |grep殺掉進程kill -9修改環(huán)境變量vi /etc/profile修改主機名vi /etc/sysconfig/networkvi /etc/hosts修改ip地址vi /etc/sysconfig/network- scripts/ifcfg-eth0service iptables stopchkconfig iptables off關(guān)閉setenforce permissive修改/etc/selinux/config關(guān)閉s
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 抖音商戶直播投流ROI評估與優(yōu)化制度
- 全球生物制藥行業(yè)2025年創(chuàng)新藥研發(fā)管線與靶點深度報告
- 八大物流企業(yè)綠色物流實踐與行業(yè)規(guī)范制定報告
- 黑龍江中醫(yī)藥大學(xué)《藥用植物學(xué)實驗》2023-2024學(xué)年第一學(xué)期期末試卷
- 公眾參與機制在2025年環(huán)境影響評價中的實踐與反思報告
- 2025屆江蘇省無錫市青陽初級中學(xué)七年級數(shù)學(xué)第一學(xué)期期末監(jiān)測試題含解析
- 安慶醫(yī)藥高等??茖W(xué)校《醫(yī)學(xué)微生物與臨床微生物檢驗學(xué)》2023-2024學(xué)年第一學(xué)期期末試卷
- 內(nèi)蒙古自治區(qū)赤峰市翁牛特旗烏敦套海中學(xué)2024年九年級化學(xué)第一學(xué)期期末復(fù)習(xí)檢測試題含解析
- 2024-2025學(xué)年天津市河西區(qū)新華圣功學(xué)校九上化學(xué)期末復(fù)習(xí)檢測試題含解析
- 黑龍江幼兒師范高等專科學(xué)?!吨袊幕ㄕ摗?023-2024學(xué)年第一學(xué)期期末試卷
- 2025年6月22日四川省市直事業(yè)單位遴選筆試真題及答案解析
- 慶陽市隴東學(xué)院招聘事業(yè)編制筆試真題2024
- 心理學(xué)考試題及答案
- 護理領(lǐng)域的職業(yè)發(fā)展與前景展望
- 2025上海濟光職業(yè)技術(shù)學(xué)院輔導(dǎo)員考試試題及答案
- 2024年江蘇三支一扶真題
- 主、被動防護網(wǎng)施工方案-圖文
- 2025年初中語文文學(xué)常識:???00題匯編
- 君易和文化課件
- 藥食同源106種25年4月更新
評論
0/150
提交評論