Hadoop應(yīng)用開發(fā)-Hadoop商業(yè)發(fā)行版

第九章Hadoop商業(yè)發(fā)行版

1知識點(diǎn)回顧Hadoop三.x概述Hadoop三.x相對于Hadoop二.x地改JDK升級EC技術(shù)YARN優(yōu)化支持多NameNodeDataNode內(nèi)部負(fù)載均衡端口號地改變Hadoop三.x其它新特2本講知識點(diǎn)Hadoop集群管理地挑戰(zhàn)CDH與ClouderaManager概述ClouderaManager及CDH離線安裝部署集群部署規(guī)劃安裝前地準(zhǔn)備工作安裝與配置CDH部署搭建Hadoop集群啟用高可用ClouderaManager地功能其它商業(yè)發(fā)行版3Hadoop集群管理地挑戰(zhàn)成百上千地硬件組件,數(shù)以千計(jì)地配置信息與無窮盡地排列組合決定了集群地復(fù)雜,它地復(fù)雜程度給我們對Hadoop集群地管理帶來了巨大地挑戰(zhàn)。Hadoop生態(tài)系統(tǒng)不是各個(gè)組件地簡單堆疊,它地組件與服務(wù)都是相關(guān)地,我們需要對所有地重要信息了如指掌,僅僅獲取單個(gè)服務(wù)地信息是不夠地。工作流程復(fù)雜并且容易出錯(cuò),問題解決耗時(shí)低效。缺乏一致與可重復(fù)地管理過程,Hadoop手工管理不僅費(fèi)時(shí),費(fèi)力,而且不可靠。ApacheHadoop雖然完全開源免費(fèi),但也存在版本管理混亂,部署過程煩瑣,升級過程復(fù)雜,兼容差,安全低等諸多問題。4CDH與ClouderaManager概述CDH概述CDH（ClouderaDistributionHadoop）是Cloudera公司提供地Hadoop商業(yè)發(fā)行版。CDH是對Hadoop集群環(huán)境行監(jiān)控與管理地企業(yè)級大數(shù)據(jù)臺。它能夠方便地對Hadoop集群行自動(dòng)化安裝,心化管理,集群監(jiān)控與報(bào)警。5CDH與ClouderaManager概述CDH概述CDH地基本架構(gòu)如下所示。6CDH與ClouderaManager概述CDH概述CDH地主要特征:通過統(tǒng)一地臺對集群行部署,監(jiān)控,故障排查,維護(hù)分析。全面,統(tǒng)一地安全體系從身份認(rèn)證,權(quán)限管理,審計(jì)與加密等方面保障信息安全。無縫集成與管理第三方工具與組件。滿足任意規(guī)模地Hadoop集群生產(chǎn)與管理要求。版本劃分清晰,版本更新速度快。監(jiān)控,優(yōu)化作業(yè)與查詢能。7CDH與ClouderaManager概述ClouderaManager概述ClouderaManager（簡稱）是一個(gè)用于管理CDH集群地端到端地應(yīng)用程序,能夠在集群行Hadoop等大數(shù)據(jù)處理有關(guān)地服務(wù)安裝與監(jiān)控管理。它地主要特點(diǎn)如下:大數(shù)據(jù)處理有關(guān)服務(wù)安裝過程自動(dòng)化,部署時(shí)間從幾周縮短到幾分鐘。為我們提供集群范圍內(nèi)地主機(jī)與正在運(yùn)行地服務(wù)地實(shí)時(shí)視圖。提供了單個(gè)控制臺,方便我們在整個(gè)集群執(zhí)行配置更改。整合了各種報(bào)告與診斷工具,可以幫助我們優(yōu)化集群地能與利用率,提高服務(wù)質(zhì)量,提高合規(guī)并降低管理成本。8CDH與ClouderaManager概述ClouderaManager概述地架構(gòu)如下所示:9CDH與ClouderaManager概述ClouderaManager概述地主要組件:Server:Server是ClouderaManager地核心,它托管AdminConsoleWebServer與應(yīng)用程序邏輯,負(fù)責(zé)安裝軟件,配置,啟動(dòng)與停止服務(wù)以及管理運(yùn)行服務(wù)地群集。Agent:Agent安裝在每臺主機(jī)上,它負(fù)責(zé)啟動(dòng)與停止程,解壓縮配置,觸發(fā)安裝與監(jiān)控主機(jī)。Agent與ClouderaManagerServer通過心跳機(jī)制行通信,默認(rèn)情況下,Agent每隔一五秒向ClouderaManagerServer發(fā)送一次心跳。但是,為了減少用戶等待地時(shí)間,在狀態(tài)變化時(shí)頻率會(huì)增加。10CDH與ClouderaManager概述ClouderaManager概述地主要組件:ManagementService:由一組角色組成地服務(wù),這些角色執(zhí)行各種監(jiān)控,警報(bào)與報(bào)告功能。Database:用于存儲(chǔ)配置與監(jiān)視信息。ClouderaRepository:是由ClouderaManager分發(fā)地軟件地存儲(chǔ)庫。Clients:與服務(wù)器互地接口,包括AdminConsole與API。AdminConsole:管理員控制臺（基于Web地UI）,用于管理員管理集群與ClouderaManager。API:開發(fā)員使用API創(chuàng)建自定義ClouderaManager應(yīng)用程序。11CDH與ClouderaManager概述ClouderaManager概述地基本概念12CDH與ClouderaManager概述ClouderaManager概述地基本概念deploymentrackservice與serviceinstancerole,roleinstance與rolegroupparcelstaticservicepooldynamicresourcepool13CDH與ClouderaManager概述ClouderaManager概述deploymentdeployment是ClouderaManager及其管理地所有集群地配置。rackrack通常是指由同一換機(jī)提供服務(wù)地物理實(shí)體,它包含了一組物理主機(jī)。parcel包含已編譯代碼與元信息（如包描述,版本與依賴項(xiàng)）地二制分發(fā)格式。14CDH與ClouderaManager概述ClouderaManager概述service與serviceinstanceservice是ClouderaManager地托管功能類別,有時(shí)也被稱為服務(wù)類型,這些服務(wù)運(yùn)行在集群,可能是分布式地,也可能單節(jié)點(diǎn)地。在ClouderaManager,serviceinstance是集群運(yùn)行地服務(wù)地實(shí)例。15CDH與ClouderaManager概述ClouderaManager概述role,roleinstance與rolegrouprole是指service地一類功能,有時(shí)也被稱為角色類型。在ClouderaManager,roleinstance是在主機(jī)上運(yùn)行地角色地實(shí)例,它通常映射到Unix程,可以通過jps命令查看。在ClouderaManager,角色組是指一組角色實(shí)例地一組配置屬,這是一種將配置分配給一組角色實(shí)例地機(jī)制。16CDH與ClouderaManager概述ClouderaManager概述staticservicepoolClouderaManager跨一組服務(wù)對總集群資源（CPU,內(nèi)存與I/O權(quán)重）行地靜態(tài)分區(qū)。17CDH與ClouderaManager概述ClouderaManager概述dynamicresourcepool在ClouderaManager,命名地資源配置與用于池運(yùn)行地YARN應(yīng)用程序或Impala查詢地資源調(diào)度地策略。ClouderaManager地動(dòng)態(tài)資源池支持以下方案YARN-YARN管理虛擬內(nèi)核,內(nèi)存,運(yùn)行地應(yīng)用程序,未聲明地子池地最大資源以及每個(gè)池地調(diào)度策略。Impala-

Impala管理池運(yùn)行查詢地內(nèi)存,并限制每個(gè)池正在運(yùn)行與排隊(duì)查詢地?cái)?shù)量。18ClouderaManager及CDH離線部署CDH有關(guān)組件角色信息19模塊組件管理角色工作角色系統(tǒng)部署與管理ClouderaManagerClouderaManagerserverClouderaManageragent

Hostmonitor

Servicemonitor

Reportsmanager

Eventserver

數(shù)據(jù)存儲(chǔ)HDFSNameNodeDataNode

SecondaryNameNode

JournalNode

FailoberController

資源管理YARNResourceManagerNodeManager

JobHistoryServer

ClouderaManager及CDH離線部署集群環(huán)境所需軟件規(guī)劃20軟件版本安裝包MySQL數(shù)據(jù)庫五.六.四五mysql-munity-release-el七-五.noarch.rpmMySQL地JDBC驅(qū)動(dòng)五.一.一五mysql-connector-java-五.一.一五.tar.gzClouderaManager五.一四.四cloudera-manager-centos七-五.一四.四_x八六_六四.tar.gzCDHCDH-五.一四.四CDH-五.一四.四-一.cdh五.一四.四.p零.三-el七.parcelCDH-五.一四.四-一.cdh五.一四.四.p零.三-el七.parcel.sha一manifest.jsonClouderaManager及CDH離線部署集群部署規(guī)劃21IP地址主機(jī)名稱HDFS（HA）Yarn（HA）其它服務(wù)一九二.一六八.一零零.一零一node一ServerAgentNameNodeDataNodeJournalNodeResourceManagerNodeManagerZooKeeper,MySQL,HTTP,NTP,JDK一九二.一六八.一零零.一零二node二AgentDataNodeJournalNodeNodeManagerResourceManagerZooKeeper,NTP,JDK一九二.一六八.一零零.一零三node三AgentDataNodeNameNodeJournalNodeNodeManagerZooKeeper,NTP,JDKClouderaManager及CDH離線部署安裝前地準(zhǔn)備工作設(shè)置靜態(tài)IP修改主機(jī)名設(shè)置主機(jī)hosts文件關(guān)閉防火墻與SElinux設(shè)置SSH免密碼登錄配置時(shí)間同步服務(wù)22ClouderaManager及CDH離線部署前置軟件安裝JDK安裝安裝HTTP服務(wù)安裝httpd服務(wù)命令:yum-yinstallhttpd啟動(dòng)http服務(wù)命令:systemctlstarthttpd設(shè)置開機(jī)自啟動(dòng)命令:systemctlenablehttpd安裝MySQL數(shù)據(jù)庫下載mysqlyumRepository:wgethttp://repo.mysql./mysql-munity-release-el七-五.noarch.rpm安裝mysqlyum:rpm-ivhmysql-munity-release-el七-五.noarch.rpm23ClouderaManager及CDH離線部署前置軟件安裝安裝MySQL數(shù)據(jù)庫一.安裝mysql服務(wù):yuminstallmysql-munity-server二.啟動(dòng)mysql:systemctlstartmysqld三.重置mysql地用戶密碼:setpasswordfor‘root’@‘localhost’=password(‘root’)創(chuàng)建遠(yuǎn)程登錄用戶grantallon*.*toroot@"%"identifiedby"root";

24ClouderaManager及CDH離線部署前置軟件安裝安裝MySQLJDBC驅(qū)動(dòng)程序一.下載:wgethttps://dev.mysql./get/Downloads/Connector-J/mysql-connector-java-五.一.一五.tar.gz二.解壓:tar-zxvfmysql-connector-java-五.一.一五.tar.gz三.將mysql-connector-java-五.一.一五-bin.jar復(fù)制到/usr/share/java目錄下mkdir-p/usr/share/javacpmysql-connector-java-五.一.一五-bin.jar\/usr/share/java/mysql-connector-java.jar

25ClouderaManager及CDH離線部署安裝與配置下載下載地址:http://archive.cloudera./五//五/

解壓至/opt/opt/cloudera-manager目錄下mkdir-p/opt/cloudera-managertar-zxvfcloudera-manager-centos七-五.一四.四_x八六_六四.tar.gz-C/opt/cloudera-manager/26ClouderaManager及CDH離線部署安裝與配置修改config.ini文件（從節(jié)點(diǎn)）vim/opt/cloudera-manager/-五.一四.四/etc/cloudera-s-agent/config.ini27ClouderaManager及CDH離線部署安裝與配置創(chuàng)建cloudera-s用戶（所有節(jié)點(diǎn)）useradd--system--home=/opt/cloudera-manager/-五.一四.一/run/cloudera-s-server--no-create-home--shell=/bin/false--ment"ClouderaSUser"cloudera-s數(shù)據(jù)庫配置/opt/cloudera-manager/-五.一四.四/share/f/schema/s_prepare_database.shmysql-hnode一-uroot-proot--s-hostnode一sss28ClouderaManager及CDH離線部署CDH部署下載下載地址:http://archive.cloudera./cdh五/parcels29ClouderaManager及CDH離線部署CDH部署創(chuàng)建parcel-repo與parcels目錄主節(jié)點(diǎn)執(zhí)行命令:mkdir-p/opt/cloudera/parcel-repochowncloudera-s:cloudera-s/opt/cloudera/parcel-repo/從節(jié)點(diǎn)執(zhí)行命令:mkdir-p/opt/cloudera/parcelschowncloudera-s:cloudera-s/opt/cloudera/parcels/30ClouderaManager及CDH離線部署CDH部署下載地安裝文件移動(dòng)到/opt/cloudera/parcel-repo/目錄mv/root/softwares/CDH-五.一四.四-一.cdh五.一四.四.p零.三-el七.parcel/opt/cloudera/parcel-repo/mv/root/softwares/CDH-五.一四.四-一.cdh五.一四.四.p零.三-el七.parcel.sha一/opt/cloudera/parcel-repo/CDH-五.一四.四-一.cdh五.一四.四.p零.三-el七.parcel.shamv/root/softwares/manifest.json/opt/cloudera/parcel-repo/31ClouderaManager及CDH離線部署ClouderaManager搭建Hadoop集群啟動(dòng)Server/opt/cloudera-manager/-五.一四.四/etc/init.d/cloudera-s-serverstart啟動(dòng)Agent/opt/cloudera-manager/-五.一四.四/etc/init.d/cloudera-s-agentstart32ClouderaManager及CDH離線部署ClouderaManager搭建Hadoop集群登錄:主節(jié)點(diǎn)IP:七一八零(用戶名與密碼均為admin)選擇免費(fèi)版33ClouderaManager及CDH離線部署ClouderaManager搭建Hadoop集群選擇安裝主機(jī)節(jié)點(diǎn)及CDH版本34ClouderaManager及CDH離線部署ClouderaManager搭建Hadoop集群選擇自定義服務(wù)組件分配角色35ClouderaManager及CDH離線部署ClouderaManager搭建Hadoop集群設(shè)置ClouderaManager數(shù)據(jù)庫（第一次安裝）啟動(dòng)各項(xiàng)服務(wù)36ClouderaManager及CDH離線部署啟動(dòng)HDFSHA點(diǎn)擊"操作"菜單下地"啟用HighAvailability"菜單分配角色設(shè)置NameNode地?cái)?shù)據(jù)目錄與JournalNode地編輯目錄37ClouderaManager及CDH離線部署啟動(dòng)YARNHA點(diǎn)擊"操作"菜單下地"啟用HighAvailability"菜單分配角色38ClouderaManager地功能基本核心功能管理功能批量自動(dòng)化部署節(jié)點(diǎn)可視化地參數(shù)配置功能智能參數(shù)驗(yàn)證以及優(yōu)化權(quán)限管理診斷功能周期服務(wù)診斷日志采集及檢索系統(tǒng)能使用報(bào)告39ClouderaManager地功能基本核心功能監(jiān)控功能服務(wù)監(jiān)控行為監(jiān)控活動(dòng)報(bào)警日志與報(bào)告40ClouderaManager地功能基本核心功能集成功能安全配置ClouderaManagerAPI一.通過編程部署整個(gè)Hadoop集群;二.配置各種Hadoop服務(wù)驗(yàn)證;三.開展服務(wù)與角色地管理行為,如啟動(dòng),停止,重新啟動(dòng),故障轉(zhuǎn)移等;四.通過具有智能化服務(wù)地健康檢查與指標(biāo)來監(jiān)控服務(wù)與主機(jī);五.監(jiān)控用戶地工作與其它集群活動(dòng);六.檢索基于時(shí)間序列地度量數(shù)據(jù);七.搜索Hadoop系統(tǒng)內(nèi);八.管理ClouderaManager自身;九.將Hadoop集群地整個(gè)部署描述下載為一個(gè)JSON文件。SNMP集成41ClouderaManager地功能高級功能軟件滾動(dòng)升級參數(shù)版本控制備份及容災(zāi)系統(tǒng)BDP數(shù)據(jù)審計(jì)安全集成向?qū)?2其它商業(yè)發(fā)行版HDPHDP（HortonworksDat