《大數(shù)據(jù)導(dǎo)論》課件-第二章

大數(shù)據(jù)導(dǎo)論大數(shù)據(jù)導(dǎo)論Spark基本介紹目錄01什么是Spark

02Spark的特點(diǎn)03Spark的重要角色什么是Spark？Spark是一種基于內(nèi)存的快速、通用、課擴(kuò)展的大數(shù)據(jù)分析引擎。定義：什么是Spark？Spark特色通用兼容性快易用Spark的重要角色把用戶程序轉(zhuǎn)為作業(yè)(JOB)跟蹤Executor的運(yùn)行狀況為執(zhí)行器節(jié)點(diǎn)調(diào)度任務(wù)UI展示應(yīng)用運(yùn)行狀況。Driver(驅(qū)動(dòng)器)負(fù)責(zé)運(yùn)行組成Spark應(yīng)用的任務(wù),并將結(jié)果返回給驅(qū)動(dòng)器進(jìn)程通過(guò)自身的塊管理器(BlockManager)為用戶程序中要求緩存的RDD提供內(nèi)存式存儲(chǔ)。Executor(執(zhí)行器)下面我們進(jìn)入Spark部署步驟詳解平臺(tái)搭建操作sparkstandalone集群模式部署大數(shù)據(jù)導(dǎo)論目錄sparkstandalone集群模式部署上傳、解壓、壓縮包前提：jdk環(huán)境已完成配置防火墻已關(guān)閉zookeeper已完成配置解壓spark包到指定的目錄tarzxvf包名-C指定路徑文件配置（cd/usr/loacl/src/spark/conf/）1.修改文件名spark-env.sh.template為spark-env.sh2.進(jìn)入spark-env.sh文末添加以下配置exportJAVA_HOME=/usr/local/src/jdkexportSPARK_MASTER_HOST=masterexportSPARK_MASTER_PORT=7073.修改文件名slaves.template為slaves4.進(jìn)入slaves添加以下從節(jié)點(diǎn)主機(jī)名slave01slave02文件分發(fā)，從節(jié)點(diǎn)同步以上配置scp-r/usr/local/src/spark/conf/*root@hoat002:/usr/local/src/spark/conf/scp-r/usr/local/src/spark/conf/*root@hoat003:/usr/local/src/spark/conf/啟動(dòng)在sbin目錄下執(zhí)行啟動(dòng)集群 ./start-all.sh啟動(dòng)worker ./start-slave.sh啟動(dòng)master ./start-master.sh 使用主節(jié)點(diǎn)ip地址接端口號(hào)8080進(jìn)行訪問(wèn)sparkHA部署大數(shù)據(jù)導(dǎo)論目錄sparkHA部署基于上節(jié)課的操作將conf目錄下的spark-env.sh文件進(jìn)行修改注釋以下兩行代碼exportSPARK_MASTER_HOST=masterexportSPARK_MASTER_PORT=7077再添加以下代碼exportSPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER-Dspark.deploy.zookeeper.url=master,slave01,slave02-Dspark.deploy.zookeeper.dir=/spark"文件分發(fā)同步以上配置scp-r/usr/local/src/spark/conf/spark-env.shroot@host001:/usr/local/src/spark/conf/scp-r/usr/local/src/spark/conf/spark-env.shroot@host001:/usr/local/src/spark/conf/啟動(dòng)zookeeperzkServer.shstart啟動(dòng)sparkha./start-all.sh從節(jié)點(diǎn)執(zhí)行start-master.sh 使用主節(jié)點(diǎn)ip地址接端口號(hào)8080進(jìn)行訪問(wèn)Zookeeper組件搭建配置大數(shù)據(jù)導(dǎo)論目錄Zookeeper組件搭建配置zookeeper配置解壓zookeeper的壓縮包到指定的路徑下tarzxf/usr/local/src/zookeeper-3.4.5.tar.gz-C/usr/local/src/mvzookeeper-3.4.5zookeeper

環(huán)境變量配置vi/etc/profileexportZK_HOME=/usr/local/src/zookeeperexportPATH=$PATH:$ZK_HOME/bin執(zhí)行source/etc/profile生效Cd/usr/local/src/zookeeper/conf修改文件名zoo_sample.cfg為zoo.cfg在dataDir寫(xiě)入zoopeeker的路徑dataDir=/usr/local/src/zookeeper/zk_data/并在文末添加以下配置server.100=master:2888:3888 server.200=slave01:2888:3888server.300=slave02:2888:3888##2888：數(shù)據(jù)交換端口##3888：選舉信息端口配置zoo.cfgCd/usr/local/src/zookeeper/conf修改文件名zoo_sample.cfg為zoo.cfg在dataDir寫(xiě)入zoopeeker的路徑dataDir=/usr/local/src/zookeeper/zk_data/并在文末添加以下配置server.100=master:2888:3888 server.200=slave01:2888:3888server.300=slave02:2888:3888##2888：數(shù)據(jù)交換端口##3888：選舉信息端口在zoopeeker下創(chuàng)建路徑zk_datamkdir-p/usr/local/src/zookeeper/zk_data配置zoo.cfg分發(fā)文件，將zookeeper的文件同步到其他節(jié)點(diǎn)上scp-r/usr/local/src/zookeeperroot@slave01:/usr/local/src/scp-r/usr/local/src/zookeeperroot@slave02:/usr/local/src/scp/etc/profileroot@slave01:/etc/profilescp/etc/profileroot@slave02:/etc/profileslave01為200slave02為300source/etc/profile分發(fā)文件再在zk_data下創(chuàng)建myid文件寫(xiě)入上面配置的id號(hào)master為100啟動(dòng)啟動(dòng) zkServer.shstart查看狀態(tài) zkServer.shstatus查看進(jìn)程 jpsQuorumPeerMain大數(shù)據(jù)導(dǎo)論Spark基本介紹目錄01什么是Spark

02Spark的特點(diǎn)03Spark的重要角色什么是Spark？Spark是一種基于內(nèi)存的快速、通用、課擴(kuò)展的大數(shù)據(jù)分析引擎。定義：什么是Spark？Spark特色通用兼容性快易用Spark的重要角色把用戶程序轉(zhuǎn)為作業(yè)(JOB)跟蹤Executor的運(yùn)行狀況為