單元8 任務(wù)8.2-數(shù)據(jù)倉庫Hive部署與應(yīng)用

《大數(shù)據(jù)平臺(tái)部署與運(yùn)維》單元8

數(shù)據(jù)倉庫Hive部署與應(yīng)用01理解Hive的原理與體系架構(gòu)02掌握Hive的部署方法學(xué)習(xí)目標(biāo)03掌握Hive格式化和啟動(dòng)相關(guān)命令任務(wù)8.2部署Hive遠(yuǎn)程模式學(xué)習(xí)任務(wù)任務(wù)8.2部署Hive遠(yuǎn)程模式【任務(wù)場景】小張：經(jīng)理，我已經(jīng)完成了Hive的安裝部署，采用的本地模式，目前把元數(shù)據(jù)庫MySQL和Hive都安裝到了一個(gè)節(jié)點(diǎn)上。經(jīng)理：這樣可能存在安全隱患，基于公司的Hadoop集群，我建議最好把元數(shù)據(jù)庫和Hive分開部署在不同節(jié)點(diǎn)上，也就是采用遠(yuǎn)程模式進(jìn)行部署。小張：好的，我盡快改造完成。經(jīng)理：好。任務(wù)8.2部署Hive遠(yuǎn)程模式【任務(wù)布置】此任務(wù)要求完成Hive遠(yuǎn)程模式的安裝和部署，將Hive的元數(shù)據(jù)庫和Hive服務(wù)器安裝在不同的機(jī)器節(jié)點(diǎn)上。安裝完成后啟動(dòng)Hive的后臺(tái)服務(wù)，客戶端進(jìn)行連接和訪問Hive。任務(wù)8.2部署Hive遠(yuǎn)程模式Hive遠(yuǎn)程模式部署：是指遠(yuǎn)程部署MySQL數(shù)據(jù)庫來代替Hive自帶的Derby數(shù)據(jù)庫，使得Hive服務(wù)器和元數(shù)據(jù)MySQL服務(wù)器運(yùn)行在不同的節(jié)點(diǎn)上，Hive服務(wù)和MetaStore服務(wù)運(yùn)行在不同的進(jìn)程或不同機(jī)器上。Hive遠(yuǎn)程模式是企業(yè)實(shí)際產(chǎn)生環(huán)境下常用的一種部署方式，安裝部署過程比本地模式相對復(fù)雜一些，訪問方式也不太一樣，需要特別注意。

此任務(wù)需要完成Hive遠(yuǎn)程模式的安裝，基于已經(jīng)完成Hadoop集群部署的三臺(tái)機(jī)器master、worker1和worker2進(jìn)行部署。Hive遠(yuǎn)程模式安裝部署的規(guī)劃如下表所示：節(jié)點(diǎn)名稱用途masterHiveClient客戶端worker1HiveServer服務(wù)器worker2元數(shù)據(jù)服務(wù)器：安裝MySQLServer任務(wù)8.2部署Hive遠(yuǎn)程模式遠(yuǎn)程模式需要在hive-site.xml配置文件中將hive.metastore.local設(shè)置為false，并將hive.metastore.uris設(shè)置為MetaStore服務(wù)器URI，如有多個(gè)MetaStore服務(wù)器，URI之間用逗號(hào)分隔。MetaStore服務(wù)器URI的格式為thrift://host:port，如下所示：

其實(shí)僅連接遠(yuǎn)程的MySQL元數(shù)據(jù)庫服務(wù)器并不能稱之為“遠(yuǎn)程模式”，是否遠(yuǎn)程指的是MetaStore和Hive服務(wù)是否在同一進(jìn)程內(nèi)，也就是說，“遠(yuǎn)”指的是MetaStore服務(wù)和Hive服務(wù)離得“遠(yuǎn)”。

<property> <name>hive.metastore.uris</name> <value>thrift://127.0.0.1:9083</value></property>任務(wù)8.2部署Hive遠(yuǎn)程模式【工作流程】部署Hive遠(yuǎn)程模式的主要工作流程包括：1.在master和worker1節(jié)點(diǎn)部署Hive；2.worker1作為hiveserver進(jìn)行配置；3.master作為客戶端進(jìn)行配置；4.在worker2節(jié)點(diǎn)上安裝MySQL服務(wù)器；5.啟動(dòng)Hive。任務(wù)8.2部署Hive遠(yuǎn)程模式【操作步驟】1.在master和worker1節(jié)點(diǎn)部署Hive將Hive安裝包下載并存放到master節(jié)點(diǎn)的/usr/local/soft目錄下，下面先在master節(jié)點(diǎn)中對hive進(jìn)行解壓，然后將其復(fù)制到worker1節(jié)點(diǎn)中。（1）master節(jié)點(diǎn)中創(chuàng)建工作路徑，并解壓Hive到此路徑下，操作命令如下：mkdir-p/usr/hivetar-zxvf/usr/local/soft/apache-hive-2.1.1-bin.tar.gz-C/usr/hive/（2）接下來在worker1節(jié)點(diǎn)上建立文件夾/usr/hive，將master中的Hive解壓包遠(yuǎn)程復(fù)制到worker1。scp-r/usr/hive/apache-hive-2.1.1-binroot@worker1:/usr/hive/（3）在master和worker1節(jié)點(diǎn)修改/etc/profile文件，設(shè)置Hive環(huán)境變量。在/etc/profile文件中增加以下兩行：exportHIVE_HOME=/usr/hive/apache-hive-2.1.1-binexportPATH=$PATH:$HIVE_HOME/bin

運(yùn)行以下命令使環(huán)境變量生效：source/etc/profile任務(wù)8.2部署Hive遠(yuǎn)程模式2.worker1作為hiveserver進(jìn)行配置（1）worker1節(jié)點(diǎn)為Hive服務(wù)器端需要和元數(shù)據(jù)庫MySQL通信，所以worker1節(jié)點(diǎn)需要使用MySQL的驅(qū)動(dòng)jar包，可以在網(wǎng)上下載mysql-connector-java-5.1.25-bin.jar驅(qū)動(dòng)包，并將此驅(qū)動(dòng)包拷貝到worker1節(jié)點(diǎn)的$HIVE_HOME/lib目錄下。（2）修改worker1節(jié)點(diǎn)的hive-env.sh文件中HADOOP_HOME環(huán)境變量。進(jìn)入hive配置目錄，因?yàn)閔ive中已經(jīng)給出配置文件的范本hive-env.sh.template，直接將其復(fù)制一份進(jìn)行修改即可，主要命令如下所示：cd$HIVE_HOME/confcphive-env.sh.templatehive-env.shvimhive-env.sh（3）編輯hive-env.sh文件，根據(jù)hadoop的實(shí)際安裝路徑配置HADOOP_HOME環(huán)境變量，在文件中添加如下一行：HADOOP_HOME=/usr/local/hadoop/（4）在worker1節(jié)點(diǎn)的$HIVE_HOME/conf目錄下新建hive-site.xml，并配置hive-site.xml文件的內(nèi)容：vimhive-site.xml任務(wù)8.2部署Hive遠(yuǎn)程模式

在hive-site.xml文件中添加以下內(nèi)容：

<configuration> <!--Hive產(chǎn)生的元數(shù)據(jù)存放位置--> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive_remote/warehouse</value> </property> <!--數(shù)據(jù)庫連接JDBC的URL地址--> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://worker2:3306/hive?createDatabaseIfNotExist=true</value>#連接MySQL所在的ip（主機(jī)名）及端口

</property> <!--數(shù)據(jù)庫連接driver，即MySQL驅(qū)動(dòng)--> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property>

任務(wù)8.2部署Hive遠(yuǎn)程模式<!--MySQL數(shù)據(jù)庫用戶名--> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <!--MySQL數(shù)據(jù)庫密碼--> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> </property><property><name>hive.metastore.schema.verification</name><value>false</value></property><property><name>datanucleus.schema.autoCreateAll</name><value>true</value></property></configuration>任務(wù)8.2部署Hive遠(yuǎn)程模式3.master作為客戶端進(jìn)行配置（1）由于客戶端需要和Hadoop通信，首先需要解決Hive和Hadoop通信jar包版本沖突和jar包依賴問題。更改Hadoop中jline的版本。即保留一個(gè)高版本的jlinejar包，從hive的lib包中拷貝到Hadoop中$HADOOP_HOME/share/hadoop/yarn/lib目錄下。執(zhí)行命令如下：cp/usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar/usr/local/hadoop/share/hadoop/yarn/lib/（2）接下來，修改master節(jié)點(diǎn)的hive-env.sh中HADOOP_HOME環(huán)境變量：HADOOP_HOME=/usr/local/hadoop（3）在master節(jié)點(diǎn)創(chuàng)建hive-site.xml文件，文件中配置內(nèi)容如下：<configuration><!--Hive產(chǎn)生的元數(shù)據(jù)存放位置--><property><name>hive.metastore.warehouse.dir</name><value>/user/hive_remote/warehouse</value></property><!---使用本地服務(wù)連接Hive,默認(rèn)為true--><property><name>hive.metastore.local</name><value>false</value></property>任務(wù)8.2部署Hive遠(yuǎn)程模式

<!--連接服務(wù)器--> <property> <name>hive.metastore.uris</name> <value>thrift://worker1:9083</value>#hive客戶端通過thrift服務(wù)器服務(wù)連接MySQL數(shù)據(jù)庫，這里的thrift服務(wù)器就是worker1的ip（主機(jī)名）

</property></configuration>4.在worker2節(jié)點(diǎn)上安裝MySQL服務(wù)器MySQL服務(wù)器的安裝方法具體可以參照本項(xiàng)目任務(wù)1中MySQL安裝和配置相關(guān)內(nèi)容，在此不再重復(fù)贅述。5.啟動(dòng)Hive經(jīng)過以上的安裝和配置，Hive的遠(yuǎn)程模式即部署完成，接下來將按照以下步驟完成Hive啟動(dòng)。（1）worker1作為服務(wù)器端，執(zhí)行以下命令開啟hiveserver：bin/hive--servicemetastore任務(wù)8.2部署Hive遠(yuǎn)程模式（2）master作為客戶端，在客戶端執(zhí)行以下命令啟動(dòng)Hive。hive【小提示】啟動(dòng)命令為全小寫。（3）在hive客戶端下運(yùn)行showdatabases命令，測試Hive是否啟動(dòng)成功：? hive>showdatabases;通過上圖可以看出，master節(jié)點(diǎn)作為hive客戶