數(shù)據(jù)倉庫Hive應(yīng)用實戰(zhàn) 教案101-104課時：部署和配置Sqoop

湖南汽車工程職業(yè)學院教師授課教案第13周第5-8課時累計104課時課程名稱數(shù)據(jù)倉庫HIVE應(yīng)用授課課題部署和配置Sqoop授課專業(yè)班級大數(shù)據(jù)2101班、2102班、2103班教學目標1、能闡述清楚Sqoop的原理和架構(gòu)；2、能根據(jù)需求配置部署好Sqoop；3、能驗證Sqoop配置是否成功。教學要點教學重點安裝、配置Sqoop教學難點配置驗證Sqoop課型一體化授課教法與學法（教具）示范演示法、任務(wù)驅(qū)動教學法、分組合作教學法課后作業(yè)完成超星平臺作業(yè)、看視頻熟練操作教學后記（教師課后填寫）1、學生在編寫代碼容易出錯；2、鼓勵學生之間要克服麻痹大意的不良習慣，要培養(yǎng)細心規(guī)范的職業(yè)素養(yǎng)；3、掌握思維導圖對于知識體系構(gòu)建的重要性。授課教師王海霞、黃史記【課前復(fù)習】常見的自定義函數(shù)有哪些，各有什么用？【作業(yè)點評】展示超星平臺學生作業(yè)完成情況，并做點評?！緦W習目標】以“學生信息系統(tǒng)”項目為實操載體，完成配置部署好Sqoop并能驗證Sqoop配置是否成功?！菊n程導入】在大數(shù)據(jù)應(yīng)用項目的開發(fā)設(shè)計、應(yīng)用分析和管理決策實施過程中，我們常需要進行數(shù)據(jù)的遷移整合，由于有時數(shù)據(jù)存儲在Hive中，也可能存儲在MySQL中，那如何將數(shù)據(jù)匯總存儲到同一個平臺呢？數(shù)據(jù)遷移工具Sqoop可以實現(xiàn)在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(MySQL)間進行數(shù)據(jù)的傳遞。?！拘抡n講授】一、Sqoop介紹Sqoop是SQL-to-Hadoop的簡稱，是用于在Hadoop和關(guān)系數(shù)據(jù)庫服務(wù)器之間傳送數(shù)據(jù)的工具，主要在Hadoop生態(tài)組件如Hive、Hbase、HDFS與傳統(tǒng)數(shù)據(jù)庫如MySQL、Oracle、Postgres等之間進行數(shù)據(jù)傳遞，應(yīng)用Sqoop工具可以將關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)導入Hadoop的HDFS中，也可以將HDFS中數(shù)據(jù)導出到關(guān)系型數(shù)據(jù)庫中。Sqoop1和Sqoop2的功能區(qū)別如下表所示：表7-SEQ表7-\*ARABIC1Sqoop1和Sqoop2的功能區(qū)別功能Sqoop1Sqoop2用于所有主要RDBMS的連接器支持不支持解決辦法：使用已在以下數(shù)據(jù)庫上執(zhí)行測試的通用JDBC連接器：MicrosoftSQLServer、PostgreSQL、MySQL和Oracle。

Kerberos安全集成支持不支持數(shù)據(jù)從RDBMS傳輸至Hive或HBase支持不支持

解決辦法：按照此兩步方法操作。將數(shù)據(jù)從RDBMS導入HDFS在Hive中使用相應(yīng)的工具和命令（例如LOADDATA語句），手動將數(shù)據(jù)載入Hive或HBase數(shù)據(jù)從Hive或HBase傳輸至RDBMS不支持解決辦法：按照此兩步方法操作。從Hive或HBase將數(shù)據(jù)提取至HDFS（作為文本或Avro文件）使用Sqoop將上一步的輸出導出至RDBMS不支持

按照與Sqoop1相同的解決方法操作Sqoop架構(gòu)關(guān)系型數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫（MySQL、Oracle）Hadoop（HDFS、Hive、Hbase）Import數(shù)據(jù)導入Export數(shù)據(jù)導出Sqoop工具圖7-SEQ圖7-\*ARABIC2Sqoop工作流程圖【講練結(jié)合】Sqoop是apache的頂級項目，是一款開源工具，我們可以直接在官網(wǎng)下載Sqoop安裝包，使用secureFX工具將下載的安裝包上傳到hive服務(wù)器，然后配置sqoop的環(huán)境變量，編輯Sqoop配置文件，最后上傳msyql驅(qū)動，測試是否能夠連接MySQL，為實現(xiàn)數(shù)據(jù)遷移準備好環(huán)境。本任務(wù)實施依次完成部署Sqoop、配置Sqoop的操作。部署SqoopSqoop相關(guān)發(fā)行版本可以通過其官網(wǎng)/dist/sqoop/下載，本書使用1.4.7版本，包文件名為：sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz。第1步，使用secureFX工具將下載的Sqoop文件sqoop-1.4.7.bin__hadoop-2.6.0.tar上傳至hive服務(wù)器的hadoop用戶家目錄下的software中。[hadoop@hive~]$ll/home/hadoop/software/|grepsqoop-rw-rw-r--.1hadoophadoop179536046月2108:46sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz第2步，使用tar命令解壓sqoop-1.4.7.bin__hadoop-2.6.0.tar至hadoop用戶家目錄下server中并重命名：[hadoop@hivesoftware]$tar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C~/server/[hadoop@hive~]$mv~/server/sqoop-1.4.7.bin__hadoop-2.6.0/~/server/sqoop-1.4.7/【講練結(jié)合】配置Sqoop第1步，在/etc/profile文件中設(shè)置Sqoop環(huán)境變量并生效。[hadoop@hive~]$sudovi/etc/profileexportSQOOP_HOME=/home/hadoop/server/sqoop-1.4.7exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$SQOOP_HOME/bin[hadoop@hive~]$source/etc/profile第2步，配置$SQOOP_HOME下bin/configure-sqoop文件。修改bin/configure-sqoop配置文件，注釋文件中關(guān)于HBase、Zookeeper等檢查，如下所示：[hadoop@hive~]$vi/home/hadoop/server/sqoop-1.4.7/bin/configure-sqoop#if[!-d"${HBASE_HOME}"];then#echo"Warning:$HBASE_HOMEdoesnotexist!HBaseimportswillfail."#echo'Pleaseset$HBASE_HOMEtotherootofyourHBaseinstallation.'#fi##Movedtobearuntimecheckinsqoop.#if[!-d"${HCAT_HOME}"];then#echo"Warning:$HCAT_HOMEdoesnotexist!HCatalogjobswillfail."#echo'Pleaseset$HCAT_HOMEtotherootofyourHCataloginstallation.'#fi#if[!-d"${ACCUMULO_HOME}"];then#echo"Warning:$ACCUMULO_HOMEdoesnotexist!Accumuloimportswillfail."#echo'Pleaseset$ACCUMULO_HOMEtotherootofyourAccumuloinstallation.'#fi#if[!-d"${ZOOKEEPER_HOME}"];then#echo"Warning:$ZOOKEEPER_HOMEdoesnotexist!Accumuloimportswillfail."#echo'Pleaseset$ZOOKEEPER_HOMEtotherootofyourZookeeperinstallation.'#fi第3步，配置$SQOOP_HOME下conf/sqoop-env.sh文件。當不存在sqoop-env.sh文件時，復(fù)制sqoop-env-template.sh文件，然后修改為sqoop-env.sh配置文件，并添加配置信息，如下所示：[hadoop@hive~]$cd/home/hadoop/server/sqoop-1.4.7/conf[hadoop@hiveconf]$cpsqoop-env-template.shsqoop-env.sh[hadoop@hiveconf]$visqoop-env.shexportHADOOP_COMMON_HOME=/home/hadoop/server/hadoop-2.9.2exportHADOOP_MAPRED_HOME=/home/hadoop/server/hadoop-2.9.2exportHIVE_HOME=/home/hadoop/server/apache-hive-2.3.4-bin第4步，驗證Sqoop版本信息。[hadoop@hive~]$sqoopversion21/08/1905:58:23INFOsqoop.Sqoop:RunningSqoopversion:1.4.7Sqoop1.4.7gitcommitid2328971411f57f0cb683dfb79d19d4d19d185dd8CompiledbymauglionThuDec2115:59:58STD2017第5步，將mysql驅(qū)動包拷貝到$SQOOP_HOME的lib目錄下。[hadoop@hivelib]$ll/home/hadoop/server/sqoop-1.4.7/lib|grepmysql-rw-rw-r--.1hadoophadoop10048402月262018mysql-connector-java-5.1.46-bin.jar第6步，測試連接MySQL，通過sqooplist-databases