數(shù)據(jù)倉(cāng)庫(kù)Hive應(yīng)用實(shí)戰(zhàn) 教案41-44課時(shí)-導(dǎo)入：向表中裝載數(shù)據(jù)

湖南汽車(chē)工程職業(yè)學(xué)院教師授課教案第6周第1-4課時(shí)累計(jì)44課時(shí)課程名稱(chēng)大數(shù)據(jù)倉(cāng)庫(kù)HIVE授課課題導(dǎo)入：向表中裝載數(shù)據(jù)授課專(zhuān)業(yè)班級(jí)大數(shù)據(jù)2101、大數(shù)據(jù)2102、大數(shù)據(jù)2103教學(xué)目標(biāo)能熟練使用多種方式將數(shù)據(jù)裝載進(jìn)Hive表中；教學(xué)要點(diǎn)教學(xué)重點(diǎn)使用查詢(xún)語(yǔ)句裝載數(shù)據(jù)到分區(qū)表教學(xué)難點(diǎn)使用查詢(xún)語(yǔ)句裝載數(shù)據(jù)到分區(qū)表課型一體化授課教法與學(xué)法（教具）示范演示法、任務(wù)驅(qū)動(dòng)教學(xué)法、分組合作教學(xué)法課后作業(yè)完成智課堂作業(yè)、看視頻熟練操作教學(xué)后記（教師課后填寫(xiě)）授課教師王海霞、黃史記【課前復(fù)習(xí)】表的存儲(chǔ)格式的基本語(yǔ)法是什么？【作業(yè)點(diǎn)評(píng)】展示智課堂學(xué)生作業(yè)完成情況，并做點(diǎn)評(píng)。【學(xué)習(xí)目標(biāo)】能熟練使用多種方式將數(shù)據(jù)裝載進(jìn)Hive表中；【課程導(dǎo)入】本章討論HiveQL向表中裝載數(shù)據(jù)和從表中抽取數(shù)據(jù)到文件系統(tǒng)的數(shù)據(jù)操作語(yǔ)言部分，即HiveDML。HiveDML是Hive生態(tài)系統(tǒng)中所有數(shù)據(jù)處理的基礎(chǔ)。在本章中，當(dāng)討論通過(guò)查詢(xún)語(yǔ)言生成目標(biāo)表時(shí)，大量使用了SELECT...WHERE語(yǔ)句。那么，我們?yōu)槭裁床幌戎v述SELECT...WHERE語(yǔ)句，而直到下一章也就是第8章才闡述呢？因?yàn)槲覀儎傆懻摿巳绾蝿?chuàng)建數(shù)據(jù)庫(kù)、創(chuàng)建表，就會(huì)期望先解決隨之而來(lái)的下一個(gè)問(wèn)題，即如何裝載數(shù)據(jù)到這些表中，然后才能有數(shù)據(jù)供查詢(xún)！我們假定用戶(hù)已經(jīng)理解了SQL的基礎(chǔ)知識(shí)，因此這些語(yǔ)句對(duì)用戶(hù)來(lái)說(shuō)應(yīng)該不陌生。如果用戶(hù)對(duì)此并不熟悉，那么請(qǐng)到第8章獲取相關(guān)更詳細(xì)的介紹?！拘抡n講授】Hive沒(méi)有行級(jí)別的數(shù)據(jù)插入、數(shù)據(jù)更新和刪除操作，常見(jiàn)往表中裝載數(shù)據(jù)的方式是將文件寫(xiě)入到表對(duì)應(yīng)的目錄下。處理數(shù)據(jù)并形成信息需要對(duì)數(shù)據(jù)進(jìn)行呈現(xiàn)。Hive環(huán)境可以接受任何可用分隔符來(lái)結(jié)構(gòu)化的數(shù)據(jù)。使用以下DML處理可以將數(shù)據(jù)裝載到平臺(tái)中。要將數(shù)據(jù)裝載到平臺(tái)，需要兩個(gè)組件。待裝載數(shù)據(jù)的來(lái)源（源）用于裝載數(shù)據(jù)的表（目標(biāo)）一、使用存儲(chǔ)在HDFS中的文件遷移數(shù)據(jù)到表Hive支持從Hadoop分布式文件系統(tǒng)（HDFS）遷移數(shù)據(jù)到表。這是將數(shù)據(jù)遷移到Hive生態(tài)系統(tǒng)最基本的方法。其語(yǔ)法如下：LOADDATA[LOCAL]INPATH"filepath"[OVERWRITE]INTOTABLEtablename其中，所有[]中的內(nèi)容都是可選項(xiàng)，詳細(xì)語(yǔ)法解釋如下表。表7-1裝載數(shù)據(jù)到表的語(yǔ)法詳解關(guān)鍵字語(yǔ)法解釋LOADDATA是向Hive裝載數(shù)據(jù)的關(guān)鍵字。LOCAL為可選項(xiàng)。如果包含該關(guān)鍵字，則支持用戶(hù)從其指定的"filepath"本地文件拷貝數(shù)據(jù)到HDFS的目標(biāo)位置；如果省略該關(guān)鍵字，則從指定的HDFS中"filepath"遷移數(shù)據(jù)到目標(biāo)位置，即Hadoop配置變量中設(shè)定的路徑加載文件。INPATH"filepath"如果使用LOCAL，則路徑為本地文件系統(tǒng):file:///user/hive/example；如果省略LOCAL，則路徑為分布式文件系統(tǒng)路徑:hdfs://namenode:9000/user/hive/example。OVERWRITE如果包含，支持用戶(hù)將數(shù)據(jù)裝載到一個(gè)早已建好的表中并且替換原來(lái)的數(shù)據(jù)；如果省略，支持用戶(hù)將數(shù)據(jù)裝載到一個(gè)早已建好的表中并且將新數(shù)據(jù)追加到原來(lái)的數(shù)據(jù)后面。INTOTABLEtablenametablename是Hive中已經(jīng)存在的表的名稱(chēng)?！局v練結(jié)合】【例7-1】將HDFS文件系統(tǒng)中phy_course_part.txt的數(shù)據(jù)裝載到表phy_course_hdfs中?！纠?-2】接著上題的基礎(chǔ)上，將HDFS文件系統(tǒng)中phy_course_part2.txt的數(shù)據(jù)overwrite方式覆蓋裝載到表?！拘抡n講授】二、使用存儲(chǔ)在本地文件系統(tǒng)中的文件拷貝數(shù)據(jù)到表Hive支持從本地文件系統(tǒng)中拷貝數(shù)據(jù)到表中?！局v練結(jié)合】【例7-3】將本地文件系統(tǒng)中phy_course_part.txt的數(shù)據(jù)裝載到表phy_course_local中。【例7-4】使用執(zhí)行腳本方式將本地文件系統(tǒng)中phy_course_part2.txt的數(shù)據(jù)覆蓋裝載到表中。[hadoop@hiveroot]$hive-f/opt/script/LoadDataLocal-phy_course_local.hql【例7-5】將本地文件系統(tǒng)文本文件phy_course_part.txt裝載數(shù)據(jù)到分區(qū)表phy_course_partition中。【新課講授】使用查詢(xún)語(yǔ)句裝載數(shù)據(jù)到表Hive支持將從已有表查詢(xún)到的數(shù)據(jù)裝載到Hive生態(tài)系統(tǒng)中。這也是Hive導(dǎo)出數(shù)據(jù)的方式之一，即將Hive表中的數(shù)據(jù)導(dǎo)出到另一個(gè)Hive表中。1、insertoverwrite操作其語(yǔ)法如下：INSERTOVERWRITETABLEtablename[PARTITION(partcol1[=val1],partcol2[=val2]...)][IFNOTEXISTS]SELECTselect_fieldsFROMfrom_statement;關(guān)鍵字語(yǔ)法解釋INSERT用于將數(shù)據(jù)裝載到Hive表中的關(guān)鍵字。OVERWRITE直接重寫(xiě)數(shù)據(jù)，即先刪除hive表的數(shù)據(jù)，再執(zhí)行寫(xiě)入操作。注意，如果hive表是分區(qū)表的話(huà)，insertoverwrite操作只會(huì)重寫(xiě)當(dāng)前分區(qū)的數(shù)據(jù)，不會(huì)重寫(xiě)其他分區(qū)數(shù)據(jù)。TABLEtablenametablename是Hive中已有的表名。使用CREATETABLEtablename語(yǔ)句。IFNOTEXISTS如果在命令中包含了IFNOTEXISTS，那么Hive命令將在當(dāng)前數(shù)據(jù)庫(kù)中創(chuàng)建一個(gè)表；如果省略，當(dāng)該表不存在時(shí)將執(zhí)行失敗。SELECTselect_fieldsFROMfrom_statement這可以是針對(duì)Hive生態(tài)系統(tǒng)的任何SELECT命令。2、insertinto操作其語(yǔ)法如下：INSERTINTOTABLEtablename[PARTITION(partcol1[=val1],partcol2[=val2]...)][IFNOTEXISTS]SELECTselect_fieldsFROMfrom_statement;INTO：表示以追加的方式向hive表尾部追加數(shù)據(jù)。其他關(guān)鍵字功能與insertoverwrite中一致?！局v練結(jié)合】【例7-6】查詢(xún)phy_course_hdfs表中opt_cour字段值為“basketball”的stname，并且將結(jié)果into方式上傳到名為phy_course_hdfs_sub1的表中?！纠?-7】查詢(xún)phy_course_hdfs表中的選修了“football”的stname和opt_cour數(shù)據(jù)，并且以overwrite方式上傳到名為phy_course_hdfs_sub1的表中?！拘抡n講授】四、使用查詢(xún)語(yǔ)句裝載數(shù)據(jù)到分區(qū)表使用查詢(xún)語(yǔ)句裝載數(shù)據(jù)到分區(qū)表語(yǔ)法如下：INSERTINTO|OVERWRITETABLEtablenamePARTITION(partcol1[=val1],partcol2[=val2]...)[IFNOTEXISTS]SELECTselect_fieldsFROMfrom_statement;【講練結(jié)合】【例7-8】創(chuàng)建分區(qū)表phy_course_