數(shù)據(jù)倉(cāng)庫(kù)Hive應(yīng)用實(shí)戰(zhàn) 教案37-40課時(shí)-查看表、表結(jié)構(gòu)、創(chuàng)建和查詢分區(qū)表、表屬性及存儲(chǔ)格式

湖南汽車工程職業(yè)學(xué)院教師授課教案第5周第5-8課時(shí)累計(jì)40課時(shí)課程名稱大數(shù)據(jù)倉(cāng)庫(kù)HIVE授課課題Hive基本操作授課專業(yè)班級(jí)大數(shù)據(jù)2101、大數(shù)據(jù)2102、大數(shù)據(jù)2103教學(xué)目標(biāo)熟練查看表及表結(jié)構(gòu)能熟練創(chuàng)建和查看外部、內(nèi)部分區(qū)表理解表屬性及表的存儲(chǔ)結(jié)構(gòu)教學(xué)要點(diǎn)教學(xué)重點(diǎn)能熟練創(chuàng)建和查看外部、內(nèi)部分區(qū)表教學(xué)難點(diǎn)外部分區(qū)表和內(nèi)部分區(qū)表的區(qū)別及各自使用場(chǎng)景課型一體化授課教法與學(xué)法（教具）示范演示法、任務(wù)驅(qū)動(dòng)教學(xué)法、分組合作教學(xué)法課后作業(yè)完成智課堂作業(yè)、看視頻熟練操作教學(xué)后記（教師課后填寫）授課教師王海霞、黃史記【課前復(fù)習(xí)】外部表和內(nèi)部表的區(qū)別是什么？【作業(yè)點(diǎn)評(píng)】展示智課堂學(xué)生作業(yè)完成情況，并做點(diǎn)評(píng)?！緦W(xué)習(xí)目標(biāo)】熟練查看表及表結(jié)構(gòu)能熟練創(chuàng)建和查看外部、內(nèi)部分區(qū)表理解表屬性及表的存儲(chǔ)結(jié)構(gòu)【課程導(dǎo)入】本章繼續(xù)HiveDDL中表的操作，主要是創(chuàng)建、查看、修改、保護(hù)、刪除Hive中的內(nèi)部表、外部表、分區(qū)表。在實(shí)現(xiàn)各類表的各種操作時(shí)，要特別理解各類表間的區(qū)別及各類表的表結(jié)構(gòu)與表數(shù)據(jù)之間的關(guān)聯(lián)?！拘抡n講授】一、查看表1、使用SHOWTABLES命令查看當(dāng)前活動(dòng)數(shù)據(jù)庫(kù)中的表?！纠?-9】查看當(dāng)前活動(dòng)的default數(shù)據(jù)庫(kù)中的所有表hive>SHOWTABLES;2、查看指定數(shù)據(jù)庫(kù)中所有表使用SHOWTABLESIN?！纠?-10】查看指定的studentdb中的數(shù)據(jù)庫(kù)：hive>SHOWTABLESINstudentdb;3、當(dāng)數(shù)據(jù)庫(kù)中表非常多時(shí)，使用SHOWTABLESLIKE后跟正則表達(dá)式匹配篩選出需要查看的表名。 【例6-11】篩選出當(dāng)前活動(dòng)的default數(shù)據(jù)庫(kù)中所有以字母s開(kāi)頭，以其他字符結(jié)尾的表名：hive>SHOWTABLESLIKE"s.*";查看表結(jié)構(gòu)查看表結(jié)構(gòu)的語(yǔ)法格式：DESCRIBE[EXTENDED/FORMATTED][db_name.]table_name;其中，所有[]中的內(nèi)容都是可選項(xiàng)，詳細(xì)語(yǔ)法解釋如下表。表6-1查看表結(jié)構(gòu)語(yǔ)句語(yǔ)法詳解關(guān)鍵字語(yǔ)法解釋DESCRIBE用于描述表的關(guān)鍵字。EXTENDED/FORMATTED可選項(xiàng)，使用后會(huì)輸出更詳細(xì)的表結(jié)構(gòu)信息。使用FORMATTED關(guān)鍵字比EXTENDED關(guān)鍵字輸出的信息更詳細(xì)，且可讀性更高。[db_name.]可選項(xiàng)，如果表在當(dāng)前所處的工作數(shù)據(jù)庫(kù)下，可以省略；如果需要查看其他數(shù)據(jù)庫(kù)下的表結(jié)構(gòu)，則需要通過(guò)這個(gè)前綴指定表所在的數(shù)據(jù)庫(kù)?！纠?-12】使用三個(gè)方式查看當(dāng)前活動(dòng)的default數(shù)據(jù)庫(kù)中創(chuàng)建的city_external_one表結(jié)構(gòu)。三、分區(qū)表1、創(chuàng)建和查詢內(nèi)部分區(qū)表分區(qū)表改變了Hive對(duì)數(shù)據(jù)存儲(chǔ)的組織方式，提高了查詢速度?！纠?-14】創(chuàng)建分區(qū)表student_in_partition，以學(xué)生班級(jí)class為分區(qū)字段，并插入數(shù)據(jù)stname='Zhangsan'，av_score=92.5，class='BigData1901'和數(shù)據(jù)stname='Zhouhui'，av_score=83.5，class='Network1901'后，查看分區(qū)表的存儲(chǔ)目錄。分區(qū)表可以創(chuàng)建多個(gè)分區(qū)字段，分區(qū)字段的順序?qū)Q定誰(shuí)是父目錄，誰(shuí)是子目錄?！纠?-15】創(chuàng)建分區(qū)表student_in_partition2，以學(xué)生入學(xué)年份grade和學(xué)生班級(jí)class為分區(qū)字段，并插入數(shù)據(jù)stname='Luotian'，av_score=88.1，grade=2018，class='BigData1801'、數(shù)據(jù)stname='Wangan'，av_score=75.5，grade=2018，class='BigData1802'、數(shù)據(jù)stname='Zhangsan'，av_score=83.5，grade=2019，class='Network1901'、數(shù)據(jù)stname='Liming'，av_score=80，grade=2019，class='Network1902'后，查看分區(qū)表的存儲(chǔ)目錄。分區(qū)字段(上例中是grade和class)一旦創(chuàng)建好，其就和普通的字段一樣。對(duì)數(shù)據(jù)進(jìn)行分區(qū)，最重要的原因是為了更快地查詢?！纠?-16】查詢student_in_partition2表中的所有數(shù)據(jù)信息?！纠?-17】查詢2018年的所有班級(jí)信息。2、創(chuàng)建和查詢外部分區(qū)表外部表也可以使用分區(qū)，而且這是管理大型生產(chǎn)數(shù)據(jù)集最常見(jiàn)的情況。外部和分區(qū)的結(jié)合不僅給用戶提供了可以和其他工具共享數(shù)據(jù)的方式，同時(shí)也可以優(yōu)化查詢性能。由于用戶可以自己定義目錄結(jié)構(gòu)，因此用戶對(duì)于目錄結(jié)構(gòu)的使用具有更多的靈活性?！纠?-18】創(chuàng)建外部分區(qū)表student_ex_partition，以學(xué)生入學(xué)年份grade和學(xué)生班級(jí)class為為分區(qū)字段，并增加一個(gè)2018年BigData1801班的分區(qū)數(shù)據(jù)。Hive不關(guān)心一個(gè)分區(qū)所對(duì)應(yīng)的分區(qū)目錄是否存在或者分區(qū)目錄下是否有文件，如果分區(qū)目錄不存在或分區(qū)目錄下沒(méi)有文件，則對(duì)于該過(guò)濾分區(qū)的查詢將沒(méi)有返回結(jié)果。3、查看分區(qū)信息Hive中可以查看內(nèi)部分區(qū)表和外部分區(qū)表的分區(qū)信息，其基本語(yǔ)法聲明如下：SHOWPARTITIONS[db_name.]table_name[PARTITION(partition_spec)];【例6-19】查看內(nèi)部分區(qū)表student_in_partition2和外部分區(qū)表student_ex_partition中的所有分區(qū)信息?！纠?-20】查看內(nèi)部分區(qū)表student_in_partition2中的grade為2018下的所有分區(qū)表信息，和外部分區(qū)表student_ex_partition中的grade為2018下的所有分區(qū)信息。【例6-21】通過(guò)DESCRIBE命令查詢表student_in_partition2和student_ex_partition分區(qū)信息?！纠?-22】查看外部分區(qū)表student_ex_partition實(shí)際數(shù)據(jù)所在的路徑。四、表屬性在創(chuàng)建表或者使用TBLPROPERTIES子句更改表時(shí)，可以在表層級(jí)上指定一些屬性。Hive有預(yù)定義的表屬性，通過(guò)這些屬性可以在表層級(jí)上定義一些配置，以供Hive管理表時(shí)使用。也可以使用TBLPROPERTIYES子句中鍵值對(duì)格式來(lái)定義自定義屬性，以便存儲(chǔ)表層級(jí)的元數(shù)據(jù)或有關(guān)表的額外信息。以下是Hive內(nèi)置的部分TBLPROPERTIES：TBLPROPERTIES(""="table_name")TBLPROPERTIES("immutable"="true")or("immutable"="false")TBLPROPERTIES("press"="ZLIB")or("press"="SNAPPY")or("press"="NONE")TBLPROPERTIES("auto.purge"="true")or("auto.purge"="false")TBLPROPERTIES("EXTERNAL"="TRUE")TBLPROPERTIES("skip.header.line.count"="1")【例6-23】利用skip.header.1ine.count屬性查看去除標(biāo)題行的數(shù)據(jù)。五、表的存儲(chǔ)格式在hive中，表的默認(rèn)存儲(chǔ)格式是文本文件格式（TEXTFILE），默認(rèn)的分割符是不可見(jiàn)字符。但用戶在創(chuàng)建表時(shí)可以通過(guò)可選子句STOREDAS…顯式指定存儲(chǔ)格式，通過(guò)ROWFORMAT子句指定各種各樣的分隔符。語(yǔ)法格式參見(jiàn)6.2節(jié)?！纠?-24】創(chuàng)建表student_store，指定其存儲(chǔ)格式定義為TEXTFILE，字段分隔符為'\001'，集合數(shù)據(jù)類型分割符為'\002'，MAP類型的KEY和VALUE間分隔符為'\003'，行的分隔符使用’/n’?！纠?-25】使用CTAS語(yǔ)句將表student_store中的查詢結(jié)果用以創(chuàng)建表stu