2023學(xué)年完整公開課版hive分區(qū)簡(jiǎn)介

Hive分區(qū)簡(jiǎn)介2知識(shí)目標(biāo)Hive分區(qū)介紹分區(qū)使用場(chǎng)景分區(qū)表的使用01能力目標(biāo)了解Hive分區(qū)使用情況掌握分區(qū)使用方法掌握分區(qū)表的使用02學(xué)習(xí)目標(biāo)1目錄01Hive分區(qū)簡(jiǎn)介02Hive分區(qū)使用場(chǎng)景03Hive分區(qū)表的使用Hive分區(qū)簡(jiǎn)介2隨著系統(tǒng)運(yùn)行時(shí)間增長(zhǎng)，表的數(shù)據(jù)量越來越大，而hive查詢時(shí)通常是是全表掃描，這樣將導(dǎo)致大量的不必要的數(shù)據(jù)掃描，從而大大減低查詢效率。從而引進(jìn)分區(qū)技術(shù)，使用分區(qū)技術(shù)，避免hive全表掃描，提升查詢效率。分區(qū)的技術(shù)？PARTIONEDBY(col_namedata_type)hive的分區(qū)字段使用的是表外字段。而mysql使用的是表內(nèi)字段。1、hive的分區(qū)名區(qū)分大小寫2、hive的分區(qū)本質(zhì)是在表目錄下面創(chuàng)建目錄，但是該分區(qū)字段是一個(gè)偽列，不真實(shí)存在于數(shù)據(jù)中3、一張表可以有一個(gè)或者多個(gè)分區(qū)，分區(qū)下面也可以有一個(gè)或者多個(gè)分區(qū)。分區(qū)為HDFS上表目錄的子目錄，數(shù)據(jù)按照分區(qū)存儲(chǔ)在子目錄中。如果查詢的

where

字句的中包含分區(qū)條件，則直接從該分區(qū)去查找，而不是掃描整個(gè)表目錄，合理的分區(qū)設(shè)計(jì)可以極大提高查詢速度和性能。這里說明一下分區(qū)表并Hive獨(dú)有的概念，實(shí)際上這個(gè)概念非常常見。比如在我們常用的Oracle數(shù)據(jù)庫(kù)中，當(dāng)表中的數(shù)據(jù)量不斷增大，查詢數(shù)據(jù)的速度就會(huì)下降，這時(shí)也可以對(duì)表進(jìn)行分區(qū)。表進(jìn)行分區(qū)后，邏輯上表仍然是一張完整的表，只是將表中的數(shù)據(jù)存放到多個(gè)表空間（物理文件上），這樣查詢數(shù)據(jù)時(shí)，就不必要每次都掃描整張表，從而提升查詢性能。Hive分區(qū)使用場(chǎng)景3通常，在管理大規(guī)模數(shù)據(jù)集的時(shí)候都需要進(jìn)行分區(qū)，比如將日志文件按天進(jìn)行分區(qū)，從而保證數(shù)據(jù)細(xì)粒度的劃分，使得查詢性能得到提升。4創(chuàng)建分區(qū)表在Hive中可以使用

PARTITIONEDBY

子句創(chuàng)建分區(qū)表。表可以包含一個(gè)或多個(gè)分區(qū)列，程序會(huì)為分區(qū)列中的每個(gè)不同值組合創(chuàng)建單獨(dú)的數(shù)據(jù)目錄。下面的我們創(chuàng)建一張雇員表作為測(cè)試，命令如下：CREATEEXTERNALTABLEemp_partition(empnoINT,enameSTRING,jobSTRING,mgrINT,hiredateTIMESTAMP,salDECIMAL(7,2),commDECIMAL(7,2))PARTITIONEDBY(deptnoINT)--按照部門編號(hào)進(jìn)行分區(qū)ROWFORMATDELIMITEDFIELDSTERMINATEDBY"\t"LOCATION'/hive/emp_partition';

加載數(shù)據(jù)到分區(qū)表5加載數(shù)據(jù)到分區(qū)表時(shí)候必須要指定數(shù)據(jù)所處的分區(qū)，命令如下：#加載部門編號(hào)為20的數(shù)據(jù)到表中LOADDATALOCALINPATH"/usr/file/emp20.txt"OVERWRITEINTOTABLEemp_partitionPARTITION(deptno=20)#加載部門編號(hào)為30的數(shù)據(jù)到表中LOADDATALOCALINPATH"/usr/file/emp30.txt"OVERWRITEINTOTABLEemp_partitionPARTITI