14.2 Hive數(shù)據(jù)存儲模型

Hive的數(shù)據(jù)存儲模型Hive的數(shù)據(jù)存儲模型

Hive中所有的數(shù)據(jù)都被存儲在HDFS中，沒有專門的數(shù)據(jù)存儲格式（可支持Text、Avro、ORC、SequenceFile、ParquetFile、RCFile等），只需要在創(chuàng)建表時(shí)指定Hive數(shù)據(jù)中的列分隔符和行分隔符，Hive就可以解析數(shù)據(jù)。Hive的數(shù)據(jù)存儲模型創(chuàng)建一個(gè)內(nèi)部表cityInfo（cityID,cityName,population），代碼如下：createtablecityInfo(>cityIDstring,>cityNamestring,>populationint)>rowformatdelimited>fieldsterminatedby','>storedastextfile;Hive的數(shù)據(jù)存儲模型Hive中的數(shù)據(jù)模型包括數(shù)據(jù)庫（Database）、表（Table）、分區(qū)（Partition）和桶（Bucket）。Hive的數(shù)據(jù)存儲模型（1）數(shù)據(jù)庫（Database）：在HDFS中，數(shù)據(jù)庫表現(xiàn)為${hive.Metastore.warehouse.dir}目錄下的一個(gè)文件夾。在創(chuàng)建表時(shí)，如果不指定數(shù)據(jù)庫，則默認(rèn)為“default”數(shù)據(jù)庫。（2）表（Table）：在HDFS中，表表現(xiàn)為所屬數(shù)據(jù)庫目錄下的一個(gè)文件夾。Hive中默認(rèn)創(chuàng)建的是內(nèi)部表，這種表的數(shù)據(jù)由Hive來管理。當(dāng)刪除表時(shí)，表的數(shù)據(jù)和元數(shù)據(jù)都會被刪除。Hive的數(shù)據(jù)存儲模型（3）分區(qū)（Partition）：在Hive表查詢時(shí)，可能只需要掃描表中的某部分?jǐn)?shù)據(jù)，不需要掃描表中的全部內(nèi)容，因此在建表時(shí)引入了分區(qū)的概念。在Hive表查詢時(shí)，如果指定了分區(qū)字段作為篩選條件，那么只需要到對應(yīng)的分區(qū)目錄中檢索數(shù)據(jù)即可，減少了處理的數(shù)據(jù)量，從而有效地提高了效率。Hive的數(shù)據(jù)存儲模型（4）桶（Bucket）：桶可以被理解為將“大表”細(xì)分為“小表”的一種數(shù)據(jù)結(jié)構(gòu)。這種設(shè)計(jì)主要是為了提高查詢效率，使得進(jìn)行抽樣查詢時(shí)更加便捷。Hive的數(shù)據(jù)存儲模型桶是Hive數(shù)據(jù)模型中的最小單元。當(dāng)某數(shù)據(jù)被加載到桶中時(shí)，首先會根據(jù)字段的值對其進(jìn)行哈希處理，然后用哈希結(jié)果除以桶的數(shù)量來決定該數(shù)據(jù)應(yīng)該存儲在哪個(gè)桶中。這樣就確保了每個(gè)桶中都有數(shù)據(jù)，但每個(gè)桶中的數(shù)據(jù)條數(shù)可能并不相等。Hive的數(shù)據(jù)存儲模型數(shù)據(jù)加載-哈希取值-分桶Hive的數(shù)據(jù)存儲模型桶是一種技術(shù)，用于將數(shù)據(jù)分解為更小、更易管