云計算與大數(shù)據(jù)技術(shù) 課件 第14章 Hive數(shù)據(jù)倉庫

Hive簡介Hive簡介

Hive是Facebook為了解決海量數(shù)據(jù)的統(tǒng)計分析。而開發(fā)的構(gòu)建在Hadoop之上的一個大數(shù)據(jù)分析和統(tǒng)計工具。Hive在某種程度上可以被看作用戶編程接口，采用了SQL的查詢語言HQL（HiveQL），便于熟悉SQL的用戶查詢數(shù)據(jù)。Hive簡介Hive本身并不能存儲和處理數(shù)據(jù)，它依賴于HDFS，又不能直接訪問HDFS數(shù)據(jù)，需要先把HQL語句轉(zhuǎn)換成MapReduce任務(wù)，然后采用批處理的方式在Hadoop上對海量數(shù)據(jù)進(jìn)行處理。Hive工作流程Hive工作流程

Hive通過其提供的一系列交互接口，接收用戶的SQL指令。它使用自己的Driver程序，結(jié)合元數(shù)據(jù)（Metastore），將這些指令翻譯為MapReduce任務(wù)。然后，Hive將這些任務(wù)提交到Hadoop集群中執(zhí)行。最后，執(zhí)行結(jié)果會被返回給用戶交互接口，供用戶查看和使用。Hive工作流程在整個過程中，Hive充當(dāng)了用戶與Hadoop之間的橋梁，使得用戶能夠通過簡單的SQL指令對大規(guī)模數(shù)據(jù)進(jìn)行查詢和分析。

Hive的數(shù)據(jù)存儲模型Hive的數(shù)據(jù)存儲模型

Hive中所有的數(shù)據(jù)都被存儲在HDFS中，沒有專門的數(shù)據(jù)存儲格式（可支持Text、Avro、ORC、SequenceFile、ParquetFile、RCFile等），只需要在創(chuàng)建表時指定Hive數(shù)據(jù)中的列分隔符和行分隔符，Hive就可以解析數(shù)據(jù)。Hive的數(shù)據(jù)存儲模型創(chuàng)建一個內(nèi)部表cityInfo（cityID,cityName,population），代碼如下：createtablecityInfo(>cityIDstring,>cityNamestring,>populationint)>rowformatdelimited>fieldsterminatedby','>storedastextfile;Hive的數(shù)據(jù)存儲模型Hive中的數(shù)據(jù)模型包括數(shù)據(jù)庫（Database）、表（Table）、分區(qū)（Partition）和桶（Bucket）。Hive的數(shù)據(jù)存儲模型（1）數(shù)據(jù)庫（Database）：在HDFS中，數(shù)據(jù)庫表現(xiàn)為${hive.Metastore.warehouse.dir}目錄下的一個文件夾。在創(chuàng)建表時，如果不指定數(shù)據(jù)庫，則默認(rèn)為“default”數(shù)據(jù)庫。（2）表（Table）：在HDFS中，表表現(xiàn)為所屬數(shù)據(jù)庫目錄下的一個文件夾。Hive中默認(rèn)創(chuàng)建的是內(nèi)部表，這種表的數(shù)據(jù)由Hive來管理。當(dāng)刪除表時，表的數(shù)據(jù)和元數(shù)據(jù)都會被刪除。Hive的數(shù)據(jù)存儲模型（3）分區(qū)（Partition）：在Hive表查詢時，可能只需要掃描表中的某部分?jǐn)?shù)據(jù)，不需要掃描表中的全部內(nèi)容，因此在建表時引入了分區(qū)的概念。在Hive表查詢時，如果指定了分區(qū)字段作為篩選條件，那么只需要到對應(yīng)的分區(qū)目錄中檢索數(shù)據(jù)即可，減少了處理的數(shù)據(jù)量，從而有效地提高了效率。Hive的數(shù)據(jù)存儲模型（4）桶（Bucket）：桶可以被理解為將“大表”細(xì)分為“小表”的一種數(shù)據(jù)結(jié)構(gòu)。這種設(shè)計主要是為了提高查詢效率，使得進(jìn)行抽樣查詢時更加便捷。Hive的數(shù)據(jù)存儲模型桶是Hive數(shù)據(jù)模型中的最小單元。當(dāng)某數(shù)據(jù)被加載到桶中時，首先會根據(jù)字段的值對其進(jìn)行哈希處理，然后用哈希結(jié)果除以桶的數(shù)量來決定該數(shù)據(jù)應(yīng)該存儲在哪個桶中。這樣就確保了每個桶中都有數(shù)據(jù)，但每個桶中的數(shù)據(jù)條數(shù)可能并不相等。Hive的數(shù)據(jù)存儲模型數(shù)據(jù)加載-哈希取值-分桶Hive的數(shù)