Hive大數(shù)據(jù)存儲(chǔ)與處理-教學(xué)大綱、授課計(jì)劃

《Hive大數(shù)據(jù)存儲(chǔ)與處理》教學(xué)大綱課程名稱：Hive大數(shù)據(jù)存儲(chǔ)與處理課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論36學(xué)時(shí)，實(shí)驗(yàn)28學(xué)時(shí)）總學(xué)分：4.0學(xué)分課程的性質(zhì)隨著5G技術(shù)、云計(jì)算、人工智能等新一代技術(shù)的發(fā)展，大數(shù)據(jù)與行業(yè)的融合全面展開(kāi)，融合生態(tài)加速構(gòu)建，新技術(shù)、新業(yè)態(tài)、新模式不斷涌現(xiàn)。黨的二十大以來(lái)，國(guó)家要求加快實(shí)施創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略，加快實(shí)現(xiàn)高水平科技自立自強(qiáng)，以國(guó)家戰(zhàn)略需求為導(dǎo)向，增強(qiáng)企業(yè)自主創(chuàng)新能力。在發(fā)展的過(guò)程中，各企業(yè)積累了大量的業(yè)務(wù)數(shù)據(jù)，企業(yè)將不斷增長(zhǎng)的業(yè)務(wù)數(shù)據(jù)進(jìn)行存儲(chǔ)并從中挖掘具有潛在商業(yè)價(jià)值的信息，為企業(yè)發(fā)展提供有力支撐，從而創(chuàng)造更大的價(jià)值。目前，離線數(shù)據(jù)分析框架主要有MapReduce和Spark，然而使用MapReduce和Spark，需要開(kāi)發(fā)人員具備Java等開(kāi)發(fā)基礎(chǔ)，這對(duì)于熟悉SQL的傳統(tǒng)數(shù)據(jù)分析人員來(lái)說(shuō)并不友好，且MapReduce和Spark不具備數(shù)據(jù)存儲(chǔ)的功能，因此支持SQL且能實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的分布式處理框架的需求日益增長(zhǎng)。在這樣的背景下，既支持SQL又能存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)Hive逐漸成為主流的離線數(shù)據(jù)分析框架。目前開(kāi)設(shè)大數(shù)據(jù)專業(yè)的高校越來(lái)越多，然而有關(guān)Hive開(kāi)發(fā)的課程較少。為了推動(dòng)我國(guó)大數(shù)據(jù)，云計(jì)算，人工智能行業(yè)的發(fā)展，滿足日益增長(zhǎng)的數(shù)據(jù)分析人才需求，特開(kāi)設(shè)Hive大數(shù)據(jù)存儲(chǔ)與處理課程。課程的任務(wù)通過(guò)本課程的學(xué)習(xí)，使學(xué)生學(xué)會(huì)使用Hive進(jìn)行廣電大數(shù)據(jù)用戶數(shù)據(jù)分析，包括廣電大數(shù)據(jù)用戶畫(huà)像需求分析、部署Hive開(kāi)發(fā)環(huán)境、了解廣電用戶數(shù)據(jù)存儲(chǔ)方法、學(xué)習(xí)廣電用戶基本數(shù)據(jù)簡(jiǎn)單查詢、廣電用戶賬單與訂單數(shù)據(jù)查詢、廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化、廣電用戶數(shù)據(jù)清洗及數(shù)據(jù)，最終學(xué)會(huì)廣電用戶數(shù)據(jù)存儲(chǔ)與處理的程序的開(kāi)發(fā)。通過(guò)分階段分步驟完成多個(gè)廣電大數(shù)據(jù)數(shù)據(jù)實(shí)際案例，將理論與實(shí)踐相結(jié)合，為將來(lái)從事大數(shù)據(jù)分析挖掘研究、工作奠定基礎(chǔ)。課程學(xué)時(shí)分配序號(hào)教學(xué)內(nèi)容理論學(xué)時(shí)實(shí)驗(yàn)學(xué)時(shí)其它1第1章廣電大數(shù)據(jù)用戶畫(huà)像需求分析202第2章部署開(kāi)發(fā)環(huán)境443第3章廣電用戶數(shù)據(jù)存儲(chǔ)444第4章廣電用戶基本數(shù)據(jù)簡(jiǎn)單查詢445第5章廣電用戶賬單與訂單數(shù)據(jù)查詢進(jìn)階446第6章廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化647第7章廣電用戶數(shù)據(jù)清洗及數(shù)據(jù)導(dǎo)出648第8章廣電用戶數(shù)據(jù)存儲(chǔ)與處理的程序開(kāi)發(fā)64總計(jì)3628教學(xué)內(nèi)容及學(xué)時(shí)安排理論教學(xué)序號(hào)章節(jié)名稱主要內(nèi)容教學(xué)目標(biāo)學(xué)時(shí)1廣電大數(shù)據(jù)用戶畫(huà)像需求分析需求分析與架構(gòu)認(rèn)識(shí)Hive了解廣電大數(shù)據(jù)用戶畫(huà)像需求分析的背景了解目前常見(jiàn)的幾種大數(shù)據(jù)存儲(chǔ)產(chǎn)品了解Hive原理架構(gòu)和Hive的主要特點(diǎn)了解Hive和傳統(tǒng)數(shù)據(jù)庫(kù)的主要區(qū)別22部署開(kāi)發(fā)環(huán)境安裝部署Hadoop集群安裝部署Hive使用HiveCLI掌握Hadoop集群的安裝部署方法掌握MySQL數(shù)據(jù)庫(kù)的安裝配置方法掌握Hive的安裝配置及啟動(dòng)方法掌握HiveCLI的使用方法43廣電用戶數(shù)據(jù)存儲(chǔ)創(chuàng)建業(yè)務(wù)數(shù)據(jù)表將數(shù)據(jù)導(dǎo)入Hive表掌握在Hive中創(chuàng)建與管理數(shù)據(jù)庫(kù)的操作了解Hive的基礎(chǔ)數(shù)據(jù)類型和復(fù)雜數(shù)據(jù)類型掌握在Hive中創(chuàng)建與管理表的常用操作掌握裝載數(shù)據(jù)至Hive表的操作44廣電用戶基本數(shù)據(jù)簡(jiǎn)單查詢查詢廣電用戶的用戶編號(hào)及開(kāi)戶時(shí)間查詢指定用戶狀態(tài)的用戶基本數(shù)據(jù)統(tǒng)計(jì)用戶基本數(shù)據(jù)表中品牌名稱的種類個(gè)數(shù)統(tǒng)計(jì)不同用戶等級(jí)名稱的記錄數(shù)統(tǒng)計(jì)不同用戶狀態(tài)的

記錄數(shù)統(tǒng)計(jì)指定用戶數(shù)量范圍的用戶等級(jí)統(tǒng)計(jì)用戶數(shù)最多的3種用戶狀態(tài)查詢用戶發(fā)生狀態(tài)變更的時(shí)間及開(kāi)戶時(shí)間了解SELECT語(yǔ)句基本的語(yǔ)法掌握使用WHERE關(guān)鍵字實(shí)現(xiàn)條件查詢的方法。掌握表別名、列別名的使用方法掌握聚合函數(shù)的使用方法掌握分組查詢的實(shí)現(xiàn)方法了解不同排序關(guān)鍵字之間的區(qū)別掌握使用通配符、正則表達(dá)式實(shí)現(xiàn)模糊查詢的方法45廣電用戶賬單與訂單數(shù)據(jù)查詢進(jìn)階統(tǒng)計(jì)訂單的消費(fèi)類型統(tǒng)計(jì)用戶每年消費(fèi)應(yīng)付總額統(tǒng)計(jì)用戶每月消費(fèi)應(yīng)付總額統(tǒng)計(jì)用戶每月實(shí)際賬單金額查詢用戶寬帶訂單的地址數(shù)據(jù)抽樣統(tǒng)計(jì)用戶訂購(gòu)產(chǎn)品情況了解常見(jiàn)的Hive內(nèi)置函數(shù)掌握條件函數(shù)、字符函數(shù)、日期函數(shù)及數(shù)學(xué)函數(shù)的使用方法掌握各類JOIN語(yǔ)句的使用方法掌握J(rèn)OIN語(yǔ)句與UNIONALL關(guān)鍵字的區(qū)別掌握桶表中抽樣查詢的使用方法46廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化使用視圖統(tǒng)計(jì)不同節(jié)目的用戶觀看人數(shù)優(yōu)化統(tǒng)計(jì)直播頻道數(shù)使用子查詢統(tǒng)計(jì)節(jié)目類型為直播的頻道Top10掌握Hive查詢優(yōu)化的方法掌握Hive視圖的使用方法了解配置Fetch抓取的方法掌握Hive設(shè)置map和reduce任務(wù)數(shù)的方法掌握Hive配置并行執(zhí)行的方法掌握子查詢的使用方法掌握GROUPBY語(yǔ)句的優(yōu)化配置方法掌握LIMIT語(yǔ)句的優(yōu)化配置方法67廣電用戶數(shù)據(jù)清洗及數(shù)據(jù)導(dǎo)出清洗無(wú)效用戶數(shù)據(jù)清洗無(wú)效收視行為數(shù)據(jù)清洗無(wú)效賬單和訂單數(shù)據(jù)導(dǎo)出處理結(jié)果至Linux本地和HDFS掌握Hive內(nèi)置函數(shù)的使用方法掌握Hive中對(duì)數(shù)據(jù)進(jìn)行清洗與統(tǒng)計(jì)分析的操作掌握Hive表中數(shù)據(jù)導(dǎo)出至Linux本地與HDFS的方法68廣電用戶數(shù)據(jù)存儲(chǔ)與處理的程序開(kāi)發(fā)配置Hive遠(yuǎn)程服務(wù)搭建Hive遠(yuǎn)程連接環(huán)境編寫(xiě)程序?qū)崿F(xiàn)廣電數(shù)據(jù)的存儲(chǔ)掌握Hive遠(yuǎn)程服務(wù)的配置過(guò)程掌握HiveServer2的使用方法和使用第三方語(yǔ)言（Java）開(kāi)發(fā)的配置過(guò)程掌握在IDEA編程軟件中進(jìn)行程序運(yùn)行與調(diào)試的過(guò)程和方法6學(xué)時(shí)合計(jì)36實(shí)驗(yàn)教學(xué)序號(hào)實(shí)驗(yàn)項(xiàng)目名稱實(shí)驗(yàn)要求學(xué)時(shí)1部署開(kāi)發(fā)環(huán)境安裝部署Hadoop集群VMware虛擬機(jī)安裝和網(wǎng)絡(luò)設(shè)置部署CentOSHadoop集群部署前準(zhǔn)備Hadoop集群部署安裝部署Hive安裝配置MySQL安裝配置Hive使用HiveCLI啟動(dòng)HiveCLI 56在Hive中執(zhí)行BashShell和Hadoopdfs命令在Shell中執(zhí)行Hive查詢安裝42廣電用戶數(shù)據(jù)存儲(chǔ)創(chuàng)建與管理Hive表創(chuàng)建業(yè)務(wù)數(shù)據(jù)表裝載數(shù)據(jù)至Hive表中將廣電用戶數(shù)據(jù)導(dǎo)入Hive表中43廣電用戶基本數(shù)據(jù)簡(jiǎn)單查詢SELECT語(yǔ)句查詢廣電用戶的用戶編號(hào)及開(kāi)戶時(shí)間使用WHERE關(guān)鍵字添加查詢條件使用WHERE關(guān)鍵字添加常見(jiàn)查詢條件查詢指定用戶狀態(tài)的用戶基本數(shù)據(jù)使用DISTINCT關(guān)鍵字去重查詢使用聚合函數(shù)統(tǒng)計(jì)用戶基本數(shù)據(jù)表中品牌名稱的種類個(gè)數(shù)設(shè)置列別名統(tǒng)計(jì)不同用戶等級(jí)名稱的記錄數(shù)統(tǒng)計(jì)不同用戶狀態(tài)的記錄數(shù)使用GROUPBY關(guān)鍵字分組查詢統(tǒng)計(jì)不同用戶狀態(tài)的記錄數(shù)統(tǒng)計(jì)指定用戶數(shù)量范圍的用戶等級(jí)使用HAVING關(guān)鍵字對(duì)分組結(jié)果進(jìn)行篩選統(tǒng)計(jì)指定用戶數(shù)量范圍的用戶等級(jí)使用LIMIT關(guān)鍵字設(shè)置查詢結(jié)果展示使用排序關(guān)鍵字對(duì)查詢結(jié)果排序統(tǒng)計(jì)用戶數(shù)最多的3種用戶狀態(tài)使用正則表達(dá)式查詢數(shù)據(jù)查詢用戶發(fā)生狀態(tài)變更的時(shí)間及開(kāi)戶時(shí)間44廣電用戶賬單與訂單數(shù)據(jù)查詢進(jìn)階介紹Hive內(nèi)置函數(shù)使用條件函數(shù)使用類型轉(zhuǎn)換函數(shù)統(tǒng)計(jì)訂單的消費(fèi)類型使用字符函數(shù)統(tǒng)計(jì)用戶每年消費(fèi)應(yīng)付總額使用日期函數(shù)統(tǒng)計(jì)用戶每月消費(fèi)應(yīng)付總額使用數(shù)學(xué)函數(shù)統(tǒng)計(jì)用戶每月實(shí)際賬單金額使用JOIN語(yǔ)句介紹UNIONALL關(guān)鍵字查詢用戶寬帶訂單的地址數(shù)據(jù)使用桶表抽樣查詢創(chuàng)建視圖抽樣統(tǒng)計(jì)用戶訂購(gòu)產(chǎn)品情況45廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化創(chuàng)建視圖查看與刪除視圖使用視圖統(tǒng)計(jì)不同節(jié)目的用戶觀看人數(shù)配置Fetch抓取合理設(shè)置map和reduce任務(wù)數(shù)配置并行執(zhí)行優(yōu)化統(tǒng)計(jì)直播頻道數(shù)使用子查詢優(yōu)化查詢語(yǔ)句優(yōu)化配置GROUPBY語(yǔ)句使用GROUPBY代替COUNT(DISTINCT)去重統(tǒng)計(jì)優(yōu)化配置LIMIT語(yǔ)句使用子查詢統(tǒng)計(jì)節(jié)目類型為直播的頻道Top1046廣電用戶數(shù)據(jù)清洗及數(shù)據(jù)導(dǎo)出探索無(wú)效用戶數(shù)據(jù)刪除無(wú)效用戶數(shù)據(jù)探索無(wú)效收視行為數(shù)據(jù)刪除無(wú)效收視行為數(shù)據(jù)探索無(wú)效賬單數(shù)據(jù)探索無(wú)效訂單數(shù)據(jù)刪除無(wú)效賬單和無(wú)效訂單數(shù)據(jù)使用INSERTOVERWRITE語(yǔ)句將數(shù)據(jù)導(dǎo)出至文件系統(tǒng)保存處理結(jié)果至Linux本地和HDFS47廣電用戶數(shù)據(jù)存儲(chǔ)與處理的程序開(kāi)發(fā)配置Hive遠(yuǎn)程服務(wù)搭建Hive遠(yuǎn)程連接環(huán)境創(chuàng)建IDEA開(kāi)發(fā)項(xiàng)目添加依賴手動(dòng)加載MySQL驅(qū)動(dòng)JDBC及其主要接口創(chuàng)建連接測(cè)試程序編寫(xiě)程序?qū)崿F(xiàn)廣電數(shù)據(jù)的存儲(chǔ)創(chuàng)建開(kāi)發(fā)項(xiàng)目創(chuàng)建HiveHelper類和連接Hive創(chuàng)建測(cè)試類創(chuàng)建Hive數(shù)據(jù)庫(kù)創(chuàng)建Hive表裝載數(shù)據(jù)程序運(yùn)行與調(diào)試編寫(xiě)程序?qū)崿F(xiàn)廣電數(shù)據(jù)的查詢與處理查詢數(shù)據(jù)刪除無(wú)效用戶數(shù)據(jù)刪除無(wú)效收視行為數(shù)據(jù)刪除無(wú)效賬單和無(wú)效訂單數(shù)據(jù)4學(xué)時(shí)合計(jì)28考核方式突出學(xué)生解決實(shí)際問(wèn)題的能力，加強(qiáng)過(guò)程性考核。課程考核的成績(jī)構(gòu)成=平時(shí)作業(yè)（10%）+課堂參與（20%）+期末考核（70%），期末考試建議采用開(kāi)卷形式，試題應(yīng)包括基本概念、繪圖、分組聚合、數(shù)據(jù)合并、數(shù)據(jù)清洗、數(shù)據(jù)變換、模型構(gòu)建等部分，題型可采用判斷題、選擇、簡(jiǎn)答、應(yīng)用題等方式。教材與參考資料教材何煌，張良均．Hive大數(shù)據(jù)存儲(chǔ)與處理[M]．北京：人民郵電出版社．2024．參考資料[1] 張軍，張良均．Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)（第2版）（微課版）[M]．北京：人民郵電出版社．2021．[2] 王哲，張良均．Hadoop與大數(shù)據(jù)挖掘（第2版）[M]．北京：機(jī)械工業(yè)出版社．2022．學(xué)院課程教學(xué)進(jìn)度計(jì)劃表（20～20學(xué)年第二學(xué)期） 課程名稱Hive大數(shù)據(jù)存儲(chǔ)與處理 授課學(xué)時(shí)64 參與教學(xué)教師 授課班級(jí)/人數(shù) 專業(yè)（教研室） 填表時(shí)間教務(wù)處編印年月課程教學(xué)目的通過(guò)本課程的學(xué)習(xí)，使學(xué)生學(xué)會(huì)使用Hive進(jìn)行廣電大數(shù)據(jù)用戶數(shù)據(jù)的存儲(chǔ)操作和初步的分析操作，主要包括：廣電大數(shù)據(jù)用戶畫(huà)像需求分析、部署Hive開(kāi)發(fā)環(huán)境、了解廣電用戶數(shù)據(jù)存儲(chǔ)方法、學(xué)習(xí)廣電用戶基本數(shù)據(jù)簡(jiǎn)單查詢、廣電用戶賬單與訂單數(shù)據(jù)查詢、廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化、廣電用戶數(shù)據(jù)清洗及數(shù)據(jù)，最終學(xué)會(huì)廣電用戶數(shù)據(jù)存儲(chǔ)與處理的程序的開(kāi)發(fā)。通過(guò)分階段分步驟完成多個(gè)廣電大數(shù)據(jù)數(shù)據(jù)實(shí)際案例，將理論與實(shí)踐相結(jié)合，為將來(lái)從事大數(shù)據(jù)分析挖掘研究、工作奠定基礎(chǔ)。教學(xué)方法及手段本課程將采用理論與實(shí)踐相結(jié)合的教學(xué)方法。在理論上，通過(guò)任務(wù)引入概念、原理和方法。在實(shí)踐上，充分地利用現(xiàn)有的硬件資源，發(fā)揮學(xué)生主觀能動(dòng)性，指導(dǎo)學(xué)生使用使用Hive進(jìn)行廣電大數(shù)據(jù)用戶數(shù)據(jù)的存儲(chǔ)操作和初步的分析操作。同時(shí)結(jié)合廣電大數(shù)據(jù)數(shù)據(jù)實(shí)際案例，引導(dǎo)學(xué)生將所學(xué)知識(shí)與企業(yè)需求相結(jié)合，將知識(shí)活學(xué)活用。要求學(xué)生自己動(dòng)手分析實(shí)例，學(xué)習(xí)基本理論和方法，結(jié)合已有的知識(shí)，適當(dāng)組織一些討論，充分調(diào)動(dòng)學(xué)生的主觀能動(dòng)性，以達(dá)到本課程的教學(xué)目的。課程考核方法突出學(xué)生解決實(shí)際問(wèn)題的能力，加強(qiáng)過(guò)程性考核。課程考核的成績(jī)構(gòu)成=平時(shí)作業(yè)（10%）+課堂參與（20%）+期末考核（70%），期末考試建議采用開(kāi)卷形式，試題應(yīng)包括廣電大數(shù)據(jù)用戶畫(huà)像需求分析、部署Hive開(kāi)發(fā)環(huán)境、了解廣電用戶數(shù)據(jù)存儲(chǔ)方法、學(xué)習(xí)廣電用戶基本數(shù)據(jù)簡(jiǎn)單查詢、廣電用戶賬單與訂單數(shù)據(jù)查詢、廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化、廣電用戶數(shù)據(jù)清洗及數(shù)據(jù)，廣電用戶數(shù)據(jù)存儲(chǔ)與處理的程序的開(kāi)發(fā)等部分，題型可采用判斷題、選擇、簡(jiǎn)答、應(yīng)用題等方式。

《Hive大數(shù)據(jù)存儲(chǔ)與處理》教學(xué)日歷周次學(xué)時(shí)授課內(nèi)容作業(yè)要求備注14第1章廣電大數(shù)據(jù)用戶畫(huà)像需求分析第2章部署開(kāi)發(fā)環(huán)境(1)第1章課后習(xí)題24第2章部署開(kāi)發(fā)環(huán)境(2)第2章實(shí)訓(xùn)，課后習(xí)題34第2章部署開(kāi)發(fā)環(huán)境(3)第3章廣電用戶數(shù)據(jù)存儲(chǔ)(1)第3章課后習(xí)題44第3章廣電用戶數(shù)據(jù)存儲(chǔ)(2)第3章實(shí)訓(xùn)54第3章廣電用戶數(shù)據(jù)存儲(chǔ)(3)第4章廣電用戶基本數(shù)據(jù)簡(jiǎn)單查詢(1)第4章選擇題64第4章廣電用戶基本數(shù)據(jù)簡(jiǎn)單查詢(2)第4章實(shí)訓(xùn)，操作題74第4章廣電用戶基本數(shù)據(jù)簡(jiǎn)單查詢(3)第5章廣電用戶賬單與訂單數(shù)據(jù)查詢(1)第5章課后習(xí)題84第5章廣電用戶賬單與訂單數(shù)據(jù)查詢(2)第5章實(shí)訓(xùn)94第5章廣電用戶賬單與訂單數(shù)據(jù)查詢(3)第6章廣電用戶收視行為數(shù)據(jù)查詢(1)第6章選擇題104第6章廣電用戶收視行為數(shù)據(jù)查詢