Hive大數(shù)據(jù)存儲與處理 教案 第6章 廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化 教案

第6章廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化教案課程名稱：Hive大數(shù)據(jù)存儲與處理課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學時：64學時（其中理論36學時，實驗28學時）總學分：4.0學分本章學時：10學時材料清單《Hive大數(shù)據(jù)存儲與處理》教材。配套PPT。引導性提問。探究性問題。拓展性問題。教學目標與基本要求教學目標本章先介紹了Hive視圖的創(chuàng)建、查看與刪除方法，其次介紹了如何配置Fetch抓取、設置map和reduce任務數(shù)以及配置并行執(zhí)行，然后介紹了使用子查詢的方法，最后介紹了優(yōu)化配置GROUPBY語句和LIMIT語句。本章通過優(yōu)化Hive配置與HQL語句，實現(xiàn)廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化，幫助讀者掌握各種Hive優(yōu)化方法。基本要求掌握Hive查詢優(yōu)化的方法。掌握Hive視圖的使用方法。了解配置Fetch抓取的方法。掌握Hive設置map和reduce任務數(shù)的方法。掌握Hive配置并行執(zhí)行的方法。掌握子查詢的使用方法。掌握GROUPBY語句的優(yōu)化配置方法。掌握LIMIT語句的優(yōu)化配置方法。問題引導性提問引導性提問需要教師根據(jù)教材內(nèi)容和學生實際水平，提出問題，啟發(fā)引導學生去解決問題，提問，從而達到理解、掌握知識，發(fā)展各種能力和提高思想覺悟的目的。如何在Hive中創(chuàng)建一個新的視圖？為什么我們需要配置Fetch抓??？它對查詢性能有什么影響？子查詢在解決哪些復雜查詢場景中特別有效？探究性問題探究性問題需要教師深入鉆研教材的基礎上精心設計，提問的角度或者在引導性提問的基礎上，從重點、難點問題切入，進行插入式提問?；蛘呤菍σ龑教釂栔猩形瓷婕暗谡n文中又是重要的問題加以設問。在Hive中使用視圖是否會引入性能開銷？LIMIT語句在大數(shù)據(jù)查詢中為何需要特殊優(yōu)化？Hive的動態(tài)分區(qū)功能如何幫助優(yōu)化大規(guī)模數(shù)據(jù)處理？拓展性問題拓展性問題需要教師深刻理解教材的意義，學生的學習動態(tài)后，根據(jù)學生學習層次，提出切實可行的關(guān)乎實際的可操作問題。亦可以提供拓展資料供學生研習探討，完成拓展性問題。除了GROUPBY和LIMIT之外，還有哪些高級SQL操作可以在Hive中進行優(yōu)化？Hive是否還有其他優(yōu)化配置方法？有哪些？主要知識點、重點與難點主要知識點Hive查詢優(yōu)化的方法。Hive視圖的使用方法。配置Fetch抓取的方法。Hive設置map和reduce任務數(shù)的方法。Hive配置并行執(zhí)行的方法。子查詢的使用方法。GROUPBY語句的優(yōu)化配置方法。LIMIT語句的優(yōu)化配置方法。重點Hive視圖的使用方法。子查詢的使用方法。GROUPBY語句的優(yōu)化配置方法。LIMIT語句的優(yōu)化配置方法。難點掌握子查詢的使用方法。教學過程設計理論教學過程創(chuàng)建視圖。查看與刪除視圖。配置Fetch抓取。合理設置map和reduce任務數(shù)。配置并行執(zhí)行。使用子查詢優(yōu)化查詢語句。優(yōu)化配置GROUPBY語句。使用GROUPBY代替COUNT(DISTINCT)去重統(tǒng)計。優(yōu)化配置LIMIT語句。實驗教學過程創(chuàng)建視圖。查看與刪除視圖。使用視圖統(tǒng)計不同節(jié)目的用戶觀看人數(shù)。配置Fetch抓取。合理設置map和reduce任務數(shù)。配置并行執(zhí)行。優(yōu)化統(tǒng)計直播頻道數(shù)。使用子查詢優(yōu)化查詢語句。優(yōu)化配置GROUPBY語句。使用GROUPBY代替COUNT(DISTINCT)去重統(tǒng)計。優(yōu)化配置LIMIT語句。使用子查詢統(tǒng)計節(jié)目類型為直播的頻道Top10。教材與參考資料教材何煌，張良均．Hive大數(shù)據(jù)存儲與處理[M]．北京：人民郵電出版社．2024．參考資料[1] 張軍，張良均．Hadoop大數(shù)據(jù)開發(fā)基礎