Hive大數(shù)據(jù)存儲(chǔ)與處理 教案全套 第1-8章 廣電大數(shù)據(jù)用戶畫像需求分析- 廣電用戶數(shù)據(jù)存儲(chǔ)與處理的程序開發(fā)

第1章廣電大數(shù)據(jù)用戶畫像需求分析教案課程名稱：Hive大數(shù)據(jù)存儲(chǔ)與處理課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論36學(xué)時(shí)，實(shí)驗(yàn)28學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：2學(xué)時(shí)材料清單《Hive大數(shù)據(jù)存儲(chǔ)與處理》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)通過廣電大數(shù)據(jù)用戶畫像需求背景了解和初步分析，擴(kuò)展學(xué)習(xí)目前常見的幾種大數(shù)據(jù)存儲(chǔ)產(chǎn)品知識(shí)，進(jìn)而從Hive的發(fā)展歷史、Hive的架構(gòu)、Hive的主要特點(diǎn)、Hive與傳統(tǒng)數(shù)據(jù)庫的區(qū)別等方面深入了解Hive，為下一步做好Hive數(shù)據(jù)存儲(chǔ)和開發(fā)奠定一定的理論基礎(chǔ)?；疽罅私鈴V電大數(shù)據(jù)用戶畫像需求分析的背景。了解目前常見的幾種大數(shù)據(jù)存儲(chǔ)產(chǎn)品。了解Hive原理架構(gòu)和Hive的主要特點(diǎn)。了解Hive和傳統(tǒng)數(shù)據(jù)庫的主要區(qū)別。。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。廣電大數(shù)據(jù)用戶畫像需求背景是什么？大數(shù)據(jù)存儲(chǔ)技術(shù)架構(gòu)包括哪些技術(shù)？Hive的主要架構(gòu)是什么？Hive的優(yōu)勢(shì)和適用場景？Hive與傳統(tǒng)數(shù)據(jù)庫的區(qū)別？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問?；蛘呤菍?duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。常用的大數(shù)據(jù)存儲(chǔ)技術(shù)有哪些？Hive數(shù)據(jù)存儲(chǔ)和分析能夠應(yīng)用在那些場景？Hive技術(shù)的哪些優(yōu)缺點(diǎn)？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。大數(shù)據(jù)存儲(chǔ)存在哪些困難？Hive語言用于做數(shù)據(jù)存儲(chǔ)和分析有哪些優(yōu)勢(shì)？廣電大數(shù)據(jù)存儲(chǔ)面臨哪些問題，使用Hive技術(shù)帶來哪些效益？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)廣電大數(shù)據(jù)用戶畫像需求分析的背景。目前常見的幾種大數(shù)據(jù)存儲(chǔ)產(chǎn)品。Hive原理架構(gòu)和Hive的主要特點(diǎn)。Hive和傳統(tǒng)數(shù)據(jù)庫的主要區(qū)別。。重點(diǎn)廣電大數(shù)據(jù)存儲(chǔ)需求分析。Hive語言用于做數(shù)據(jù)存儲(chǔ)和分析有哪些優(yōu)勢(shì)。難點(diǎn)數(shù)據(jù)分析的概念與流程。教學(xué)過程設(shè)計(jì)理論教學(xué)過程廣電大數(shù)據(jù)存儲(chǔ)需求分析背景、分析。大數(shù)據(jù)存儲(chǔ)技術(shù)架構(gòu)。Hive原理架構(gòu)。Hive訪問接口。Hive的主要特點(diǎn)。Hive的主要適用場景。教材與參考資料教材何煌，張良均．Hive大數(shù)據(jù)存儲(chǔ)與處理[M]．北京：人民郵電出版社．2024．參考資料[1] 張軍，張良均．Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)（第2版）（微課版）[M]．北京：人民郵電出版社．2021．[2] 王哲，張良均．Hadoop與大數(shù)據(jù)挖掘（第2版）[M]．北京：機(jī)械工業(yè)出版社．2022．第2章部署開發(fā)環(huán)境教案課程名稱：Hive大數(shù)據(jù)存儲(chǔ)與處理課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論36學(xué)時(shí)，實(shí)驗(yàn)28學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：8學(xué)時(shí)材料清單《Hive大數(shù)據(jù)存儲(chǔ)與處理》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)通過學(xué)習(xí)廣電大數(shù)據(jù)用戶系統(tǒng)的部署，深入學(xué)習(xí)掌握Hadoop集群的安裝部署方法、掌握MySQL數(shù)據(jù)庫的安裝配置方法、如何安裝部署Hive、HiveCLI的使用方法，為后續(xù)實(shí)現(xiàn)廣電大數(shù)據(jù)存儲(chǔ)和處理搭建環(huán)境。基本要求掌握Hadoop集群的安裝部署方法。掌握MySQL數(shù)據(jù)庫的安裝配置方法。掌握Hive的安裝配置及啟動(dòng)方法。掌握HiveCLI的使用方法。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。部署Hadoop集群涉及哪些組件和步驟？為什么部署Hive系統(tǒng)需要部署MySQL？在Hadoop平臺(tái)上部署Hive需要注意什么？HiveCLI操作的主要命令和實(shí)際應(yīng)用？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問?；蛘呤菍?duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。Hadoop集群部署有哪些模式，為什么當(dāng)前采用這種模式？Hive元數(shù)據(jù)的存儲(chǔ)有哪些方式，采用MySQL有什么優(yōu)點(diǎn)？使用HiveCLI操作？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。大數(shù)據(jù)存儲(chǔ)存在哪些困難？Hive語言用于做數(shù)據(jù)存儲(chǔ)和分析有哪些優(yōu)勢(shì)？廣電大數(shù)據(jù)存儲(chǔ)面臨哪些問題，使用Hive技術(shù)帶來哪些效益？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)掌握Hadoop集群的安裝部署方法。掌握MySQL數(shù)據(jù)庫的安裝配置方法。掌握Hive的安裝配置及啟動(dòng)方法。掌握HiveCLI的使用方法。重點(diǎn)掌握MySQL數(shù)據(jù)庫的安裝配置方法。掌握Hive的安裝配置及啟動(dòng)方法。難點(diǎn)掌握Hadoop集群的安裝部署方法。教學(xué)過程設(shè)計(jì)理論教學(xué)過程VMWare虛擬機(jī)安裝和網(wǎng)絡(luò)設(shè)置。部署CentOS。Hadoop集群部署前準(zhǔn)備。Hadoop集群部署。安裝MySQL。安裝Hive。啟動(dòng)Hive。在Hive中執(zhí)行BashShell和HadoopDFS命令。Shell中執(zhí)行Hive查詢。實(shí)驗(yàn)教學(xué)過程在Windows/Linux系統(tǒng)上安裝部署CentOS。Hadoop集群部署。安裝MySQL。安裝Hive。教材與參考資料教材何煌，張良均．Hive大數(shù)據(jù)存儲(chǔ)與處理[M]．北京：人民郵電出版社．2024．參考資料[1] 張軍，張良均．Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)（第2版）（微課版）[M]．北京：人民郵電出版社．2021．[2] 王哲，張良均．Hadoop與大數(shù)據(jù)挖掘（第2版）[M]．北京：機(jī)械工業(yè)出版社．2022．第3章廣電用戶數(shù)據(jù)存儲(chǔ)教案課程名稱：Hive大數(shù)據(jù)存儲(chǔ)與處理課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論36學(xué)時(shí)，實(shí)驗(yàn)28學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：8學(xué)時(shí)材料清單《Hive大數(shù)據(jù)存儲(chǔ)與處理》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)只有在Hive中創(chuàng)建了相關(guān)的業(yè)務(wù)數(shù)據(jù)表，才能進(jìn)行業(yè)務(wù)數(shù)據(jù)的導(dǎo)入和后續(xù)的分析工作。本任務(wù)主要介紹Hive數(shù)據(jù)庫的創(chuàng)建與管理、Hive的數(shù)據(jù)類型、Hive表的創(chuàng)建與管理，以及結(jié)合廣電業(yè)務(wù)數(shù)據(jù)類型，設(shè)計(jì)表的結(jié)構(gòu)，并在Hive中創(chuàng)建相應(yīng)的業(yè)務(wù)數(shù)據(jù)表?；疽笳莆赵贖ive中創(chuàng)建與管理數(shù)據(jù)庫的操作。了解Hive的基礎(chǔ)數(shù)據(jù)類型和復(fù)雜數(shù)據(jù)類型。掌握在Hive中創(chuàng)建與管理表的常用操作。掌握裝載數(shù)據(jù)至Hive表的操作。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。為什么需要對(duì)廣電業(yè)務(wù)數(shù)據(jù)進(jìn)行存儲(chǔ)操作?如何將數(shù)據(jù)存儲(chǔ)在Hive中？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問?；蛘呤菍?duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。如何結(jié)合廣電業(yè)務(wù)實(shí)現(xiàn)創(chuàng)建廣電數(shù)據(jù)庫和業(yè)務(wù)數(shù)據(jù)表？將業(yè)務(wù)數(shù)據(jù)從CSV文件中導(dǎo)入Hive表？如何在Hive中創(chuàng)建、管理數(shù)據(jù)庫？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。Hive數(shù)據(jù)類型有哪些？如何結(jié)合廣電業(yè)務(wù)，定義合適的Hive數(shù)據(jù)類型？內(nèi)部表和外部表的區(qū)別，如何選用？分區(qū)表有幾類，用途是什么？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)掌握在Hive中創(chuàng)建數(shù)據(jù)的庫方法。掌握在Hive中管理（設(shè)置、修改、刪除等）數(shù)據(jù)的庫方法。掌握Hive數(shù)據(jù)類型，根據(jù)業(yè)務(wù)需要選擇合適的數(shù)據(jù)類型定義表字段。掌握內(nèi)部表、外部表、分區(qū)表的概念和用法。重點(diǎn)掌握在Hive中管理（設(shè)置、修改、刪除等）數(shù)據(jù)的庫方法。結(jié)合實(shí)際業(yè)務(wù)需要選擇合適的數(shù)據(jù)類型定義表字段。難點(diǎn)結(jié)合廣電業(yè)務(wù)實(shí)現(xiàn)創(chuàng)建廣電數(shù)據(jù)庫和業(yè)務(wù)數(shù)據(jù)表，并完成數(shù)據(jù)的導(dǎo)入過程。教學(xué)過程設(shè)計(jì)理論教學(xué)過程學(xué)習(xí)在Hive中創(chuàng)建業(yè)務(wù)數(shù)據(jù)庫和相關(guān)數(shù)據(jù)表。了解Hive數(shù)據(jù)類型分類。創(chuàng)建與管理Hive表。了解Hive中幾個(gè)常用概念：內(nèi)部表、外部表、分區(qū)表、桶表、臨時(shí)表等。實(shí)驗(yàn)教學(xué)過程在Hive中創(chuàng)建業(yè)務(wù)數(shù)據(jù)庫和相關(guān)數(shù)據(jù)表。通CSV文件導(dǎo)入方法，把業(yè)務(wù)數(shù)據(jù)導(dǎo)入Hive數(shù)據(jù)庫中。教材與參考資料教材何煌，張良均．Hive大數(shù)據(jù)存儲(chǔ)與處理[M]．北京：人民郵電出版社．2024．參考資料[1] 張軍，張良均．Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)（第2版）（微課版）[M]．北京：人民郵電出版社．2021．[2] 王哲，張良均．Hadoop與大數(shù)據(jù)挖掘（第2版）[M]．北京：機(jī)械工業(yè)出版社．2022．第4章廣電用戶基本數(shù)據(jù)簡單查詢教案課程名稱：Hive大數(shù)據(jù)存儲(chǔ)與處理課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論36學(xué)時(shí)，實(shí)驗(yàn)28學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：8學(xué)時(shí)材料清單《Hive大數(shù)據(jù)存儲(chǔ)與處理》教材。配套PPT。配套數(shù)據(jù)、代碼。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)充分利用廣電公司目前已積累的數(shù)十萬用戶數(shù)據(jù)，了解用戶狀態(tài)，便于更有針對(duì)性地服務(wù)用戶。介紹如何在Hive中使用的HQL語句對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，通過介紹Hive的基本查詢過程，結(jié)合廣電用戶基本數(shù)據(jù)表，實(shí)現(xiàn)廣電用戶基本數(shù)據(jù)的查詢、分析?；疽罅私釹ELECT語句基本的語法。掌握使用WHERE關(guān)鍵字實(shí)現(xiàn)條件查詢的方法。掌握表別名、列別名的使用方法。掌握聚合函數(shù)的使用方法。掌握分組查詢的實(shí)現(xiàn)方法。了解不同排序關(guān)鍵字之間的區(qū)別。掌握使用通配符、正則表達(dá)式實(shí)現(xiàn)模糊查詢的方法。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的?，F(xiàn)實(shí)生活中有哪些根據(jù)數(shù)據(jù)進(jìn)行推薦的場景？作為消費(fèi)者有哪些信息是希望被重視，為生活帶來便利的？該如何進(jìn)行數(shù)據(jù)查詢？你所了解的HQL與SQL之間有哪些不同？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問?；蛘呤菍?duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。如何進(jìn)行有效的數(shù)據(jù)查詢？怎能能提升數(shù)據(jù)獲取的效率，準(zhǔn)確進(jìn)行數(shù)據(jù)獲?。咳绾蝺?yōu)化查詢數(shù)據(jù)的展示結(jié)果？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。數(shù)據(jù)查詢是不是能夠查詢?nèi)魏涡枨蟮臄?shù)據(jù)？Hive在執(zhí)行HQL查詢的過程中都經(jīng)過了哪些過程？還有哪些角度可以對(duì)廣電用戶數(shù)據(jù)進(jìn)行分析？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)SELECT語句的語法結(jié)構(gòu)。WHERE關(guān)鍵字的語法結(jié)構(gòu)。聚合函數(shù)的使用。列別名的設(shè)置。分組查詢。對(duì)查詢結(jié)果進(jìn)行排序。重點(diǎn)正則表達(dá)式在查詢過程中的使用。分組查詢的規(guī)范化。難點(diǎn)簡單數(shù)據(jù)查詢過程的實(shí)現(xiàn)。教學(xué)過程設(shè)計(jì)理論教學(xué)過程介紹進(jìn)行數(shù)據(jù)查詢的必要性。SELECT語句的語法結(jié)構(gòu)。WHERE關(guān)鍵字的語法結(jié)構(gòu)及應(yīng)用場景。DISTINCT關(guān)鍵字的使用。聚合函數(shù)的語法結(jié)構(gòu)。查詢過程中列別名的使用。分組查詢。HAVING關(guān)鍵字的使用。LIMIT關(guān)鍵字的語法結(jié)構(gòu)。對(duì)查詢結(jié)果進(jìn)行排序。正則表達(dá)式在查詢過程中的使用。實(shí)驗(yàn)教學(xué)過程掌握Hive中SELECT語句的基本語法。掌握SELECT語句在不同查詢場景中的使用方法。教材與參考資料教材何煌，張良均．Hive大數(shù)據(jù)存儲(chǔ)與處理[M]．北京：人民郵電出版社．2024．參考資料[1] 張軍，張良均．Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)（第2版）（微課版）[M]．北京：人民郵電出版社．2021．[2] 王哲，張良均．Hadoop與大數(shù)據(jù)挖掘（第2版）[M]．北京：機(jī)械工業(yè)出版社．2022．第5章廣電用戶賬單與訂單數(shù)據(jù)查詢進(jìn)階教案課程名稱：Hive大數(shù)據(jù)存儲(chǔ)與處理課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論36學(xué)時(shí)，實(shí)驗(yàn)28學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：8學(xué)時(shí)材料清單《Hive大數(shù)據(jù)存儲(chǔ)與處理》教材。配套PPT。配套數(shù)據(jù)、代碼引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)掌握使用Hive對(duì)廣電用戶賬單及訂單數(shù)據(jù)進(jìn)行進(jìn)階查詢，完成基于原始數(shù)據(jù)的各類統(tǒng)計(jì)查詢工作，并通過數(shù)據(jù)進(jìn)階查詢對(duì)Hive的高階查詢進(jìn)行介紹。首先介紹Hive的內(nèi)置函數(shù)，然后介紹在Hive中如何使用兩個(gè)表進(jìn)行連接查詢，最后介紹如何在分桶表中進(jìn)行抽樣查詢，以便在大量數(shù)據(jù)查詢場景中抽取部分具有代表性的數(shù)據(jù)。通過介紹Hive的高階查詢，結(jié)合廣電用戶賬單數(shù)據(jù)表、訂單數(shù)據(jù)表，掌握Hive的高階查詢，提升數(shù)據(jù)處理能力?；疽罅私獬Ｒ姷腍ive內(nèi)置函數(shù)。掌握條件函數(shù)、字符函數(shù)、日期函數(shù)及數(shù)學(xué)函數(shù)的使用方法。掌握各類JOIN語句的使用方法。掌握J(rèn)OIN語句與UNIONALL關(guān)鍵字的區(qū)別。掌握桶表中抽樣查詢的使用方法。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。之前學(xué)習(xí)的簡單查詢部分是否有無法覆蓋的查詢場景？如果查詢過程中出現(xiàn)計(jì)算等場景應(yīng)該怎么處理？查詢過程中是否會(huì)出現(xiàn)將多個(gè)表中數(shù)據(jù)連接之后進(jìn)行查詢的場景？在大數(shù)據(jù)量查詢過程中可以怎么處理？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問?；蛘呤菍?duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。在查詢過程中使用函數(shù)能夠帶來哪些便利？JOIN連接查詢與UNIONALL關(guān)鍵字的使用場景是否有區(qū)別？抽樣查詢能夠解決哪些場景的問題？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。簡單查詢加復(fù)雜查詢所覆蓋的查詢場景是否能夠滿足所有查詢需求？如果想要進(jìn)行一些特色化場景查詢，有什么好的想法？對(duì)用戶賬單與訂單數(shù)據(jù)還有哪些分析查詢角度？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)Hive中的內(nèi)置函數(shù)。JOIN關(guān)鍵字構(gòu)建連接查詢。抽樣查詢。重點(diǎn)內(nèi)置函數(shù)的使用場景。連接查詢各類別的區(qū)別。難點(diǎn)正確實(shí)施抽樣查詢。教學(xué)過程設(shè)計(jì)理論教學(xué)過程條件函數(shù)的使用。類型轉(zhuǎn)換函數(shù)的使用。字符函數(shù)的使用。日期函數(shù)的使用。數(shù)學(xué)函數(shù)的使用。JOIN語句的使用。UNIONALL關(guān)鍵字。抽樣查詢過程。實(shí)驗(yàn)教學(xué)過程掌握Hive中的內(nèi)置函數(shù)。掌握Hive中的連接查詢。教材與參考資料教材何煌，張良均．Hive大數(shù)據(jù)存儲(chǔ)與處理[M]．北京：人民郵電出版社．2024．參考資料[1] 張軍，張良均．Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)（第2版）（微課版）[M]．北京：人民郵電出版社．2021．[2] 王哲，張良均．Hadoop與大數(shù)據(jù)挖掘（第2版）[M]．北京：機(jī)械工業(yè)出版社．2022．第6章廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化教案課程名稱：Hive大數(shù)據(jù)存儲(chǔ)與處理課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論36學(xué)時(shí)，實(shí)驗(yàn)28學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：10學(xué)時(shí)材料清單《Hive大數(shù)據(jù)存儲(chǔ)與處理》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)本章先介紹了Hive視圖的創(chuàng)建、查看與刪除方法，其次介紹了如何配置Fetch抓取、設(shè)置map和reduce任務(wù)數(shù)以及配置并行執(zhí)行，然后介紹了使用子查詢的方法，最后介紹了優(yōu)化配置GROUPBY語句和LIMIT語句。本章通過優(yōu)化Hive配置與HQL語句，實(shí)現(xiàn)廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化，幫助讀者掌握各種Hive優(yōu)化方法。基本要求掌握Hive查詢優(yōu)化的方法。掌握Hive視圖的使用方法。了解配置Fetch抓取的方法。掌握Hive設(shè)置map和reduce任務(wù)數(shù)的方法。掌握Hive配置并行執(zhí)行的方法。掌握子查詢的使用方法。掌握GROUPBY語句的優(yōu)化配置方法。掌握LIMIT語句的優(yōu)化配置方法。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。如何在Hive中創(chuàng)建一個(gè)新的視圖？為什么我們需要配置Fetch抓取？它對(duì)查詢性能有什么影響？子查詢?cè)诮鉀Q哪些復(fù)雜查詢場景中特別有效？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問?；蛘呤菍?duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。在Hive中使用視圖是否會(huì)引入性能開銷？LIMIT語句在大數(shù)據(jù)查詢中為何需要特殊優(yōu)化？Hive的動(dòng)態(tài)分區(qū)功能如何幫助優(yōu)化大規(guī)模數(shù)據(jù)處理？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。除了GROUPBY和LIMIT之外，還有哪些高級(jí)SQL操作可以在Hive中進(jìn)行優(yōu)化？Hive是否還有其他優(yōu)化配置方法？有哪些？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)Hive查詢優(yōu)化的方法。Hive視圖的使用方法。配置Fetch抓取的方法。Hive設(shè)置map和reduce任務(wù)數(shù)的方法。Hive配置并行執(zhí)行的方法。子查詢的使用方法。GROUPBY語句的優(yōu)化配置方法。LIMIT語句的優(yōu)化配置方法。重點(diǎn)Hive視圖的使用方法。子查詢的使用方法。GROUPBY語句的優(yōu)化配置方法。LIMIT語句的優(yōu)化配置方法。難點(diǎn)掌握子查詢的使用方法。教學(xué)過程設(shè)計(jì)理論教學(xué)過程創(chuàng)建視圖。查看與刪除視圖。配置Fetch抓取。合理設(shè)置map和reduce任務(wù)數(shù)。配置并行執(zhí)行。使用子查詢優(yōu)化查詢語句。優(yōu)化配置GROUPBY語句。使用GROUPBY代替COUNT(DISTINCT)去重統(tǒng)計(jì)。優(yōu)化配置LIMIT語句。實(shí)驗(yàn)教學(xué)過程創(chuàng)建視圖。查看與刪除視圖。使用視圖統(tǒng)計(jì)不同節(jié)目的用戶觀看人數(shù)。配置Fetch抓取。合理設(shè)置map和reduce任務(wù)數(shù)。配置并行執(zhí)行。優(yōu)化統(tǒng)計(jì)直播頻道數(shù)。使用子查詢優(yōu)化查詢語句。優(yōu)化配置GROUPBY語句。使用GROUPBY代替COUNT(DISTINCT)去重統(tǒng)計(jì)。優(yōu)化配置LIMIT語句。使用子查詢統(tǒng)計(jì)節(jié)目類型為直播的頻道Top10。教材與參考資料教材何煌，張良均．Hive大數(shù)據(jù)存儲(chǔ)與處理[M]．北京：人民郵電出版社．2024．參考資料[1] 張軍，張良均．Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)（第2版）（微課版）[M]．北京：人民郵電出版社．2021．[2] 王哲，張良均．Hadoop與大數(shù)據(jù)挖掘（第2版）[M]．北京：機(jī)械工業(yè)出版社．2022．第7章廣電用戶數(shù)據(jù)清洗及數(shù)據(jù)導(dǎo)出教案課程名稱：Hive大數(shù)據(jù)存儲(chǔ)與處理課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論36學(xué)時(shí)，實(shí)驗(yàn)28學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：10學(xué)時(shí)材料清單《Hive大數(shù)據(jù)存儲(chǔ)與處理》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)本章的目標(biāo)是先探索廣電用戶無效數(shù)據(jù)，再進(jìn)行數(shù)據(jù)清洗與保存。本章首先探索了無效用戶數(shù)據(jù)，如探索重復(fù)的用戶數(shù)、特殊線路用戶數(shù)據(jù)和政企用戶數(shù)據(jù)等，其次探索了無效收視行為數(shù)據(jù)，主要探索用戶觀看時(shí)長，接著探索了無效賬單和訂單數(shù)據(jù)，探索用戶應(yīng)付金額should_pay字段和訂購產(chǎn)品價(jià)格cost字段是否存在小于0的數(shù)據(jù)，再按照探索結(jié)果進(jìn)行數(shù)據(jù)清洗，最終將清洗結(jié)果保存至Linux本地目錄和HDFS目錄?；疽笳莆誋ive內(nèi)置函數(shù)的使用方法。掌握Hive中對(duì)數(shù)據(jù)進(jìn)行清洗與統(tǒng)計(jì)分析的方法。掌握將Hive表中的數(shù)據(jù)導(dǎo)出至Linux本地與HDFS的方法。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。在處理廣電用戶數(shù)據(jù)時(shí)，如何通過Hive查詢語句識(shí)別并統(tǒng)計(jì)出重復(fù)的用戶記錄數(shù)量？假設(shè)發(fā)現(xiàn)某些用戶的觀看時(shí)長異常長，遠(yuǎn)超一般用戶，應(yīng)如何設(shè)計(jì)一個(gè)查詢來篩選出這些可能的異常數(shù)據(jù)？如何使用Hive的查詢語句驗(yàn)證數(shù)據(jù)清洗的結(jié)果？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問?；蛘呤菍?duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。在面對(duì)不同類型的數(shù)據(jù)錯(cuò)誤（如空值、異常值、重復(fù)值）時(shí)，應(yīng)如何決定采取刪除、填充還是修正的策略，以最大限度保留數(shù)據(jù)的有效性？在執(zhí)行大規(guī)模數(shù)據(jù)清洗時(shí)，如何通過調(diào)整Hive的配置參數(shù)或優(yōu)化查詢邏輯來提升數(shù)據(jù)處理的效率和速度？清洗后的數(shù)據(jù)如何進(jìn)行質(zhì)量評(píng)估，以確保數(shù)據(jù)準(zhǔn)確無誤地反映了業(yè)務(wù)實(shí)際情況？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。除了INSERTOVERWRITE語句，還有哪些方法可以將數(shù)據(jù)導(dǎo)出至文件系統(tǒng)？如何通過Shell腳本實(shí)現(xiàn)自動(dòng)化執(zhí)行數(shù)據(jù)清洗流程，包括數(shù)據(jù)探索、清洗、驗(yàn)證及導(dǎo)出到指定位置的全過程？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)探索無效用戶數(shù)據(jù)。刪除無效用戶數(shù)據(jù)。探索無效收視行為數(shù)據(jù)。刪除無效收視行為數(shù)據(jù)。探索無效賬單數(shù)據(jù)。探索無效訂單數(shù)據(jù)。刪除無效賬單和無效訂單數(shù)據(jù)。使用INSERTOVERWRITE語句將數(shù)據(jù)導(dǎo)出至文件系統(tǒng)。保存處理結(jié)果至Linux本地和HDFS。重點(diǎn)使用INSERTOVERWRITE語句將數(shù)據(jù)導(dǎo)出至文件系統(tǒng)。難點(diǎn)使用INSERTOVERWRITE語句將數(shù)據(jù)導(dǎo)出至文件系統(tǒng)。教學(xué)過程設(shè)計(jì)理論教學(xué)過程清洗無效用戶數(shù)據(jù)。清洗無效收視行為數(shù)據(jù)。清洗無效賬單和訂單數(shù)據(jù)。導(dǎo)出處理結(jié)果至Linux本地和HDFS。實(shí)驗(yàn)教學(xué)過程探索無效用戶數(shù)據(jù)。刪除無效用戶數(shù)據(jù)。探索無效收視行為數(shù)據(jù)。刪除無效收視行為數(shù)據(jù)。探索無效賬單數(shù)據(jù)。探索無效訂單數(shù)據(jù)。刪除無效賬單和無效訂單數(shù)據(jù)。使用INSERTOVERWRITE語句將數(shù)據(jù)導(dǎo)出至文件系統(tǒng)。保存處理結(jié)果至Linux本地和HDFS。教材與參考資料教材何煌，張良均．Hive大數(shù)據(jù)存儲(chǔ)與處理[M]．北京：人民郵電出版社．2024．參考資料[1] 張軍，張良均．Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)（第2版）（微課版）[M]．北京：人民郵電出版社．2021．[2] 王哲，張良均．Hadoop與大數(shù)據(jù)挖掘（第2版）[M]．北京：機(jī)械工業(yè)出版社．2022．第8章廣電用戶數(shù)據(jù)存儲(chǔ)與處理程序開發(fā)教案課程名稱：Hive大數(shù)據(jù)存儲(chǔ)與處理課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論36學(xué)時(shí)，實(shí)驗(yàn)28學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：10學(xué)時(shí)材料清單《Hive大數(shù)據(jù)存儲(chǔ)與處理》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)只有在Hive中創(chuàng)建了相關(guān)的業(yè)務(wù)數(shù)據(jù)表，才能進(jìn)行業(yè)務(wù)數(shù)據(jù)的導(dǎo)入和后續(xù)的分析工作。本任務(wù)主要介紹Hive數(shù)據(jù)庫的創(chuàng)建與管理、Hive的數(shù)據(jù)類型