《公有云技術(shù)應(yīng)用》教案 項目5公有云大數(shù)據(jù)處理與分析

《公有云技術(shù)應(yīng)用》教學(xué)設(shè)計課程名稱：公有云技術(shù)應(yīng)用授課年級：授課學(xué)期：教師姓名：課題名稱項目5公有云大數(shù)據(jù)處理與分析計劃學(xué)時16課時內(nèi)容分析ApacheHadoop軟件庫是一個框架，允許用戶在集群服務(wù)器上使用簡單的編程模型對大數(shù)據(jù)集進行分布式處理。Hadoop被設(shè)計成能夠從單臺服務(wù)器擴展到數(shù)以千計的服務(wù)器，每臺服務(wù)器都有本地的計算和存儲資源。Hadoop的高可用性并不依賴硬件，其代碼庫自身就能在應(yīng)用層偵測并處理硬件故障，因此能基于服務(wù)器集群提供高可用性的服務(wù)。經(jīng)過多年的發(fā)展形成了Hadoop生態(tài)系統(tǒng)教學(xué)目標(biāo)及基本要求認(rèn)識Hadoop生態(tài)圈常用技術(shù)的使用場景。教學(xué)重點掌握在公有云平臺申請使用MRS服務(wù)。掌握在公有云平臺構(gòu)建大數(shù)據(jù)平臺，實現(xiàn)日志數(shù)據(jù)的采集、存儲和分析。教學(xué)難點掌握在公有云平臺申請使用MRS服務(wù)。掌握在公有云平臺構(gòu)建大數(shù)據(jù)平臺，實現(xiàn)日志數(shù)據(jù)的采集、存儲和分析。教學(xué)方式教學(xué)采用教師課堂講授為主，使用教學(xué)PPT講解教學(xué)過程第一次課（走進大數(shù)據(jù)生態(tài)圈）一、創(chuàng)設(shè)情境，導(dǎo)入字符串的概念教師通過列舉一個生活實例，引出hadoop發(fā)展明確學(xué)習(xí)目標(biāo)掌握主流大數(shù)據(jù)技術(shù)掌握大數(shù)據(jù)生態(tài)圈二、進行重點知識的講解教師根據(jù)課件，介紹Hadoop簡介大數(shù)據(jù)主流技術(shù)知識Hadoop生態(tài)系統(tǒng)介紹教師根據(jù)課件，介紹MapReduce服務(wù)MRS大數(shù)據(jù)是人類進入互聯(lián)網(wǎng)時代以來面臨的一個巨大問題：社會生產(chǎn)生活產(chǎn)生的數(shù)據(jù)量越來越大，數(shù)據(jù)種類越來越多，數(shù)據(jù)產(chǎn)生的速度越來越快。傳統(tǒng)的數(shù)據(jù)處理技術(shù)，比如說單機存儲、關(guān)系數(shù)據(jù)庫已經(jīng)無法解決這些新的大數(shù)據(jù)問題。為解決以上大數(shù)據(jù)處理問題，Apache基金會推出了Hadoop大數(shù)據(jù)處理的開源解決方案。三、歸納總結(jié)，布置課后作業(yè)回顧上課前的學(xué)習(xí)目標(biāo)，對本節(jié)課知識點進行總結(jié)。布置隨堂練習(xí)，檢查學(xué)生掌握情況。第二次課（公有云大數(shù)據(jù)服務(wù)MRS使用）一、回顧上節(jié)課的內(nèi)容，繼續(xù)講解本課時的知識教師對學(xué)生們的疑問進行統(tǒng)一答疑。回顧上個課時所學(xué)習(xí)的內(nèi)容，繼續(xù)介紹本課時的內(nèi)容。明確學(xué)習(xí)目標(biāo)掌握主流大數(shù)據(jù)技術(shù)掌握大數(shù)據(jù)生態(tài)圈二、進行重點知識的講解教師根據(jù)課件，介紹MRS服務(wù)與自建Hadoop對比MRS支持一鍵式創(chuàng)建、刪除、擴縮容集群，并通過彈性公網(wǎng)IP便攜訪問MRS集群管理系統(tǒng)，讓大數(shù)據(jù)集群更加易于使用MRS支持自動彈性伸縮，相對自建Hadoop集群的使用成本更低MRS支持存算分離MRS支持自研CarbonData和自研超級調(diào)度器SuperiorScheduler，性能更優(yōu)MRS基于鯤鵬處理器進行軟硬件垂直優(yōu)化，充分釋放硬件算力，實現(xiàn)高性價比MRS支持多種隔離模式及企業(yè)級的大數(shù)據(jù)多租戶權(quán)限管理能力，安全性更高MRS管理節(jié)點均實現(xiàn)HA，支持完備的可靠性機制，讓系統(tǒng)更加可靠MRSs提供統(tǒng)一的可視化大數(shù)據(jù)集群管理界面，讓運維人員更加輕松MRS具有開放的生態(tài)，支持無縫對接周邊服務(wù)，快速構(gòu)建統(tǒng)一大數(shù)據(jù)平臺教師根據(jù)課件，介紹公有云自建Hadoop實現(xiàn)單詞計數(shù)講解及演示【環(huán)境說明】三臺機器均為華為云上購買的ECS（ElasticCloudServer），機器配置是2vcpu+4Gmemory+50Gdisk設(shè)置主機名master，其他兩個節(jié)點分別設(shè)置為slave-1和slave-2。設(shè)置hosts文件，并將文件遠程復(fù)制到slave-1和slave-2設(shè)置SSH無密碼登錄，并通過ssh-copy-id將公鑰拷貝到slave-1和slave-2三個節(jié)點關(guān)閉防火墻和設(shè)置為開機不啟用三個節(jié)點修改selinux上傳hadoop-2.8.1.tar.gz和jdk-8u141-linux-x64.tar.gz的資源包到master節(jié)點的/root目錄下分別配置三個節(jié)點的JDK在master節(jié)點解壓Hadoop的源碼包及刪除doc目錄配置Hadoop的環(huán)境變量文件hadoop-env.sh配置yarn的環(huán)境變量文件yarn-site.sh配置Hadoop的核心配置文件core-site.xml配置hdfs配置文件hdfs-site.xml配置yarn的配置文件yarn-site.xml配置mapreduce計算框架mapred-site.xml配置從節(jié)點配置文件slaves將hadoop的源碼包復(fù)制到slave-1節(jié)點和slave-2節(jié)點分別配置三個的環(huán)境變量文件分別在三個節(jié)點創(chuàng)建Hadoop臨時數(shù)據(jù)目錄在master節(jié)點格式化namenode在master節(jié)點啟動Hadoop集群分別在三個節(jié)點查看Hadoop的進程教師根據(jù)課件，講解及演示【Flume采集wordpress日志數(shù)據(jù)】在第三章，我們使用LNMP架構(gòu)搭建wordpress開源博客系統(tǒng)。我們使用Flume數(shù)據(jù)采集工具采集wordpress產(chǎn)生的用戶訪問日志數(shù)據(jù)，存儲到HDFS文件系統(tǒng)。查看nginx的日志數(shù)據(jù)將Flume的安裝包上傳到服務(wù)器并解壓配置環(huán)境變量文件Flume的配置文件啟動Flume采集nginx的日志數(shù)據(jù)到HDFS文件系統(tǒng)的/yunjisuan2/file/目錄下查看HDFS文件系統(tǒng)上的日志數(shù)據(jù)教師根據(jù)課件，講解及演示MapReduce實現(xiàn)單詞計數(shù)首先將MapReduce的jar包及其依賴包導(dǎo)入idea項目下編寫MapReduce編程，統(tǒng)計每個用戶訪問博客系統(tǒng)的次數(shù)生成JAR包，提交到y(tǒng)arn集群并查看結(jié)果三、歸納總結(jié)，布置作業(yè)回顧上課前的學(xué)習(xí)目標(biāo)，對本節(jié)課知識點進行總結(jié)。布置隨堂練習(xí)，檢查學(xué)生掌握情況。第三次課（公有云大數(shù)據(jù)服務(wù)DWS使用）一、回顧上節(jié)課內(nèi)容，繼續(xù)講解本節(jié)課的內(nèi)容教師對學(xué)生們的疑問進行統(tǒng)一答疑?；仡櫳蟼€課時所學(xué)習(xí)的內(nèi)容，繼續(xù)介紹本課時的內(nèi)容。明確學(xué)習(xí)目標(biāo)掌握大數(shù)據(jù)服務(wù)DWS的基礎(chǔ)知識掌握大數(shù)據(jù)服務(wù)DWS的使用。二、進行重點知識的講解教師根據(jù)課件，介紹數(shù)據(jù)倉庫服務(wù)DWS相關(guān)概念數(shù)據(jù)倉庫服務(wù)GaussDB(DWS)是一種基于公有云云基礎(chǔ)架構(gòu)和平臺的在線數(shù)據(jù)處理數(shù)據(jù)庫，提供即開即用、可擴展且完全托管的分析型數(shù)據(jù)庫服務(wù)教師根據(jù)課件，介紹數(shù)據(jù)倉庫服務(wù)DWS產(chǎn)品架構(gòu)。GaussDB(DWS)基于Shared-nothing分布式架構(gòu)，具備MPP大規(guī)模并行處理引擎，由眾多擁有獨立且互不共享的CPU、內(nèi)存、存儲等系統(tǒng)資源的邏輯節(jié)點組成。在這樣的系統(tǒng)架構(gòu)中，業(yè)務(wù)數(shù)據(jù)被分散存儲在多個節(jié)點上，數(shù)據(jù)分析任務(wù)被推送到數(shù)據(jù)所在位置就近執(zhí)行，并行地完成大規(guī)模的數(shù)據(jù)處理工作，實現(xiàn)對數(shù)據(jù)處理的快速響應(yīng)教師根據(jù)課件，介紹數(shù)據(jù)倉庫服務(wù)DWS應(yīng)用場景教師根據(jù)課件，介紹云數(shù)據(jù)倉庫服務(wù)DWS產(chǎn)品優(yōu)勢教師根據(jù)課件，介紹DWS與其他云服務(wù)的關(guān)系教師根據(jù)課件，介紹數(shù)據(jù)倉庫服務(wù)DWS成功案例教師根據(jù)課件，介紹快速創(chuàng)建DWS集群并導(dǎo)入數(shù)據(jù)及演示華為云數(shù)據(jù)倉庫服務(wù)（DataWarehouseService，簡稱DWS）是一種即開即用、安全可靠的在線數(shù)據(jù)倉庫服務(wù)，為用戶提供海量數(shù)據(jù)的存儲、挖掘和分析能力。三、歸納總結(jié)，布置作業(yè)回顧上課前的學(xué)習(xí)目標(biāo)，對本節(jié)課知識點進行總結(jié)。布置隨堂練習(xí)，檢查學(xué)生掌握情況。第四次課（彈性伸縮）一、回顧上節(jié)課內(nèi)容，繼續(xù)講解本節(jié)課的內(nèi)容教師對學(xué)生們的疑問進行統(tǒng)一答疑。回顧上個課時所學(xué)習(xí)的內(nèi)容，繼續(xù)介紹本課時的內(nèi)容。明確學(xué)習(xí)目標(biāo)掌握大數(shù)據(jù)服務(wù)DLI的基礎(chǔ)知識掌握大數(shù)據(jù)服務(wù)DLI的使用二、進行重點知識的講解教師根據(jù)課件，介紹數(shù)據(jù)湖探索DLI基礎(chǔ)概念數(shù)據(jù)湖探索（DataLakeInsight，簡稱DLI）是完全兼容ApacheSpark、ApacheFlink、openLooKeng（基于ApachePresto）生態(tài)，提供一站式的流處理、批處理、交互式分析的Serverless融合處理分析服務(wù)。用戶不需要管理任何服務(wù)器，即開即用。支持標(biāo)準(zhǔn)SQL/SparkSQL/FlinkSQL，支持多種接入方式，并兼容主流數(shù)據(jù)格式。數(shù)據(jù)無需復(fù)雜的抽取、轉(zhuǎn)換、加載，使用SQL或程序就可以對云上CloudTable、RDS、DWS、CSS、OBS、ECS自建數(shù)據(jù)庫以及線下數(shù)據(jù)庫的異構(gòu)數(shù)據(jù)進行探索。教師根據(jù)課件，介紹數(shù)據(jù)湖探索DLI功能DLI用戶可以通過可視化界面、RestfulAPI、JDBC、ODBC、Beeline等多種接入方式對云上CloudTable、RDS和DWS等異構(gòu)數(shù)據(jù)源進行查詢分析，數(shù)據(jù)格式兼容CSV、JSON、Parquet、Carbon和ORC五種主流數(shù)據(jù)格式。教師根據(jù)課件，介紹數(shù)據(jù)湖探索服務(wù)DLI的訪問方式教師根據(jù)課件，介紹數(shù)據(jù)湖探索服務(wù)DLI與自建Hadoop對比教師根據(jù)課件，介紹及演示快速使用SQL語句查詢數(shù)據(jù)登錄華為云。根據(jù)頁面提示，登錄系統(tǒng)，選擇“大數(shù)據(jù)>數(shù)據(jù)湖探索”，單擊“進入控制臺”，進入數(shù)據(jù)湖探索控制臺選擇隊列①在“總覽”頁面，單擊左側(cè)導(dǎo)航欄中的“SQL編輯器”或SQL作業(yè)簡介右上角的“創(chuàng)建作業(yè)”，可進入“SQL編輯器”頁面。②在SQL編輯器頁面，選擇默認(rèn)的隊列“default”。該隊列為服務(wù)默認(rèn)的共享隊列，隊列大小按需分配，自動擴展。用戶在不確定所需隊列大小或沒有可創(chuàng)建隊列空間的情況下，可以使用該隊列執(zhí)行作業(yè)。如果需要創(chuàng)建隊列，可單擊“了解詳細步驟”了解創(chuàng)建隊列相關(guān)操作創(chuàng)建數(shù)據(jù)庫①在SQL語句編輯區(qū)域中，輸入SQL語句創(chuàng)建數(shù)據(jù)庫。例如，創(chuàng)建名稱為DB1的數(shù)據(jù)庫：CREATEDATABASEDB1②單擊“更多”中的“語法校驗”，校驗成功后，再單擊“執(zhí)行”。在SQL語句編輯區(qū)域的下方，顯示執(zhí)行結(jié)果創(chuàng)建表①在“數(shù)據(jù)庫”下拉框中，選擇新創(chuàng)建的數(shù)據(jù)庫db1。②在SQL語句編輯區(qū)域中，輸入SQL語句創(chuàng)建數(shù)據(jù)表。例如，創(chuàng)建名稱為Table1的數(shù)據(jù)表，數(shù)據(jù)文件在OBS上的路徑為“obs://dli/dli/data.csv”。createtabletable1(idint,namestring)usingcsvoptions(path'obs://dli/dli/data.csv')說明：所使用的數(shù)據(jù)需先上傳至OBS中。假設(shè)所使用的數(shù)據(jù)為如下所示：idname1Michael2Andy3Justin③語法校驗成功后，單擊“執(zhí)行”。在SQL語句編輯區(qū)域的下方，顯示執(zhí)