大數據技術與應用基礎教學大綱

1、大數據技術與應用基礎教學大綱學時：60代 碼：適用專業(yè)：制 定：審 核：批 準：一、課程的地位、性質和任務人數據技術的發(fā)展，已被列為國家重大發(fā)展戰(zhàn)略。而在過去的幾年里，無論是聚焦犬數據發(fā)展的 促進大數據發(fā)展行動綱要，還是“十三五”規(guī)劃中都深刻體現了政府對人數據產業(yè)和應用 發(fā)展的重視。目前國內人數據發(fā)展還處于加速期、轉型期，數據與傳統(tǒng)產業(yè)的融合還處于起步階 段，各行業(yè)對人數據分析和挖掘的應用還不理想。但隨著市場競爭的加劇，各行業(yè)對人數據技術 研究的熱情越來越高，在未來幾年，各領域的數據分析都將大規(guī)模應用。本課程在注重犬數據時代應用環(huán)境前捉下，考慮人數據處理分析需求多樣復雜的基本情況，從初 學者角

2、度出發(fā)，以輕量級理論、豐富的實例對比性地介紹人數據常用計算模式的各種系統(tǒng)和匸具。 考慮到當前犬數據發(fā)展處于起步并逐步趕超先進的階段，其應用領域豐富廣泛，在教學過程中應 注重掌握人數據分析的實踐操作。本課程通過豐富簡單易上手的實例，讓學生能夠切實體會和拿 握各種類型工具的特點和應用。二、課程教學基本要求1. 了解人數據的發(fā)展和基本槪念，理解并掌握人數據的特征及主要技術層面。2. 掌握Scrapy環(huán)境的搭建，了解網絡爬蟲獲取數據的過程，熟悉爬蟲項目的創(chuàng)建。3. 深刻了解hadoop的基礎理論，理解并掌握Hadoop單機及集群環(huán)境的部署方法。4. 掌握HDFS的基本槪念和HDFS在hadoop中的作

3、用，理解并識記HDFS的使用，了解HDFS的 JAVA API接口及數據流原理；讓學生明白Map過程與Reduce過程這兩個獨立部分各自的原理 及合作途徑，知道如何獨立編寫滿足自己需求的MapReduce程序。5. 理解HBase中涉及的基本概念，掌握HBase的簡單應用：讓學生了解數據倉庫的基礎概念， 熟悉Hive與HDFS、MapReduce直接的關心。6. 熟悉Spark和RDD的基本概念，熟悉spark接口的使用，解決實戰(zhàn)時的步驟及思路。7. 明白Hadoop和Storm之間的差別，掌握對Storm的使用。理解Apex的丄作過程并能簡單應 用。8. （解Druid的基本概念、應用場景以

4、及集群架構，掌握批量數據加載、流數據加載的操作。 了解Flink的重要槪念和基本架構，掌握Flink簡單的使用實例。9. 理解Elasticsearch的基本架構，掌握Elasticsearch的-些入門操作。了解并基本掌握怎 樣利用所學的工具對目標實例進行數據分析。三、課程的內容1. 大數據概述解犬數據的產生和發(fā)展，識記人數據的特征、數據類型和系統(tǒng)，人數據的計算模式和技術層面 間的關聯(lián)。2. 數據獲取爬蟲實現，了解采集目標數據項定義，領會并掌握爬蟲運行和Scrapy識記基本概念，識記各功 能應怎樣用.數據存儲技術。3. Hadoop 基礎領會 Hadoop 的主要特點，識記 Hadoop H

5、DFS、Hadoop MapReduce、Hadoop YARN 的原理，f 解其 生態(tài)系統(tǒng)中重要組成的原理，熟悉Hadoop的配置?；緫?HDFS4熟悉HDFS所需的API接口，了解數據流的工作過程，能簡單操作HDFS的 接口。5. MapReduce應用開發(fā)了解所需的開發(fā)環(huán)境eclipse,領會Map過程與Reduce過程的工作原理，了解使用mapreduce 解決實際問題時的步驟和思路，識記MapReduce代碼的不同功能。6. 分布式數據庫HBase識記HBase的基本槪念，熟悉安裝HBase集群的步驟，了解HBaseAPI的基本步驟。7. 數據倉庫工具Hive領會Hive的作用，

6、掌握Hive接口的使用，會利用Hive解決實戰(zhàn)問題。8. 開源集群計算環(huán)境Spark了解Spark的展本思想，熟悉Spark所需的環(huán)境及API等，熟悉Spark實戰(zhàn)的完整匚作過程，領 會其所需的代碼。9. 流實時處理系統(tǒng)Storm識記Storm相關槪念，掌握Storm環(huán)境的安裝配置，了解Storm的基本使用10. 企業(yè)級、大數據流處理Apex識記Apex的基本概念，掌握Apex的環(huán)境配置過程，理解常見組件的原理和特點，會簡單的應用 Apex解決問題。11. 事件流OLAP之Druid了解Druid的槪念及其應用場所，掌握Druid單機環(huán)境的安裝方法和步驟，并能利用Druid進行 加載流數據處理

7、數據查詢等。12. 事件數據流引擎Flink識記Flink的基本槪念，明d Fl ink的基本架構，能夠安裝Flink的單機和集群環(huán)境。13. 分布式文件捜索Elasticsearch了解Elasticsearch包含重要部分的基本概念，掌握Elasticsearch重要的安裝過程，掌握簡單 的操作。.實例電商數據分析14能夠通過己經學習了解過的環(huán)境和匸具等，有條理有步驟的對實例進 行數據挖掘、數據處理和數據分析等，進而得出相關的結論。四、課程的重點、難點.1. 大數據概述重點：大數據的概念和特征。難點：人數據的計算模式和技術層而間的關聯(lián)。2. 數據獲取重點：Scrapy環(huán)境的搭建。難點：網絡

8、爬蟲獲取數據的過程。3. Hadoop 基礎重點：Hadoop的基礎理論及安裝。難點：Hadoop單機及集群環(huán)境的部署方法。基本應用HDFS-1.重點：堂握HDFS的兩種使用方法。5. MapReduce應用開發(fā)重點：明白Map過程與Reduce過程的原理。難點：獨立編寫滿足自己需求的MapReduce程序。6. 分布式數據庫HBase重點：HBase所包含的3個重要組件的工作方式。難點：如何通過HBase shell和HBase API訪問HBase。7. 數據倉庫工具Hive重點：熟悉簡單的Hive命令。8. 開源集群計算環(huán)境Spark重點：理解Spark的工作機制。難點：解決實戰(zhàn)時的步驟

9、及思路。9. 流實時處理系統(tǒng)Storm重點：Storm的實時處理。難點：利用Storm的特點對數據進行合適的處理。10. 企業(yè)級、大數據流處理Apex重點：Apex的流處理功能。11. 事件流OLAP之Druid使用Druid進行加載和查詢數據。重點：12.事件數據流引擎Flink 的基本架構。Flink重點：明白難點：Flink系統(tǒng)中進程間處理信息的原理。13.分布式文件搜索Elasticsearch重點：Elasticsearch的基本架構。.實例電商數據分析14難點：怎樣利用所學的工具對目標實例進行數據分析。五、課時分配表.序號課程內容總學時講課實驗習題課機動22人數據概21242數據獲

10、224 基 2Hadoo3224HDF基本應42MapReduc46 應用開 52分布式數據HBase4262數據倉庫工Hive42744開源集群計算環(huán)SparkSS2流實時處理系Storm42922企業(yè)級、人數據流處Apex4102 事件 0LADruid42112事件數據流引Flink4212224分布式文件搜Elasticsearchl322實例電商數據分414283260合六、實驗項目及基本要求通過爬蟲獲取數據實驗要求：能安裝爬蟲所需環(huán)境，創(chuàng)建簡單的爬蟲項目。成功完成爬蟲核心實現。Hadoop實驗二安裝與配置單機和集群模式的配置。要求：Hadoop HDFS的接口實戰(zhàn)實驗三耍求：能自主

11、操作Java和命令行接口。程序編寫簡 單的實驗四Mapreduce應用實例所需環(huán)境的配置，完成MapReduce要求：完成MapreduceHBase 分布式數據庫實驗五耍求：安裝HBase。和HBase shell集群模式，能簡單使用Hbase API Hive的使用實驗六Hive 命令使用，熟悉要求：會進行簡單的Hive的復雜語句。 Spark實驗七簡單編程與聚類實戰(zhàn) Spark要求：了解RDD簡單的創(chuàng)建，了解各個實戰(zhàn)的編程實現及解決過程。Storm安裝與配置 實驗八的概念及原理，了解Storm要求：了解Storm的安裝和基本使用。的使用和配置Spark 實驗九要求：掌握Apex的使用，了

12、解Apex的基本配置。實驗十Druid環(huán)境配置要求：了解Druid的槪念和使用，理解Druid的作用。實驗十事件數據流引率Flink的使用妥求：了解Flink的槪念和部署過程，理解Flink的使用。七、考核辦法1. 考試采用統(tǒng)-命題，閉卷考試，考試時間為120分鐘。2. 本人綱各部分所規(guī)定基本要求、知識點及知識點下的知識細目，都屬于考核的內容。考試命 題覆蓋到各部分，并適當突出重點部分，加大重點內容的覆蓋密度。3. 不同能力層次要求的分數比例人致為：識記占20%,領會占30%,簡單應用占30%,綜合應用 占20%4. 題的難度可分為易、較易、較難和難四個等級。試卷中不同難度試題的分數比例般為2:3:3:25. 試題主要題型有：填空、單項選擇、多選、簡答、及綜合應用等。八、使用說明在本課程學習中，應從“ 了解”、“識記”、“領會”、“簡單應用”、“綜合應用”五個能力層次去 把握：1. 了解：要求概念的基本掌握，是最基本要求。2. 識記：要求能夠識別和記憶本課程有關知識點的主要內容，并能夠做出正確的衣達、選擇和 判斷。3. 領會：在識記的基礎上，要求能夠領悟