《云計算綜合設(shè)計》教學(xué)大綱6-27

《云計算綜合設(shè)計》教學(xué)大綱課程編號：1705037課程類別：專業(yè)能力課

適用專業(yè)：物聯(lián)網(wǎng)工程學(xué)時：2周學(xué)分：2執(zhí)筆人：郎春玲

審定人：馮福生

審批人：王國權(quán)一、課程性質(zhì)及教學(xué)目標(biāo)《云計算》課程是計算機學(xué)科相關(guān)專業(yè)的一門重要的專業(yè)基礎(chǔ)選修課。云計算課程是介紹目前信息技術(shù)領(lǐng)域熱點、“云計算”的現(xiàn)狀及其發(fā)展，探討云計算的主要發(fā)展及趨勢。針對已經(jīng)學(xué)習(xí)的各種框架，設(shè)計一綜合系統(tǒng)。課程主要是將各個框架結(jié)合在一起開發(fā)一個項目，提高學(xué)生的綜合能力。為以后從事這方面工作，奠定堅實的基礎(chǔ)。二、課程設(shè)計教學(xué)基本環(huán)節(jié)序號畢業(yè)設(shè)計（課程設(shè)計）環(huán)節(jié)名稱學(xué)時1項目介紹討論方案0.5天2方案確定及介紹優(yōu)缺點0.5天3學(xué)生進(jìn)行編程實現(xiàn)與撰寫設(shè)計報告8天4答辯1天三、課程設(shè)計各環(huán)節(jié)基本內(nèi)容及要求學(xué)生可以自己選題也可以根據(jù)老師給的題目來進(jìn)行課程設(shè)計。學(xué)生選題時一定要結(jié)合本科目的要求和工作量來選擇。以論壇日志統(tǒng)計為例：（一）理論部分介紹：論壇數(shù)據(jù)有兩部分：①歷史數(shù)據(jù)約56GB，統(tǒng)計到2016-05-29②每天生成一個數(shù)據(jù)文件，約150MB日志數(shù)據(jù)每行記錄有五部分組成：訪問IP，訪問時間，訪問資源，訪問狀態(tài)，本次流量，關(guān)鍵指標(biāo)1、瀏覽量PV定義。2、注冊用戶數(shù)。3、IP數(shù)。4、跳出率。5、版塊熱度排行榜。重點：各種定義的理解。難點：對每種定義的分析，學(xué)生是否能夠掌握。（二）學(xué)生實踐部分：課程設(shè)計的開發(fā)步驟：1、把日志數(shù)據(jù)上傳到hdfs。2、編寫一個LogParser類來解析日志數(shù)據(jù)。3、使用mapreduce程序清洗數(shù)據(jù)。4、創(chuàng)建一個外部分區(qū)表用于接收清洗后的數(shù)據(jù)。5、把數(shù)據(jù)加載到外部分區(qū)表中。6、創(chuàng)建一個表用于接收pv。7、創(chuàng)建一個表用于接收獨立ip。8、創(chuàng)建一個表用于接收register。9、創(chuàng)建一個表用于接收jumper。10、創(chuàng)建一個表用于匯總各項指標(biāo)。11、使用sqoop把匯總表的數(shù)據(jù)導(dǎo)出到MySQL中。12、用mapreduce程序把經(jīng)過LogParser.java解析的日志文件批量導(dǎo)入到HBase中，用于明細(xì)查詢。重點：使用sqoop把匯總表的數(shù)據(jù)導(dǎo)出到MySQL中。難點：用mapreduce程序把經(jīng)過LogParser.java解析的日志文件批量導(dǎo)入到HBase中，用于明細(xì)查詢。四、教學(xué)參考資料與教學(xué)形式1、教學(xué)參考資料（1）劉鵬主編.云計算.電子工業(yè)出版社（第3版），2014年7月.（2）TomWhite[美]著.Hadoop權(quán)威指南.北京：清華大學(xué)出版社（第3版），2015年1月.（3）（英）特金頓著，張治起譯.Hadoop實戰(zhàn).機械工業(yè)出版社（第2版），2012年11月.（4）范東來著.Hadoop海量數(shù)據(jù)處理技術(shù)詳解與項目實戰(zhàn).人民郵電出版社，2015年3月.2、教學(xué)形式采用導(dǎo)師制的教學(xué)形式，每名教師對課程設(shè)計全過程進(jìn)行指導(dǎo)，學(xué)生獨立完成資料查閱、方案確定、程序設(shè)計工作，并提交設(shè)計報告，最后采用分組答辯的形式，檢查學(xué)生的完成情況。五、考核方式與成績評定方法1、考核方式學(xué)習(xí)態(tài)度設(shè)計報告質(zhì)量答辯陳述和回答問題。2、成績構(gòu)成學(xué)習(xí)態(tài)度：20%；設(shè)計報告質(zhì)量：40%；辯陳述和回答問題：40%。六、說明1、立足本教學(xué)大綱，結(jié)合具體內(nèi)容，實施教學(xué)過程，突出重點內(nèi)容講解。2、按照本教學(xué)大綱實施教學(xué)任務(wù)之前，要求學(xué)生必須具有一定的Java和Linux基礎(chǔ)。3、授