基于Hadoop的大數(shù)據(jù)分析”課程規(guī)劃與設計

1、“基于Hadoop的大數(shù)據(jù)分析”課程規(guī)劃與設計摘要：大數(shù)據(jù)時代社會各行業(yè)對大數(shù)據(jù)方向人才的需 求凸顯，為順應產業(yè)發(fā)展需要，我校改革課程設置，建設以 開源分布式框架Hadoop為技術基礎的大數(shù)據(jù)分析課程。文 章從目標內容設置、師資團隊建設、實踐中心配備、授課方 式特色，以及考核制度革新多個方面展開對課程規(guī)劃與設計 的詳細論述，藉此為國家和社會培養(yǎng)具有工程意識和創(chuàng)新思 維的高素質精英人才，也為其他高校同類課程的開設提供一 定的借鑒和參考。關鍵詞：Hadoop；大數(shù)據(jù)；課程規(guī)劃；人才培養(yǎng)；授 課方式中圖分類號：TP311文獻標識碼：A文章編號：1009-3044 (2015) 07-0190-03A

2、bstract： In the era of big data, the dema nd for tale nts from all walks of life is increasing. In order to adapt to the need of industrial development, we are carrying out the curriculum reform by constructing a big data analysis course based on Hadoop. Several aspects of the course on the design a

3、nd planning are discussed in detail. They are the target andcon tent setti ngs, the construction of teachi ng team, the equipme nt of prac 廿 ce cen ter, the teachi ng methods specialties and the appraisal system inn ovations. Our work helps to cultivate talents with the awareness of engineering and

4、inno vative thin king, and also does good for other colleges offering similar courses.Key words： hadoop； big data； course planning； tale nt cultivati on； teachi ng method1引言當前計算機技術全面融入人們的社會生活，移動互聯(lián)、 社交網絡、電子商務等極大拓寬了互聯(lián)網的邊界和應用領 域。大數(shù)據(jù)浪潮正洶涌來襲，并滲透到社會的方方面面。越 來越多的企業(yè)期望使用大數(shù)據(jù)和云計算的技術來對海量數(shù) 據(jù)進行整合分析，以解決生產經營業(yè)務中的難題1-

5、3o而與 此大的發(fā)展趨勢不相協(xié)調的則是高校計算機專業(yè)畢業(yè)生在 大數(shù)據(jù)方向上基礎薄弱，真正掌握大數(shù)據(jù)管理、分析和產品 研發(fā)等相關技術的人才極度匱乏。高等院校需要以實際行動 回應社會對計算機專業(yè)人才培養(yǎng)的需求，以更為有力的方式 來承擔大學應有的責任，培養(yǎng)出高水平人才以適應產業(yè)發(fā)展 需要4-6o這也是我校建設大數(shù)據(jù)分析課程的初衷。經過最近短短幾年的發(fā)展,Hadoop已經成為架構云計算 平臺進行大數(shù)據(jù)存儲和計算分析的首選。Hadoop以HDFS和 MapReduce為核心，為開發(fā)者提供了系統(tǒng)底層細節(jié)透明的分 布式基礎架構，從而輕松地組織計算資源，利用集群的能力 完成海量數(shù)據(jù)的處理，目前其已發(fā)展成為包含

6、很多開源框架 項目的生態(tài)系統(tǒng)78。因此該課程即以Hadoop為基礎來展 開對大數(shù)據(jù)分析的原理、技術和方法的講授。2明確目標，落實人才培養(yǎng)2.1培養(yǎng)對彖大數(shù)據(jù)分析涉及到眾多學科內容，如計算機網絡、數(shù)據(jù) 庫原理、數(shù)據(jù)結構、分布式系統(tǒng)、LINUX操作系統(tǒng)、云計算、 數(shù)據(jù)挖掘、算法設計與分析等基礎性課程等，本課程可作為 計算機學科研究生的專業(yè)課和本科高年級學生的專業(yè)選修 課。因為處于該階段的學生有了足夠的知識儲備，并且對學 科方向有了清晰的認識，對未來的就業(yè)前景也不再迷茫，有 更多學習上的主動性和進取心。此外，鼓勵學生拓展知識領 域，自覺閱讀國內外文獻資料和網絡資源，為該門課程的學 習打下堅實的基礎。

7、2.2培養(yǎng)目標很多行業(yè)領域都為大數(shù)據(jù)方向的專業(yè)技術人才提供了施展才華的舞臺，如電子商務、金融證券、科研院所、互聯(lián) 網企業(yè)、大公司的數(shù)據(jù)中心，以及政府機關部門等。當前大 數(shù)據(jù)方向的崗位需求大致分為三類，分別是：系統(tǒng)研發(fā)工程 師，負責海量數(shù)據(jù)業(yè)務模型構建、分布式云存儲、NoSQL數(shù) 據(jù)庫架構以及數(shù)據(jù)平臺優(yōu)化升級等；應用開發(fā)工程師，負責 利用海量非結構化數(shù)據(jù)研發(fā)基于大數(shù)據(jù)技術的應用程序及 行業(yè)解決方案，為單位創(chuàng)造良好的經濟效益或社會效益；大 數(shù)據(jù)分析師，負責從紛繁復雜的海量數(shù)據(jù)中找到數(shù)據(jù)間的潛 在關系，挖掘大數(shù)據(jù)蘊藏的巨大利益并指導產品研發(fā)。課程即從系統(tǒng)框架搭建、應用研發(fā)及數(shù)據(jù)分析三個主要 層面培養(yǎng)

8、具有扎實理論基礎和實戰(zhàn)經驗的高素質、實用型大 數(shù)據(jù)人才。在授課過程中，注重學生工程意識和實踐創(chuàng)新能 力養(yǎng)成，指導學生密切結合自身對未來職業(yè)的發(fā)展規(guī)劃，在 通識整體的前提下選擇某一特定領域進行深入鉆研。對于有 意繼續(xù)深造的學生，則引導其深入學科領域前沿，掌握最新 的原理方法，并大膽提岀自己的設想，小心地科研探索求證。2.3教學內容課程內容把基礎理論與工程實踐相結合，詳細講述大數(shù) 據(jù)分析的原理和關鍵技術，系統(tǒng)闡釋大數(shù)據(jù)平臺搭建、優(yōu)化 和數(shù)據(jù)分析方法，并深入探究當今世界大數(shù)據(jù)分析的成功案例及典型應用。在授課時不局限于Hadoop框架本身，而是 擴展到其整個生態(tài)系統(tǒng)，如圖1所示，引導學生充分利用這 些

9、開源框架提供的便利，并在技術精深后為開源社區(qū)貢獻岀 自己的才智。本課程內容分為三個部分，第一部分介紹Hadoop的發(fā)展史和技術特點，從而把握分布式計算框 架現(xiàn)狀及未來發(fā)展方向，為企業(yè)的技術選型和架構設計提供 決策支持；第二部分全面掌握Hadoop的宏觀架構和應用場 景，并通過貫穿課程的服務器日志分析項目進行實戰(zhàn)鍛煉， 從而熟練使用Hadoop進行MapReduce程療;幵發(fā)，課程還涵 蓋分布式計算領域的常用算法，幫助學生拓寬視野，在利用 大數(shù)據(jù)方面取得積極進展；第三部分將深入理解Hadoop技 術架構的原理細節(jié)，對Hadoop運作機制和管理優(yōu)化有清晰 全面的把握，可以獨立規(guī)劃和部署生產環(huán)境的H

10、adoop集群, 掌握Hadoop基本運維思路和方法，對Hadoop集群進行管理 和優(yōu)化。3多舉措并舉，打造課程精品3.1校企合作，建設優(yōu)秀的師資團隊大數(shù)據(jù)分析是一門理論性和實踐性都很強的課程，對其 原理性和前沿性的理解高校中從事該學科教學和研究的教 師理解更為深刻，但對該產業(yè)應用領域的理解沒人比在大企 業(yè)一線從事該方向的工程師更有發(fā)言權。因此，要充分結合 雙方的特長，終結“一師”時代，開創(chuàng)師資團隊組合授課模式，每位教師只在自己最擅長的專業(yè)領域授課。通過校企合作，聘任企業(yè)中有大數(shù)據(jù)分析實踐工作經驗 的工程技術人員擔任實踐性內容的主講教師。他們能把實際 工作中的項目案例和經驗技巧等引入到課堂教學

11、中，這些教 師充分理解企業(yè)需求，從而能增強教學的針對性和有效性， 激發(fā)學生的興趣，培養(yǎng)目標感和方向性，切實提高教學和就 業(yè)質量。在從企業(yè)聘任教師的同時，優(yōu)化高校內部教師隊伍結 構，選拔出有潛力的中青年教師，到合作企業(yè)中進行培養(yǎng)鍛 煉，提高中青年教師的實踐水平，培養(yǎng)“雙師型”教師，為 應用型本科院校的發(fā)展積蓄儲備力量。此外，還應充分發(fā)揮 老教師的模范帶頭作用，用他們嚴謹?shù)闹螌W態(tài)度來帶動中青 年教師，形成良好的教風和學風。總之，通過一系列的措施和手段，打造一支理論上過硬, 實踐上夠強的師資隊伍。3.2完善設施，推進實踐中心建設大數(shù)據(jù)的教學實踐需要一個良好的專業(yè)壞境。在硬件 上，進行大數(shù)據(jù)集分析需要

12、使用分布式計算框架來向數(shù)十、 數(shù)百甚至數(shù)千的計算機集群分派工作，由此對服務器平臺有 很高的要求。但在課程構建的初期，完全可以進行小規(guī)模的 集群測試運行，比如以每510臺計算機搭建一個集群，并建 立有保障的實驗室高速傳輸網絡。軟件上，大數(shù)據(jù)實踐平臺 需要搭建開發(fā)和處理大規(guī)模數(shù)據(jù)的Hadoop系統(tǒng)平臺，實現(xiàn) 海量數(shù)據(jù)的計算與處理，進而為大數(shù)據(jù)的挖掘、存儲和分析 提供支撐；學生可通過設計新的算法、開發(fā)新的應用，為決 策服務提供更好的支持。在海量數(shù)據(jù)源的選擇上，大數(shù)據(jù)實 踐平臺可以部署多個企業(yè)級的數(shù)據(jù)源，其中包括社交網絡數(shù) 據(jù)、服務器日志記錄、氣象歷史數(shù)據(jù)等，學生可在平臺上展 開數(shù)據(jù)分析、數(shù)據(jù)挖掘和數(shù)

13、據(jù)統(tǒng)計等應用，不斷提升運用、 解釋及挖掘數(shù)據(jù)的能力。3.3變換形式，突出授課方式特色第一，基礎理論與項目實踐并重。大數(shù)據(jù)分析的基礎理 論具有指導和優(yōu)化項目實踐的功能，可以為實踐提供信息資 料、方法策略和目標方向，如果不能深刻領會理論教學的內 容，那項目實踐的意義就會大打折扣。項目實踐應該與理論 緊密結合，讓學生從實踐中總結理論經驗，又可以從實踐中 獲得對理論理解的升華，從而真正掌握知識。第二，轉換傳統(tǒng)講授模式為研究性互動式教學。在講解 一個全新的框架時，把學生預設為框架設計師的角色，教師 充當課程的設計者、引導者和推進者，由教師引導學生進行 框架功能設計和架構設計，集中精力進行核心功能處理，之

14、 后完善設計應對各種異常情形。在學生自主設計的框架版本 構想完成（不需要具體實現(xiàn)）之后，與將要學習的框架作對 比，捕捉學生創(chuàng)意的閃光點，分析存在的不足，以此種方式 吸引學生的注意力，培養(yǎng)其創(chuàng)新能力，而不僅僅是知識的傳 授。第三，深入Hadoop等開源框架內部進行源碼分析與解 讀。首先學習并熟練應用框架的核心功能，明晰框架的關鍵 運行流程；之后按程序邏輯的執(zhí)行過程采用斷點調試的方法 一步步追蹤，搞清業(yè)務執(zhí)行背后的代碼邏輯，但不需要理清 每一個具體細節(jié)；最后在不修改其源碼的基礎上做一些擴展 開發(fā)的工作。以后工作中可以在源碼的基礎上進行修改并優(yōu) 化，做開源框架的二次開發(fā)。第四，進行企業(yè)級案例分析和實

15、際項目演練。培養(yǎng)學生 處理復雜數(shù)據(jù)、整合異構數(shù)據(jù)的能力，掌握和利用Hadoop 平臺技術進行分析、處理、預測和優(yōu)化的工作技能，鼓勵學 生通過實習參與商業(yè)化大數(shù)據(jù)平臺建設。在實踐中獲得能力 和素質的提升，快速汲取開發(fā)經驗，盡快領悟開發(fā)真諦，化 理論知識為實際項目經驗。3.4多項評價，改革課程考核制度課程的改革不僅體現(xiàn)在知識內容的演進、師資和硬件的 配備更新上，考核評定方式的革新也是非常重要的一個壞 節(jié)。傳統(tǒng)的期末卷面一次考試的評價方式暴露岀了如考核形 式單一、考核內容片而、考核重結果輕過程等很多缺陷和短 板，并不能建立起對學生的合理評價，造成培養(yǎng)的學生實際 工程能力較弱，也制約了教學水平和教育質

16、量的提高。為適 應時代的發(fā)展，培養(yǎng)高素質創(chuàng)新型的專業(yè)人才，結合本門課 程的性質和特點，采用基于核心能力（包括崗位職業(yè)能力和 通用職業(yè)能力）的課程考核方式，加強平時考核在總成績中 的權重，將考核貫穿于課程教學的全過程，采取“平時成績 +實驗成績+項目成績+期末考試”的考評方式，并將重點放 在過程性考核上。每學完一個核心的框架，即組織一次針對 該框架的應用和編程演練，以此激發(fā)學生學習的主動性和積 極性，加強學生的實踐應用能力、創(chuàng)新能力和團隊合作能力。4結論大數(shù)據(jù)被譽為“21世紀的新石油”，在各個行業(yè)領域遍 地開花，產業(yè)前景光明。在大數(shù)據(jù)的背景之下，精通大數(shù)據(jù) 分析處理的專業(yè)人才成為眾多企業(yè)爭搶的對

17、象，人才缺口巨 大。基于Hadoop的大數(shù)據(jù)分析課程的設立就是在積極踐 行為國家戰(zhàn)略新興產業(yè)培育高水平、復合型精英人才，該課 程及相關課程的設立將拉近信息產業(yè)界與高校學生專業(yè)教 育的距離，讓學生在學校內就可以在大數(shù)據(jù)環(huán)境中參與企業(yè) 項目實踐，把握未來企業(yè)需求，掌握好大數(shù)據(jù)的管理、分析、 挖掘以及產品研發(fā)等方面的核心技能，從而在走向工作崗位 后成為大數(shù)據(jù)業(yè)務領域的中流砥柱。參考文獻：1孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術與挑戰(zhàn)卩 計算機研究與發(fā)展,2013, 50 (1)： 146-169.2馮芷艷，郭訓華，曾大軍，等.大數(shù)據(jù)背景下商務管 理研究若干前沿課題卩管理科學學報，2013, 16 (1)： 1-9.3王元卓，靳小龍，程學旗.網絡大數(shù)據(jù)：現(xiàn)狀與展望J.計算機學報，2013, 36 (6)： 1125-1138.4曾明星，周清平，等.軟件