大數據培訓總結材料

1、大數據培訓總結材料 為期5天的“云計算與大數據技術及其應用高級研修班”已經結束。作為一名學員，我在這5天時間里聆聽了王家耀院士、郭殿升教授、鄭宇研究員等人的研究報告，對云計算、大數據和互聯(lián)網+相關概念、技術有了更深的認識，對它們在各個領域的應用有了更進一步的了解，拓寬了思路，對我們接下來在科研和教學工作中研究云計算和大數據、講授云計算和大數據、使用云計算和大數據都有很大的促進作用。下面我將對自己對云計算和大數據的認識以及如何使用相關技術服務于工作的設想做一個簡單介紹。 1.云計算 云計算（cloudcomputing）是基于互聯(lián)網的相關服務的增加、使用和交付模式，通常涉及通過互聯(lián)網來提供動態(tài)易

2、擴展且經常是虛擬化的資源，它還沒有一個一個統(tǒng)一的概念。美國國家標準與技術研究院（nationalinstituteofstandardsandtechnology，nist）定義：云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網絡訪問，進入可配置的計算資源共享池（資源包括網絡，服務器，存儲，應用軟件，服務），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。云計算（cloudcomputing）是分布式計算（distributedcomputing）、并行計算（parallelcomputing）、效用計算（utilitycomputing）、網

3、絡存儲（networkstoragetechnologies）、虛擬化（virtualization）、負載均衡（loadbalance）、熱備份冗余（highavailable）等傳統(tǒng)計算機和網絡技術發(fā)展融合的產物。 2006年8月9日，google首席執(zhí)行官埃里克·施密特（ericschmidt）在搜索引擎大會（sessanjose2006）首次提出“云計算”（cloudcomputing）的概念。它一出現就吸引了各方的關注：2007年10月，google與ibm開始在美國大學校園，推廣云計算的計劃；2008年2月1日，ibm（nyse：ibm）宣布將在中國無錫太湖新城科教產業(yè)園

4、為中國的軟件公司建立全球第一個云計算中心（cloudcomputingcenter）；2008年7月29日，雅虎、惠普和英特爾宣布一項涵蓋美國、德國和新加坡的聯(lián)合研究計劃，推出云計算研究測試床，推進云計算；2010年7月，美國國家航空航天局和包括rackspace、amd、intel、戴爾等支持廠商共同宣布“openstack”開放源代碼計劃。云計算的核心與效用計算和網格計算非常類似，也是希望it技術能像使用電力那樣方便，并且成本低廉，截至到2014年，云計算在需求方面已經有了一定的規(guī)模、在技術方面也已經基本成熟了。當前已經出現的云計算研究和應用主要體現在：云物聯(lián)、云安全、云存儲、云游戲、云計

5、算等。 云計算包括基礎設施即服務（infrastructure-as-a-service，iaas）、平臺即服務（platform-as-a-service，paas）和軟件即服務（software-as-a-service，saas）三個層次的服務，涉及編程模式、海量數據分布存儲、海量數據管理、虛擬化、云計算平臺管理等熱門技術，是當前最熱門的科技詞匯。當然云計算也存在一些問題，如數據隱私問、數據安全性、用戶的使用習慣、網絡傳輸問題、缺乏統(tǒng)一的技術標準等。 2.大數據 簡單的說，大數據（bigdata），是指無法在可承受的時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式

6、才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。大數據技術的戰(zhàn)略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業(yè)化處理，其關鍵在于提高對數據的“加工能力”，通過“加工”實現數據的“增值”。大數據具有容量大、種類多、速度快、可變性強以及真實、復雜等特征，其價值價值體現在：對大量消費者提供產品或服務的企業(yè)可以利用大數據進行精準營銷；做小而美模式的中長尾企業(yè)可以利用大數據做服務轉型；面臨互聯(lián)網壓力之下必須轉型的傳統(tǒng)企業(yè)需要與時俱進充分利用大數據的價值。 大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用于大數據的技術，包括大規(guī)模并行處

7、理（mpp）數據庫、數據挖掘電網、分布式文件系統(tǒng)、分布式數據庫、云計算平臺、互聯(lián)網和可擴展的存儲系統(tǒng)。大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理，必須采用分布式架構。它的特色在于對海量數據進行分布式數據挖掘，但它必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術。 為了加快大數據產業(yè)的發(fā)展，國務院于2015年9月印發(fā)促進大數據發(fā)展行動綱要，要求大力推動政府部門數據共享，穩(wěn)步推動公共數據資源開放，統(tǒng)籌規(guī)劃大數據基礎設施建設，支持宏觀調控科學化，推動政府治理精準化，推進商事服務便捷化，促進安全保障高效化，加快民生服務普惠化；發(fā)展大數據在工業(yè)

8、、新興產業(yè)、農業(yè)農村等行業(yè)領域應用，推動大數據發(fā)展與科研創(chuàng)新有機結合，推進基礎研究和核心技術攻關，形成大數據產品體系，完善大數據產業(yè)鏈；健全大數據安全保障體系，強化安全支撐。以此為基礎，在未來5至10年打造精準治理、多方協(xié)作的社會治理新模式，建立運行平穩(wěn)、安全高效的經濟運行新機制，構建以人為本、惠及全民的民生服務新體系，開啟大眾創(chuàng)業(yè)、萬眾創(chuàng)新的創(chuàng)新驅動新格局，培育高端智能、新興繁榮的產業(yè)發(fā)展新生態(tài)。 4.高校的云計算和大數據 在當前時代，云計算和大數據已經成為時代需求，在這種潮流中，作為直接培養(yǎng)人才的高校應該走在研究大數據和使用大數據的前列。 （1）針對性教學。大數據應用于課堂教學，最大的影響

9、可能就是我們將有能力去關注每一個學生的微觀表現。運用大數據技術，不僅可以獲得一個學生在課堂中的表現和行為，還可以對這個學生在課堂學習過程中的各種行為表現、情緒態(tài)度等進行全方位分析，從而得出學生學業(yè)的優(yōu)缺點和對待學業(yè)的態(tài)度等。如果大數據技術能廣泛地運用于課堂教學，那么我們在課堂中進行針對性教學就有了可能。 （2）開放式教育。近年來越來越多的網絡在線教育和大規(guī)模開放式網絡課程橫空出世，也使教育領域中的大數據獲得了更為廣闊的應用空間。專家指出，大數據將掀起新的教育革命，比如革新學生的學習、教師的教學、教育政策制定的方式與方法。 （3）大數據考試。教育領域中的大數據分析最終目的是為了改善學生的學習成績

10、。學生的作業(yè)和考試中有一系列重要的信息往往被我們常規(guī)的研究所忽視。而通過分析大數據，我們就能發(fā)現這些重要信息，并利用它們?yōu)楦纳茖W生的成績提供個性化的服務。與此同時，它還能改善學生期末考試的成績、平時的出勤率、輟學率、升學率等。測學生是“如何”考試的能讓研究者有效定型學生的學習行為。大數據要求教育工作者必須超越傳統(tǒng)，不能只追求正確的答案，學生是如何朝著正確答案努力的過程也同樣重要。在一次考試中，學生個人和整體在每道題上花費了多少時間。最長的是多少。最短的是多少。平均又是多少。哪些此前已經出現過的問題學生答對或答錯了。哪些問題的線索讓學生獲益了。通過監(jiān)測這些信息，形成數據檔案，能夠幫助教育工作者理

11、解學生為了掌握學習內容而進行學習的全過程，并有助于向他們提供個性化的學習模式。 現在，大數據分析已經被應用到美國的公共教育中，創(chuàng)造了“學習分析系統(tǒng)”一個數據挖掘、?；桶咐\用的聯(lián)合框架，成為教學改革的重要力量。“學習分析系統(tǒng)”旨在向教育工作者提供了解學生到底是在“怎樣”學習的更多、更好、更精確的信息。舉例來說，一個學生成績不好是由于他因為周圍環(huán)境而分心了嗎。期末考試不及格是否意味著該學生并沒有完全掌握這一學期的學習內容，還是因為他請了很多病假的緣故。利用大數據的學習分析能夠向教育工作者提供有用的信息，從而幫助其回答這些不太好回答的現實問題。 教育工作者和研究者已經開發(fā)出從大數據中提取價值的5種主要的技術： 預測覺知預料中的事實的可能性。聚類發(fā)現自然集中