大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒炏到y(tǒng)

1、,大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒炏到y(tǒng) 北京紅亞華宇科技有限公司,大數(shù)據(jù)的特點,大數(shù)據(jù)首先是數(shù)據(jù)量大，典型的大數(shù)據(jù)系統(tǒng)所管理的數(shù)據(jù)可達PB級,其次大數(shù)據(jù)的來源復雜，數(shù)據(jù)質(zhì)量差異較大,最后大數(shù)據(jù)的數(shù)據(jù)關(guān)系復雜，難以用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫描述,大數(shù)據(jù)分析的基石,大數(shù)據(jù)實驗系統(tǒng)所支撐的學科與課程,大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒烆悇e,大數(shù)據(jù)實驗系統(tǒng)整體框架,大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒灮A(chǔ)軟件,數(shù)據(jù)挖掘基礎(chǔ)語言環(huán)境R語言 最為流行的開源統(tǒng)計與數(shù)據(jù)挖掘軟件 可跨平臺運行，高效的腳本語言 為數(shù)據(jù)分析和顯示提供的強大圖形功能 豐富的高質(zhì)量的開源第三方算法軟件包 大數(shù)據(jù)分析環(huán)境Hadoop 開源大數(shù)據(jù)分析的事實標準 大量的互聯(lián)網(wǎng)公司作為實際

2、生產(chǎn)平臺 方便的Java開發(fā)環(huán)境 不斷演進的良好生態(tài)環(huán)境,大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒灮A(chǔ)軟件,最流行的商用數(shù)據(jù)統(tǒng)計分析軟件SAS 功能強大，統(tǒng)計方法齊全 使用簡便，操作靈活 簡單而強大的通用數(shù)據(jù)分析軟件Excel 數(shù)據(jù)統(tǒng)計分析 利用VBA進行數(shù)據(jù)挖掘分析 通用開發(fā)語言Java 數(shù)據(jù)爬取 自然語言處理,大數(shù)據(jù)實驗平臺網(wǎng)絡(luò)拓撲,服務(wù)器端 R計算服務(wù) Hadoop集群 虛擬化實驗臺,學生端 遠程連接 開發(fā)環(huán)境 測試環(huán)境,大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（1）,數(shù)據(jù)挖掘展示性實驗 用于展示常用數(shù)據(jù)挖掘算法的作用，使用者通過實驗系統(tǒng)所提供數(shù)據(jù)集，直觀理解數(shù)據(jù)挖掘算法的輸出結(jié)果,大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（2）,數(shù)據(jù)挖掘R語

3、言開發(fā)實驗 利用實驗系統(tǒng)提供的R語言環(huán)境，學習基本的R語言開發(fā)方法，并針對提供的數(shù)據(jù)集開發(fā)數(shù)據(jù)挖掘算法,大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（3）,數(shù)據(jù)挖掘SAS開發(fā)實驗 利用實驗系統(tǒng)提供的SAS環(huán)境，學習基本的SAS開發(fā)方法，并針對提供的數(shù)據(jù)集開發(fā)數(shù)據(jù)挖掘算法,大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（4）,基于Hadoop的大數(shù)據(jù)基礎(chǔ)實驗 利用實驗所提供的環(huán)境，學習基本的MapReduce 算法，利用提供大數(shù)據(jù)在Hadoop實現(xiàn)大數(shù)據(jù)實戰(zhàn)分析,大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（5）,與大數(shù)據(jù)相關(guān)的其他實驗 實現(xiàn)大數(shù)據(jù)分析中常用的Excel數(shù)據(jù)分析、數(shù)據(jù)爬取、自然語言處理、數(shù)據(jù)庫使用等實驗,實驗平臺管理方式,B/S架構(gòu)的管理體系，系統(tǒng)分為管理員、教師與學生三種角色 管理員管理實驗內(nèi)容以及教師用戶注冊，教師管理實驗開放、實驗流程以及學生打分 學生用戶完成實驗內(nèi)容，提交實驗報告,虛實結(jié)合的實驗平臺,以云計算的方式提供實驗開發(fā)環(huán)境 以學生端虛擬化的方式提供本地Hadoop環(huán)境 以后臺服務(wù)方式提供R語言自動運行服務(wù) 以Shell方式提供支持大數(shù)據(jù)的Hadoop運行環(huán)境,自動化實驗管理平臺,學生端實驗環(huán)境自動啟動與環(huán)境恢復 服務(wù)端資源自動分配與調(diào)度 實驗數(shù)據(jù)集自動化準備與初始化,實驗過程說明（1）,數(shù)據(jù)挖掘展示性實驗