大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒炏到y(tǒng)-文檔資料

1、 大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒炏到y(tǒng)北京紅亞華宇科技有限公司大數(shù)據(jù)的特點大數(shù)據(jù)的特點大數(shù)據(jù)首先是數(shù)據(jù)量大，典型的大數(shù)據(jù)系統(tǒng)所管理的數(shù)據(jù)可達PB級其次大數(shù)據(jù)的來源復雜，數(shù)據(jù)質(zhì)量差異較大最后大數(shù)據(jù)的數(shù)據(jù)關(guān)系復雜，難以用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫描述大數(shù)據(jù)分析的基石大數(shù)據(jù)分析的基石大數(shù)據(jù)實驗系統(tǒng)所支撐的學科與課程大數(shù)據(jù)實驗系統(tǒng)所支撐的學科與課程大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒烆悇e大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒烆悇e大數(shù)據(jù)實驗系統(tǒng)整體框架大數(shù)據(jù)實驗系統(tǒng)整體框架大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒灮A(chǔ)軟件大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒灮A(chǔ)軟件數(shù)據(jù)挖掘基礎(chǔ)語言環(huán)境R語言最為流行的開源統(tǒng)計與數(shù)據(jù)挖掘軟件可跨平臺運行，高效的腳本語言為數(shù)據(jù)分析和顯示提供的強大圖形功能豐富的高質(zhì)

2、量的開源第三方算法軟件包大數(shù)據(jù)分析環(huán)境Hadoop開源大數(shù)據(jù)分析的事實標準大量的互聯(lián)網(wǎng)公司作為實際生產(chǎn)平臺方便的Java開發(fā)環(huán)境不斷演進的良好生態(tài)環(huán)境大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒灮A(chǔ)軟件大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒灮A(chǔ)軟件最流行的商用數(shù)據(jù)統(tǒng)計分析軟件SAS功能強大，統(tǒng)計方法齊全功能強大，統(tǒng)計方法齊全使用簡便，操作靈活使用簡便，操作靈活簡單而強大的通用數(shù)據(jù)分析軟件Excel數(shù)據(jù)統(tǒng)計分析數(shù)據(jù)統(tǒng)計分析利用利用VBA進行數(shù)據(jù)挖掘分析進行數(shù)據(jù)挖掘分析通用開發(fā)語言Java數(shù)據(jù)爬取自然語言處理大數(shù)據(jù)實驗平臺網(wǎng)絡(luò)拓撲大數(shù)據(jù)實驗平臺網(wǎng)絡(luò)拓撲服務(wù)器端R計算服務(wù)Hadoop集群虛擬化實驗臺學生端 遠程連接 開發(fā)環(huán)境 測試環(huán)境大數(shù)據(jù)

3、實驗系統(tǒng)實驗內(nèi)容（大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（1）數(shù)據(jù)挖掘展示性實驗用于展示常用數(shù)據(jù)挖掘算法的作用，使用者通過實驗系統(tǒng)所提供數(shù)據(jù)集，直觀理解數(shù)據(jù)挖掘算法的輸出結(jié)果實驗類型實驗名稱統(tǒng)計與建模方法演示實驗統(tǒng)計推斷基礎(chǔ)統(tǒng)計分布假設(shè)檢驗基本線性回歸多變量線性回歸廣義線性模型實驗類型實驗名稱數(shù)據(jù)挖掘方法演示實驗數(shù)據(jù)可視化聚類數(shù)據(jù)降維分類基礎(chǔ)決策樹分類方法高級分類方法關(guān)聯(lián)分析大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（2）數(shù)據(jù)挖掘R語言開發(fā)實驗利用實驗系統(tǒng)提供的R語言環(huán)境，學習基本的R語言開發(fā)方法，并針對提供的數(shù)據(jù)集開發(fā)數(shù)據(jù)挖掘算法實驗類型實驗名稱R語言編程基礎(chǔ)R語言基礎(chǔ)R語言控制語句R語言數(shù)據(jù)類型R語言

4、常用函數(shù)R語言程序調(diào)試實驗類型實驗名稱R語言統(tǒng)計與建模R語言統(tǒng)計推斷基礎(chǔ)R語言統(tǒng)計分布R語言假設(shè)檢驗R語言基本線性回歸R語言多變量線性回歸R語言廣義線性模型實驗類型實驗名稱R語言數(shù)據(jù)分析綜合應(yīng)用R語言建立信用評分模型R語言預測股票市場收益R語言預測經(jīng)濟指標R語言偵測欺詐交易R語言微陣列樣本分類大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（3）數(shù)據(jù)挖掘SAS開發(fā)實驗利用實驗系統(tǒng)提供的SAS環(huán)境，學習基本的SAS開發(fā)方法，并針對提供的數(shù)據(jù)集開發(fā)數(shù)據(jù)挖掘算法實驗類型實驗名稱SAS基礎(chǔ)編程實驗SAS基礎(chǔ)SAS控制語句SAS數(shù)據(jù)類型SAS常用函數(shù)SAS程序調(diào)試實驗類型實驗名稱SAS統(tǒng)計與建模SAS統(tǒng)計

5、推斷基礎(chǔ)SAS統(tǒng)計分布SAS假設(shè)檢驗SAS線性回歸SAS多變量線性回歸SAS廣義線性模型實驗類型實驗名稱SAS數(shù)據(jù)挖掘算法SAS數(shù)據(jù)可視化SAS聚類SAS數(shù)據(jù)降維SAS分類基礎(chǔ)SAS決策樹分類方法SAS高級分類方法SAS關(guān)聯(lián)分析實驗類型實驗名稱SAS數(shù)據(jù)分析綜合應(yīng)用SAS建立信用評分模型SAS預測股票市場收益SAS預測經(jīng)濟指標SAS偵測欺詐交易SAS微陣列樣本分類大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（4）基于Hadoop的大數(shù)據(jù)基礎(chǔ)實驗利用實驗所提供的環(huán)境，學習基本的MapReduce 算法，利用提供大數(shù)據(jù)在Hadoop實現(xiàn)大數(shù)據(jù)實戰(zhàn)分析實驗類型實驗名稱大數(shù)據(jù)基礎(chǔ)實驗Hadoop環(huán)境

6、的搭建實驗基礎(chǔ)MapReduce開發(fā)實驗迭代式MapReduce程序和計數(shù)器實驗分區(qū)、排序和合并算法實驗Hive的使用實驗類型實驗名稱大數(shù)據(jù)實戰(zhàn)實驗超市零售數(shù)據(jù)分析實驗NetFlix電影數(shù)據(jù)分析實驗新浪微博消息分析實驗帶有情感標簽的微博數(shù)據(jù)分析實驗網(wǎng)絡(luò)安全日志分析實驗出租車GPS位置分析實驗社交資源共享站點用戶行為分析實驗大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（5）與大數(shù)據(jù)相關(guān)的其他實驗實現(xiàn)大數(shù)據(jù)分析中常用的Excel數(shù)據(jù)分析、數(shù)據(jù)爬取、自然語言處理、數(shù)據(jù)庫使用等實驗實驗類型實驗名稱Excel數(shù)據(jù)處理與分析Excel基本操作Excel數(shù)據(jù)可視化Excel函數(shù)與公式Excel透視表Exc

7、el數(shù)據(jù)分析VBA程序基礎(chǔ)VBA控制語句VBA常用函數(shù)VBA綜合應(yīng)用實驗類型實驗名稱My SQL數(shù)據(jù)庫操作MySQL配置SQL中的DDL語句SQL中的DML語句SQL中的DCL語句MySQL常用函數(shù)MySQL存儲過程和自定義函數(shù)實驗類型實驗名稱JAVA數(shù)據(jù)爬取抓取網(wǎng)頁處理HTML頁面非HTML正文抽取設(shè)計爬蟲隊列并行爬蟲實驗類型實驗名稱JAVA自然語言處理字符串編碼正則表達式自動分詞句法分析語義分析實驗平臺管理方式實驗平臺管理方式B/S架構(gòu)的管理體系，系統(tǒng)分為管理員、教師與學生三種角色管理員管理實驗內(nèi)容以及教師用戶注冊，教師管理實驗開放、實驗流程以及學生打分學生用戶完成實驗內(nèi)容，提交實驗報告虛實結(jié)合的實驗平臺虛實結(jié)合的實驗平臺以云計算的方式提供實驗開發(fā)環(huán)境以學生端虛擬化的方式提供本地Hadoop環(huán)境以后臺服務(wù)方式提供R語言自動運行服務(wù)以Shell方式提供支持大數(shù)據(jù)的Hadoop運行環(huán)境自動化實驗管理平臺自動化實驗管理平臺學生端實驗環(huán)境自動啟動與環(huán)境恢復服務(wù)端資源自動分配與