電子競價導入?yún)?shù)表

1、用戶需求書序號儀器設備 名稱參考品牌 （需提供三 個品牌）參考型 號（與品 牌對應 的三個 型號）技術指標數(shù)量單位1大數(shù)據(jù)分析 平臺*1.基礎模塊：（1 ）系統(tǒng)采用B/S架構，即瀏覽器/服務器架構?？赏ㄟ^瀏覽器直接訪問平臺；屏蔽復雜的 大數(shù)據(jù)分析底層技術，提供可視化數(shù)據(jù)分析用戶界面。（2） 提供8個Hadoop生態(tài)鏈產(chǎn)品，包含 HDFS Yarn、Map Reduce Hive、Spark組件；同時 支持原生 Hadoop、cloudera Hadoop、Hortonworks Hadoop ;基于分布式運算，可并行處理 數(shù)據(jù)。（3）提供4個數(shù)據(jù)挖掘引擎，包含云分類引擎、云聚類引擎、云關聯(lián)規(guī)則

2、引擎、云智能推薦 引擎。（4）支持用戶權限區(qū)分，分為系統(tǒng)管理員和普通用戶。（5）支持作業(yè)調度、作業(yè)監(jiān)控和作業(yè)管理等大數(shù)據(jù)作業(yè)任務管理；支持實時監(jiān)控平臺、子節(jié) 點運行情況及指標（CPU內(nèi)存、存儲）。（6）支持工作流，包括工作流定義、流程屬性配置、流程服務等；通過拖拽組件的形式，無 需編程即可實現(xiàn)數(shù)據(jù)挖掘流程。（7）支持建模中間結果在線預覽，過程數(shù)據(jù)可視化。（8） 數(shù)據(jù)源管理支持 3種數(shù)據(jù)來源數(shù)據(jù)上傳數(shù)據(jù)， 分別為本地計算機、關系型數(shù)據(jù)庫及 HDFS 其中本地上傳文件支持 CSV類型；支持數(shù)據(jù)分享功能，實現(xiàn)冋平臺用戶數(shù)據(jù)功共用。1套（9）支持工作流，包括工作流定義、流程屬性配置、流程服務等；通過拖

3、拽組件的形式，無 需編程即可實現(xiàn)數(shù)據(jù)挖掘流程。（10）支持建模中間結果在線預覽，過程數(shù)據(jù)可視化。（11）支持定時任務設置功能，可創(chuàng)建任務組，定時周期支持秒、分、小時、日、周、月、 年為單位；支持任務之間依賴的功能。（12）支持后續(xù)的系統(tǒng)資源擴展，通過增加硬件資源可實現(xiàn)支持實驗人數(shù)的增加。2. 算法單元：分布式算法包括6大類共37種算法，其中包括數(shù)據(jù)預處理13種、統(tǒng)計分析6種，分類算法7種、聚類算法4種、回歸算法6種、協(xié)同過濾1種。分別為：（1） 數(shù)據(jù)預處理包括：數(shù)據(jù)去重、記錄選擇、數(shù)據(jù)映射、反映射、數(shù)據(jù)拆分、SQL探索、空 值處理、數(shù)據(jù)標準化、衍生變量、表合并、表堆疊、啞變量處理、數(shù)據(jù)離散化。

4、（2）統(tǒng)計分析：行列數(shù)目統(tǒng)計、頻數(shù)統(tǒng)計、全表統(tǒng)計、主成分分析、相關分析、卡方檢驗。（3） 分類算法包括：邏輯回歸、決策樹分類、梯度提升樹分類（GBDT）、樸素貝葉斯、隨機 森林、SVM支持向量機、多層感知機分類器。（4） 聚類算法包括：K-Means算法、二分k均值算法，混合高斯模型（GMM） LDA。（5）回歸算法包括：線性回歸、廣義線性回歸、決策樹回歸、梯度提升樹回歸、隨機森林 回歸、保序回歸。協(xié)同過濾算法包括：ALS （建模、評估、預測）。3. 接口擴展：（1）接口模塊基于標準 RESTful設計，用戶可以方便，快捷的通過瀏覽器在線瀏覽、測試 各個接口。（2） 數(shù)據(jù)源接口：提供從分布式文

5、件系統(tǒng) HDFS以及大數(shù)據(jù)倉庫 Hive創(chuàng)建數(shù)據(jù)源接口調用標 準。（3）工程管理接口：提供新建，修改，刪除，查詢用戶工程的接口調用標準。（4 ）系統(tǒng)組件管理接口：提供新建，修改，刪除，查詢系統(tǒng)組件的接口調用標準。（5）模型管理接口：提供查詢，應用模型進行預測的接口調用標準。 任務調度接口：提供數(shù)據(jù)源，工程的調度，包括依賴任務，定時任務等的接口調用標準。2大數(shù)據(jù)開發(fā) 實訓平臺*1. 基礎模塊：(1) 包含4臺Linux虛擬機(裸機)集群。(2) 配置vim文本編輯、SSH遠程登錄、NTP時間冋步等軟件2. Hadoop增強模塊：(1) 支持分布式文件系統(tǒng)HDFS具有高度容錯性，對硬件性能要求低；

6、能提供高吞吐量的數(shù)據(jù)訪問，適合大規(guī)模數(shù)據(jù)集上的應用；可以實現(xiàn)流的形式訪問(streami ng access )文件系統(tǒng)中的數(shù)據(jù)。(2) 支持分布式計算框架MapReduce可用于大規(guī)模數(shù)據(jù)集的并行運算；支持作業(yè)調度和集 群資源管理；數(shù)據(jù)/代碼互定位；系統(tǒng)優(yōu)化；出錯檢測和恢復等。(3) 支持集群資源管理 YARN可為上層應用提供統(tǒng)一的資源管理和調度，提高集群利用率，實現(xiàn)資源統(tǒng)一管理和數(shù)據(jù)共享；負責應用程序提交、與調度器協(xié)商資源以啟動 ApplicationMaster 、監(jiān)控ApplicationMaster運行狀態(tài)并在失敗時重新啟動它等。(4) 基礎Commo平臺，主要包括FileSyste

7、m、RPC和串行化庫以及配置文件和日志操作等。(5 )含有畜水池抽樣 MapReduce實現(xiàn)，包含配套工程源碼、測試數(shù)據(jù)、相關文檔等。(6) 含有KMea ns算法Map Reduce實現(xiàn)，包含配套工程源碼、測試數(shù)據(jù)、相關文檔等。(7) 含有TF-IDF算法MapReduce實現(xiàn)，包含配套工程源碼、測試數(shù)據(jù)、相關文檔等。3. 基于Hadoop的Hive增強模塊：(1) 作為數(shù)據(jù)倉庫工具，可以將結構化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表。(2) 提供簡單的SQL查詢功能，可直接執(zhí)行相關HiveQL腳本、進行數(shù)據(jù)導入導出等。(3 )支持大數(shù)據(jù)集的批處理作業(yè)。(4 )含有航空客戶價值分析數(shù)據(jù)預處理模塊案例，

8、包含配套工程源碼、測試數(shù)據(jù)、相關文檔 等。4. 基于Hadoop的HBase增強模塊：(1)基于列的模式，適合于非結構化的數(shù)據(jù)存儲，具有高可靠性、高性能、可伸縮等特點。(2 )可直接執(zhí)行相關 HBaseShell交互式終端命令、進行數(shù)據(jù)導入導出、使用Map Reduce與HDFS進行交互。1套（3）含有基于HBase冠字號查詢系統(tǒng)的模塊案例，包含配套工程源碼、測試數(shù)據(jù)、相關文檔 等。5. 基于Hadoop的Pig增強模塊：（1）適合于使用 Hadoop和Map/Reduce平臺來查詢大型半結構化數(shù)據(jù)集。（2 ）允許對分布式數(shù)據(jù)集進行類似SQL的查詢。（3） 可直接執(zhí)行相關 Pig Latin腳

9、本、進行大數(shù)據(jù)分布式文件系統(tǒng)HDFS±的各種數(shù)據(jù)處理。（4）含有Pig數(shù)據(jù)處理綜合案例，包含配套工程源碼、測試數(shù)據(jù)、相關文檔等。6. 基于Hadoop的Spark增強模塊：（1）包含大數(shù)據(jù)快速計算 Spark模塊環(huán)境，如 Spark Core、Spark SQL、Spark Mllib 。（2） 可直接啟動Spark-shell進行操作，也可以和 YARN進行整合，可直接操作HDFS兼容性強。（3）啟用內(nèi)存分布數(shù)據(jù)集，能夠提供交互式查詢，還可以優(yōu)化迭代工作負載。（4）含有基于Spark MLlib的電影推薦系統(tǒng)，包含配套工程源碼、測試數(shù)據(jù)、相關文檔等。7. 基于Hadoop的Oozie增強模塊:（1）包含 Hadoop Hive、HBase Pig、Spark 等集成環(huán)境。（2） 作為管理Hadoop