大數(shù)據(jù)中心建設(shè)功能要求技術(shù)規(guī)范0001

1、大數(shù)據(jù)中心建設(shè)功能要求技術(shù)規(guī)范WORD版本下載后可編輯一、數(shù)據(jù)服務(wù)中心建設(shè)規(guī)劃數(shù)據(jù)服務(wù)中心是整個智慧旅游大數(shù)據(jù)項目核心組成部分，在規(guī)劃 建設(shè)過程中，堅持以數(shù)據(jù)資源為核心，面向數(shù)據(jù)應(yīng)用與服務(wù)、信息數(shù) 據(jù)資源標(biāo)準(zhǔn)化與管理，實現(xiàn)數(shù)據(jù)資源橫向集成、縱向貫通、全局共享 的運轉(zhuǎn)模式。數(shù)據(jù)服務(wù)中心數(shù)據(jù)流轉(zhuǎn)圖和邏輯架構(gòu)如下圖。數(shù)服務(wù)中心邏輯架構(gòu)圖整個數(shù)據(jù)服務(wù)中心邏輯組成部分有：數(shù)據(jù)存儲、數(shù)據(jù)組織、數(shù)據(jù) 處理、資源管理、數(shù)據(jù)服務(wù)支撐。數(shù)據(jù)存儲：基于大規(guī)模并行處理(Massively Parallel Processing,簡稱MPP )、Hadoop等分布式計算平臺進行搭建，以滿 足旅游行業(yè)結(jié)構(gòu)化、圖像視音頻等

2、非結(jié)構(gòu)化多種類型格式的海量數(shù)據(jù) 資源存儲需求。數(shù)據(jù)組織：對各類數(shù)據(jù)資源進行邏輯組織，形成基礎(chǔ)數(shù)據(jù)資源庫、 專題應(yīng)用資源庫以及資源管理庫，滿足旅游行業(yè)數(shù)據(jù)資源應(yīng)用、管理 與服務(wù)的需求。數(shù)據(jù)處理：主要包括數(shù)據(jù)整合匯集、數(shù)據(jù)標(biāo)準(zhǔn)化處理、通用數(shù)據(jù) 處理、專題數(shù)據(jù)處理。從多個層面對數(shù)據(jù)資源進行分析挖掘，為不同 業(yè)務(wù)需求提供數(shù)據(jù)處理服務(wù)支撐。資源管理：資源管理從應(yīng)用資源、數(shù)據(jù)資源、服務(wù)資源以及標(biāo)準(zhǔn) 資源多個層面實現(xiàn)數(shù)據(jù)服務(wù)中心信息資源的管理與標(biāo)準(zhǔn)建設(shè)。數(shù)據(jù)服務(wù)支撐：數(shù)據(jù)服務(wù)中心實現(xiàn)了智慧旅游云數(shù)據(jù)資源的存儲 和組織。主要包括基礎(chǔ)數(shù)據(jù)資源庫、專題應(yīng)用資源庫和資源管理庫。數(shù)據(jù)分析處理：面向具體業(yè)務(wù)需求，建立對

3、應(yīng)的數(shù)據(jù)分析處理模 型，實現(xiàn)對數(shù)據(jù)資源的深度挖掘和綜合利用。1.1大數(shù)據(jù)平臺建設(shè)數(shù)據(jù)集中統(tǒng)一管理后，由于一體化業(yè)務(wù)為在線運行的系統(tǒng)，為避 免大數(shù)據(jù)應(yīng)用對現(xiàn)有生產(chǎn)系統(tǒng)造成影響，本期單獨建設(shè)一套大數(shù)據(jù)平 臺，通過ETL將生產(chǎn)數(shù)據(jù)抽取到大數(shù)據(jù)平臺中，進行分析處理，建立 數(shù)據(jù)倉庫，為上層應(yīng)用提供支撐?；诖髷?shù)據(jù)等新先進理念，融合 MPP、Hadoop、OLTP 以及 HDFS分布式文件系統(tǒng)等數(shù)據(jù)處理技術(shù)，構(gòu)建具有海量數(shù)據(jù)處理能力 的旅游大數(shù)據(jù)平臺技術(shù)支撐體系。有效匯總整合內(nèi)外部數(shù)據(jù)資源，實 現(xiàn)對數(shù)據(jù)資源的統(tǒng)一管理、高度共享和高效利用，解決數(shù)據(jù)資源海量 化、異構(gòu)化，應(yīng)用需求多樣化、復(fù)雜化等現(xiàn)實問題，進一

4、步提升信息 資源開發(fā)利用水平，提升信息資源服務(wù)的能力和服務(wù)品質(zhì)，深層次滿 足上層業(yè)務(wù)應(yīng)用、管理決策支持和信息再生應(yīng)用的需要，達到強化情 報信息數(shù)據(jù)支撐，服務(wù)實戰(zhàn)應(yīng)用的目的。完整的大數(shù)據(jù)集群應(yīng)當(dāng)包含4大部分：ETL集群、MPP集群、 Hadoop集群和數(shù)據(jù)倉庫，提供從數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載到數(shù) 據(jù)存儲計算及數(shù)據(jù)倉庫建設(shè)的一整套完整的大數(shù)據(jù)解決方案。各節(jié)點 通過萬兆網(wǎng)口連接，滿足集群網(wǎng)絡(luò)IO密集型的要求。ETL集群建議不少于1個節(jié)點，完成從各種數(shù)據(jù)源抽取、清洗、 轉(zhuǎn)化和加載數(shù)據(jù)到大數(shù)據(jù)集群的工作。MPP集群建議不少于2個節(jié)點。MPP集群負責(zé)結(jié)構(gòu)化數(shù)據(jù)的存儲與 計算。Hadoop集群至少應(yīng)包含6

5、個節(jié)點，以滿足數(shù)據(jù)多個備份的高可靠 性要求。Hadoop集群負責(zé)非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的存儲與計算。數(shù)據(jù)倉庫節(jié)點，將ETL集群、MPP集群和Hadoop集群導(dǎo)入的高度提煉匯總后的數(shù)據(jù)進行存儲和分析，滿足專業(yè)應(yīng)用需要。流程如下圖所示：1.2數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)化是數(shù)據(jù)服務(wù)中心建設(shè)的基礎(chǔ)。在項目建設(shè)時根據(jù)旅游 信息資源標(biāo)準(zhǔn)，并根據(jù)實際情況進行完善。數(shù)據(jù)服務(wù)中心數(shù)據(jù)標(biāo)準(zhǔn)化 工作主要以下幾個層面出發(fā)進行建設(shè)：數(shù)據(jù)內(nèi)容標(biāo)準(zhǔn)化通過依據(jù)現(xiàn)有相關(guān)標(biāo)準(zhǔn)內(nèi)容，對整合的各類數(shù)據(jù)資源進行標(biāo)準(zhǔn)化 處理，形成標(biāo)準(zhǔn)化數(shù)據(jù)資源，從而對各個旅游業(yè)務(wù)部門提供標(biāo)準(zhǔn)化的 數(shù)據(jù)資源服務(wù)。資源管理標(biāo)準(zhǔn)化通過對旅游信息資源注冊、梳理、對標(biāo)等一系列的工作，