大數(shù)據(jù)中心建設(shè)功能要求技術(shù)規(guī)范

1、大數(shù)據(jù)中心建設(shè)功能要求技術(shù)規(guī)范WOR版本下載后可編輯數(shù)據(jù)服務(wù)中心建設(shè)規(guī)劃數(shù)據(jù)服務(wù)中心是整個智慧旅游大數(shù)據(jù)項目核心組成部分，在規(guī)劃建設(shè)過程中，堅持以數(shù)據(jù)資源為核心，面向數(shù)據(jù)應(yīng)用與服務(wù)、信息數(shù)據(jù)資源標準化與管理，實現(xiàn)數(shù)據(jù)資源橫向集成、縱向貫通、全局共享的運轉(zhuǎn)模式。數(shù)據(jù)服務(wù)中心數(shù)據(jù)流轉(zhuǎn)圖和邏輯架構(gòu)如下圖。4卸*+厚區(qū)懵修，辛性用耳,於空升,工皇，拿也數(shù)服務(wù)中心邏輯架構(gòu)圖腕*中*惆勢支癢饒伸MJ*片管EJ整個數(shù)據(jù)服務(wù)中心邏輯組成部分有：數(shù)據(jù)存儲、數(shù)據(jù)組織、數(shù)據(jù)處理、資源管理、數(shù)據(jù)服務(wù)支撐。數(shù)據(jù)存儲：基于大規(guī)模并行處理（MassivelyParallelProcessing,簡稱MPP、Hadoop等分

2、布式計算平臺進行搭建，以滿足旅游行業(yè)結(jié)構(gòu)化、圖像視音頻等非結(jié)構(gòu)化多種類型格式的海量數(shù)據(jù)資源存儲需求。數(shù)據(jù)組織：對各類數(shù)據(jù)資源進行邏輯組織，形成基礎(chǔ)數(shù)據(jù)資源庫、專題應(yīng)用資源庫以及資源管理庫，滿足旅游行業(yè)數(shù)據(jù)資源應(yīng)用、管理與服務(wù)的需求。數(shù)據(jù)處理：主要包括數(shù)據(jù)整合匯集、數(shù)據(jù)標準化處理、通用數(shù)據(jù)處理、專題數(shù)據(jù)處理。從多個層面對數(shù)據(jù)資源進行分析挖掘，為不同業(yè)務(wù)需求提供數(shù)據(jù)處理服務(wù)支撐。資源管理：資源管理從應(yīng)用資源、數(shù)據(jù)資源、服務(wù)資源以及標準資源多個層面實現(xiàn)數(shù)據(jù)服務(wù)中心信息資源的管理與標準建設(shè)。數(shù)據(jù)服務(wù)支撐：數(shù)據(jù)服務(wù)中心實現(xiàn)了智慧旅游云數(shù)據(jù)資源的存儲和組織。主要包括基礎(chǔ)數(shù)據(jù)資源庫、專題應(yīng)用資源庫和資源管理

3、庫。數(shù)據(jù)分析處理：面向具體業(yè)務(wù)需求，建立對應(yīng)的數(shù)據(jù)分析處理模型，實現(xiàn)對數(shù)據(jù)資源的深度挖掘和綜合利用。1.1 大數(shù)據(jù)平臺建設(shè)數(shù)據(jù)集中統(tǒng)一管理后，由于一體化業(yè)務(wù)為在線運行的系統(tǒng)，為避免大數(shù)據(jù)應(yīng)用對現(xiàn)有生產(chǎn)系統(tǒng)造成影響，本期單獨建設(shè)一套大數(shù)據(jù)平臺，通過ETL將生產(chǎn)數(shù)據(jù)抽取到大數(shù)據(jù)平臺中，進行分析處理，建立數(shù)據(jù)倉庫，為上層應(yīng)用提供支撐。基于大數(shù)據(jù)等新先進理念，融合MPP、Hadoop、OLTP以及HDFS分布式文件系統(tǒng)等數(shù)據(jù)處理技術(shù)，構(gòu)建具有海量數(shù)據(jù)處理能力的旅游大數(shù)據(jù)平臺技術(shù)支撐體系。有效匯總整合內(nèi)外部數(shù)據(jù)資源，實現(xiàn)對數(shù)據(jù)資源的統(tǒng)一管理、高度共享和高效利用，解決數(shù)據(jù)資源海量化、異構(gòu)化，應(yīng)用需求多樣化

4、、復(fù)雜化等現(xiàn)實問題，進一步提升信息資源開發(fā)利用水平，提升信息資源服務(wù)的能力和服務(wù)品質(zhì)，深層次滿足上層業(yè)務(wù)應(yīng)用、管理決策支持和信息再生應(yīng)用的需要，達到強化情報信息數(shù)據(jù)支撐，服務(wù)實戰(zhàn)應(yīng)用的目的。完整的大數(shù)據(jù)集群應(yīng)當包含4大部分：ETL集群、MPP集群、Hadoop集群和數(shù)據(jù)倉庫，提供從數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載到數(shù)據(jù)存儲計算及數(shù)據(jù)倉庫建設(shè)的一整套完整的大數(shù)據(jù)解決方案。各節(jié)點通過萬兆網(wǎng)口連接，滿足集群網(wǎng)絡(luò)IO密集型的要求。?ETL集群建議不少于1個節(jié)點，完成從各種數(shù)據(jù)源抽取、清洗、轉(zhuǎn)化和加載數(shù)據(jù)到大數(shù)據(jù)集群的工作。?MP磔群建議不少于2個節(jié)點。MPP*群負責結(jié)構(gòu)化數(shù)據(jù)的存儲與計算。?Hadoop集群

5、至少應(yīng)包含6個節(jié)點，以滿足數(shù)據(jù)多個備份的高可靠性要求。Hadoop*群負責非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的存儲與計算。?數(shù)據(jù)倉庫節(jié)點，將ETL集群、MP磔群和Hadoop集群導(dǎo)入的高度提煉匯總后的數(shù)據(jù)進行存儲和分析，滿足專業(yè)應(yīng)用需要。流程如下圖所示:數(shù)據(jù)詁問結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)1.2 數(shù)據(jù)標準化建設(shè)數(shù)據(jù)標準化是數(shù)據(jù)服務(wù)中心建設(shè)的基礎(chǔ)。在項目建設(shè)時根據(jù)旅游信息資源標準，并根據(jù)實際情況進行完善。數(shù)據(jù)服務(wù)中心數(shù)據(jù)標準化工作主要以下幾個層面出發(fā)進行建設(shè)：數(shù)據(jù)內(nèi)容標準化通過依據(jù)現(xiàn)有相關(guān)標準內(nèi)容，對整合的各類數(shù)據(jù)資源進行標準化處理，形成標準化數(shù)據(jù)資源，從而對各個旅游業(yè)務(wù)部門提供標準化的數(shù)據(jù)資源服務(wù)。資源管理標準化通過對旅游信息資源注冊、梳理、對標等一系列