景區(qū)云數(shù)據(jù)中心建設(shè)實(shí)施方案

景區(qū)云數(shù)據(jù)中心項(xiàng)目建設(shè)方案XXXXXXXXX公司

目錄1、項(xiàng)目概述 11.1建設(shè)思路 11.2建設(shè)原則 11.3項(xiàng)目特點(diǎn) 21.4技術(shù)要求 32、項(xiàng)目功能實(shí)現(xiàn) 42.1需求分析 42.2系統(tǒng)組成 72.3系統(tǒng)架構(gòu) 72.4系統(tǒng)主要功能 112.5系統(tǒng)安全 262.6系統(tǒng)維護(hù) 272.7系統(tǒng)前臺(tái)及界面設(shè)計(jì) 282.8擴(kuò)展方案 283、關(guān)鍵技術(shù) 293.1城市大腦對(duì)接方案 293.2關(guān)鍵技術(shù) 304、資源整合利用 424.1現(xiàn)狀分析 424.2資源整合利用方案 431、項(xiàng)目概述1.1建設(shè)思路隨著大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)、人工智能等前沿科技的發(fā)展，信息化建設(shè)模式發(fā)生根本性轉(zhuǎn)變,信息化應(yīng)用進(jìn)入一個(gè)“新常態(tài)”。為積極應(yīng)對(duì)“互聯(lián)網(wǎng)+”和大數(shù)據(jù)時(shí)代的機(jī)遇和挑戰(zhàn)，適應(yīng)全省經(jīng)濟(jì)社會(huì)發(fā)展與改革要求，助力智慧旅游、智慧城市以及政府?dāng)?shù)字化轉(zhuǎn)型和數(shù)字景區(qū)建設(shè)，實(shí)現(xiàn)“互聯(lián)網(wǎng)+現(xiàn)代治理”的要求，建設(shè)云數(shù)據(jù)中心，整合景區(qū)發(fā)展資源，打造集數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、監(jiān)測(cè)管理、預(yù)測(cè)預(yù)警、應(yīng)急指揮、可視化平臺(tái)于一體的云數(shù)據(jù)中心，以信息化提升數(shù)據(jù)化管理與服務(wù)能力，及時(shí)準(zhǔn)確掌握景區(qū)發(fā)展情況，做到“用數(shù)據(jù)說話、用數(shù)據(jù)管理、用數(shù)據(jù)決策、用數(shù)據(jù)創(chuàng)新”，牢牢把握景區(qū)發(fā)展主動(dòng)權(quán)和話語權(quán)。云數(shù)據(jù)中心應(yīng)是順應(yīng)目前信息化技術(shù)水平發(fā)展，服務(wù)政府職能改革和旅游服務(wù)的數(shù)據(jù)智能中樞。它的主要目標(biāo)是強(qiáng)化政府管理和旅游服務(wù)運(yùn)行監(jiān)測(cè)分析，建立規(guī)范化共建共享管理體系，推進(jìn)政務(wù)數(shù)據(jù)共享和業(yè)務(wù)協(xié)同，為決策提供及時(shí)、準(zhǔn)確、可靠的信息依據(jù)，提高政務(wù)工作的前瞻性和針對(duì)性，加大安保調(diào)控力度，促進(jìn)景區(qū)經(jīng)濟(jì)可持續(xù)發(fā)展。制定統(tǒng)一信息資源管理規(guī)范，拓寬數(shù)據(jù)獲取渠道，整合匯集政府、企業(yè)和社會(huì)數(shù)據(jù)，構(gòu)建匯聚式一體化數(shù)據(jù)庫，為云數(shù)據(jù)中心打下堅(jiān)實(shí)穩(wěn)固的數(shù)據(jù)基礎(chǔ)。梳理各相關(guān)系統(tǒng)數(shù)據(jù)資源的關(guān)聯(lián)性，編制數(shù)據(jù)資源目錄，建立信息資源交換管理標(biāo)準(zhǔn)體系，在業(yè)務(wù)可行性的基礎(chǔ)上，實(shí)現(xiàn)數(shù)據(jù)信息共享，推進(jìn)信息公開，建立跨部門跨領(lǐng)域數(shù)據(jù)分析制度。在大數(shù)據(jù)分析監(jiān)測(cè)基礎(chǔ)上，為景區(qū)把握經(jīng)濟(jì)發(fā)展趨勢(shì)、預(yù)見管理潛在問題、輔助決策提供基礎(chǔ)支撐。1.2建設(shè)原則景區(qū)云數(shù)據(jù)中心的建設(shè)應(yīng)體現(xiàn)先進(jìn)性、可靠性、安全性、易使用性、開放性、權(quán)威性、可擴(kuò)展性、可維護(hù)性等原則。1）先進(jìn)性：系統(tǒng)會(huì)根據(jù)實(shí)際情況采用當(dāng)今主流技術(shù)，既要考慮應(yīng)用平臺(tái)和工具的先進(jìn)，更要考慮系統(tǒng)結(jié)構(gòu)和應(yīng)用設(shè)計(jì)的先進(jìn)性，以適應(yīng)宏觀上業(yè)務(wù)管理、發(fā)展規(guī)劃和微觀上數(shù)據(jù)分析的需求。2）可靠性：系統(tǒng)設(shè)計(jì)應(yīng)采用成熟、穩(wěn)定、可靠的軟件技術(shù)，保證系統(tǒng)在大數(shù)據(jù)量、高并發(fā)的情況下長(zhǎng)時(shí)間不間斷地安全運(yùn)行。包括數(shù)據(jù)可靠性和平臺(tái)可靠性：即數(shù)據(jù)的正確性、有效性和相容性；數(shù)據(jù)發(fā)生故障或用戶輸人數(shù)據(jù)不合理的情況下有較高的抗干擾性和控故障能力及安全防控能力。3）安全性：系統(tǒng)建設(shè)要符合用戶對(duì)信息安全管理的要求，建立完善可靠的安全保障體系，對(duì)非法入侵、非法攻擊和網(wǎng)絡(luò)計(jì)算機(jī)病毒應(yīng)具有很強(qiáng)的防范能力，確保系統(tǒng)具有嚴(yán)格的身份認(rèn)證功能，并有相應(yīng)的技術(shù)手段對(duì)數(shù)據(jù)安全和操作安全加以保護(hù)，嚴(yán)格杜絕對(duì)數(shù)據(jù)的非法操作，杜絕數(shù)據(jù)丟失、外泄。4）易使用性：主要體現(xiàn)在兩個(gè)方面：一是應(yīng)用界面簡(jiǎn)捷、直觀，盡量減少菜單的層次和不必要的點(diǎn)擊過程，使用戶在使用時(shí)一目了然，便于快速掌握系統(tǒng)操作方法，特別是要符合工作人員的思維方式和工作習(xí)慣，方便非計(jì)算機(jī)專業(yè)人員的使用；二是應(yīng)提供聯(lián)機(jī)的或脫機(jī)的幫助手段。5）開放性：為了使系統(tǒng)具有較強(qiáng)的生命力和開放性，應(yīng)遵循已有的國際標(biāo)準(zhǔn)和國內(nèi)標(biāo)準(zhǔn)，以利于采用多種先進(jìn)技術(shù)和產(chǎn)品。6）可擴(kuò)展性：系統(tǒng)是一個(gè)不斷發(fā)展中的應(yīng)用系統(tǒng)，在系統(tǒng)設(shè)計(jì)時(shí)要考慮到新技術(shù)，新產(chǎn)品出現(xiàn)時(shí)對(duì)本系統(tǒng)的兼容性；當(dāng)業(yè)務(wù)需求、外部環(huán)境發(fā)生變化時(shí)，可以擴(kuò)展系統(tǒng)的功能和性能。軟件設(shè)計(jì)要簡(jiǎn)明，各功能模塊間的耦合度小，以適應(yīng)業(yè)務(wù)發(fā)展需要，便于系統(tǒng)的繼承和擴(kuò)展。7）可維護(hù)性：系統(tǒng)應(yīng)具有良好的結(jié)構(gòu)，各個(gè)部分應(yīng)有明確和完整的定義，使得局部的修改不影響全局和其他部分的結(jié)構(gòu)和運(yùn)行。1.3項(xiàng)目特點(diǎn)1.3.1全局性特點(diǎn)1.3.2行業(yè)性特點(diǎn)這些行業(yè)型應(yīng)用及其支撐平臺(tái)對(duì)云數(shù)1.3.3資源性特點(diǎn)1.4技術(shù)要求1.4.1以“城市大腦”框架為基礎(chǔ)參照當(dāng)前云數(shù)據(jù)平臺(tái)的先進(jìn)架構(gòu)，以“城市大腦”框架為基礎(chǔ)，搭建景區(qū)云數(shù)據(jù)中心，通過數(shù)據(jù)中臺(tái)的中樞海量數(shù)據(jù)處理與服務(wù)能力，向城市大腦傳送相關(guān)數(shù)據(jù)，共享城市數(shù)據(jù)大腦計(jì)算、數(shù)據(jù)、算法能力，實(shí)現(xiàn)全域一個(gè)“大腦”指揮下的分工協(xié)作、聯(lián)動(dòng)發(fā)展模式，滿足未來幾年景區(qū)數(shù)字化轉(zhuǎn)型的需求。1.4.2以數(shù)據(jù)匯聚和共享平臺(tái)為基座搭建云數(shù)據(jù)中心的數(shù)據(jù)匯聚與共享平臺(tái)，作為云數(shù)據(jù)中心的數(shù)據(jù)基座，為景區(qū)行業(yè)系統(tǒng)、公眾數(shù)據(jù)開放提供全量、即時(shí)數(shù)據(jù)。通過采集并整合各部門信息系統(tǒng)的相關(guān)數(shù)據(jù)，建立景區(qū)主題數(shù)據(jù)域，各部門可以及時(shí)、方便的相互獲取與當(dāng)前業(yè)務(wù)密切相關(guān)的其他部門共享的業(yè)務(wù)信息資源，以實(shí)現(xiàn)政府部門之間的互聯(lián)互通、資源共享及跨部門的業(yè)務(wù)協(xié)同。1.4.3以創(chuàng)新智慧應(yīng)用為組成部分“一張圖”應(yīng)用、多維度數(shù)據(jù)分析（人流、車流、資金流）、和對(duì)講系統(tǒng)作為云數(shù)據(jù)中心的應(yīng)用組成部分，提供具體業(yè)務(wù)功能。通過云數(shù)據(jù)中心的數(shù)據(jù)中臺(tái)支撐能力，對(duì)各類多元異構(gòu)的數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析、建模分析，實(shí)現(xiàn)數(shù)據(jù)應(yīng)用、智能報(bào)表、綜合指揮，最大限度的提升景區(qū)運(yùn)營與管理服務(wù)水平。1.4.4以大數(shù)據(jù)、人工智能等先進(jìn)技術(shù)為手段通過云數(shù)據(jù)中心資源歸集與應(yīng)用系統(tǒng)建設(shè)，構(gòu)建景區(qū)數(shù)據(jù)資源平臺(tái)，實(shí)現(xiàn)景區(qū)統(tǒng)一指揮調(diào)度，為景區(qū)數(shù)字化管理提供基礎(chǔ)條件。基于景區(qū)各單位業(yè)務(wù)領(lǐng)域信息資源聚合開發(fā)，對(duì)信息數(shù)據(jù)進(jìn)行高效發(fā)掘、科學(xué)分析研判，提供科學(xué)、合理、有效的輔助管理決策方案，為領(lǐng)導(dǎo)者提供切實(shí)可靠的決策輔助參考。借助大數(shù)據(jù)、人工智能等技術(shù)手段，為景區(qū)數(shù)字化運(yùn)營奠定良好基礎(chǔ)。2、項(xiàng)目功能實(shí)現(xiàn)2.1需求分析改革開放以來，我國旅游業(yè)快速發(fā)展，產(chǎn)業(yè)規(guī)模不斷擴(kuò)大，在國民經(jīng)濟(jì)中占有越來越重要的地位。在旅游業(yè)大力發(fā)展的趨勢(shì)下，景區(qū)資源保護(hù)和管理壓力日益增大，加之很多風(fēng)景景區(qū)自身“造血”能力有限，致使景區(qū)的管理、規(guī)劃、運(yùn)營等工作面臨巨大挑戰(zhàn)。根據(jù)景區(qū)云數(shù)據(jù)中心項(xiàng)目要求和實(shí)施內(nèi)容，建設(shè)云數(shù)據(jù)中心，建成后，將為景區(qū)（局、委）提供全域數(shù)據(jù)資源共享服務(wù)，通過對(duì)已建、待建業(yè)務(wù)系統(tǒng)的統(tǒng)一規(guī)劃，形成標(biāo)準(zhǔn)化的數(shù)據(jù)規(guī)范體系，逐步實(shí)現(xiàn)與城市大腦無縫對(duì)接的景區(qū)中樞平臺(tái)。本期云數(shù)據(jù)中心項(xiàng)目建設(shè)內(nèi)容主要包括：建設(shè)數(shù)據(jù)中臺(tái)和物聯(lián)網(wǎng)平臺(tái)基礎(chǔ)；基于景區(qū)“一張圖”和指揮中心實(shí)現(xiàn)數(shù)字指揮調(diào)度應(yīng)用平臺(tái)；基于物聯(lián)網(wǎng)平臺(tái)實(shí)現(xiàn)部分物聯(lián)網(wǎng)試點(diǎn)應(yīng)用；歸集已有數(shù)據(jù)資源，實(shí)現(xiàn)部分?jǐn)?shù)據(jù)應(yīng)用分析展示成果。景區(qū)數(shù)據(jù)中臺(tái)為景區(qū)（局、委）提供統(tǒng)一數(shù)據(jù)分析與應(yīng)用平臺(tái)，要求投標(biāo)人提供成熟的數(shù)據(jù)中臺(tái)產(chǎn)品支撐云數(shù)據(jù)中心項(xiàng)目建設(shè)需求。產(chǎn)品需采用先進(jìn)的底層技術(shù)，具備開放的體系架構(gòu)，提供實(shí)時(shí)/離線計(jì)算框架，簡(jiǎn)潔易用的開發(fā)環(huán)境和平臺(tái)接口，可支撐數(shù)據(jù)倉庫、機(jī)器學(xué)習(xí)及更多應(yīng)用的構(gòu)建；最大化的發(fā)現(xiàn)與分析數(shù)據(jù)價(jià)值，實(shí)現(xiàn)數(shù)據(jù)應(yīng)用的完整閉環(huán)。數(shù)據(jù)中臺(tái)產(chǎn)品主要功能包括：數(shù)據(jù)計(jì)算引擎、數(shù)據(jù)開發(fā)套件、數(shù)據(jù)治理套件、數(shù)據(jù)應(yīng)用引擎、數(shù)據(jù)可視化引擎。1. 數(shù)字指揮調(diào)度平臺(tái)構(gòu)建統(tǒng)一指揮調(diào)度平臺(tái)，為景區(qū)面上秩序管理、山林防火、水域執(zhí)法等人員配置相關(guān)設(shè)備，利用公網(wǎng)對(duì)講方式接入移動(dòng)終端，全面實(shí)現(xiàn)數(shù)字化對(duì)講功能?；诰皡^(qū)“一張圖”展示人員定位和行動(dòng)軌跡，滿足指揮中心對(duì)人員的管理與調(diào)度需求，通過景區(qū)“一張圖”展示景區(qū)部件、監(jiān)控設(shè)備、招商物業(yè)等信息，真正實(shí)現(xiàn)指揮中心的統(tǒng)一指揮調(diào)度功能。景區(qū)“一張圖”主要是對(duì)各類景區(qū)資源空間數(shù)據(jù)進(jìn)行集中管理，具備各類圖形空間數(shù)據(jù)和屬性數(shù)據(jù)的建庫、查詢、分析、維護(hù)和更新等功能，以一種合適的科學(xué)的方式將各種格式、各種來源的數(shù)據(jù)組織起來，形成一種具有較好可視化效果的數(shù)據(jù)表現(xiàn)方式，真正實(shí)現(xiàn)景區(qū)信息的資源整合、管理與服務(wù)。2.物聯(lián)網(wǎng)試點(diǎn)應(yīng)用（1）智慧廁所基于物聯(lián)網(wǎng)平臺(tái)實(shí)現(xiàn)景區(qū)試點(diǎn)指揮廁所的應(yīng)用系統(tǒng)，智慧廁所應(yīng)用系統(tǒng)解決景區(qū)生態(tài)環(huán)保需求，達(dá)到生態(tài)性、智慧性和節(jié)約能耗的目的。（2）智慧園區(qū)利用LoRa/LoRaWAN等網(wǎng)絡(luò)服務(wù)，將傳感器植入園區(qū)，組建物聯(lián)網(wǎng)感知網(wǎng)絡(luò)，通過一系列感知應(yīng)用，融通數(shù)據(jù)。依托物聯(lián)網(wǎng)平臺(tái)，做到科學(xué)、及時(shí)的園區(qū)管理服務(wù)，實(shí)現(xiàn)園區(qū)所有資源合理及有效利用，為能耗節(jié)約提供量化分析，打造數(shù)字化和可視化的智慧園區(qū)。本期云數(shù)據(jù)中心項(xiàng)目主要針對(duì)已有數(shù)據(jù)資源進(jìn)行分析展示，基于數(shù)據(jù)中臺(tái)歸集的應(yīng)用系統(tǒng)數(shù)據(jù)資源，利用數(shù)據(jù)中臺(tái)進(jìn)行數(shù)據(jù)整合加工與建模開發(fā)，實(shí)現(xiàn)多源數(shù)據(jù)關(guān)聯(lián)分析與可視化展示，滿足景區(qū)管理與運(yùn)營等多方面需求。1.消費(fèi)數(shù)據(jù)景區(qū)消費(fèi)類數(shù)據(jù)源包括門禁與統(tǒng)一支付系統(tǒng)，可獲取景點(diǎn)門票、游船、游覽車、停車場(chǎng)等游客消費(fèi)數(shù)據(jù)。數(shù)據(jù)中臺(tái)可接入以上業(yè)務(wù)系統(tǒng)數(shù)據(jù)源，同步實(shí)時(shí)獲取消費(fèi)相關(guān)數(shù)據(jù)，后期可考慮接入景區(qū)商戶支付消費(fèi)數(shù)據(jù)。通過多源應(yīng)用系統(tǒng)的數(shù)據(jù)接入，利用數(shù)據(jù)中臺(tái)的數(shù)據(jù)建模與加工分析能力，最終以統(tǒng)計(jì)數(shù)據(jù)、圖形、報(bào)表等形式進(jìn)行發(fā)布展現(xiàn)。統(tǒng)一支付數(shù)據(jù)分析主要包括：票務(wù)收入分析、游客接待分析、綜合監(jiān)測(cè)分析等。2.最多跑一次數(shù)據(jù)基于“一窗受理、集成服務(wù)、一次辦結(jié)”的服務(wù)模式創(chuàng)新，整合景區(qū)相關(guān)數(shù)據(jù)，包括審批事項(xiàng)、三張清單、基礎(chǔ)數(shù)據(jù)、四平臺(tái)等業(yè)務(wù)系統(tǒng)數(shù)據(jù)源。通過對(duì)接城市大腦最多跑一次全流程數(shù)據(jù)處理，以數(shù)字化管理模式，實(shí)現(xiàn)可視化數(shù)據(jù)分析能力，優(yōu)化政府部門的行政服務(wù)能力，進(jìn)一步提升景區(qū)辦事效率，提高景區(qū)居民滿意度。3.數(shù)據(jù)資源綜合分析云數(shù)據(jù)中心已接入業(yè)務(wù)系統(tǒng)數(shù)據(jù)資源情況展示，從不同維度進(jìn)行數(shù)據(jù)資源統(tǒng)計(jì)分析，包括數(shù)據(jù)來源、數(shù)據(jù)容量、數(shù)據(jù)類型、生命周期等基礎(chǔ)信息。根據(jù)數(shù)據(jù)資源使用情況，進(jìn)行不同數(shù)據(jù)主題域的數(shù)據(jù)使用率、接口調(diào)用頻次等統(tǒng)計(jì)，以可視化大屏或報(bào)表形式展示云數(shù)據(jù)中心的數(shù)據(jù)吞吐量、運(yùn)行效率等相關(guān)指標(biāo)。2.2系統(tǒng)組成功能包括：數(shù)據(jù)計(jì)算引擎、數(shù)據(jù)開發(fā)套件、數(shù)據(jù)治理套件、數(shù)據(jù)應(yīng)用引擎、數(shù)據(jù)可視化引擎；物聯(lián)網(wǎng)平臺(tái)主要功能包括：感知接入、資產(chǎn)管理和設(shè)備管理；業(yè)務(wù)應(yīng)用系統(tǒng)包括數(shù)字指揮調(diào)度平臺(tái)和物聯(lián)網(wǎng)試點(diǎn)應(yīng)用；數(shù)據(jù)分析應(yīng)用包含消費(fèi)數(shù)據(jù)、最多跑一次數(shù)據(jù)和數(shù)據(jù)資源綜合分析的多源數(shù)據(jù)關(guān)聯(lián)分析與可視化展示。2.3系統(tǒng)架構(gòu)圖12.2.3-1系統(tǒng)架構(gòu)圖1、數(shù)據(jù)中臺(tái)系統(tǒng)邏輯架構(gòu)劃分為：基礎(chǔ)服務(wù)、數(shù)據(jù)域、數(shù)據(jù)治理，數(shù)據(jù)開發(fā)和數(shù)據(jù)應(yīng)用引擎，制定了面向資源的統(tǒng)一接口，保證系統(tǒng)提供的服務(wù)都是解耦的，改善系統(tǒng)的交互性與可重用性，通過引入分層規(guī)則層次設(shè)計(jì)，提高各層次之間的獨(dú)立性，為整個(gè)系統(tǒng)的設(shè)置了邊界，使服務(wù)器資源可以充分利用云計(jì)算水平擴(kuò)展的能力，提高系統(tǒng)的可伸縮性。基礎(chǔ)服務(wù)：包括了整個(gè)系統(tǒng)所涉及的集群運(yùn)維和監(jiān)測(cè)、多租戶隔離和多集群管理。數(shù)據(jù)域：將采集數(shù)據(jù)分成六大域，分別為文物遺產(chǎn)、園林綠化、景區(qū)資源、管理服務(wù)、指揮調(diào)度和商業(yè)運(yùn)營。數(shù)據(jù)治理：數(shù)據(jù)治理主要包括數(shù)據(jù)地圖、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量模塊。數(shù)據(jù)地圖支持元數(shù)據(jù)，數(shù)據(jù)血緣分析，并和計(jì)算任務(wù)打通；數(shù)據(jù)模型支持原子指標(biāo)定義，衍生指標(biāo)定義，數(shù)據(jù)分層定義，數(shù)據(jù)建模，模型檢測(cè)等功能，輔助模型規(guī)范和任務(wù)開發(fā)；數(shù)據(jù)質(zhì)量支持主流的數(shù)據(jù)引擎，可配置常規(guī)稽核規(guī)則和自定義規(guī)則，數(shù)據(jù)結(jié)果全方位校驗(yàn)，并支持兩張表明細(xì)自動(dòng)比對(duì)。數(shù)據(jù)開發(fā)：提供可視化界面操作方式的大數(shù)據(jù)開發(fā)工具，包括數(shù)據(jù)同步，數(shù)據(jù)開發(fā)，數(shù)據(jù)管理，運(yùn)維中心等模塊，提供任務(wù)開發(fā)和管理、腳本開發(fā)和管理、資源管理、函數(shù)管理等功能，支持SQL和MapReduce任務(wù)開發(fā)，具備實(shí)時(shí)任務(wù)調(diào)度和調(diào)度依賴功能，支持任務(wù)多版本管理。數(shù)據(jù)應(yīng)用引擎：數(shù)據(jù)應(yīng)用引擎可支持Oracle,MySQL,SQLServer等主流關(guān)系型數(shù)據(jù)庫，提供數(shù)據(jù)API接口可視化操作生成，并提供接口調(diào)用權(quán)限審批，接口調(diào)用監(jiān)控等功能。圖12.2.3-2數(shù)據(jù)中臺(tái)系統(tǒng)架構(gòu)2、物聯(lián)網(wǎng)平臺(tái)系統(tǒng)邏輯架構(gòu)劃分為：感知層、網(wǎng)絡(luò)層、平臺(tái)層和應(yīng)用層，建設(shè)統(tǒng)一物聯(lián)網(wǎng)平臺(tái)，通過信息化手段實(shí)現(xiàn)對(duì)物聯(lián)網(wǎng)設(shè)備工作運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行實(shí)時(shí)、動(dòng)態(tài)地采集、監(jiān)測(cè)、統(tǒng)計(jì)，實(shí)現(xiàn)設(shè)備運(yùn)行故障的自動(dòng)報(bào)警以及故障自動(dòng)派單，實(shí)現(xiàn)設(shè)備資產(chǎn)的管理、統(tǒng)計(jì)，改變傳統(tǒng)的人工運(yùn)維管理方式，達(dá)到景區(qū)精細(xì)化管理的目的。圖12.2.3-3物聯(lián)網(wǎng)系統(tǒng)架構(gòu)2.4系統(tǒng)主要功能2.4.1數(shù)據(jù)中臺(tái)數(shù)據(jù)中臺(tái)是各個(gè)平臺(tái)中的基礎(chǔ)性和綜合性平臺(tái)，是解決“信息孤島”、實(shí)現(xiàn)數(shù)據(jù)互連互通的基礎(chǔ)設(shè)施，有利于提高各類信息資源整合共享，以及信息資源的綜合利用。（1）基本結(jié)構(gòu)1、數(shù)據(jù)接入各類型數(shù)據(jù)接入；2、用戶數(shù)據(jù)管理服務(wù)主要指用戶賬戶信息、用戶設(shè)備信息等；3、用戶應(yīng)用管理服務(wù)主要指租戶用戶的各種應(yīng)用數(shù)據(jù)；4、數(shù)據(jù)安全服務(wù)邏輯平臺(tái)提供安全可靠的數(shù)據(jù)服務(wù)，提供端到端的加密服務(wù)，提供設(shè)備數(shù)據(jù)入庫的驗(yàn)證服務(wù)，提供設(shè)備的安全碼驗(yàn)證服務(wù)等安全措施以保障平臺(tái)的數(shù)據(jù)安全可靠。5、數(shù)據(jù)服務(wù)業(yè)務(wù)邏輯讓數(shù)據(jù)服務(wù)于業(yè)務(wù)，系統(tǒng)通過對(duì)客戶大量業(yè)務(wù)數(shù)據(jù)的分析，總結(jié)出該業(yè)務(wù)的特點(diǎn)，從而為降低成本，加速業(yè)務(wù)增長(zhǎng)，提高利潤(rùn)，為景區(qū)突破創(chuàng)新發(fā)展提供支撐；6、大數(shù)據(jù)平臺(tái)產(chǎn)品門戶網(wǎng)站提供綜合大屏方式展現(xiàn)平臺(tái)內(nèi)的數(shù)據(jù)分析的結(jié)果，同時(shí)提供平臺(tái)管理的入口，如設(shè)備的管理，人員賬戶等基礎(chǔ)信息的管理。（2）主要功能數(shù)據(jù)計(jì)算引擎數(shù)據(jù)中臺(tái)采用分布式大數(shù)據(jù)計(jì)算引擎，提供離線和實(shí)時(shí)計(jì)算引擎服務(wù)，支持結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)處理，具備橫向擴(kuò)展能力。分布式離線計(jì)算引擎：基于HDFS分布式文件存儲(chǔ)系統(tǒng)，支持大數(shù)據(jù)量分布式計(jì)算能力；計(jì)算集群可基于異構(gòu)硬件資源構(gòu)建；至少支持100個(gè)計(jì)算節(jié)點(diǎn)的集群規(guī)模。分布式實(shí)時(shí)計(jì)算引擎：支持分布式實(shí)時(shí)計(jì)算的系統(tǒng)架構(gòu)；支持將關(guān)系型數(shù)據(jù)庫內(nèi)的數(shù)據(jù)做維表，與流式數(shù)據(jù)進(jìn)行Join查詢、計(jì)算、統(tǒng)計(jì)。數(shù)據(jù)開發(fā)工具提供可視化界面操作方式的大數(shù)據(jù)開發(fā)工具，包括數(shù)據(jù)同步，數(shù)據(jù)開發(fā)，數(shù)據(jù)管理，運(yùn)維中心等模塊，提供任務(wù)開發(fā)和管理、腳本開發(fā)和管理、資源管理、函數(shù)管理等功能，支持SQL和MapReduce任務(wù)開發(fā)，具備實(shí)時(shí)任務(wù)調(diào)度和調(diào)度依賴功能，支持任務(wù)多版本管理。數(shù)據(jù)同步數(shù)據(jù)源配置：主要進(jìn)行數(shù)據(jù)源連接信息的新建、編輯、刪除，包括例如MySQL、Oracle、SQLServer、PostgreSQL、Hive、HDFS、ElasticSearch、HBase、Redis、MongoDB、FTP等；支持?jǐn)?shù)據(jù)源應(yīng)用狀態(tài)記錄，已被應(yīng)用的數(shù)據(jù)源不可被刪除。同步任務(wù)配置與運(yùn)行：具備分布式數(shù)據(jù)同步引擎架構(gòu)，具備高并發(fā)、大吞吐量的特性；支持可視化配置同步任務(wù)，支持選擇數(shù)據(jù)源、數(shù)據(jù)目標(biāo)、字段映射等參數(shù)配置；支持整庫同步功能，對(duì)數(shù)據(jù)庫批量生成同步任務(wù)；支持同步錯(cuò)誤比例配置，超過閾值比例時(shí)任務(wù)報(bào)錯(cuò)停止運(yùn)行。同步任務(wù)運(yùn)維：支持同步任務(wù)運(yùn)行狀態(tài)監(jiān)控；支持同步任務(wù)執(zhí)行結(jié)果統(tǒng)計(jì)，如讀取記錄數(shù)、讀取字節(jié)數(shù)、同步速度、寫入記錄數(shù)、寫入字節(jié)數(shù)等。臟數(shù)據(jù)管理：支持臟數(shù)據(jù)管理，支持對(duì)同步過程中異常的數(shù)據(jù)自動(dòng)保存，或存儲(chǔ)至指定位置；支持臟數(shù)據(jù)表管理，包括表的基本信息查看，支持臟數(shù)據(jù)產(chǎn)生趨勢(shì)統(tǒng)計(jì)、臟數(shù)據(jù)產(chǎn)生原因分析。數(shù)據(jù)開發(fā)離線任務(wù)開發(fā)：支持基于WEB的SQL代碼編輯，支持本地CSV、TEXT文件導(dǎo)入；支持SQL、數(shù)據(jù)同步、MR（SparkJava）、Python（SparkPython）、虛節(jié)點(diǎn)等多種任務(wù)類型，用戶可構(gòu)建各種類型的任務(wù)來進(jìn)行數(shù)據(jù)處理；支持任務(wù)鎖，防止多位用戶同時(shí)編輯一份代碼，用戶在編輯任務(wù)內(nèi)容時(shí)需要先獲取鎖。調(diào)度與依賴配置：支持多個(gè)任務(wù)間上下游依賴配置；支持單個(gè)任務(wù)跨周期的自依賴配置與任務(wù)調(diào)度，支持自依賴、跨周期依賴等多種模式。任務(wù)發(fā)布：支持任務(wù)版本記錄，發(fā)布任務(wù)時(shí)，支持對(duì)SQL代碼、同步任務(wù)腳本、任務(wù)調(diào)度、環(huán)境參數(shù)等各類信息做版本記錄，并標(biāo)注當(dāng)前版本與歷史版本的區(qū)別。資源管理：支持Jar包、Python等資源的上傳、刪除、替換；支持統(tǒng)一資源，不同用戶上傳的資源可以共享共用。數(shù)據(jù)管理數(shù)據(jù)資產(chǎn)統(tǒng)計(jì)：對(duì)數(shù)據(jù)概覽、項(xiàng)目占用存儲(chǔ)、表占用存儲(chǔ)等數(shù)據(jù)資產(chǎn)進(jìn)行統(tǒng)計(jì)。數(shù)據(jù)表管理：支持對(duì)表的結(jié)構(gòu)變更操作進(jìn)行記錄，包括表結(jié)構(gòu)變更語句、操作用戶、操作時(shí)間；支持對(duì)刪表操作進(jìn)行記錄，表被刪除時(shí)依然可以查詢刪除記錄。數(shù)據(jù)血緣：支持表級(jí)血緣關(guān)系展現(xiàn)，支持沿表級(jí)血緣鏈路的逐層追溯：支持對(duì)數(shù)據(jù)表相關(guān)的任務(wù)（包括同步任務(wù)）、腳本的相關(guān)性分析，將相關(guān)任務(wù)/腳本列出：支持字段級(jí)血緣關(guān)系的呈現(xiàn)，根據(jù)血緣鏈路追尋每一個(gè)字段數(shù)據(jù)的來源和流向。數(shù)據(jù)訪問權(quán)限管理：項(xiàng)目空間內(nèi)支持用戶自由訪問任意數(shù)據(jù)表，但禁止跨項(xiàng)目空間自由訪問；支持申請(qǐng)權(quán)限訪問不同項(xiàng)目空間的表數(shù)據(jù)。支持授權(quán)后的數(shù)據(jù)訪問，支持授權(quán)時(shí)效性控制，超出時(shí)效后權(quán)限自動(dòng)回收。數(shù)據(jù)治理工具數(shù)據(jù)治理主要包括數(shù)據(jù)地圖、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量模塊。數(shù)據(jù)地圖支持元數(shù)據(jù)，數(shù)據(jù)血緣分析，并和計(jì)算任務(wù)打通；數(shù)據(jù)模型支持原子指標(biāo)定義，衍生指標(biāo)定義，數(shù)據(jù)分層定義，數(shù)據(jù)建模，模型檢測(cè)等功能，輔助模型規(guī)范和任務(wù)開發(fā)；數(shù)據(jù)質(zhì)量支持主流的數(shù)據(jù)引擎，可配置常規(guī)稽核規(guī)則和自定義規(guī)則，數(shù)據(jù)結(jié)果全方位校驗(yàn)，并支持兩張表明細(xì)自動(dòng)比對(duì)。數(shù)據(jù)地圖支持將大數(shù)據(jù)平臺(tái)內(nèi)的數(shù)據(jù)統(tǒng)一展現(xiàn)、統(tǒng)一管理，支持建立數(shù)據(jù)類目體系；支持根據(jù)類目、表名等進(jìn)行快速搜索，同時(shí)需要支持?jǐn)?shù)據(jù)類目的構(gòu)建和修改；支持根據(jù)用戶編寫的SQL代碼，對(duì)表、字段自動(dòng)建立血緣關(guān)系，支持沿血緣鏈路的逐層追溯；支持表的生命周期管理，支持建表時(shí)顯式、隱式指定生命周期，支持生命周期的修改；支持針對(duì)數(shù)據(jù)表的授權(quán)審批管理，一個(gè)項(xiàng)目空間內(nèi)的用戶可自由訪問本項(xiàng)目空間的表，不同的項(xiàng)目?jī)?nèi)的表在授權(quán)審批的前提下可訪問。數(shù)據(jù)質(zhì)量支持可視化的配置數(shù)據(jù)質(zhì)量監(jiān)控的表、字段以及具體規(guī)則，需支持對(duì)全表、部分字段建立質(zhì)量校驗(yàn)規(guī)則，支持自定義配置監(jiān)控規(guī)則；支持對(duì)大數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行質(zhì)量校驗(yàn)，支持對(duì)分區(qū)表進(jìn)行質(zhì)量校驗(yàn)，支持對(duì)關(guān)系型數(shù)據(jù)庫進(jìn)行數(shù)據(jù)質(zhì)量校驗(yàn)；支持自動(dòng)化周期性執(zhí)行校驗(yàn)，用戶僅需配置執(zhí)行的周期、開始時(shí)間等信息即可自動(dòng)運(yùn)行，支持手動(dòng)觸發(fā)執(zhí)行；支持統(tǒng)計(jì)各監(jiān)控項(xiàng)最近一段時(shí)間的指標(biāo)波動(dòng)情況，并以圖表化展現(xiàn)。支持遠(yuǎn)程調(diào)用，支持對(duì)監(jiān)控規(guī)則配置遠(yuǎn)程調(diào)用服務(wù)，第三方系統(tǒng)可通過接口觸發(fā)校驗(yàn)任務(wù)的執(zhí)行，用戶可將其集成至其他平臺(tái)。數(shù)據(jù)模型支持模型層級(jí)、主題域等多種參數(shù)的新增、編輯、刪除；支持對(duì)表名生成規(guī)則的配置；支持對(duì)原子指標(biāo)、衍生指標(biāo)的新增、編輯、刪除；支持定期對(duì)數(shù)據(jù)模型（表名）進(jìn)行規(guī)范性檢測(cè)，例如模型層級(jí)、主題域等參數(shù)進(jìn)行檢測(cè)，并輸出不規(guī)范的原因，有助于管理員及時(shí)發(fā)現(xiàn)并排查問題。數(shù)據(jù)應(yīng)用引擎數(shù)據(jù)應(yīng)用引擎可支持Oracle,MySQL,SQLServer等主流關(guān)系型數(shù)據(jù)庫，提供數(shù)據(jù)API接口可視化操作生成，并提供接口調(diào)用權(quán)限審批，接口調(diào)用監(jiān)控等功能。API概覽：展示不同時(shí)間維度下，用戶調(diào)用次數(shù)、調(diào)用失敗率趨勢(shì)曲線，以及接口的穩(wěn)定性，接口錯(cuò)誤類型分布情況；從API管理者、API使用者不同的角度，整體掌握用戶調(diào)用量TOP排行、接口調(diào)用量TOP排行、接口失敗率TOP排行等。API市場(chǎng)：支持查看API基礎(chǔ)信息、訂購調(diào)用情況、請(qǐng)求返回參數(shù)等，幫助API申請(qǐng)者判斷該API的適用性；支持API申請(qǐng)者發(fā)起API調(diào)用申請(qǐng)；API申請(qǐng)支持用戶按照API調(diào)用次數(shù)申請(qǐng)，超出申請(qǐng)的次數(shù)時(shí)，系統(tǒng)自動(dòng)為此用戶停止API服務(wù)；支持用戶按照API調(diào)用周期申請(qǐng)，超出時(shí)間段時(shí)，系統(tǒng)自動(dòng)為此用戶停止API服務(wù)。API生成：向?qū)Ｊ街С衷O(shè)置入?yún)⒉僮鞣?，支持大于，等于，小于等至?種以上操作符。腳本模式創(chuàng)建API：支持自定義SQL生成API，支持多張表的關(guān)聯(lián)表輸出，復(fù)雜查詢及函數(shù)計(jì)算，可靈活配置；請(qǐng)求方式：支持POST、GET請(qǐng)求；調(diào)用次數(shù)限制：支持限制API的單秒調(diào)用次數(shù)，保障API性能；分頁查詢：API接口支持分頁查詢。API管理：支持查看API基礎(chǔ)詳情：包含API名稱、調(diào)用方式、請(qǐng)求協(xié)議、返回格式、創(chuàng)建人、修改人、請(qǐng)求/返回參數(shù)、請(qǐng)求/返回樣例；支持查看API調(diào)用情況：可查看最近24h、最近7天、最近30天、歷史累計(jì)維度的調(diào)用次數(shù)統(tǒng)計(jì)、錯(cuò)誤日志統(tǒng)計(jì)；支持查看API訂購情況：可查看該API訂購用戶數(shù)，每個(gè)訂購用戶的使用情況；支持API申請(qǐng)者對(duì)已過期、已拒絕、取消授權(quán)的API進(jìn)行二次申請(qǐng)；支持API管理者對(duì)所有用戶或單獨(dú)用戶禁用API服務(wù)。API授權(quán)審批：支持查看所有申請(qǐng)的API以及申請(qǐng)者；支持對(duì)申請(qǐng)API進(jìn)行審批操作；支持取消某用戶的API授權(quán)；API數(shù)據(jù)源管理：API管理者可查看現(xiàn)有的API使用了哪些數(shù)據(jù)源，對(duì)數(shù)據(jù)源進(jìn)行編輯、刪除操作；新增數(shù)據(jù)源：若新建的API需要連接新的數(shù)據(jù)源，則需要在此先將數(shù)據(jù)源新增進(jìn)來，與數(shù)據(jù)庫連接起來。數(shù)據(jù)源支持：支持配置MySQL、Oracle、SQLServer、PostgreSQL等作為數(shù)據(jù)源。數(shù)據(jù)可視化引擎數(shù)據(jù)可視化引擎具備支持多數(shù)據(jù)源、實(shí)時(shí)展示、組件豐富的視覺效果，無需設(shè)計(jì)經(jīng)驗(yàn)或技術(shù)背景，通過添加拖拽等可視化編輯的交互方式，快速設(shè)計(jì)并制作出美觀酷炫的數(shù)據(jù)大屏，滿足會(huì)議展示、業(yè)務(wù)監(jiān)控等多種應(yīng)用需求?？梢暬?xiàng)目支持對(duì)已有的可視化項(xiàng)目進(jìn)行編輯操作，編輯操作包含增加組件、編輯組件、刪除組件，任意拖拽組件等；支持用戶對(duì)可視化數(shù)據(jù)鉆取功能；支持將可視化項(xiàng)目分享給指定人員或訪客，他人可以在非登錄情況下直接查看分享出的可視化項(xiàng)目；支持對(duì)可視化項(xiàng)目的屏幕大小進(jìn)行設(shè)置，系統(tǒng)內(nèi)置1920*1080、1366*768以及1024*768等默認(rèn)屏幕大小，同時(shí)允許用戶根據(jù)自己的需求自由修改屏幕的長(zhǎng)度和寬度；支持用戶修改可視化項(xiàng)目的縮放設(shè)置，適應(yīng)不同尺寸的顯示終端；系統(tǒng)內(nèi)置可視化項(xiàng)目模板，供用戶快速創(chuàng)建可視化項(xiàng)目使用，每個(gè)可視化項(xiàng)目模板都有高清縮略圖，可視化項(xiàng)目模板的數(shù)量不少于5個(gè)?？梢暬M件可視化組件需支持圖表、文字、輔助圖形、指標(biāo)、地圖等；圖表組件需支持折線圖，柱狀圖，散點(diǎn)圖，餅圖，K線圖，用于統(tǒng)計(jì)的盒形圖；支持地理數(shù)據(jù)可視化的地圖，支持飛線、氣泡、熱力圖等子組件，展示海量數(shù)據(jù)下的離散點(diǎn)分布，地理軌跡，區(qū)域熱圖等；支持用于關(guān)系數(shù)據(jù)可視化的關(guān)系圖，樹圖，多維數(shù)據(jù)可視化的平行坐標(biāo)，以及漏斗圖，儀表盤等常見圖形，并且支持圖與圖之間的混搭；文字組件需要支持標(biāo)題、漸變文字、表格、翻牌表格等；需支持圖片、閃點(diǎn)、當(dāng)前時(shí)間、路徑、翻牌器、狀態(tài)卡片等；支持圖表相互間的聯(lián)動(dòng)，圖表輪播操作；畫布操作方式：擁有常見設(shè)計(jì)軟件「畫布」理念，支持鼠標(biāo)抓手對(duì)畫布進(jìn)行移動(dòng)，同時(shí)允許畫布過界操作。組件跨屏復(fù)制：支持組件跨屏拷貝復(fù)用，可將大屏內(nèi)常用組件配置好拷貝至其他大屏進(jìn)行復(fù)用，以降低同類型模塊配置文件編輯成本。組件自動(dòng)輪播：平臺(tái)無需通過參數(shù)配置即可支持自動(dòng)輪播tab選項(xiàng)卡、iframe控件，滿足頁面自動(dòng)切換場(chǎng)景。API管理：支持API類型數(shù)據(jù)源管理功能，可定義好API對(duì)應(yīng)BaseURL（前綴）并對(duì)其進(jìn)行管理，大屏組件編輯數(shù)據(jù)源時(shí)可直接引用對(duì)應(yīng)APIBaseURL隨后僅編輯對(duì)應(yīng)請(qǐng)求方式、路徑、參數(shù)即可。組件顯隱交互：平臺(tái)支持配置組件交互動(dòng)作，可通過配置項(xiàng)定義組件間顯示、隱藏操作，如可定義點(diǎn)擊某tab控件后大屏中心區(qū)域彈出對(duì)話框展示詳情模塊，再次觸發(fā)關(guān)閉或定時(shí)關(guān)閉等。方便各種接待時(shí)的場(chǎng)景交互訴求。跨屏數(shù)據(jù)聯(lián)動(dòng)：平臺(tái)支持跨屏回調(diào)參數(shù)定義，以滿足跨屏參數(shù)傳遞、數(shù)據(jù)聯(lián)動(dòng)切換場(chǎng)景。技術(shù)路線選型對(duì)項(xiàng)目建設(shè)的成敗至關(guān)重要，本次系統(tǒng)設(shè)計(jì)、應(yīng)用開發(fā)將采用以下關(guān)鍵技術(shù)。（3）主要界面1、資源概覽展示各資源使用情況，如：1）ECS實(shí)例個(gè)數(shù)、CPU總量、CPU總使用率、內(nèi)存總量、內(nèi)存總使用率。2）RDS實(shí)例個(gè)數(shù)、CPU總量、CPU使用率、內(nèi)存總量、內(nèi)存使用率、磁盤總量、磁盤使用率。3）OSS庫存類型、容量總量、總使用率。4）SLB庫存類型、IP地址庫存總量、總使用率。2、數(shù)據(jù)全覽1、對(duì)現(xiàn)接入的數(shù)據(jù)宏觀統(tǒng)計(jì)，反映現(xiàn)平臺(tái)數(shù)據(jù)總記錄數(shù)，使用的存儲(chǔ)空間以及各類數(shù)據(jù)的總數(shù)據(jù)量情況；2、對(duì)接入的數(shù)據(jù)根據(jù)事權(quán)單位進(jìn)行分類，并展示各分類數(shù)據(jù)當(dāng)前數(shù)據(jù)接入情況。3、數(shù)據(jù)管理1、管理數(shù)據(jù)接入來源的數(shù)據(jù)庫連接配置信息。2、支持?jǐn)?shù)據(jù)源配置的新增、修改、刪除、聯(lián)通性測(cè)試；4、API服務(wù)管理對(duì)平臺(tái)提供的數(shù)據(jù)API服務(wù)的管理。5、數(shù)據(jù)列表數(shù)據(jù)經(jīng)過清洗、整理后，需要對(duì)數(shù)據(jù)進(jìn)行編目，以數(shù)據(jù)目錄的形式對(duì)數(shù)據(jù)進(jìn)行管理，并支持?jǐn)?shù)據(jù)檢索功能。6、數(shù)據(jù)監(jiān)控宏觀展示整體數(shù)據(jù)流轉(zhuǎn)鏈路，并監(jiān)控蕭山交通小腦三層網(wǎng)絡(luò)（公網(wǎng)、電政辦、內(nèi)網(wǎng)）中數(shù)據(jù)鏈路節(jié)點(diǎn)上數(shù)據(jù)傳輸狀態(tài)（包括鏈路正常、鏈路異常統(tǒng)計(jì)），并直觀展示在數(shù)據(jù)鏈路圖上。7、數(shù)據(jù)申請(qǐng)記錄查詢對(duì)平臺(tái)用戶數(shù)據(jù)申請(qǐng)操作的查詢。8、數(shù)據(jù)調(diào)用查詢平臺(tái)提供對(duì)下載數(shù)據(jù)及通過API方式獲取數(shù)據(jù)操作進(jìn)行記錄，并提供查詢統(tǒng)計(jì)功能，能夠掌握數(shù)據(jù)獲取方對(duì)數(shù)據(jù)獲取需求。9、實(shí)時(shí)告警提醒對(duì)數(shù)據(jù)斷流、數(shù)據(jù)延時(shí)問題以及其他需要及時(shí)性通知的內(nèi)容，在平臺(tái)內(nèi)彈出提示信息。10、應(yīng)用列表以應(yīng)用類目形式展現(xiàn)各類目下的應(yīng)用，并支持一站訪問所有應(yīng)用。11、安全管理統(tǒng)計(jì)數(shù)據(jù)安全信息，包含數(shù)據(jù)庫審計(jì)、數(shù)據(jù)庫防火墻、數(shù)據(jù)發(fā)現(xiàn)和脫敏。12、系統(tǒng)日志管理記錄所有平臺(tái)用戶在使用本平臺(tái)時(shí)的操作記錄并展示13、角色管理提供平臺(tái)角色和角色權(quán)限的管理界面。14、數(shù)據(jù)字典及業(yè)務(wù)規(guī)則庫設(shè)計(jì)整理并展示信息中心現(xiàn)有的標(biāo)準(zhǔn)碼表信息。2.4.2物聯(lián)網(wǎng)平臺(tái)物聯(lián)網(wǎng)平臺(tái)統(tǒng)一實(shí)現(xiàn)對(duì)物聯(lián)設(shè)備的控制、監(jiān)測(cè)、管理、統(tǒng)計(jì)以及運(yùn)維等功能，并提供相應(yīng)的移動(dòng)端App，實(shí)現(xiàn)對(duì)物聯(lián)設(shè)備的控制、統(tǒng)計(jì)、監(jiān)測(cè)、管理以及運(yùn)維等功能，從而實(shí)現(xiàn)全移動(dòng)辦公的要求。（1）基本結(jié)構(gòu)1、智能硬件接入各類型前端數(shù)據(jù)采集終端接入；2、智能硬件數(shù)據(jù)直通接口平臺(tái)提供TCP/IP、HTTP、MQTT等方式接入設(shè)備數(shù)據(jù)，同時(shí)可提供協(xié)議轉(zhuǎn)換器以幫助其他協(xié)議的設(shè)備接入平臺(tái)；3、用戶數(shù)據(jù)管理服務(wù)主要指用戶賬戶信息、用戶設(shè)備信息等；4、用戶應(yīng)用管理服務(wù)主要指租戶用戶的各種應(yīng)用數(shù)據(jù)；5、數(shù)據(jù)安全服務(wù)邏輯平臺(tái)提供安全可靠的數(shù)據(jù)服務(wù)，提供端到端的加密服務(wù)，提供設(shè)備數(shù)據(jù)入庫的驗(yàn)證服務(wù)，提供設(shè)備的安全碼驗(yàn)證服務(wù)等安全措施以保障平臺(tái)的數(shù)據(jù)安全可靠。（2）主要功能1、感知接入統(tǒng)一感知接入規(guī)范標(biāo)準(zhǔn)，建立對(duì)維度數(shù)據(jù)庫，通過不同的方式匯聚信息數(shù)據(jù)，增強(qiáng)分析力度，提高監(jiān)測(cè)預(yù)警的準(zhǔn)確性和時(shí)效性。預(yù)留接口，支持其它系統(tǒng)各種數(shù)據(jù)的上傳導(dǎo)入處理。將現(xiàn)存有關(guān)歷史數(shù)據(jù)通過上傳數(shù)據(jù)文件導(dǎo)入服務(wù)器數(shù)據(jù)庫等方式采集復(fù)用。支持外接平臺(tái)數(shù)據(jù)上傳導(dǎo)入處理?？梢詫⑴f有平臺(tái)的數(shù)據(jù)通過服務(wù)接口的方式采集復(fù)用。支持非結(jié)構(gòu)化數(shù)據(jù)，如地理空間數(shù)據(jù)、音視頻數(shù)據(jù)、社交媒體數(shù)據(jù)等等。支持不同廠家設(shè)備終端接入，支持第三方協(xié)議接入以及MQTT,TCP/IP等協(xié)議接入。2、告警監(jiān)測(cè)（1）實(shí)現(xiàn)運(yùn)行故障檢測(cè)并主動(dòng)上報(bào)功能。（2）直觀展示，故障定位，并實(shí)現(xiàn)多種推送形式。（3）具備自定義告警功能，可自定義告警級(jí)別和告警過濾，提升運(yùn)維效率。（4）可實(shí)現(xiàn)告警自動(dòng)關(guān)聯(lián)工單功能，提高自動(dòng)化程度，提升管理效率。3、資產(chǎn)管理實(shí)現(xiàn)對(duì)物聯(lián)感知設(shè)備全生命周期的管理，包括設(shè)備廠家、安裝時(shí)間、運(yùn)行時(shí)長(zhǎng)、維修記錄等信息，增強(qiáng)運(yùn)維單位對(duì)物聯(lián)感知設(shè)備的管理能力。（1）定義、存檔、維護(hù)資產(chǎn)設(shè)備信息，包括維修記錄和所有平臺(tái)操作維護(hù)的歷史記錄。（2）對(duì)與城市部件進(jìn)行信息管理、實(shí)時(shí)更新，并提供設(shè)施分組、設(shè)施數(shù)據(jù)統(tǒng)計(jì)和設(shè)施數(shù)據(jù)查詢等功能。4、設(shè)備管理對(duì)物聯(lián)網(wǎng)設(shè)備的基礎(chǔ)信息、運(yùn)行數(shù)據(jù)、采集數(shù)據(jù)、故障信息和報(bào)警信息等進(jìn)行采集匯總。維護(hù)平臺(tái)與之連接的設(shè)備，并跟蹤這些設(shè)備的運(yùn)行狀態(tài)以及處理配置、固件(或其他軟件)更新問題，并提供設(shè)備級(jí)的錯(cuò)誤報(bào)告和處理方案。（1）實(shí)施設(shè)備管理，包含設(shè)備基礎(chǔ)信息、地理信息、維護(hù)信息等信息管理。（2）跟蹤設(shè)備運(yùn)行狀態(tài)，對(duì)安全問題進(jìn)行準(zhǔn)確報(bào)告和早期診斷。（3）采集并存儲(chǔ)設(shè)備原始數(shù)據(jù)，實(shí)現(xiàn)按需統(tǒng)計(jì)信息。2.4.3業(yè)務(wù)應(yīng)用系統(tǒng)1、數(shù)字指揮調(diào)度平臺(tái)構(gòu)建統(tǒng)一指揮調(diào)度平臺(tái)，為景區(qū)面上秩序管理、山林防火、水域執(zhí)法等人員配置相關(guān)設(shè)備，利用公網(wǎng)對(duì)講（2G/3G/4G）方式接入移動(dòng)終端，全面實(shí)現(xiàn)數(shù)字化對(duì)講功能?；诰皡^(qū)“一張圖”展示人員定位和行動(dòng)軌跡，滿足指揮中心對(duì)人員的管理與調(diào)度需求，通過景區(qū)“一張圖”展示景區(qū)部件、監(jiān)控設(shè)備、招商物業(yè)等信息，真正實(shí)現(xiàn)指揮中心的統(tǒng)一指揮調(diào)度功能。景區(qū)“一張圖”主要是對(duì)各類景區(qū)資源空間數(shù)據(jù)進(jìn)行集中管理，具備各類圖形空間數(shù)據(jù)和屬性數(shù)據(jù)的建庫、查詢、分析、維護(hù)和更新等功能，以一種合適的科學(xué)的方式將各種格式、各種來源的數(shù)據(jù)組織起來，形成一種具有較好可視化效果的數(shù)據(jù)表現(xiàn)方式，真正實(shí)現(xiàn)景區(qū)信息的資源整合、管理與服務(wù)。2、物聯(lián)網(wǎng)試點(diǎn)應(yīng)用（1）智慧廁所基于物聯(lián)網(wǎng)平臺(tái)實(shí)現(xiàn)景區(qū)試點(diǎn)指揮廁所的應(yīng)用系統(tǒng)，智慧廁所應(yīng)用系統(tǒng)解決景區(qū)生態(tài)環(huán)保需求，達(dá)到生態(tài)性、智慧性和節(jié)約能耗的目的。（2）智慧園區(qū)利用LoRa/LoRaWAN等網(wǎng)絡(luò)服務(wù)，將傳感器植入園區(qū)，組建物聯(lián)網(wǎng)感知網(wǎng)絡(luò)，通過一系列感知應(yīng)用，融通數(shù)據(jù)。依托物聯(lián)網(wǎng)平臺(tái)，做到科學(xué)、及時(shí)的園區(qū)管理服務(wù)，實(shí)現(xiàn)園區(qū)所有資源合理及有效利用，為能耗節(jié)約提供量化分析，打造數(shù)字化和可視化的智慧園區(qū)。3、主要功能（1）用戶角色管理1）提供用戶賬號(hào)管理、注冊(cè)管理功能2）提供權(quán)限管理，設(shè)立基于角色的訪問控制，同時(shí)支持相對(duì)應(yīng)管理域的劃分（2）資源管理1）根據(jù)資源的屬性信息維度，實(shí)現(xiàn)對(duì)資源信息的新增、刪除、編輯維護(hù)和綜合性查詢等操作。2）支持?jǐn)?shù)據(jù)在二維/衛(wèi)星遙感影像地圖的同步匹配更新。3）對(duì)外提游客服務(wù)情況。4）支持實(shí)現(xiàn)格式化導(dǎo)出打印。（3）全景影像展示借助二維/衛(wèi)星遙感影像地圖、空中高清全景影像，地面高清全景影像、實(shí)景照片、文字等多媒體元素、熱點(diǎn)跳躍、彈出窗口和縮略圖快速切換等手段和方式，展現(xiàn)景區(qū)的真實(shí)狀況及各歌管理區(qū)域的現(xiàn)場(chǎng)實(shí)景。（4）景區(qū)資源管理1）實(shí)現(xiàn)對(duì)景區(qū)資源信息的新增、刪除、編輯維護(hù)和綜合性查詢等操作。2）系統(tǒng)支持實(shí)現(xiàn)對(duì)景區(qū)空間點(diǎn)位的信息、各種定制化圖表以更直觀的方式展示給用戶，支持編輯功能，前后端同步更新。3）景區(qū)資源顯示屬性可配置4）支持實(shí)現(xiàn)格式化導(dǎo)出打印。（5）地理信息管理1）支持二維/衛(wèi)星遙感影像地圖，全面展示景區(qū)主要景點(diǎn)定位、區(qū)域位置分布等。輔助文字介紹景區(qū)歌主要景點(diǎn)內(nèi)容。2）全面展示單個(gè)資源項(xiàng)目的完整基礎(chǔ)信息；能按查詢條件，展示相應(yīng)類別的資源目錄，以及單個(gè)資源的具體信息和實(shí)景圖像。（6）日志管理提供日志監(jiān)控服務(wù)，生成系統(tǒng)日志、操作日志等日志記錄，實(shí)現(xiàn)問題快速定位及審計(jì)操作。（7）數(shù)據(jù)接口提供統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)接口，實(shí)現(xiàn)與云數(shù)據(jù)平臺(tái)統(tǒng)一交換，為云數(shù)據(jù)中心提供豐富的數(shù)據(jù)資源。2.4.4數(shù)據(jù)分析應(yīng)用本期云數(shù)據(jù)中心項(xiàng)目主要針對(duì)已有數(shù)據(jù)資源進(jìn)行分析展示，基于數(shù)據(jù)中臺(tái)歸集的應(yīng)用系統(tǒng)數(shù)據(jù)資源，利用數(shù)據(jù)中臺(tái)進(jìn)行數(shù)據(jù)整合加工與建模開發(fā)，實(shí)現(xiàn)多源數(shù)據(jù)關(guān)聯(lián)分析與可視化展示，滿足景區(qū)管理與運(yùn)營等多方面需求。1.消費(fèi)數(shù)據(jù)景區(qū)消費(fèi)類數(shù)據(jù)源包括門禁與統(tǒng)一支付系統(tǒng)，可獲取景點(diǎn)門票、游船、游覽車、停車場(chǎng)等游客消費(fèi)數(shù)據(jù)。數(shù)據(jù)中臺(tái)可接入以上業(yè)務(wù)系統(tǒng)數(shù)據(jù)源，同步實(shí)時(shí)獲取消費(fèi)相關(guān)數(shù)據(jù)，后期可考慮接入景區(qū)商戶支付消費(fèi)數(shù)據(jù)。通過多源應(yīng)用系統(tǒng)的數(shù)據(jù)接入，利用數(shù)據(jù)中臺(tái)的數(shù)據(jù)建模與加工分析能力，最終以統(tǒng)計(jì)數(shù)據(jù)、圖形、報(bào)表等形式進(jìn)行發(fā)布展現(xiàn)。統(tǒng)一支付數(shù)據(jù)分析主要包括：票務(wù)收入分析、游客接待分析、綜合監(jiān)測(cè)分析等。2.最多跑一次數(shù)據(jù)基于“一窗受理、集成服務(wù)、一次辦結(jié)”的服務(wù)模式創(chuàng)新，整合景區(qū)相關(guān)數(shù)據(jù)，包括審批事項(xiàng)、三張清單、基礎(chǔ)數(shù)據(jù)、四平臺(tái)等業(yè)務(wù)系統(tǒng)數(shù)據(jù)源。通過對(duì)接城市大腦最多跑一次全流程數(shù)據(jù)處理，以數(shù)字化管理模式，實(shí)現(xiàn)可視化數(shù)據(jù)分析能力，優(yōu)化政府部門的行政服務(wù)能力，進(jìn)一步提升景區(qū)辦事效率，提高景區(qū)居民滿意度。3.數(shù)據(jù)資源綜合分析云數(shù)據(jù)中心已接入業(yè)務(wù)系統(tǒng)數(shù)據(jù)資源情況展示，從不同維度進(jìn)行數(shù)據(jù)資源統(tǒng)計(jì)分析，包括數(shù)據(jù)來源、數(shù)據(jù)容量、數(shù)據(jù)類型、生命周期等基礎(chǔ)信息。根據(jù)數(shù)據(jù)資源使用情況，進(jìn)行不同數(shù)據(jù)主題域的數(shù)據(jù)使用率、接口調(diào)用頻次等統(tǒng)計(jì)，以可視化大屏或報(bào)表形式展示云數(shù)據(jù)中心的數(shù)據(jù)吞吐量、運(yùn)行效率等相關(guān)指標(biāo)。2.5系統(tǒng)安全安全是數(shù)據(jù)中心關(guān)鍵的一個(gè)環(huán)節(jié)，在設(shè)計(jì)和開發(fā)的初始就著重考慮安全性，解決掉數(shù)據(jù)信息采集和傳輸?shù)陌踩珕栴}，網(wǎng)絡(luò)層的傳統(tǒng)安全問題（會(huì)受到一些非法攻擊，各種協(xié)議兼容問題），平臺(tái)層數(shù)據(jù)存儲(chǔ)問題（應(yīng)用層軟件漏洞產(chǎn)生的安全問題，數(shù)據(jù)的保護(hù)和恢復(fù)，用戶信息等敏感數(shù)據(jù)等存儲(chǔ)，用戶訪問權(quán)限身份驗(yàn)證問題），應(yīng)用層的安全問題（數(shù)據(jù)如何備份、隔離）。網(wǎng)絡(luò)層面，管理平臺(tái)后臺(tái)部署于一個(gè)安全的專有內(nèi)部網(wǎng)絡(luò)，通過私有光纖接入或以太網(wǎng)接入和前端設(shè)備連接，確保私有網(wǎng)絡(luò)后臺(tái)間通訊的物理隔離。同時(shí)，管理平臺(tái)和互聯(lián)網(wǎng)連接（例如需要管理公網(wǎng)前端設(shè)備，或者需要支持移動(dòng)App或和其他公網(wǎng)平臺(tái)集成等）管理平臺(tái)后臺(tái)通過防火墻和互聯(lián)網(wǎng)連接，確保平臺(tái)后臺(tái)安全有效。傳輸層面，物聯(lián)設(shè)備和系統(tǒng)平臺(tái)間的通訊協(xié)議采用加密算法進(jìn)行加密，系統(tǒng)平臺(tái)和其監(jiān)控終端（包括移動(dòng)終端）以及其他平臺(tái)系統(tǒng)間的傳輸協(xié)議基于SSL加密傳輸。應(yīng)用層面，系統(tǒng)平臺(tái)具有相應(yīng)的用戶權(quán)限認(rèn)證系統(tǒng)，相關(guān)認(rèn)證密鑰進(jìn)行不可逆加密運(yùn)算。2.6系統(tǒng)維護(hù)系統(tǒng)采用運(yùn)維優(yōu)先理念設(shè)計(jì)，運(yùn)維優(yōu)先理念即出現(xiàn)問題，定位問題和處理問題，以事件/告警來驅(qū)動(dòng)操作的理念，替代了以操作流程或者用戶操作等基于設(shè)備操作為主的傳統(tǒng)思維。通過運(yùn)維優(yōu)先理念，可以做到按需干預(yù)，當(dāng)發(fā)生故障時(shí)，會(huì)有報(bào)警提醒，免去了日常繁瑣的排查工作，提高了故障發(fā)現(xiàn)效率；同時(shí)對(duì)故障點(diǎn)的快速定位，迅速做出相應(yīng)處理，處理結(jié)果也會(huì)第一時(shí)間得到反饋?？梢暬耐?fù)渚幣乓约耙绘I連通性探測(cè)與故障定位，實(shí)現(xiàn)故障快速解決，極大降低系統(tǒng)運(yùn)維量，提高了運(yùn)維效率。在云服務(wù)中，自動(dòng)化不是錦上添花，而是必備的——是實(shí)現(xiàn)增長(zhǎng)所必需的。如果純靠人工容易出錯(cuò)，效率低，恢復(fù)慢，無法承擔(dān)這么多的人的開支，人員管理問題也是很難應(yīng)付的。故障發(fā)生不可怕，最重要的是及時(shí)發(fā)現(xiàn)并解決故障。采用Jenkins全自動(dòng)解決方案使得故障能夠得以快速修復(fù)，提高精準(zhǔn)度、提高可靠性，實(shí)現(xiàn)更多安全保障。主要包含四大方面：日志，告警、歸檔、監(jiān)控。系統(tǒng)具有完備的運(yùn)行期日志系統(tǒng)和詳細(xì)的操作日志記錄，可以客觀快速定位問題及審計(jì)操作。通過建立全生命周期告警管理，靈活的告警抑制和告警知識(shí)庫的建設(shè)，做到即時(shí)了解系統(tǒng)運(yùn)行狀況。而海量歷史數(shù)據(jù)歸檔，數(shù)據(jù)庫備份策略和系統(tǒng)運(yùn)行狀態(tài)監(jiān)測(cè)/恢復(fù)，系統(tǒng)資源使用（CPU、內(nèi)存、硬盤）監(jiān)測(cè)/告警則可確保系統(tǒng)穩(wěn)定的運(yùn)維及數(shù)據(jù)可追溯，并可持續(xù)對(duì)系統(tǒng)運(yùn)行狀況進(jìn)行優(yōu)化。2.7系統(tǒng)前臺(tái)及界面設(shè)計(jì)系統(tǒng)界面設(shè)計(jì)友好，保持統(tǒng)一性，以保證不同終端用戶的一致性體驗(yàn)，統(tǒng)一門戶登入、統(tǒng)一APP管理以及多租戶管理。1）系統(tǒng)提供統(tǒng)一的圖形用戶界面風(fēng)格；2）系統(tǒng)界面友好，易于安裝、配置和管理，并有詳盡的技術(shù)文檔。支持中文圖形界面、提供中文報(bào)表以及各類中文技術(shù)文檔；3）設(shè)備在完成基本的管理任務(wù)，對(duì)用戶輸入錯(cuò)誤，可及早發(fā)現(xiàn)和提示；4）系統(tǒng)支持同時(shí)打開多個(gè)管理窗口以對(duì)不同任務(wù)進(jìn)行并行的操作；5）導(dǎo)致系統(tǒng)數(shù)據(jù)發(fā)送變化操作執(zhí)行之前，系統(tǒng)明確提示用戶確認(rèn)。系統(tǒng)正在執(zhí)行用戶提交的請(qǐng)求而無法返回時(shí)，會(huì)明確標(biāo)識(shí)系統(tǒng)處于繁忙階段；6）設(shè)備支持分布式結(jié)構(gòu)，能夠提供統(tǒng)一的管理界面對(duì)所有設(shè)備進(jìn)行配置及管理；7）具備完善的聯(lián)機(jī)幫助功能，對(duì)于每一個(gè)操作功能都能查找到相應(yīng)的使用說明；8）支持靈活自定義時(shí)間粒度進(jìn)行報(bào)表統(tǒng)計(jì)，能夠根據(jù)實(shí)際需要靈活定制各種統(tǒng)計(jì)報(bào)表；9）系統(tǒng)支持Chrome,IE等瀏覽器訪問與顯示；10）手機(jī)APP與Web功能保持一致性；11）多租戶是一個(gè)系統(tǒng)為多組客戶提供服務(wù)，每組客戶嚴(yán)格區(qū)分，不會(huì)受其他組操作影響。這一個(gè)功能主要面向的是服務(wù)器部署在公有云上的客戶；12）統(tǒng)一門戶登入：所有的用戶訪問同一個(gè)地址；13）統(tǒng)一APP管理：所有用戶不管是安卓或是IOS，或者不同項(xiàng)目上的，都是同一個(gè)APP。2.8擴(kuò)展方案通常來說，可擴(kuò)展性是指系統(tǒng)或服務(wù)在資源增加時(shí)所體現(xiàn)出的一種屬性，其性能根據(jù)所增加資源的數(shù)量成比例地提高。傳統(tǒng)的作法會(huì)采用垂直擴(kuò)展，簡(jiǎn)單說來，垂直擴(kuò)展就是升級(jí)原有的服務(wù)器或更換為更強(qiáng)大的硬件。這是比較直接的方法，比如說內(nèi)存不足時(shí)就增加更多的內(nèi)容?；蛘?，花費(fèi)一大筆錢為一個(gè)大型主機(jī)服務(wù)器增加存儲(chǔ)吞吐量和/或計(jì)算能力。采用這種方法，每臺(tái)服務(wù)器所能支持的可擴(kuò)展內(nèi)存量都有一個(gè)上限。一旦現(xiàn)有的服務(wù)器達(dá)到這一上限，需要更新到新服務(wù)器。水平擴(kuò)展指的是通過擴(kuò)容節(jié)點(diǎn)進(jìn)行集群來分散負(fù)載，從而實(shí)現(xiàn)存儲(chǔ)能力和計(jì)算能力的擴(kuò)展。這可以通過增加云端的虛擬機(jī)和服務(wù)器。僅需在平臺(tái)新建虛擬機(jī)分配資源即可，無需再頻繁采購服務(wù)器等硬件，極大提高效率，并降低硬件投入。一旦達(dá)到了一個(gè)理論上的水平擴(kuò)展，理論上是指我們的代碼、結(jié)構(gòu)都比較好的情況下，容量是無限的。支持水平擴(kuò)展能力的模塊是無狀態(tài)的，通過增加節(jié)點(diǎn)就可以提高整個(gè)的吞吐量。除了提供更好的性能，水平擴(kuò)展還用于實(shí)現(xiàn)松耦合系統(tǒng)的冗余和可靠性，能夠容忍某些資源節(jié)點(diǎn)的故障，以防止節(jié)點(diǎn)宕機(jī)失效帶來的不可用問題，解決單點(diǎn)失效問題，更加可靠。由于采用了平臺(tái)化構(gòu)建思想，整個(gè)系統(tǒng)可做到與底層多種硬件環(huán)境、操作系統(tǒng)、數(shù)據(jù)庫的自由適配，保證系統(tǒng)在軟件、硬件環(huán)境方面的靈活配置以及未來的拓展應(yīng)用。采用基于SOA思想的模塊化設(shè)計(jì)，可根據(jù)需要進(jìn)行靈活動(dòng)態(tài)的模塊擴(kuò)充，并保證原系統(tǒng)環(huán)境不受影響。3、關(guān)鍵技術(shù)3.1城市大腦對(duì)接方案“城市大腦”是一個(gè)按照城市學(xué)理論和“互聯(lián)網(wǎng)+現(xiàn)代治理”思維，創(chuàng)新運(yùn)用大數(shù)據(jù)、云計(jì)算、人工智能等前沿科技構(gòu)建的平臺(tái)型人工智能中樞。其整合匯集政府、企業(yè)和社會(huì)數(shù)據(jù)，在城市治理領(lǐng)域進(jìn)行融合計(jì)算，實(shí)現(xiàn)城市運(yùn)行的生命體征感知、公共資源配置、宏觀決策指揮、事件預(yù)測(cè)預(yù)警、“城市病”治理等功能。本次方案充分考慮對(duì)接“城市大腦”并利用城市大腦的數(shù)據(jù)資源和計(jì)算能力，成為城市數(shù)據(jù)大腦的應(yīng)用組成部分，提供具體業(yè)務(wù)功能。其特點(diǎn)是業(yè)務(wù)相關(guān)的數(shù)據(jù)全量整合、全網(wǎng)打通，打破部門邊界，以數(shù)據(jù)驅(qū)動(dòng)傳統(tǒng)業(yè)務(wù)管理和服務(wù)模式的升級(jí)突破。系統(tǒng)提供開放的標(biāo)準(zhǔn)接口，可實(shí)現(xiàn)與外圍業(yè)務(wù)系統(tǒng)的無縫集成應(yīng)用，靈活擴(kuò)展系統(tǒng)的業(yè)務(wù)應(yīng)用范圍。3.2關(guān)鍵技術(shù)根據(jù)景區(qū)云數(shù)據(jù)中心項(xiàng)目要求，數(shù)據(jù)中臺(tái)產(chǎn)品滿足以下關(guān)鍵技術(shù)參數(shù)：數(shù)據(jù)計(jì)算引擎數(shù)據(jù)中臺(tái)采用分布式大數(shù)據(jù)計(jì)算引擎，提供離線和實(shí)時(shí)計(jì)算引擎服務(wù)，支持結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)處理，具備橫向擴(kuò)展能力。分布式離線計(jì)算引擎：基于HDFS分布式文件存儲(chǔ)系統(tǒng)，支持大數(shù)據(jù)量分布式計(jì)算能力；計(jì)算集群可基于異構(gòu)硬件資源構(gòu)建；至少支持100個(gè)計(jì)算節(jié)點(diǎn)的集群規(guī)模。分布式實(shí)時(shí)計(jì)算引擎：支持分布式實(shí)時(shí)計(jì)算的系統(tǒng)架構(gòu)；支持將關(guān)系型數(shù)據(jù)庫內(nèi)的數(shù)據(jù)做維表，與流式數(shù)據(jù)進(jìn)行Join查詢、計(jì)算、統(tǒng)計(jì)。數(shù)據(jù)開發(fā)工具提供可視化界面操作方式的大數(shù)據(jù)開發(fā)工具，包括數(shù)據(jù)同步，數(shù)據(jù)開發(fā)，數(shù)據(jù)管理，運(yùn)維中心等模塊，提供任務(wù)開發(fā)和管理、腳本開發(fā)和管理、資源管理、函數(shù)管理等功能，支持SQL和MapReduce任務(wù)開發(fā)，具備實(shí)時(shí)任務(wù)調(diào)度和調(diào)度依賴功能，支持任務(wù)多版本管理。數(shù)據(jù)同步數(shù)據(jù)源配置：主要進(jìn)行數(shù)據(jù)源連接信息的新建、編輯、刪除，包括例如MySQL、Oracle、SQLServer、PostgreSQL、Hive、HDFS、ElasticSearch、HBase、Redis、MongoDB、FTP等；支持?jǐn)?shù)據(jù)源應(yīng)用狀態(tài)記錄，已被應(yīng)用的數(shù)據(jù)源不可被刪除。同步任務(wù)配置與運(yùn)行：具備分布式數(shù)據(jù)同步引擎架構(gòu)，具備高并發(fā)、大吞吐量的特性；支持可視化配置同步任務(wù)，支持選擇數(shù)據(jù)源、數(shù)據(jù)目標(biāo)、字段映射等參數(shù)配置；支持整庫同步功能，對(duì)數(shù)據(jù)庫批量生成同步任務(wù)；支持同步錯(cuò)誤比例配置，超過閾值比例時(shí)任務(wù)報(bào)錯(cuò)停止運(yùn)行。同步任務(wù)運(yùn)維：支持同步任務(wù)運(yùn)行狀態(tài)監(jiān)控；支持同步任務(wù)執(zhí)行結(jié)果統(tǒng)計(jì)，如讀取記錄數(shù)、讀取字節(jié)數(shù)、同步速度、寫入記錄數(shù)、寫入字節(jié)數(shù)等。臟數(shù)據(jù)管理：支持臟數(shù)據(jù)管理，支持對(duì)同步過程中異常的數(shù)據(jù)自動(dòng)保存，或存儲(chǔ)至指定位置；支持臟數(shù)據(jù)表管理，包括表的基本信息查看，支持臟數(shù)據(jù)產(chǎn)生趨勢(shì)統(tǒng)計(jì)、臟數(shù)據(jù)產(chǎn)生原因分析。數(shù)據(jù)開發(fā)離線任務(wù)開發(fā)：支持基于WEB的SQL代碼編輯，支持本地CSV、TEXT文件導(dǎo)入；支持SQL、數(shù)據(jù)同步、MR（SparkJava）、Python（SparkPython）、虛節(jié)點(diǎn)等多種任務(wù)類型，用戶可構(gòu)建各種類型的任務(wù)來進(jìn)行數(shù)據(jù)處理；支持任務(wù)鎖，防止多位用戶同時(shí)編輯一份代碼，用戶在編輯任務(wù)內(nèi)容時(shí)需要先獲取鎖。調(diào)度與依賴配置：支持多個(gè)任務(wù)間上下游依賴配置；支持單個(gè)任務(wù)跨周期的自依賴配置與任務(wù)調(diào)度，支持自依賴、跨周期依賴等多種模式。任務(wù)發(fā)布：支持任務(wù)版本記錄，發(fā)布任務(wù)時(shí)，支持對(duì)SQL代碼、同步任務(wù)腳本、任務(wù)調(diào)度、環(huán)境參數(shù)等各類信息做版本記錄，并標(biāo)注當(dāng)前版本與歷史版本的區(qū)別。資源管理：支持Jar包、Python等資源的上傳、刪除、替換；支持統(tǒng)一資源，不同用戶上傳的資源可以共享共用。數(shù)據(jù)管理數(shù)據(jù)資產(chǎn)統(tǒng)計(jì)：對(duì)數(shù)據(jù)概覽、項(xiàng)目占用存儲(chǔ)、表占用存儲(chǔ)等數(shù)據(jù)資產(chǎn)進(jìn)行統(tǒng)計(jì)。數(shù)據(jù)表管理：支持對(duì)表的結(jié)構(gòu)變更操作進(jìn)行記錄，包括表結(jié)構(gòu)變更語句、操作用戶、操作時(shí)間；支持對(duì)刪表操作進(jìn)行記錄，表被刪除時(shí)依然可以查詢刪除記錄。數(shù)據(jù)血緣：支持表級(jí)血緣關(guān)系展現(xiàn)，支持沿表級(jí)血緣鏈路的逐層追溯：支持對(duì)數(shù)據(jù)表相關(guān)的任務(wù)（包括同步任務(wù)）、腳本的相關(guān)性分析，將相關(guān)任務(wù)/腳本列出：支持字段級(jí)血緣關(guān)系的呈現(xiàn)，根據(jù)血緣鏈路追尋每一個(gè)字段數(shù)據(jù)的來源和流向。數(shù)據(jù)訪問權(quán)限管理：項(xiàng)目空間內(nèi)支持用戶自由訪問任意數(shù)據(jù)表，但禁止跨項(xiàng)目空間自由訪問；支持申請(qǐng)權(quán)限訪問不同項(xiàng)目空間的表數(shù)據(jù)。支持授權(quán)后的數(shù)據(jù)訪問，支持授權(quán)時(shí)效性控制，超出時(shí)效后權(quán)限自動(dòng)回收。數(shù)據(jù)治理工具數(shù)據(jù)治理主要包括數(shù)據(jù)地圖、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量模塊。數(shù)據(jù)地圖支持元數(shù)據(jù)，數(shù)據(jù)血緣分析，并和計(jì)算任務(wù)打通；數(shù)據(jù)模型支持原子指標(biāo)定義，衍生指標(biāo)定義，數(shù)據(jù)分層定義，數(shù)據(jù)建模，模型檢測(cè)等功能，輔助模型規(guī)范和任務(wù)開發(fā)；數(shù)據(jù)質(zhì)量支持主流的數(shù)據(jù)引擎，可配置常規(guī)稽核規(guī)則和自定義規(guī)則，數(shù)據(jù)結(jié)果全方位校驗(yàn)，并支持兩張表明細(xì)自動(dòng)比對(duì)。數(shù)據(jù)地圖支持將大數(shù)據(jù)平臺(tái)內(nèi)的數(shù)據(jù)統(tǒng)一展現(xiàn)、統(tǒng)一管理，支持建立數(shù)據(jù)類目體系；支持根據(jù)類目、表名等進(jìn)行快速搜索，同時(shí)需要支持?jǐn)?shù)據(jù)類目的構(gòu)建和修改；支持根據(jù)用戶編寫的SQL代碼，對(duì)表、字段自動(dòng)建立血緣關(guān)系，支持沿血緣鏈路的逐層追溯；支持表的生命周期管理，支持建表時(shí)顯式、隱式指定生命周期，支持生命周期的修改；支持針對(duì)數(shù)據(jù)表的授權(quán)審批管理，一個(gè)項(xiàng)目空間內(nèi)的用戶可自由訪問本項(xiàng)目空間的表，不同的項(xiàng)目?jī)?nèi)的表在授權(quán)審批的前提下可訪問。數(shù)據(jù)質(zhì)量支持可視化的配置數(shù)據(jù)質(zhì)量監(jiān)控的表、字段以及具體規(guī)則，需支持對(duì)全表、部分字段建立質(zhì)量校驗(yàn)規(guī)則，支持自定義配置監(jiān)控規(guī)則；支持對(duì)大數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行質(zhì)量校驗(yàn)，支持對(duì)分區(qū)表進(jìn)行質(zhì)量校驗(yàn)，支持對(duì)關(guān)系型數(shù)據(jù)庫進(jìn)行數(shù)據(jù)質(zhì)量校驗(yàn)；支持自動(dòng)化周期性執(zhí)行校驗(yàn)，用戶僅需配置執(zhí)行的周期、開始時(shí)間等信息即可自動(dòng)運(yùn)行，支持手動(dòng)觸發(fā)執(zhí)行；支持統(tǒng)計(jì)各監(jiān)控項(xiàng)最近一段時(shí)間的指標(biāo)波動(dòng)情況，并以圖表化展現(xiàn)。支持遠(yuǎn)程調(diào)用，支持對(duì)監(jiān)控規(guī)則配置遠(yuǎn)程調(diào)用服務(wù)，第三方系統(tǒng)可通過接口觸發(fā)校驗(yàn)任務(wù)的執(zhí)行，用戶可將其集成至其他平臺(tái)。數(shù)據(jù)模型支持模型層級(jí)、主題域等多種參數(shù)的新增、編輯、刪除；支持對(duì)表名生成規(guī)則的配置；支持對(duì)原子指標(biāo)、衍生指標(biāo)的新增、編輯、刪除；支持定期對(duì)數(shù)據(jù)模型（表名）進(jìn)行規(guī)范性檢測(cè)，例如模型層級(jí)、主題域等參數(shù)進(jìn)行檢測(cè)，并輸出不規(guī)范的原因，有助于管理員及時(shí)發(fā)現(xiàn)并排查問題。數(shù)據(jù)應(yīng)用引擎數(shù)據(jù)應(yīng)用引擎可支持Oracle,MySQL,SQLServer等主流關(guān)系型數(shù)據(jù)庫，提供數(shù)據(jù)API接口可視化操作生成，并提供接口調(diào)用權(quán)限審批，接口調(diào)用監(jiān)控等功能。API概覽：展示不同時(shí)間維度下，用戶調(diào)用次數(shù)、調(diào)用失敗率趨勢(shì)曲線，以及接口的穩(wěn)定性，接口錯(cuò)誤類型分布情況；從API管理者、API使用者不同的角度，整體掌握用戶調(diào)用量TOP排行、接口調(diào)用量TOP排行、接口失敗率TOP排行等。API市場(chǎng)：支持查看API基礎(chǔ)信息、訂購調(diào)用情況、請(qǐng)求返回參數(shù)等，幫助API申請(qǐng)者判斷該API的適用性；支持API申請(qǐng)者發(fā)起API調(diào)用申請(qǐng)；API申請(qǐng)支持用戶按照API調(diào)用次數(shù)申請(qǐng)，超出申請(qǐng)的次數(shù)時(shí)，系統(tǒng)自動(dòng)為此用戶停止API服務(wù)；支持用戶按照API調(diào)用周期申請(qǐng)，超出時(shí)間段時(shí)，系統(tǒng)自動(dòng)為此用戶停止API服務(wù)。API生成：向?qū)Ｊ街С衷O(shè)置入?yún)⒉僮鞣?，支持大于，等于，小于等至?種以上操作符。腳本模式創(chuàng)建API：支持自定義SQL生成API，支持多張表的關(guān)聯(lián)表輸出，復(fù)雜查詢及函數(shù)計(jì)算，可靈活配置；請(qǐng)求方式：支持POST、GET請(qǐng)求；調(diào)用次數(shù)限制：支持限制API的單秒調(diào)用次數(shù)，保障API性能；分頁查詢：API接口支持分頁查詢。API管理：支持查看API基礎(chǔ)詳情：包含API名稱、調(diào)用方式、請(qǐng)求協(xié)議、返回格式、創(chuàng)建人、修改人、請(qǐng)求/返回參數(shù)、請(qǐng)求/返回樣例；支持查看API調(diào)用情況：可查看最近24h、最近7天、最近30天、歷史累計(jì)維度的調(diào)用次數(shù)統(tǒng)計(jì)、錯(cuò)誤日志統(tǒng)計(jì)；支持查看API訂購情況：可查看該API訂購用戶數(shù)，每個(gè)訂購用戶的使用情況；支持API申請(qǐng)者對(duì)已過期、已拒絕、取消授權(quán)的API進(jìn)行二次申請(qǐng)；支持API管理者對(duì)所有用戶或單獨(dú)用戶禁用API服務(wù)。API授權(quán)審批：支持查看所有申請(qǐng)的API以及申請(qǐng)者；支持對(duì)申請(qǐng)API進(jìn)行審批操作；支持取消某用戶的API授權(quán)；API數(shù)據(jù)源管理：API管理者可查看現(xiàn)有的API使用了哪些數(shù)據(jù)源，對(duì)數(shù)據(jù)源進(jìn)行編輯、刪除操作；新增數(shù)據(jù)源：若新建的API需要連接新的數(shù)據(jù)源，則需要在此先將數(shù)據(jù)源新增進(jìn)來，與數(shù)據(jù)庫連接起來。數(shù)據(jù)源支持：支持配置MySQL、Oracle、SQLServer、PostgreSQL等作為數(shù)據(jù)源。數(shù)據(jù)可視化引擎數(shù)據(jù)可視化引擎具備支持多數(shù)據(jù)源、實(shí)時(shí)展示、組件豐富的視覺效果，無需設(shè)計(jì)經(jīng)驗(yàn)或技術(shù)背景，通過添加拖拽等可視化編輯的交互方式，快速設(shè)計(jì)并制作出美觀酷炫的數(shù)據(jù)大屏，滿足會(huì)議展示、業(yè)務(wù)監(jiān)控等多種應(yīng)用需求?？梢暬?xiàng)目支持對(duì)已有的可視化項(xiàng)目進(jìn)行編輯操作，編輯操作包含增加組件、編輯組件、刪除組件，任意拖拽組件等；支持用戶對(duì)可視化數(shù)據(jù)鉆取功能；支持將可視化項(xiàng)目分享給指定人員或訪客，他人可以在非登錄情況下直接查看分享出的可視化項(xiàng)目；支持對(duì)可視化項(xiàng)目的屏幕大小進(jìn)行設(shè)置，系統(tǒng)內(nèi)置1920*1080、1366*768以及1024*768等默認(rèn)屏幕大小，同時(shí)允許用戶根據(jù)自己的需求自由修改屏幕的長(zhǎng)度和寬度；支持用戶修改可視化項(xiàng)目的縮放設(shè)置，適應(yīng)不同尺寸的顯示終端；系統(tǒng)內(nèi)置可視化項(xiàng)目模板，供用戶快速創(chuàng)建可視化項(xiàng)目使用，每個(gè)可視化項(xiàng)目模板都有高清縮略圖，可視化項(xiàng)目模板的數(shù)量不少于5個(gè)?？梢暬M件可視化組件需支持圖表、文字、輔助圖形、指標(biāo)、地圖等；圖表組件需支持折線圖，柱狀圖，散點(diǎn)圖，餅圖，K線圖，用于統(tǒng)計(jì)的盒形圖；支持地理數(shù)據(jù)可視化的地圖，支持飛線、氣泡、熱力圖等子組件，展示海量數(shù)據(jù)下的離散點(diǎn)分布，地理軌跡，區(qū)域熱圖等；支持用于關(guān)系數(shù)據(jù)可視化的關(guān)系圖，樹圖，多維數(shù)據(jù)可視化的平行坐標(biāo)，以及漏斗圖，儀表盤等常見圖形，并且支持圖與圖之間的混搭；文字組件需要支持標(biāo)題、漸變文字、表格、翻牌表格等；需支持圖片、閃點(diǎn)、當(dāng)前時(shí)間、路徑、翻牌器、狀態(tài)卡片等；支持圖表相互間的聯(lián)動(dòng)，圖表輪播操作；畫布操作方式：擁有常見設(shè)計(jì)軟件「畫布」理念，支持鼠標(biāo)抓手對(duì)畫布進(jìn)行移動(dòng)，同時(shí)允許畫布過界操作。組件跨屏復(fù)制：支持組件跨屏拷貝復(fù)用，可將大屏內(nèi)常用組件配置好拷貝至其他大屏進(jìn)行復(fù)用，以降低同類型模塊配置文件編輯成本。組件自動(dòng)輪播：平臺(tái)無需通過參數(shù)配置即可支持自動(dòng)輪播tab選項(xiàng)卡、iframe控件，滿足頁面自動(dòng)切換場(chǎng)景。API管理：支持API類型數(shù)據(jù)源管理功能，可定義好API對(duì)應(yīng)BaseURL（前綴）并對(duì)其進(jìn)行管理，大屏組件編輯數(shù)據(jù)源時(shí)可直接引用對(duì)應(yīng)APIBaseURL隨后僅編輯對(duì)應(yīng)請(qǐng)求方式、路徑、參數(shù)即可。組件顯隱交互：平臺(tái)支持配置組件交互動(dòng)作，可通過配置項(xiàng)定義組件間顯示、隱藏操作，如可定義點(diǎn)擊某tab控件后大屏中心區(qū)域彈出對(duì)話框展示詳情模塊，再次觸發(fā)關(guān)閉或定時(shí)關(guān)閉等。方便各種接待時(shí)的場(chǎng)景交互訴求?？缙翑?shù)據(jù)聯(lián)動(dòng)：平臺(tái)支持跨屏回調(diào)參數(shù)定義，以滿足跨屏參數(shù)傳遞、數(shù)據(jù)聯(lián)動(dòng)切換場(chǎng)景。技術(shù)路線選型對(duì)項(xiàng)目建設(shè)的成敗至關(guān)重要，本次系統(tǒng)設(shè)計(jì)、應(yīng)用開發(fā)將采用以下關(guān)鍵技術(shù)。大數(shù)據(jù)技術(shù)大數(shù)據(jù)技術(shù)采用ApacheHadoop。Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡(jiǎn)稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。Hadoop以一種可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理。Hadoop是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。Hadoop是高效的，因?yàn)樗圆⑿械姆绞焦ぷ鳎ㄟ^并行處理加快處理速度。Hadoop還是可伸縮的，能夠處理PB級(jí)數(shù)據(jù)。此外，Hadoop依賴于社區(qū)服務(wù)，因此它的成本比較低，任何人都可以使用。Hadoop是一個(gè)能夠讓用戶輕松架構(gòu)和使用的分布式計(jì)算平臺(tái)。用戶可以輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個(gè)優(yōu)點(diǎn)：高可靠性。Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴。高擴(kuò)展性。Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。高效性。Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非?？?。高容錯(cuò)性。Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配。低成本。與一體機(jī)、商用數(shù)據(jù)倉庫以及QlikView、YonghongZ-Suite等數(shù)據(jù)集市相比，hadoop是開源的，項(xiàng)目的軟件成本因此會(huì)大大降低。Hadoop帶有用Java語言編寫的框架，因此運(yùn)行在Linux生產(chǎn)平臺(tái)上是非常理想的。Hadoop上的應(yīng)用程序也可以使用其他語言編寫，比如C++。數(shù)據(jù)挖掘技術(shù)大數(shù)據(jù)分析的核心即為挖掘，從技術(shù)角度看，數(shù)據(jù)挖掘就是從大量的、復(fù)雜的、不規(guī)則的、隨機(jī)的、模糊的數(shù)據(jù)中獲取隱含的、人們事先未發(fā)覺的、有潛在價(jià)值的信息和知識(shí)的過程。基本過程包括數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘、解釋評(píng)估和知識(shí)運(yùn)用。數(shù)據(jù)挖掘的分析方法包括聚類分析、分類和預(yù)測(cè)、關(guān)聯(lián)分析等。聚類分析：就是把大量的數(shù)據(jù)對(duì)象聚集成若干各簇的過程，并使得簇內(nèi)對(duì)象盡量相似而簇間對(duì)象盡量相異?，F(xiàn)有的聚類算法大致分為劃分方法（如K-means、K-中心點(diǎn)算法）、層次方法（如BIRCH方法、CURE方法）、基于密度的方法（如DBSCAN算法、OPTICS算法）、基于網(wǎng)格的方法（如CLIQLE算法、STING算法）以及基于模型的方法（如EM算法）。能適用于大數(shù)據(jù)、處理不同類型數(shù)據(jù)、發(fā)現(xiàn)任意形狀的簇、處理高維數(shù)據(jù)、具有處理噪聲的能力和聚類結(jié)果可解釋、易使用是聚類分析的目標(biāo)。分類和預(yù)測(cè)：是問題預(yù)測(cè)的2種主要類型，分類是預(yù)測(cè)分類（離散、無序的）標(biāo)號(hào)，而預(yù)測(cè)則是建立連續(xù)值函數(shù)模型。常見的分類算法主要有決策樹、粗糙集、貝葉斯、遺傳算法、神經(jīng)網(wǎng)絡(luò)等，評(píng)估的要素為預(yù)測(cè)的準(zhǔn)確度、計(jì)算復(fù)雜度、模型描述的簡(jiǎn)潔性、模型的可解釋性和避免過度擬合。關(guān)聯(lián)分析：就是利用事物間存在的聯(lián)系和相互間的依賴性規(guī)律，對(duì)這些事件進(jìn)行預(yù)測(cè)。面向服務(wù)架構(gòu)（SOA）采用面向服務(wù)架構(gòu)（SOA）向應(yīng)用系統(tǒng)提供調(diào)用，為以后的擴(kuò)展打好基礎(chǔ)。在不改變部門原有應(yīng)用系統(tǒng)的情況下實(shí)現(xiàn)不同應(yīng)用系統(tǒng)之間的資源共享。SOA(Service-OrientedArchitecture，面向服務(wù)的架構(gòu))：簡(jiǎn)單來說，SOA是一種新的應(yīng)用開發(fā)體系架構(gòu)，在基于SOA架構(gòu)的系統(tǒng)中，具體應(yīng)用程序的功能是由一些松耦合并且具有統(tǒng)一接口定義方式的組件(也就是service)組合構(gòu)建起來的。SOA三大基本特征：（1）獨(dú)立的功能實(shí)體，SOA非常強(qiáng)調(diào)架構(gòu)中提供服務(wù)的功能實(shí)體的完全獨(dú)立自主的能力；（2）大數(shù)據(jù)量低頻率訪問，SOA系統(tǒng)推薦采用大數(shù)據(jù)量的方式一次性進(jìn)行信息交換；（3） 基于文本的消息傳遞。WebService技術(shù)WebService是下一代的WWW技術(shù)，它允許在Web站點(diǎn)上放置可編程的元素，能進(jìn)行基于Web的分布式計(jì)算和處理，把Internet/Intranet變成一個(gè)虛擬計(jì)算環(huán)境的技術(shù)。在由WebService組成的虛擬環(huán)境中使用者可以任何的客戶端軟件，例如瀏覽器，一般的Window或是Java應(yīng)用程序或是電子行動(dòng)設(shè)備等，來調(diào)用WebService提供的服務(wù)。WebService是建立在開放和標(biāo)準(zhǔn)的規(guī)格之上，允許異質(zhì)的客戶端調(diào)用以使用它提供的服務(wù)。因此各種異質(zhì)的客戶端必須使用一種共通的溝通標(biāo)準(zhǔn)才能夠順利的和由各種不同技術(shù)編寫的WebService互通。WebService涉及到一些新的規(guī)范,如：UDDI(統(tǒng)一描述、發(fā)現(xiàn)和集成)、WSDL(WebService描述語言)、WSFL(WebServiceFlowLanguage)、SOAP(SimpleObjectAccessProtocol簡(jiǎn)單對(duì)象訪問協(xié)議)等。目前最流行而且最具潛力的溝通標(biāo)準(zhǔn)當(dāng)屬SOAP了。SOAP獲得IBM，Microsoft，Lotus和UserLand等大型公司支持而成為W3C標(biāo)準(zhǔn)之一的通訊協(xié)議規(guī)格。SOAP以XML標(biāo)準(zhǔn)封裝調(diào)用遠(yuǎn)程服務(wù)的格式，有別于其它分布式對(duì)象模型調(diào)用特定的調(diào)用格式。由于SOAP以XML封裝調(diào)用格式，因此它可以使用任何的實(shí)體傳輸層來傳送，例如HTTP，TCP或是SMTP等。WebService具有以下一些主要優(yōu)點(diǎn)： 完好的封裝性和松散耦合 使用協(xié)約的規(guī)范性、使用標(biāo)準(zhǔn)協(xié)議規(guī)范 高度可集成能力 開放性、普遍性和互操作性 易于使用 廣泛的行業(yè)支持J2EE開放技術(shù)架構(gòu)采用J2EE開放技術(shù)架構(gòu)，實(shí)現(xiàn)平臺(tái)與操作系統(tǒng)及硬件平臺(tái)等的無關(guān)性，能跨平臺(tái)運(yùn)行，保證系統(tǒng)可以運(yùn)行在各種操作系統(tǒng)平臺(tái)上，如UNIX、Linux、Windows等平臺(tái)。J2EE平臺(tái)是目前為企業(yè)級(jí)應(yīng)用提供分布式、高可靠性、先進(jìn)的解決方案。J2EE也是一個(gè)已經(jīng)被實(shí)踐證明，成熟的、成功的企業(yè)級(jí)應(yīng)用解決方案，擁有大量的成功案例，J2EE架構(gòu)一般在大中型應(yīng)用中使用比較多，選擇了J2EE也就意味著選擇了一個(gè)開放、自由、大型的技術(shù)應(yīng)用平臺(tái)。采用上述三層體系架構(gòu)帶來的好處在于：跨平臺(tái)：J2EE具有“編寫一次，到處運(yùn)行”的優(yōu)點(diǎn)，可適應(yīng)目前主流的各種服務(wù)器和操作系統(tǒng)，并可進(jìn)行快速遷移。成熟性：J2EE已經(jīng)被證明是一個(gè)穩(wěn)定的、可擴(kuò)展的、成熟的平臺(tái)，擁有眾多成功應(yīng)用實(shí)例。穩(wěn)定性：J2EE適合大型應(yīng)用，可運(yùn)行在穩(wěn)定性相對(duì)較高的Unix服務(wù)器上，而目前另一技術(shù)平臺(tái).NET只能運(yùn)行在微軟的平臺(tái)上，主要是在PC服務(wù)器上運(yùn)行，對(duì)于大型應(yīng)用受到了嚴(yán)重的限制。安全性：Java平臺(tái)和Unix系統(tǒng)由于在技術(shù)結(jié)構(gòu)上的優(yōu)勢(shì)和掌握人群少，大大降低了受到病毒及黑客攻擊的幾率，因此具有較好的安全性。相反，由于設(shè)計(jì)上的缺陷和了解該系統(tǒng)的人數(shù)眾多，微軟的系統(tǒng)非常容易受到攻擊，大量黑客程序和絕大多數(shù)病毒都是針對(duì)微軟平臺(tái)的。第三方支持：J2EE作為一種開放的規(guī)范，從一開始就得到了眾多廠商的支持，包括IBM、BEA、Oracle、HP、SUN等，已經(jīng)構(gòu)建了基于J2EE的集成開發(fā)環(huán)境(IDE)和應(yīng)用服務(wù)器，在他們的基于J2EE的開發(fā)工具和應(yīng)用服務(wù)器的中正在提供對(duì)Web服務(wù)的支持。由于J2EE是開放的規(guī)范框架，任何廠商只要有實(shí)力都可以按照規(guī)范來開發(fā)實(shí)現(xiàn)，不同廠商的組件也可以在一起協(xié)同使用，每年的SUNONE會(huì)議都有成千的開發(fā)商參加。目前國內(nèi)不少廠商正在開發(fā)或已經(jīng)開發(fā)出自己的J2EE應(yīng)用服務(wù)器。在本項(xiàng)目中采用J2EE技術(shù)架構(gòu)，將大大提高了系統(tǒng)的可移植性、安全性、可伸縮性、負(fù)載平衡和可重用性等。Python技術(shù)Python是一種面向?qū)ο蟮慕忉屝陀?jì)算機(jī)程序設(shè)計(jì)語言，源代碼和解釋器CPython遵循GPL(GNUGeneralPublicLicense)協(xié)議。Python語法簡(jiǎn)潔清晰，特色之一是強(qiáng)制用空白符(whitespace)作為語句縮進(jìn)。Python具有豐富和強(qiáng)大的庫，能夠把用其他語言制作的各種模塊（尤其是C/C++）很輕松地聯(lián)結(jié)在一起。常見的一種應(yīng)用情形是，使用Python快速生成程序的原型，然后對(duì)其中有特別要求的部分，用更合適的語言改寫，比如3D游戲中的圖形渲染模塊，性能要求特別高，就可以用C/C++重寫，而后封裝為Python可以調(diào)用的擴(kuò)展類庫。Python的設(shè)計(jì)哲學(xué)是“優(yōu)雅”、“明確”、“簡(jiǎn)單”。在設(shè)計(jì)Python語言時(shí)，如果面臨多種選擇，Python開發(fā)者一般會(huì)拒絕花俏的語法，而選擇明確的沒有或者很少有歧義的語法,能夠支撐大規(guī)模的軟件開發(fā)。Python是完全面向?qū)ο蟮恼Z言。函數(shù)、模塊、數(shù)字、字符串都是對(duì)象。并且完全支持繼承、重載、派生、多繼承，有益于增強(qiáng)源代碼的復(fù)用性。Python支持重載運(yùn)算符和動(dòng)態(tài)類型。Python本身被設(shè)計(jì)為可擴(kuò)充的。并非所有的特性和功能都集成到語言核心。Python提供了豐富的API和工具，以便程序員能夠輕松地使用C語言、C++、Cython來編寫擴(kuò)充模塊。Python編譯器本身也可以被集成到其它需要腳本語言的程序內(nèi)。使用Python將其他語言編寫的程序進(jìn)行集成和封裝。OLAP技術(shù)聯(lián)機(jī)分析處理（OLAP）技術(shù)是使分析人員、管理人員或執(zhí)行人員能夠從多角度對(duì)信息進(jìn)行快速、一致、交互的存取，從而獲得對(duì)數(shù)據(jù)更深入的了解的一類軟件技術(shù)。OLAP的多維數(shù)據(jù)結(jié)構(gòu)。數(shù)據(jù)在多維空間中的分布總是稀疏的、不均勻的。在事件發(fā)生的位置,數(shù)據(jù)聚合在一起,其密度很大。因此,OLAP系統(tǒng)的開發(fā)者要設(shè)法解決多維數(shù)據(jù)空間的數(shù)據(jù)稀疏和數(shù)據(jù)聚合問題。事實(shí)上,有許多方法可以構(gòu)造多維數(shù)據(jù)。（1）超立方結(jié)構(gòu)：超立方結(jié)構(gòu)(Hypercube)指用三維或更多的維數(shù)來描述一個(gè)對(duì)象,每個(gè)維彼此垂直。數(shù)據(jù)的測(cè)量值發(fā)生在維的交叉點(diǎn)上,數(shù)據(jù)空間的各個(gè)部分都有相同的維屬性。這種結(jié)構(gòu)可應(yīng)用在多維數(shù)據(jù)庫和面向關(guān)系數(shù)據(jù)庫的OLAP系統(tǒng)中,其主要特點(diǎn)是簡(jiǎn)化終端用戶的操作。超立方結(jié)構(gòu)有一種變形,即收縮超立方結(jié)構(gòu)。這種結(jié)構(gòu)的數(shù)據(jù)密度更大,數(shù)據(jù)的維數(shù)更少,并可加入額外的分析維。（2）多立方結(jié)構(gòu)：在多立方結(jié)構(gòu)(Multicube)中,將大的數(shù)據(jù)結(jié)構(gòu)分成多個(gè)多維結(jié)構(gòu)。這些多維結(jié)構(gòu)是大數(shù)據(jù)維數(shù)的子集,面向某一特定應(yīng)用對(duì)維進(jìn)行分割,即將超立方結(jié)構(gòu)變?yōu)樽恿⒎浇Y(jié)構(gòu)。它具有很強(qiáng)的靈活性,提高了數(shù)據(jù)(特別是稀疏數(shù)據(jù))的分析效率。一般來說,多立方結(jié)構(gòu)靈活性較大,但超立方結(jié)構(gòu)更易于