大數(shù)據(jù)云平臺項目建設方案

1、數(shù)據(jù)云平臺項目建設方案構建大數(shù)據(jù)基礎軟件設施，發(fā)掘數(shù)據(jù)資源關鍵價值第1頁總體規(guī)劃建設方案項目報價010203CONTENTS成功案例03第2頁建設目標打通內(nèi)部EAS系統(tǒng)、智慧小區(qū)系統(tǒng)、天眼系統(tǒng)、停車場管理系統(tǒng)、EBA智能設備系統(tǒng)，經(jīng)過數(shù)據(jù)清洗、轉(zhuǎn)換、比對實現(xiàn)數(shù)據(jù)整合，打破企業(yè)內(nèi)部數(shù)據(jù)孤島。構建企業(yè)內(nèi)部三層架構數(shù)倉，形成運行、市場、財務類主題數(shù)據(jù)資源，建立大數(shù)據(jù)挖掘分析模型，實現(xiàn)多維數(shù)據(jù)分析。構建數(shù)據(jù)管理門戶平臺，形成數(shù)據(jù)服務能力、數(shù)據(jù)集成能力、數(shù)據(jù)管理能力、應用能力，從微觀層面和宏觀層面，提升企業(yè)運行管理和輔助決議水平。數(shù)據(jù)整合數(shù)據(jù)治理數(shù)據(jù)服務第3頁總體架構支撐層應用層數(shù)據(jù)層標準規(guī)范與管理體系

2、信息安全保障體系用戶層展示層業(yè)務人員運行部門集團領導辦公電腦業(yè)務風險問題預判綜合大屏數(shù)據(jù)融合采集ETL績效考評評定商業(yè)智能BE財務系統(tǒng)業(yè)務審批系統(tǒng)EBA智能設備系統(tǒng)人力HER系統(tǒng)業(yè)務運行趨勢分析數(shù)據(jù)門戶管理平臺任務配置任務執(zhí)行狀態(tài)監(jiān)控節(jié)點管理停車系統(tǒng)數(shù)據(jù)共享服務數(shù)據(jù)資源管理數(shù)據(jù)授權管理數(shù)據(jù)集成數(shù)據(jù)服務引擎數(shù)據(jù)接口圖表分析報表分析聯(lián)動配置查詢檢索匯報管理權限管理數(shù)據(jù)倉庫數(shù)據(jù)指標數(shù)據(jù)模型數(shù)據(jù)指標手機終端第4頁技術架構第5頁建設思緒整體設計，突出重點統(tǒng)籌規(guī)劃，分步實施整合資源，協(xié)同共享主動創(chuàng)新，務實高效優(yōu)化機制，統(tǒng)一標準整合與完善硬件基礎設施，形成計算、網(wǎng)絡和存放共享資源池基于大數(shù)據(jù)技術，改進信息資

3、源整合、挖潛、分析和研判實現(xiàn)跨業(yè)務綜合應用支撐體系，實現(xiàn)層級整合、領域整合、系統(tǒng)整合標準化和自動化數(shù)據(jù)管理服務流程強有力網(wǎng)絡與信息安全保障著手制訂和完善平臺建設、應用交互、數(shù)據(jù)共享等相關標準資源數(shù)據(jù)應用服務安全標準第6頁總體規(guī)劃建設方案項目報價010203CONTENTS成功案例03第7頁偉業(yè)ETL在傳統(tǒng)ETL基礎上支持Hadoop、Hbase、實時流等數(shù)據(jù)采集、轉(zhuǎn)換，主要能力以下：批量采集提供存放過程、觸發(fā)器、腳本、sql、sqoop、文件等方式批量采集能力實時采集 提供實時消息流、消息隊列等實時采集能力各種數(shù)據(jù)源支持HDFS、Hbase、Hive、IBM DB2、Oracle、Sqlser

4、ver、SybaseMysql、HTTP、MongoDB跨平臺支持云平臺、Windows、Unix、CentOs、Liunx等主流操作系統(tǒng)廠商運行環(huán)境豐富組件支持20各種主流數(shù)據(jù)庫采集，30各種數(shù)據(jù)文件格式，20種清洗組件融合采集ETL第8頁融合采集ETL-采集流程分散、種類多樣化，時效性差異大各種技術伎倆，平臺化系統(tǒng)，快速布署，統(tǒng)一管理為大數(shù)據(jù)應用提供全兼容數(shù)據(jù)存放原始數(shù)據(jù)源數(shù)據(jù)湖數(shù)據(jù)采集交換區(qū)任務流程調(diào)度操作控制流程控制轉(zhuǎn)換流程數(shù)據(jù)抽取數(shù)據(jù)加載數(shù)據(jù)轉(zhuǎn)換子任務調(diào)度操作控制流數(shù)據(jù)采集傳輸?shù)?頁融合采集ETL-數(shù)據(jù)處理流程提升開發(fā)效率縮短開發(fā)周期圖形化拖拽方式快速集成實現(xiàn)復雜數(shù)據(jù)處理流程NoSQ

5、L接入 云化布署第10頁主要功效能力描述備注支持數(shù)據(jù)源HDFS獨有Hbase獨有Hive獨有IBM DB2OracleSqlserverSybaseMysqlKingbasePostgreSQLHTTPMongoDB實時采集Flume獨有Kafaka獨有TCP/IPWebserviceCDC增量采集時間戳全表對比基于數(shù)據(jù)庫日志分析（oracle、mysql、Sqlserver）組件Access輸入、Excel輸入、固定寬度文件輸入、文件內(nèi)容加載至內(nèi)存、流查詢、值映射、插入/更新、列拆分為多行、列轉(zhuǎn)行、去除重復統(tǒng)計、唯一行（哈希值）、增加常量等20各種清洗組件集群能力支持處理節(jié)點擴展，增加機器等

6、方式擴展處理能力組件擴展插件擴展任務調(diào)度任務并發(fā)度控制（任務級）、任務開啟、任務中止、提供定時調(diào)度（多樣定時組合，時間間隔能夠到秒），并能可視化配置；提供跨節(jié)點調(diào)度，方便位于不一樣機器上運行節(jié)點之間調(diào)度，并能可視化配置運行監(jiān)控圖形監(jiān)控、統(tǒng)計監(jiān)控、日志匯報融合采集ETL-主要功效第11頁融合采集ETL-構件庫第12頁融合采集ETL- 監(jiān)控管理單一業(yè)務任務詳情圖形化展示任務執(zhí)行日志任務運行情況改變曲線全方位洞察一項任務執(zhí)行定義指定任務報警規(guī)則定制指定任務報警渠道指定報警信息接收者依據(jù)需要控制告警規(guī)則啟用與關閉告警幫你隨時把握任務異?？梢暬總z多角度作業(yè)監(jiān)控作業(yè)執(zhí)行狀態(tài)與成功率監(jiān)控對作業(yè)進行多角度排

7、序ETL任務執(zhí)行一覽無余第13頁數(shù)據(jù)接入新建數(shù)據(jù)表連接數(shù)據(jù)庫上傳文件新建sql數(shù)據(jù)表連接校驗數(shù)據(jù)預覽權限配置數(shù)據(jù)表管理自循環(huán)列公布下線數(shù)據(jù)表編輯行列轉(zhuǎn)換日志查詢數(shù)據(jù)處理數(shù)據(jù)處理表關聯(lián)數(shù)據(jù)過濾數(shù)據(jù)匯總字段過濾計算字段列排序抽取配置抽取頻率配置抽取方式配置業(yè)務表管理業(yè)務表編輯公布下線數(shù)據(jù)預覽日志查詢業(yè)務表授權圖表分析選擇圖表選擇業(yè)務數(shù)據(jù)集配置維度度量配置分析指標輪播配置參數(shù)配置配置常量線配置高級分析線統(tǒng)計報表分析簡單報表復雜報表聯(lián)動配置組件與組件聯(lián)動查詢條件與組件聯(lián)動查詢條件配置普通查詢條件配置自定義查詢條件配置輔助組件配置匯報管理匯報編輯公布下線日志查詢導出打印預警提醒數(shù)據(jù)預覽配置計算指標OLA

8、P分析權限管理目錄管理功效權限管理數(shù)據(jù)權限管理登錄與密碼設置日志管理移動端賬號管理商業(yè)智能平臺-功效架構第14頁BE ClientVue.jsBE ServerSAEECoreEMgrSAE業(yè)務數(shù)據(jù)庫數(shù)倉外部業(yè)務數(shù)據(jù)源數(shù)據(jù)分析查詢流程數(shù)據(jù)分析查詢流程(已存放在數(shù)倉)業(yè)務配置流程系統(tǒng)管理流程商業(yè)智能平臺-業(yè)務架構第15頁F檢驗層次分析法單樣本T檢驗卡方獨立性檢驗卡方擬合性檢驗離散值特征分析皮爾森相關系數(shù)全表統(tǒng)計雙樣本T檢驗相關系數(shù)矩Correlation協(xié)方差矩陣數(shù)據(jù)視圖信息增益信息增益率方差分析ANOVA指數(shù)平滑法30余種高級挖掘分析算法支持100余種基礎算法支持數(shù)字函數(shù)ABS(number)

9、ACOS(number)ASIN(number)ATAN(number)ATAN2(y number, x number）CEILING(數(shù)字)COS(number)COT(number)DEGREES(number)DIV(整數(shù) 1, 整數(shù) 2)EXP(number)FLOOR(數(shù)字)HEXBINX(number, number)HEXBINY(number, number)LN(number)LOG(number , base)MAX(number, number)MIN(number, number)PI( )POWER(number, power)Radians (number)ROU

10、ND(number, decimals)SIGN(number)SIN(number)SQRT(number)SQUARE(number)TAN(number)ZN(expression)字符串函數(shù)ASCII(string)CHAR(number)Contains(string, substring)ENDSWITH(string, substring)FIND(string, substring, start)FINDNTH(string, substring, occurrence)LEFT(string, number)LEN(string)LOWER(string)LTRIM(stri

11、ng)MAX(a, b)MID(string, start, length)MIN(a, b)REPLACE(string, substring, replacement)RIGHT(string, number)RTRIM(string)SPACE(number)SPLIT(string, delimiter, token number)STARTSWITH(string, substring)TRIM(string)UPPER(string)時間函數(shù)ISDATE(string)MAKEDATE(year, month, day)MAKEDATETIME(date, time)MAKETIM

12、E(hour, minute, second)MAX(expression) 或 MAX(expr1, expr2)MIN(expression) or MIN(expr1, expr2)MONTH(date)NOW( )TODAY( )YEAR (date)商業(yè)智能平臺-算法支持第16頁SQL DBFlatFilesOracleSQL其它DB業(yè)務數(shù)據(jù)庫BE 前端其它應用系統(tǒng)自助分析BE Server導入優(yōu)勢1:1.不需要事前建立數(shù)據(jù)立方體2.節(jié)約系統(tǒng)構建時間周期3.需求發(fā)生改變時，能夠快速應對，易于維護優(yōu)勢2:1.不影響原業(yè)務系統(tǒng)，不給源數(shù)據(jù)庫造成壓力2.不需要事前建立關聯(lián)表，不需要事前設計

13、維度從源數(shù)據(jù)庫導入數(shù)據(jù)不給業(yè)務系統(tǒng)造成壓力優(yōu)勢3:1.前端展現(xiàn)工具豐富多彩2.操作簡單，非IT技術者業(yè)務人員也能夠隨時隨意制作統(tǒng)計分析匯報3.Web、Excel、Dashboard等各種統(tǒng)計分析界面，產(chǎn)品線豐富，能滿足各種層次用戶各種需求能給客戶帶來價值：1.節(jié)約數(shù)據(jù)庫和系統(tǒng)構建成本2. 優(yōu)質(zhì)產(chǎn)品：操作簡單，減輕IT人員負擔，易于推廣對于暫時、改變需求能夠及時快速應對提取、清洗、轉(zhuǎn)換、裝載、整合ETLDWH數(shù)據(jù)倉庫分析匯報協(xié)同互動商業(yè)智能平臺-OLAP分析第17頁集群輕量級數(shù)據(jù)倉庫內(nèi)置主流RDB，適合用于小數(shù)據(jù)量場景（GB級別）經(jīng)過數(shù)據(jù)抽取將數(shù)據(jù)包含上傳文件數(shù)據(jù)均存放在數(shù)據(jù)倉庫中。外部業(yè)務數(shù)據(jù)

14、源DriverMasterWorkerNodeWorkerNodeWorkerNodePTMysqlOracleHiveHBase標準數(shù)據(jù)倉庫配套Hadoop產(chǎn)品，適合用于大數(shù)據(jù)量場景（TB級別以上）商業(yè)智能平臺-數(shù)據(jù)倉庫第18頁聯(lián)合多個異構數(shù)據(jù)源拖拽可視編輯數(shù)據(jù)處理流程數(shù)據(jù)處理節(jié)點，可隨時擴展商業(yè)智能平臺-數(shù)據(jù)預處理第19頁數(shù)據(jù)模型切換維度/度量/參數(shù)過濾排序時序輪播分析特征二維數(shù)軸圖表分析顯示數(shù)據(jù)分析快照智能圖表選擇商業(yè)智能平臺-自助數(shù)據(jù)分析第20頁經(jīng)過直接配置，實現(xiàn)各種算法進行數(shù)據(jù)評定分析，包含平均線、指數(shù)平滑、線性回歸、同比、環(huán)比、占比等。商業(yè)智能平臺-統(tǒng)計分析第21頁自動類型識別數(shù)據(jù)

15、快照智能圖標推薦 內(nèi)置豐富圖表展現(xiàn)形式，能夠依據(jù)用戶配置維度度量指標，智能推薦適合圖表，幫助用戶快速配置，并支持對圖表自定義設置。 導入數(shù)據(jù)后即可自動識別出數(shù)據(jù)集中全部字段；對系統(tǒng)自動識別維度和度量，用戶也可進行手動修正，并可隨時對維度和度量進行相互轉(zhuǎn)換。 支持用戶在分析過程中實時保存分析思緒，可將當前正在配置分析單元保存為快照。雙擊快照，打開快照查看界面并覆蓋在當前分析單元之上。商業(yè)智能平臺-智能交換體驗第22頁商業(yè)智能平臺-數(shù)據(jù)權限控制第23頁數(shù)據(jù)庫服務器應用服務器(SAE)數(shù)據(jù)倉庫交換機交換機數(shù)據(jù)庫服務器數(shù)據(jù)倉庫節(jié)點數(shù)據(jù)倉庫節(jié)點應用服務器節(jié)點單機組網(wǎng)標準集群組網(wǎng)（后期擴展）商業(yè)智能平臺-

16、布署架構第24頁數(shù)據(jù)門戶-功效規(guī)劃系統(tǒng)集成設計門戶系統(tǒng)基于SOA架構設計，可于第三方報表系統(tǒng)、Web應用集成。對移動端、微信端以及混合應用集成支持良好，支持二次開發(fā)。移動端需實現(xiàn)云平臺移動端應用用戶認證和單點登錄集成。 門戶系統(tǒng)用戶權限、報表系統(tǒng)、三方應用系統(tǒng)集成及SSO整合門戶系統(tǒng)設計1.數(shù)據(jù)資源功效。2.數(shù)據(jù)導航。3.數(shù)據(jù)管理。4.數(shù)據(jù)資料視覺化。5.數(shù)據(jù)共享管理。6.數(shù)據(jù)申請管理。7.SSO登錄認證數(shù)據(jù)管理設計數(shù)據(jù)地圖及數(shù)據(jù)資產(chǎn)管理（管理目錄或清單，擁有訪問授權），建設公共庫，提供API開放數(shù)據(jù)。指標口徑統(tǒng)一管理且和數(shù)據(jù)關聯(lián)。提供安全，多粒度訪問控制，明細、匯總不一樣維度數(shù)據(jù)服務，支持在

17、線查看，支撐第三方軟件自助分析軟件或接口調(diào)用，同時用戶也需要統(tǒng)一管理完整目錄API結(jié)構，針對資料集與后設資料，提供讀寫、和查詢功效。集成數(shù)據(jù)存放和完整數(shù)據(jù)API，可收割。數(shù)據(jù)接口設計 數(shù)據(jù)引擎設計1.推送。2.預警。3.支持相關應用規(guī)則機制第25頁數(shù)據(jù)門戶-數(shù)據(jù)共享流程共享服務后臺服務注冊服務參數(shù)服務峰值服務同時服務審核授權審核峰值審核參數(shù)審核服務公布啟用停用控制數(shù)據(jù)資源中心服務調(diào)用方共享服務門戶檢索服務服務申請服務調(diào)測服務調(diào)用申請審核授權審核推送頻率輸入?yún)?shù)鑒權管理調(diào)用鑒權調(diào)測鑒權用戶鑒權第26頁數(shù)據(jù)門戶-數(shù)據(jù)服務頁面第27頁總體規(guī)劃建設方案項目報價010203CONTENTS成功案例03第

18、28頁項目報價項目模塊功效描述數(shù)量預算（萬元）天驕愛生活云平臺項目融合數(shù)據(jù)ETL以ETL技術架構為關鍵，可支持傳統(tǒng)關系數(shù)據(jù)庫和格式化文件、非格式化文件，可支持多數(shù)據(jù)源采集。經(jīng)過數(shù)據(jù)采集、轉(zhuǎn)換、清洗等實現(xiàn)傳統(tǒng)數(shù)據(jù)存放向大數(shù)據(jù)存放（HDFS/NoSQL等）數(shù)據(jù)采集與遷移等功效。平臺提供一個簡單易用開發(fā)、管理工具，提供覆蓋從數(shù)據(jù)集成邏輯設計、開發(fā)、調(diào)試、布署，到運行、管理、監(jiān)控各個生命周期不一樣階段集成開發(fā)工具。能夠?qū)崿F(xiàn)對數(shù)據(jù)集成流程開發(fā)和布署；經(jīng)過監(jiān)控和日志功效，能夠?qū)崿F(xiàn)對數(shù)據(jù)集成運行過程進行實時監(jiān)視，對集成流程歷史數(shù)據(jù)進行分析。提供功效級和數(shù)據(jù)集權限管理，可定義錯誤告警機制，自定義面板等。120

19、商業(yè)智能BE采取業(yè)內(nèi)領先大數(shù)據(jù)架構，提供數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存放、數(shù)據(jù)分析、數(shù)據(jù)可視化為一體完整商業(yè)智能處理方案。具備全新智能交互體驗，可依據(jù)用戶構建數(shù)據(jù)集，智能推薦展現(xiàn)圖表；采取創(chuàng)新數(shù)據(jù)快照技術，統(tǒng)計分析過程中任意狀態(tài)，幫助用戶備份分析過程并支持快速回溯至上一刻狀態(tài)。支持自助式數(shù)據(jù)準備，提供靈活、易用、高效可視化探索分析能力，用戶自助組合不一樣起源數(shù)據(jù)，創(chuàng)建分析模型；業(yè)務人員只需簡單拖拽，就能輕松制作出兼具靈敏分析與精美展示匯報；既能提供傳統(tǒng)OLAP相關分析，也支持復雜統(tǒng)計分析，如線性回歸、預測等。適應各種屏幕尺寸展示，支持依據(jù)PC、平板電腦、手機不一樣分辨率自適應展現(xiàn)分析結(jié)果；支持用戶

20、公布和訂閱報表，每個用戶可對分享報表進行留言，與報表公布人進行互動。140數(shù)據(jù)門戶平臺數(shù)據(jù)服務引擎：數(shù)據(jù)服務引擎是數(shù)據(jù)共享平臺數(shù)據(jù)服務引擎組件，是平臺基礎，提供了標準JDBC/ODBC訪問功效，負責對提交訪問SQL處理，負載和并發(fā)等處理。數(shù)據(jù)資源管理：提供基礎包含數(shù)據(jù)資源庫管理、邏輯數(shù)據(jù)模型配置管理、指標統(tǒng)一管理和指標數(shù)據(jù)資源管理等基礎數(shù)據(jù)資源配置功效。數(shù)據(jù)共享管理：數(shù)據(jù)共享管理平臺Web端管理組件， 提供數(shù)據(jù)資源共享管理、數(shù)據(jù)資源共享目錄、申請單管理、用戶管理等Web端應用管理功效。數(shù)據(jù)訪問接口：數(shù)據(jù)共享管理平臺標準接口，此次項目提供標準JDBC/ODBC訪問，支持帆軟、Power BI等第

21、三方軟件對接訪問。數(shù)據(jù)共享應用：提供數(shù)據(jù)資源數(shù)據(jù)查詢和移動端數(shù)據(jù)展現(xiàn)功效，為數(shù)據(jù)共享延伸應用。135累計95第29頁總體規(guī)劃建設方案項目報價010203CONTENTS成功案例03第30頁某金融客戶自助分析項目架構BPS代發(fā)薪業(yè)務系統(tǒng)手機銀行報表個人貸款業(yè)務應用層BE集群布署B(yǎng)E服務數(shù)據(jù)源業(yè)務層GPOracleExcel多維分析數(shù)據(jù)模型報表公布數(shù)據(jù)抽取數(shù)據(jù)源接入數(shù)據(jù)查詢報表自助開發(fā)可視化組件數(shù)據(jù)分析數(shù)據(jù)預處理查詢引擎Presto內(nèi)存計算Spark分布式存放Hive行業(yè)管理駕駛艙財私業(yè)務報表項目應用1、當前該客戶業(yè)務量為：單日新增數(shù)據(jù)300w，關鍵業(yè)務數(shù)據(jù)表量級為千萬百億級別。采取BE，五臺集群、分析性能到達，單表57686267條數(shù)據(jù)，單列查詢0.2秒2、完整用戶權限控制，控制當前26個二級行，420個網(wǎng)點，926個用戶數(shù)據(jù)權限，實現(xiàn)數(shù)據(jù)安全下放。3、實現(xiàn)科技部數(shù)據(jù)開發(fā)SQL腳本，經(jīng)過產(chǎn)品流程化配置即可實現(xiàn)。大大提升科技人員業(yè)務需求響應能力。4、實現(xiàn)銀行關鍵系統(tǒng)業(yè)