數(shù)據(jù)交換平臺的設(shè)計方案

數(shù)據(jù)交換平臺的設(shè)計方案，架構(gòu)方案，總體建設(shè)思路整體解決方案

目錄

2

平臺簡介

功能介紹

典型案例

三

二

一

平臺簡介

3總體目標(biāo)：提供企業(yè)級復(fù)雜環(huán)境下異構(gòu)信息系統(tǒng)間數(shù)據(jù)共享、集成、融合的整體解決方案

總部

子公司

系統(tǒng)B…

系統(tǒng)A子公司

系統(tǒng)B…

系統(tǒng)A…

子公司

系統(tǒng)B…

系統(tǒng)A1.系統(tǒng)間文件傳輸

2.數(shù)據(jù)庫數(shù)據(jù)抽取、轉(zhuǎn)換、裝載

3.系統(tǒng)間高頻消息通信

4.數(shù)據(jù)庫準(zhǔn)實時同步復(fù)制

5.應(yīng)用接口服務(wù)注冊、轉(zhuǎn)換、編排、管理

平臺簡介

4海迅數(shù)據(jù)交換平臺簡介

海迅數(shù)據(jù)交換平臺（HSP-EXG）旨在提供復(fù)雜環(huán)境下、異構(gòu)系統(tǒng)間企業(yè)數(shù)據(jù)孤島問題的一體化解決方案。平臺集合了業(yè)內(nèi)主流的數(shù)據(jù)交換產(chǎn)品功能，提供ETL、ESB、MQ、文件傳輸、數(shù)據(jù)庫同步復(fù)制等產(chǎn)品的整體功能實現(xiàn)，各組件能夠按照需求組合或裁剪，從而一次性滿足中大型企業(yè)各類型數(shù)據(jù)集成共享需求，并進(jìn)行統(tǒng)一的數(shù)據(jù)交換監(jiān)測與管理。平臺主要包括五大子系統(tǒng)：

批量數(shù)據(jù)總線子系統(tǒng)（HSP-EXG-ETL）作為中間件實現(xiàn)將數(shù)據(jù)從源端經(jīng)過抽取、轉(zhuǎn)換、加載至目的端，主要提供系統(tǒng)間基于文件的交換功能以及數(shù)據(jù)庫間的批量數(shù)據(jù)交換功能。支持TB級文件交換，GB級數(shù)據(jù)庫數(shù)據(jù)交換。

即時數(shù)據(jù)總線子系統(tǒng)（HSP-EXG-MQ）實現(xiàn)了滿足JMS1.1規(guī)范面向系統(tǒng)間消息型數(shù)據(jù)交換的中間件，用于在應(yīng)用程序之間或分布式系統(tǒng)中互發(fā)消息，進(jìn)行高效異步通信，一般用作企業(yè)級數(shù)據(jù)集成通信總線。支持30000條/秒的高頻度點對點、一對多消息通信。

數(shù)據(jù)庫同步復(fù)制子系統(tǒng)（HSP-EXG-Sync）實現(xiàn)基于數(shù)據(jù)庫日志的同步復(fù)制功能，主要用于oracle數(shù)據(jù)庫的主備式災(zāi)備、讀寫分離、數(shù)據(jù)遷移。系統(tǒng)保障數(shù)據(jù)的事務(wù)性，支持秒級數(shù)據(jù)庫準(zhǔn)實時同步。

服務(wù)集成總線子系統(tǒng)（HSP-EXG-ESB）基于SOA思想，實現(xiàn)對企業(yè)接口服務(wù)的協(xié)議轉(zhuǎn)換、注冊/發(fā)布、編排、管理，幫助企業(yè)對繁雜的應(yīng)用服務(wù)接口進(jìn)行統(tǒng)一標(biāo)準(zhǔn)、分類管理、集成共享。

統(tǒng)一監(jiān)測子系統(tǒng)（HSP-EXG-MS）對平臺各組件提供統(tǒng)一的可視化狀態(tài)監(jiān)測、統(tǒng)計分析、告警、報表導(dǎo)出等功能。以全局視圖方式展示企業(yè)數(shù)據(jù)集成情況以及數(shù)據(jù)流向。

SG-UEP一期成果介紹

5上級單位

下級單位

協(xié)同辦公

…

營銷系統(tǒng)

協(xié)同辦公

…

營銷系統(tǒng)

ERPERP數(shù)據(jù)中心

數(shù)據(jù)中心

SG-UEPSG-UEP橫向數(shù)據(jù)交換

橫向數(shù)據(jù)交換

縱向數(shù)據(jù)交換

統(tǒng)一監(jiān)測

SG-UEP兩級部署

批量

消息

同步

服務(wù)

批量

消息

同步

服務(wù)

典型解決方案

平臺簡介

6整體功能架構(gòu)

平臺簡介

7技術(shù)特點

分布式高可靠文件傳輸；

數(shù)據(jù)庫數(shù)據(jù)抽取、轉(zhuǎn)換、傳輸、裝載；

基于數(shù)據(jù)庫日志的低延遲、低影響同步復(fù)制；

高性能分布式企業(yè)級消息中間件；

面向服務(wù)的企業(yè)級服務(wù)集成總線。

客戶價值

一體化企業(yè)數(shù)據(jù)交換解決方案；

統(tǒng)一企業(yè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)交換標(biāo)準(zhǔn)；

簡化應(yīng)用集成技術(shù)復(fù)雜度；

集中管理與共享企業(yè)接口服務(wù)資產(chǎn)；

提高企業(yè)應(yīng)用集成共享水平；

目錄

8

平臺簡介

功能介紹

典型案例

三

二

一

功能介紹

91、批量數(shù)據(jù)總線子系統(tǒng)介紹

批量數(shù)據(jù)總線子系統(tǒng)（HSP-EXG-ETL）主要實現(xiàn)將批量數(shù)據(jù)從源端經(jīng)過抽取、轉(zhuǎn)換、加載至目標(biāo)端的功能，主要提供系統(tǒng)間基于文件的交換功能以及數(shù)據(jù)庫間的數(shù)據(jù)交換功能。系統(tǒng)支持對oracle、mysql、db2等主流數(shù)據(jù)以及excel等常見文件的數(shù)據(jù)抽取，在交換過程中可以對數(shù)據(jù)進(jìn)行合并、拆分、轉(zhuǎn)換、篩選、過濾等處理。批量總線子系統(tǒng)可以單機部署，為局域網(wǎng)第三方應(yīng)用系統(tǒng)提供批量數(shù)據(jù)交換服務(wù)，也可以隨平臺進(jìn)行分布式部署，交換節(jié)點部署于企業(yè)多個上下級部門，貫穿組網(wǎng)形成通信網(wǎng)絡(luò)，為企業(yè)提供橫縱向批量數(shù)據(jù)交換服務(wù)。

應(yīng)用程序

第三方系統(tǒng)（源端）

數(shù)據(jù)庫

文件

應(yīng)用程序

第三方系統(tǒng)（目標(biāo)端）

數(shù)據(jù)庫

文件

交換節(jié)點

交換節(jié)點

交換節(jié)點

批量數(shù)據(jù)總線（單機/組網(wǎng)）

數(shù)據(jù)傳輸

功能介紹

10運行原理

批量數(shù)據(jù)總線子系統(tǒng)（HSP-EXG-ETL）由引擎節(jié)點

、管理服務(wù)器、管理工具、集成接口組成，主要完成兩大類工作：面向文件的分布式高可靠路由分發(fā)傳輸；面向數(shù)據(jù)庫的數(shù)據(jù)抽取、轉(zhuǎn)換、傳輸、裝載。

管理服務(wù)器對多個引擎節(jié)點進(jìn)行管理，用戶通過管理工具連接到管理服務(wù)器進(jìn)行圖形化開發(fā)管理，管理服務(wù)器將用戶開發(fā)的服務(wù)/流程下發(fā)到涉及的引擎。引擎分布式部署在不同機器上，他們按照服務(wù)/流程信息相互協(xié)作對數(shù)據(jù)在各節(jié)點上進(jìn)行抽取、轉(zhuǎn)換、傳輸、裝載等處理以完成數(shù)據(jù)交換任務(wù)。第三方系統(tǒng)通過平臺提供的API、URL、定時調(diào)度等方式調(diào)用總線上配置好的服務(wù)或流程完成數(shù)據(jù)交換任務(wù)。

管理工具

管理工具

管理工具

管理服務(wù)器

httpxml引擎/節(jié)點

引擎/節(jié)點

引擎/節(jié)點

第三方系統(tǒng)

集成接口

URL/定時

服務(wù)

文件傳輸

數(shù)據(jù)庫數(shù)據(jù)抽取

數(shù)據(jù)清洗、轉(zhuǎn)換、過濾

數(shù)據(jù)庫數(shù)據(jù)裝載

流程編排

功能介紹

11性能

1.單節(jié)點最大配置數(shù)據(jù)交換流程≥2000個；

2.單節(jié)點并發(fā)交換數(shù)≥500；

3.單節(jié)點數(shù)據(jù)吞吐率>40M/秒；

4.結(jié)構(gòu)化數(shù)據(jù)加工速度>3000行/秒；

5.系統(tǒng)資源平均消耗不大于50%；

6.支持對TB級數(shù)據(jù)進(jìn)行數(shù)據(jù)交換。

以上指標(biāo)在以下測試環(huán)境測得：

服務(wù)器（CPU8核2.20GHz；內(nèi)存48G；64位Windows），網(wǎng)絡(luò)（1000Mbps），數(shù)據(jù)庫（oracle11g）。

12基于文件的批量數(shù)據(jù)傳輸

–

文件、文件夾傳輸；

–

模糊匹配多文件傳輸功能；

–

對文件的壓縮、加密傳輸；

–

斷點續(xù)傳功能；

–

數(shù)據(jù)的完整性檢查及差錯校驗；

–

多任務(wù)并發(fā)傳輸；

–

文件變化傳輸機制（增量傳輸）；

–

文件傳輸后刪除、備份功能；

–

節(jié)點間一對多、多對一傳輸；

–

同步/異步傳輸機制；

–

可視化配置與FTP系統(tǒng)集成；

數(shù)據(jù)整合功能

–

常見數(shù)據(jù)庫數(shù)據(jù)抽取、裝載；

–

動態(tài)SQL、變量數(shù)據(jù)抽??；

–XML/Excel文件數(shù)據(jù)抽取；

–

數(shù)據(jù)庫表條件路由傳輸；

–

字段邏輯檢查；

–

數(shù)學(xué)運算支持；

–

字段拆分、合并；

–

數(shù)據(jù)類型轉(zhuǎn)換；

–

數(shù)據(jù)內(nèi)容轉(zhuǎn)換；

–

數(shù)據(jù)清洗；

–

高效私有格式轉(zhuǎn)換；

–

前置、后置處理；

功能介紹

13調(diào)度與管理

–API調(diào)度觸發(fā)交換任務(wù)；

–URL調(diào)度觸發(fā)交換任務(wù)；

–

管理工具手動觸發(fā)交換任務(wù)；

–

定時調(diào)度觸發(fā)交換任務(wù)；

–

圖形化開發(fā)與配置；

–

數(shù)據(jù)庫接口管理；

–

節(jié)點管理；

–

服務(wù)/流程管理；

–

狀態(tài)和過程監(jiān)控；

功能介紹

14界面效果-節(jié)點配置

批量數(shù)據(jù)總線截圖

功能介紹

15界面效果-數(shù)據(jù)整合

功能介紹

16界面效果-推送服務(wù)

功能介紹

17界面效果-流程配置

功能介紹

182、即時消息總線子系統(tǒng)介紹

即時消息總線子系統(tǒng)（HSP-EXG-MQ）實現(xiàn)了滿足JMS1.1規(guī)范面向消息型數(shù)據(jù)交換的中間件，用于在應(yīng)用程序之間或分布式系統(tǒng)中互發(fā)消息，支持高達(dá)30000條/秒的高效異步通信。本系統(tǒng)一般用作企業(yè)級高性能數(shù)據(jù)集成總線，通信應(yīng)用不需要知道彼此物理位置使得應(yīng)用集成實現(xiàn)松耦合，不需要知道彼此間怎樣建立通信從而簡化應(yīng)用底層通信復(fù)雜度，不需要同時處于運行狀態(tài)由總線保障消息的可靠到達(dá)，不需要在同樣的操作系統(tǒng)或網(wǎng)絡(luò)環(huán)境下運行實現(xiàn)跨平臺跨系統(tǒng)通信。系統(tǒng)支持一對一、一對多、請求應(yīng)答三種通信模式，提供了java、c/c++等常見編程語言的API。系統(tǒng)節(jié)點可以單機部署，也可以分布式多級部門部署并組網(wǎng)形成橫縱向數(shù)據(jù)交換網(wǎng)絡(luò)。

功能介紹

應(yīng)用系統(tǒng)

第三方系統(tǒng)（接收端）

Broker節(jié)點

Broker節(jié)點

Broker節(jié)點

即時消息總線（單機/組網(wǎng)）

數(shù)據(jù)傳輸

API第三方系統(tǒng)（發(fā)送端）

應(yīng)用系統(tǒng)

API19運行原理

即時消息總線子系統(tǒng)（HSP-EXG-MQ）由交換節(jié)點、監(jiān)管系統(tǒng)、API組成，實現(xiàn)了滿足JMS1.1規(guī)范面向系統(tǒng)間消息型數(shù)據(jù)交換的中間件，旨在為局域網(wǎng)/廣域網(wǎng)環(huán)境下的應(yīng)用系統(tǒng)提供高效、穩(wěn)定、透明路由和安全的企業(yè)級消息通信總線，以滿足企業(yè)異構(gòu)系統(tǒng)高效數(shù)據(jù)集成需求。

交換節(jié)點可單獨部署也可以分布式部署，監(jiān)管系統(tǒng)統(tǒng)一對個節(jié)點進(jìn)行管理分配隊列資源，節(jié)點程序根據(jù)監(jiān)管系統(tǒng)的配置進(jìn)行組網(wǎng)通信與消息路由，第三方系統(tǒng)通過API向指定隊列發(fā)送消息，符合路由規(guī)則的消息將會被路由到其它節(jié)點供接收消費。

系統(tǒng)B系統(tǒng)D交換節(jié)點a隊列1隊列2隊列2交換節(jié)點bAPIAPI級聯(lián)組網(wǎng)

路由規(guī)則

系統(tǒng)AAPI流量控制

流量控制

監(jiān)管

系統(tǒng)

配置文件

功能介紹

功能介紹

20性能

1.系統(tǒng)非持久化異步消息發(fā)送總吞吐≥80000條/s；

2.系統(tǒng)非持久化同步消息發(fā)送總吞吐≥40000條/s；

3.系統(tǒng)持久化異步消息發(fā)送總吞吐≥40000條/s；

4.系統(tǒng)持久化同步消息發(fā)送總吞吐≥20000條/s；

5.單線程非持久化異步消息發(fā)送

≥20000條/s；

6.單線程非持久化同步消息發(fā)送

≥4000條/s；

7.單線程持久化異步消息發(fā)送

≥3000條/s；

8.單線程持久化同步消息發(fā)送

≥1500條/s；

9.系統(tǒng)總吞吐量

≥80MB/s。

以上指標(biāo)在以下測試環(huán)境測得：

服務(wù)器（CPU8核2.20GHz；內(nèi)存48G；64位Windows），網(wǎng)絡(luò)（1000Mbps），消息大小500字符。

21支持的消息類型

–BytesMessage字節(jié)流

–ObjectMessage可序列化的對象

–TextMessage字符串

–StreamMessage原始數(shù)據(jù)流

–MapMessagekey/value映射map消息交互功能

–

點對點模式

–

發(fā)布/訂閱模式

–

持久化/非持久化

–

同步發(fā)送（可靠性高）

–

異步發(fā)送（吞吐量大）

–

請求應(yīng)答（應(yīng)用層同步）

–

事務(wù)支持

–

安全認(rèn)證

–

多消費者負(fù)載

–

消息分組

–

消息過濾

–

消費者優(yōu)先級設(shè)置

增強特性

–

廣域網(wǎng)多節(jié)點級聯(lián)組網(wǎng)

–

消息路由透明通信

–

流量控制防阻塞

–

分布式統(tǒng)一監(jiān)管

–

統(tǒng)一授權(quán)

–

資源監(jiān)測

即時消息總線功能

功能介紹

業(yè)務(wù)應(yīng)用服務(wù)器

223、同步復(fù)制子系統(tǒng)介紹

同步復(fù)制子系統(tǒng)（HSP-EXG-Sync）實現(xiàn)了基于oracle數(shù)據(jù)庫日志解析的低延遲、非侵入式同步復(fù)制功能，當(dāng)源庫發(fā)生變化時系統(tǒng)將通過解析數(shù)據(jù)庫日志（而不是訪問數(shù)據(jù)庫，對源數(shù)據(jù)庫性能影響小）識別變化并將變化同步到目標(biāo)庫，從而實現(xiàn)oracle數(shù)據(jù)庫的秒級同步復(fù)制。系統(tǒng)保證數(shù)據(jù)的事務(wù)性，支持全量、增量同步方式，主要用于災(zāi)難情況下的數(shù)據(jù)庫準(zhǔn)實時備份、高壓力情況下數(shù)據(jù)庫的讀寫分離/負(fù)載均衡、以及數(shù)據(jù)共享數(shù)據(jù)分析的數(shù)據(jù)同步。系統(tǒng)源端支持oracle數(shù)據(jù)庫，目標(biāo)端支持oracle、mysql、db2等常見數(shù)據(jù)庫。

功能介紹

應(yīng)用程序

業(yè)務(wù)數(shù)據(jù)庫服務(wù)器

災(zāi)備數(shù)據(jù)庫服務(wù)器

oracle常見數(shù)據(jù)庫

復(fù)制節(jié)點

復(fù)制節(jié)點

業(yè)務(wù)應(yīng)用服務(wù)器

應(yīng)用程序A業(yè)務(wù)數(shù)據(jù)庫服務(wù)器

災(zāi)備數(shù)據(jù)庫服務(wù)器

oracle常見數(shù)據(jù)庫

復(fù)制節(jié)點

復(fù)制節(jié)點

應(yīng)用程序B寫

讀

233、同步復(fù)制子系統(tǒng)介紹

同步復(fù)制子系統(tǒng)（HSP-EXG-Sync）實現(xiàn)了基于數(shù)據(jù)庫日志的低延遲、低影響、高效率的同步復(fù)制功能，可準(zhǔn)實時完成數(shù)據(jù)庫災(zāi)備、讀寫分離。

數(shù)據(jù)庫使用本系統(tǒng)建立復(fù)制關(guān)系后，系統(tǒng)日志分析進(jìn)程將實時對數(shù)據(jù)庫日志進(jìn)行監(jiān)聽、解析，當(dāng)業(yè)務(wù)系統(tǒng)對源數(shù)據(jù)庫進(jìn)行操作后，日志分析進(jìn)程識別出需要復(fù)制的數(shù)據(jù)進(jìn)行臨時存儲為jsonfile，然后調(diào)用發(fā)送進(jìn)程將數(shù)據(jù)傳輸?shù)侥繕?biāo)端，目標(biāo)端接收到數(shù)據(jù)后進(jìn)行適當(dāng)處理裝載到目標(biāo)庫。

功能介紹

24系統(tǒng)功能

–

基于數(shù)據(jù)庫日志解析

–

多任務(wù)并發(fā)復(fù)制

–

斷點續(xù)傳

–

數(shù)據(jù)加密安全傳輸

–

緩存隊列傳輸

–

并發(fā)多線程裝載

–

異構(gòu)數(shù)據(jù)庫DML裝載

–

支持分布式數(shù)據(jù)庫

–

保證數(shù)據(jù)庫事務(wù)一致性

–

支持JDBC裝載

–

支持常見主流操作系統(tǒng)

業(yè)務(wù)功能

–

數(shù)據(jù)庫讀寫分離

–

數(shù)據(jù)庫雙向同步

–

數(shù)據(jù)庫數(shù)據(jù)分發(fā)

–

數(shù)據(jù)庫級聯(lián)同步

–

常見數(shù)據(jù)庫支持

–

數(shù)據(jù)過濾

–

全量同步復(fù)制

–

增量同步復(fù)制

–

準(zhǔn)實時同步復(fù)制

–

對源庫低影響

–

準(zhǔn)實時同步復(fù)制

–

可視化監(jiān)測

同步復(fù)制子系統(tǒng)功能

功能介紹

25常見實施方案

功能介紹

264、服務(wù)集成總線子系統(tǒng)介紹

服務(wù)集成總線（HSP-EXG-ESB）作為企業(yè)網(wǎng)絡(luò)中最基本的連接中樞，是構(gòu)筑企業(yè)神經(jīng)系統(tǒng)、提高企業(yè)服務(wù)重用性的必要元素?；赟OA思想，實現(xiàn)對企業(yè)接口服務(wù)的協(xié)議轉(zhuǎn)換、注冊/發(fā)布、編排、管理、標(biāo)準(zhǔn)化，幫助企業(yè)對繁雜的應(yīng)用服務(wù)接口進(jìn)行標(biāo)準(zhǔn)化與重用、分類管理、集成共享。采用“總線”模式管理和簡化應(yīng)用之間的集成拓?fù)浣Y(jié)構(gòu)，以廣為接受的開放標(biāo)準(zhǔn)為基礎(chǔ)來支持應(yīng)用之間在事件和服務(wù)級別上動態(tài)的互連互通，是一種在松散耦合的服務(wù)和應(yīng)用之間標(biāo)準(zhǔn)的集成方式。系統(tǒng)可以單套部署，也可以在企業(yè)上下級進(jìn)行跨地域分布式組網(wǎng)部署，互聯(lián)互通。

功能介紹

服務(wù)集成總線

服務(wù)注冊/發(fā)布

協(xié)議轉(zhuǎn)換

服務(wù)編排

服務(wù)管理

服務(wù)質(zhì)量監(jiān)測

業(yè)務(wù)系統(tǒng)1發(fā)布服務(wù)

業(yè)務(wù)系統(tǒng)2發(fā)布服務(wù)

業(yè)務(wù)系統(tǒng)3發(fā)布服務(wù)

…

業(yè)務(wù)系統(tǒng)n發(fā)布服務(wù)

業(yè)務(wù)系統(tǒng)A消費服務(wù)

服務(wù)查詢

業(yè)務(wù)系統(tǒng)B消費服務(wù)

業(yè)務(wù)系統(tǒng)C消費服務(wù)

業(yè)務(wù)系統(tǒng)x消費服務(wù)

…

服務(wù)集成總線

級聯(lián)

27運行原理

服務(wù)集成總線（HSP-EXG-ESB）提供了級聯(lián)式基于服務(wù)調(diào)用的接口服務(wù)集成平臺，主要提供了服務(wù)注冊、服務(wù)編排、協(xié)議接入/接出、協(xié)議轉(zhuǎn)換、服務(wù)轉(zhuǎn)換、服務(wù)路由等功能。服務(wù)集成總線采用SOA松耦合的思想來進(jìn)行企業(yè)服務(wù)的集成，通過靈活的服務(wù)接口和適配器方便不同協(xié)議、不同報文格式的應(yīng)用接口的集成，并提供松耦合、效靈活的設(shè)計架構(gòu)，方便未來系統(tǒng)接口的擴展。

功能介紹

業(yè)務(wù)系統(tǒng)1業(yè)務(wù)系統(tǒng)n服務(wù)集成總線

httpjmssocket其他

httpjmssocket其他

協(xié)議接出

協(xié)議接入

協(xié)議轉(zhuǎn)換

服務(wù)路由

服務(wù)轉(zhuǎn)換

SOAPJSONXMLtxtHessianHL7其他

服務(wù)注冊

156調(diào)用對應(yīng)服務(wù)

服務(wù)消費者

2服務(wù)請求

3服務(wù)注冊

1可視化開發(fā)、管理、監(jiān)測

業(yè)務(wù)系統(tǒng)2服務(wù)注冊

1…

28服務(wù)集成

服務(wù)管理

服務(wù)運行監(jiān)控

?協(xié)議適配（接出/接入）

?協(xié)議轉(zhuǎn)換

?JMS?HTTP?Webservice?UDP/TPC?…

?服務(wù)轉(zhuǎn)換

?服務(wù)編排

?服務(wù)路由

?靜態(tài)路由

?動態(tài)路由

?服務(wù)級聯(lián)

?服務(wù)異常處理

?服務(wù)注冊

?服務(wù)目錄管理與服務(wù)查詢

?服務(wù)訪問權(quán)限控制

?服務(wù)訪問流量控制

服務(wù)器管理

?服務(wù)部署

?服務(wù)器管理

?集群管理

?服務(wù)運行統(tǒng)計

?服務(wù)運行查詢

?接口運行診斷（服務(wù)運行耗時排名）

?接口運行檢索（攔截查看請求響應(yīng)報文）

?服務(wù)日志分析

功能介紹

功能介紹

29性能

1.Http協(xié)議穿透代理事務(wù)數(shù)≥14000次/s，響應(yīng)時間≤0.005s；

2.WebService協(xié)議穿透代理事務(wù)數(shù)≥7000次/s，響應(yīng)時間≤0.03s；

3.JMS協(xié)議穿透代理事務(wù)數(shù)≥20000次/s，響應(yīng)時間≤0.007s；

4.http與WebService協(xié)議轉(zhuǎn)換處理事務(wù)數(shù)≥7000次/s，響應(yīng)時間≤0.04s；

5.http轉(zhuǎn)jms協(xié)議轉(zhuǎn)換處理事務(wù)數(shù)≥11000次/s，響應(yīng)時間≤0.02s；

6.WebServicee轉(zhuǎn)jms協(xié)議轉(zhuǎn)換處理事務(wù)數(shù)≥11000次/s，響應(yīng)時間≤0.02s。

以上指標(biāo)在以下測試環(huán)境測得：

服務(wù)器（CPU8核2.20GHz；內(nèi)存48G；64位Windows），網(wǎng)絡(luò)（1000Mbps），用例300并發(fā)。

30業(yè)務(wù)場景-服務(wù)注冊

30在線工具

Excel模板生成

權(quán)限管理

系統(tǒng)權(quán)限

應(yīng)用權(quán)限

運行統(tǒng)計

統(tǒng)計綜合查詢

軟件資產(chǎn)管理

接口注冊管理

系統(tǒng)IP地址管理

資產(chǎn)審計管理

上線部署管理

資產(chǎn)管

理者

資產(chǎn)

提供者

資產(chǎn)

調(diào)用者

用戶通過服務(wù)注冊功能對企業(yè)接口服務(wù)、數(shù)據(jù)模型等軟件資產(chǎn)通過一定的管理流程進(jìn)行集中管理

軟件服務(wù)資產(chǎn)的注冊管理在SOA體系下至關(guān)重要，其中接口服務(wù)資產(chǎn)的集中管控使得“資產(chǎn)狀況透明化”從而有效支撐集成架構(gòu)的部署價值

調(diào)用關(guān)系管理

軟件資產(chǎn)統(tǒng)計管理

部署管理

變更歷史查詢

注冊審計

報文審計

調(diào)用審計

審計任務(wù)管理

接口運行統(tǒng)計

接口運行診斷

接口運行檢索

Excel格式校驗

在線比對工具

功能介紹

31業(yè)務(wù)場景-服務(wù)編排

提供圖形化的服務(wù)編排設(shè)計工具，可以可視化的配置服務(wù)調(diào)用、處理等過程，從而更容易完成服務(wù)的編排，利用已有服務(wù)接口編排產(chǎn)生符合需求的新服務(wù)接口。

?動態(tài)消息路由

?異常處理機制

?復(fù)雜業(yè)務(wù)運算

?垃圾消息過濾

功能介紹

325、統(tǒng)一監(jiān)測子系統(tǒng)介紹

統(tǒng)一監(jiān)測子系統(tǒng)

批量數(shù)據(jù)總線子系統(tǒng)

即時數(shù)據(jù)總線子系統(tǒng)

數(shù)據(jù)庫同步復(fù)制子系統(tǒng)

服務(wù)集成總線子系統(tǒng)

采集器

采集器

采集器

采集器

數(shù)據(jù)收集

統(tǒng)計分析

數(shù)據(jù)存儲

報表生成

圖形化展示

遠(yuǎn)程連接

統(tǒng)一監(jiān)測子系統(tǒng)（HSP-EXG-MS）實現(xiàn)了對海迅數(shù)據(jù)交換平臺各子系統(tǒng)的遠(yuǎn)程運行數(shù)據(jù)采集、運行狀態(tài)分析、圖形化展示、報表生成、異常告警等功能，能夠直觀的展現(xiàn)平臺各子系統(tǒng)的運行狀況、業(yè)務(wù)系統(tǒng)交換關(guān)系、交換數(shù)據(jù)量等，為企業(yè)針對數(shù)據(jù)交換、服務(wù)集成、數(shù)據(jù)庫同步復(fù)制提供了統(tǒng)一的監(jiān)測管理實現(xiàn)。

告警

功能介紹

33系統(tǒng)管理

–

分級授權(quán)

–

三權(quán)分立控制

–

告警配置

統(tǒng)一監(jiān)控與全景展示

–

系統(tǒng)基本信息采集

–

全局分析概況

–

地圖動態(tài)信息

–

服務(wù)器集中監(jiān)測展示

–

服務(wù)器資源監(jiān)測

–

節(jié)點信息監(jiān)測

–

組件運行情況監(jiān)測

–

日志查詢

–

告警功能

–

報表導(dǎo)出

–

異常告警

智能分析

–

峰值分析

–

接入信息統(tǒng)計

–

交換數(shù)據(jù)量/頻度統(tǒng)計

–

系統(tǒng)熱度統(tǒng)計

–

系統(tǒng)健康度分析

–

關(guān)聯(lián)度分析

統(tǒng)一監(jiān)測子系統(tǒng)功能

功能介紹

34統(tǒng)一監(jiān)測-全局監(jiān)測

功能介紹

35統(tǒng)一監(jiān)測-資源監(jiān)測

功能介紹

36統(tǒng)一監(jiān)測-遠(yuǎn)程配置查看

功能介紹

37統(tǒng)一監(jiān)測-遠(yuǎn)程日志分析

功能介紹

目錄

38

平臺簡介

功能介紹

典型案例

三

二

一

典型案例

業(yè)務(wù)系統(tǒng)

ODSODSDXPDXP營銷

協(xié)同辦公

…

營銷

協(xié)同辦公

…

總部

省(市)WS/HTTPWS/HTTP業(yè)務(wù)系統(tǒng)

企業(yè)服務(wù)總線

企業(yè)服務(wù)總線

123BWETL平臺

DB連接

DB連接

ETL平臺

GIS非結(jié)構(gòu)化平臺

GIS非結(jié)構(gòu)化平臺

5WebServiceWebService海量平臺

海量平臺

416OGGQueueERPBWABAPERPBWABAP國家電網(wǎng)公司統(tǒng)一數(shù)據(jù)交換

1、公司業(yè)務(wù)系統(tǒng)龐多，公司跨地域子公司較多，業(yè)務(wù)系統(tǒng)分布在不同地理位置；

2、業(yè)務(wù)系統(tǒng)間集成方式繁多，技術(shù)實現(xiàn)不統(tǒng)一，缺乏統(tǒng)一設(shè)計和管控；

3、缺少基于文件傳輸?shù)呐繑?shù)據(jù)總線；

4、現(xiàn)有數(shù)據(jù)交換能力有限；

5、數(shù)據(jù)集成方式定位不清晰、使用不規(guī)范、分工不明確；

6、國產(chǎn)化不足，自主可控能力薄弱；

7、需要一體化的數(shù)據(jù)交換系統(tǒng)完成業(yè)務(wù)系統(tǒng)間的集成與共享，并提供統(tǒng)一的管理、控制、分析功能；

40基于數(shù)據(jù)交換現(xiàn)狀，國網(wǎng)啟動了統(tǒng)推項目統(tǒng)一數(shù)據(jù)交換平臺項目，主要通過我公司海迅數(shù)據(jù)交換