統(tǒng)一數(shù)據(jù)交換平臺PPT課件

1、統(tǒng)一數(shù)據(jù)交換平臺統(tǒng)一數(shù)據(jù)交換平臺四川賽思特科技有限公司22021/3/9項目總體概述項目總體概述 統(tǒng)一數(shù)據(jù)交換平臺內(nèi)核采用AMQ4.1.1，服務器容器完全兼容Tomcat、Weblogic，JAVA虛擬機要求1.5以上版本?？蛻舳四壳爸С諮AVA、C和C+三種協(xié)議，是一個高效的、可管理的數(shù)據(jù)交換平臺。 32021/3/9交換平臺設(shè)計框架圖交換平臺設(shè)計框架圖核 心 交 換 模 塊接口1用 戶 界 面業(yè)務應用1核心交換區(qū)接口區(qū)客戶區(qū). . .業(yè)務應用2業(yè)務應用N. . .接口2接口N配置管理監(jiān)控系統(tǒng)安全管理日志管理管理功能模塊42021/3/9系統(tǒng)特點n管理方式靈活：n 管理模式采用集中和分布式管

2、理相結(jié)合，上級節(jié)點可以管理和監(jiān)控下級節(jié)點；各級節(jié)點也可以管理和監(jiān)控本節(jié)點。n路由可配置：n 可以通過復合隊列配置多種路由形式，支持一個消息既路由，又不影響偵聽的路由模式。n接口封裝優(yōu)化：n 對外接口將消息隊列的協(xié)議和錯誤處理等復雜細節(jié)優(yōu)化封裝，實現(xiàn)消息傳輸?shù)姆€(wěn)定性最大限度地和業(yè)務系統(tǒng)剝離。n跨平臺特性：n系統(tǒng)采用java開發(fā)，可以兼容主流的軟硬件平臺以及J2EE中間件，同時也兼容各種主流的數(shù)據(jù)庫產(chǎn)品。52021/3/9核心交換接口描述n1 支持多種數(shù)據(jù)交換方式n（1）同步請求/回答方式: 適合客戶端向服務器端可靠的發(fā)送關(guān)鍵數(shù)據(jù)n（2）異步請求/回答方式: 適合客戶端向服務器實時發(fā)送非關(guān)鍵數(shù)據(jù)n

3、（3）對話方式: 適合長時間在客戶端和服務器之間相互發(fā)送大量數(shù)據(jù)n（4）廣播通知方式: 適合服務器端向多個客戶端單向發(fā)送消息。n（5）管道方式: 適合多服務器端逐級傳送消息，對于區(qū)域中心要在實現(xiàn)管道的同時，保存消息隊列到數(shù)據(jù)庫中。n（6）隊列方式: 適合網(wǎng)絡(luò)環(huán)境較差情況下發(fā)送數(shù)據(jù)發(fā)布訂閱方式: 適合服務器端向多個客戶端單向發(fā)送數(shù)據(jù)。 62021/3/9n2數(shù)據(jù)傳輸優(yōu)先權(quán)管理和訪問路由n數(shù)據(jù)傳輸優(yōu)先權(quán)管理是統(tǒng)一數(shù)據(jù)交換平臺提供的另一個核心能力。某一服務請求經(jīng)常需要比其他服務更高的優(yōu)先權(quán)。例如，同步數(shù)據(jù)的優(yōu)先級要比異步數(shù)據(jù)的優(yōu)先級高，對大多數(shù)需要傳輸?shù)臄?shù)據(jù)來說，要盡可能的優(yōu)先滿足同步數(shù)據(jù)的傳輸。n

4、3大容量數(shù)據(jù)傳輸支持（大于1G）72021/3/9n4斷點續(xù)傳n網(wǎng)絡(luò)中傳輸數(shù)據(jù)，網(wǎng)絡(luò)的短暫中斷不可避免，統(tǒng)一數(shù)據(jù)交換平臺通過緩存、存取、數(shù)據(jù)源管理來保障數(shù)據(jù)傳輸?shù)臅r效性，穩(wěn)定性，安全性。即使出現(xiàn)網(wǎng)絡(luò)中斷，統(tǒng)一數(shù)據(jù)交換平臺也能在一定范圍內(nèi)保證數(shù)據(jù)不被丟失，并在網(wǎng)絡(luò)恢復后，在有硬件支持的情況下可斷點續(xù)傳N小時以前的數(shù)據(jù), 對未傳輸?shù)臄?shù)據(jù)，在保證相關(guān)實時數(shù)據(jù)可靠穩(wěn)定傳輸?shù)那闆r下，根據(jù)優(yōu)先級和不同的策略重新傳輸，并保證數(shù)據(jù)傳輸不重復。82021/3/9n5壓縮傳輸n6生命周期控制n網(wǎng)絡(luò)中傳輸數(shù)據(jù)，網(wǎng)絡(luò)的短暫中斷不可避免，統(tǒng)一數(shù)據(jù)交換平臺通過緩存、存取、數(shù)據(jù)源管理來保障數(shù)據(jù)傳輸?shù)臅r效性，穩(wěn)定性，安全性。

5、即使出現(xiàn)網(wǎng)絡(luò)中斷，統(tǒng)一數(shù)據(jù)交換平臺也能在一定范圍內(nèi)保證數(shù)據(jù)不被丟失，并在網(wǎng)絡(luò)恢復后，在有硬件支持的情況下可斷點續(xù)傳N小時以前的數(shù)據(jù), 對未傳輸?shù)臄?shù)據(jù)，在保證相關(guān)實時數(shù)據(jù)可靠穩(wěn)定傳輸?shù)那闆r下，根據(jù)優(yōu)先級和不同的策略重新傳輸，并保證數(shù)據(jù)傳輸不重復。 92021/3/9管理功能描述n1. 服務配置管理n設(shè)置核心交換接口的各種參數(shù)，管理消息隊列，保證數(shù)據(jù)交換平臺的靈活性，穩(wěn)定性和效率性 n2.服務管理： n控制數(shù)據(jù)交換平臺的啟動停止，并且可以查看信息服務器的狀態(tài)信息，例如服務器類型，服務器ip，數(shù)據(jù)庫信息，cpu使用率，內(nèi)存使用率，硬盤剩余空間等等。 n3.帳號管理：n系統(tǒng)管理員知對本系統(tǒng)的管理員帳號

6、，進行管理。包括帳號的增刪改。 102021/3/9n4.實時監(jiān)控管理，報警： n查看系統(tǒng)運行的狀態(tài)，查看實時消息隊列。n查看各種日志信息，過濾出錯日志。n啟動報警機制：例如email通知，手機提醒。n5.日志管理： n系統(tǒng)自動記錄歷史數(shù)據(jù)傳輸日志，歷史維護日志以及升級日志。提供日志下載的功能。 。 n6.信息統(tǒng)計：n信息統(tǒng)計：分類統(tǒng)計數(shù)據(jù)傳輸信息 n7.集中管理監(jiān)控：n統(tǒng)一交換平臺支持國家中心和區(qū)域中心的集中管理以及監(jiān)控 112021/3/9系統(tǒng)流程圖國家中心 AMQ臺站 AMQ區(qū)域中心 AMQ管理，接受消息區(qū)域中心 AMQ1.n管理，接受消息 1.n臺站 AMQ管理，接受消息 1.n發(fā)消息

7、發(fā)消息管理，接受消息122021/3/9數(shù)據(jù)交換平臺部署圖數(shù)據(jù)交換平臺部署圖132021/3/9使用說明使用說明n1.1系統(tǒng)配置系統(tǒng)配置 系統(tǒng)配置的功能分為：節(jié)點管理、數(shù)據(jù)庫管理、服務管理和報警策略。n1.1.1節(jié)點管理節(jié)點管理 在節(jié)點管理里，可以配置本級節(jié)點的基本屬性及其上級節(jié)點的管理信息，作為管理節(jié)點，也可以在這個模塊中監(jiān)控下屬節(jié)點的工作狀態(tài)，配置其基本節(jié)點屬性。142021/3/9節(jié)點屬性節(jié)點屬性參數(shù)名參數(shù)名說說 明明本級節(jié)點屬性本級節(jié)點屬性節(jié)點名稱該節(jié)點的名稱，可以用中文表示節(jié)點標識該節(jié)點的表示，全網(wǎng)唯一，不能用全角心跳間隔向上級節(jié)點發(fā)送心跳信息的時間間隔，以秒為單位自動升級系統(tǒng)是/否

8、采用自動升級機制上級節(jié)點屬性上級節(jié)點屬性節(jié)點IP上級節(jié)點的IP，如果是多個，用半角的“,”隔開HTTP端口上級節(jié)點的HTTP服務端口JMS端口上級節(jié)點的JMS服務端口（本地節(jié)點向該節(jié)點以UDP方式發(fā)送心跳信息）1 參數(shù)說明參數(shù)說明節(jié)點管理的參數(shù)說明如下表4所示：表4 節(jié)點管理的參數(shù)說明152021/3/92 配置界面配置界面節(jié)點管理節(jié)點管理本地節(jié)點管理的配置界面如下圖5 和圖6 所示：圖5 本地節(jié)點管理配置界面1162021/3/9 圖6 下級節(jié)點視圖在下級節(jié)點視圖中，可以實時監(jiān)控所有該節(jié)點的下級節(jié)點的工作狀態(tài)。172021/3/9n1.1.2數(shù)據(jù)庫管理數(shù)據(jù)庫管理 數(shù)據(jù)庫管理模塊配置持久化消息

9、的存儲格式，系統(tǒng)運行后更改其參數(shù)，會造成隊列中已有的消息丟失。n1. 參數(shù)說明參數(shù)說明 數(shù)據(jù)庫管理參數(shù)表如下表5 所示： 數(shù)據(jù)庫管理數(shù)據(jù)庫管理參數(shù)名參數(shù)名說明說明 數(shù)據(jù)庫類型持久化消息存儲形式，系統(tǒng)內(nèi)置“文件形式”、“Mysql”、“Oracle”、“Derby”，其中“文件形式”為缺省方式數(shù)據(jù)標識對應不同的數(shù)據(jù)庫類型，不可更改。 表5 數(shù)據(jù)庫管理參數(shù)表182021/3/9數(shù)據(jù)庫配置界面如下圖7 所示：2 配置界面配置界面數(shù)據(jù)管理數(shù)據(jù)管理圖7 數(shù)據(jù)庫配置界面不同類型的數(shù)據(jù)庫，其配置參數(shù)不同，圖上所示為Oracle的標準JDBC配置參數(shù)。192021/3/9n1.1.3服務管理服務管理n服務管理

10、是系統(tǒng)配置的核心部分，每一個節(jié)點可以配置多個服務；每一個服務可以配置多個連接方式和相應隊列。n1. 參數(shù)說明參數(shù)說明 服務管理的參數(shù)說明如下表6 所示：服務管理服務管理參數(shù)名參數(shù)名說明說明基本參數(shù)基本參數(shù)服務名稱該服務的名稱，用英文表示啟動時清空消息是否在系統(tǒng)啟動時清空隊列中的所有的消息。持久化消息是否持久化消息數(shù)據(jù)路徑如果是文件形式持久化消息，則應設(shè)置其路徑數(shù)據(jù)源名稱數(shù)據(jù)源的beanId，對應于數(shù)據(jù)庫設(shè)置中的beanid表6 服務管理參數(shù)表 在基本參數(shù)中可設(shè)置服務的名稱，是否持久化，數(shù)據(jù)源名稱，數(shù)據(jù)路徑等參數(shù)，輸入后點擊“添加”即可添加新的服務，也可點擊“修改”保存修改的服務。202021/

11、3/9服務管理配置界面如下圖8 所示圖8 服務管理配置界面2. 配置界面配置界面服務管理服務管理n在服務管理界面可以對本節(jié)點以及下屬節(jié)點的服務進行管理和監(jiān)控。針對一個節(jié)點，可以新建、修改、刪除某一個服務。n對于某一個節(jié)點里具體的某項服務內(nèi)容，點擊該服務名內(nèi)容可以設(shè)定該服務名的參數(shù)。這些參數(shù)包括:基本參數(shù)、傳輸設(shè)置、物理隊列、復合隊列、路由設(shè)置、隊列策略。n需選中服務的單選按鈕，再點擊啟動即可使設(shè)置生效。212021/3/9n在服務管理界面可以對本節(jié)點以及下屬節(jié)點的服務進行管理和監(jiān)控。針對一個節(jié)點，可以新建、修改、刪除某一個服務。n對于某一個節(jié)點里具體的某項服務內(nèi)容，點擊該服務名內(nèi)容可以設(shè)定該服

12、務名的參數(shù)。這些參數(shù)包括:基本參數(shù)、傳輸設(shè)置、物理隊列、復合隊列、路由設(shè)置、隊列策略。n需選中服務的單選按鈕，再點擊啟動即可使設(shè)置生效。222021/3/9 基本參數(shù)設(shè)置如下圖9 所示：圖9 服務管理界面基本參數(shù)232021/3/9傳輸參數(shù)設(shè)置如下圖10 所示：圖10 服務管理界面?zhèn)鬏攨?shù)設(shè)置242021/3/9 對于每一個服務，可以設(shè)置若干連接，目前可以支持的協(xié)議分為：Tcp、Stomp、Udp三種,而Tcp是最常用的，也是完全可以滿足業(yè)務需求的一種協(xié)議。物理隊列參數(shù)設(shè)置如下圖11所示：圖11 服務管理界面物理隊列 通過這一參數(shù)設(shè)置可以增加修改該服務的消息隊列，每一個消息隊列可以設(shè)置日志級別

13、；對應文件形式傳輸?shù)年犃?，建議單獨使用一個隊列。252021/3/9復合隊列的參數(shù)設(shè)置如下圖12 所示：圖12 服務管理界面復合隊列 復合隊列是物理隊列的集合。一個復合隊列，可以包括多個物理隊列；當消息到達該復合隊列時，服務器將自動將該消息路由到物理隊列里。物理隊列可以使用選擇器對接收的消息進行篩選。262021/3/9路由設(shè)置的參數(shù)設(shè)置如下圖13 所示： 圖13 服務管理界面路由設(shè)置 通過這一參數(shù)設(shè)置可以設(shè)置到達本地節(jié)點的某一個隊列的消息，自動路由到目標隊列中。設(shè)置服務管理的任意一項，設(shè)置后點擊頂端的返回可回到服務的列表頁面，此時若要使設(shè)置后的服務生效，需點擊啟動可重啟服務使設(shè)置生效。272

14、021/3/9n1.1.4報警策略報警策略 為了在過量負載情況下仍然保證系統(tǒng)的可靠性。當出現(xiàn)系統(tǒng)沒有可用空間或沒有可用內(nèi)存的情況時，平臺就會采用報警策略，同時自動放棄，而不是重試使情況變得更糟。n1. 參數(shù)說明參數(shù)說明 報警策略的參數(shù)說明如下表7所示：報警策略報警策略參數(shù)名參數(shù)名說明說明報警閥值報警閥值硬盤剩余空間小于當硬盤剩余空間小于某一個值時觸發(fā)報警內(nèi)存使用大于當內(nèi)存使用大于某一個值時觸發(fā)報警CPU占用大于當CPU占用大于某一個值時觸發(fā)報警報警策略報警策略短消息使用短消息報警，需填寫手機號碼（需要網(wǎng)絡(luò)支持）電子郵件使用電子郵件報警，需填寫郵件地址（需要網(wǎng)絡(luò)支持）重新啟動強制重新啟動表7 報

15、警參數(shù)說明282021/3/92. 配置界面配置界面報警管理報警管理報警的配置如下圖14 所示：圖14 報警策略配置292021/3/9n1.2帳號管理帳號管理n1.2.1操作說明：操作說明： 統(tǒng)一數(shù)據(jù)交換平臺將分兩個角色：系統(tǒng)管理員和普通管理員。只有系統(tǒng)管理員登陸，才能顯示如圖 所示的界面，普通管理員是無法看到該界面的。統(tǒng)一數(shù)據(jù)交換平臺通過帳號管理可以添加刪除修改本系統(tǒng)下的所有系統(tǒng)管理員和普通管理員的帳號和密碼。n1.2.2帳號管理頁面帳號管理頁面 帳號管理頁面如下圖15 所示：圖15 帳號管理302021/3/9n1.2.3實時監(jiān)控實時監(jiān)控 數(shù)據(jù)交換平臺能夠通過管理工具的實時監(jiān)控功能監(jiān)控和

16、控制數(shù)據(jù)交換過程。所有的實時信息又分為實時的系統(tǒng)信息和實時的消息信息兩大類。n1.3 實時系統(tǒng)信息實時系統(tǒng)信息n1.3.1 操作說明：操作說明： 通過實時監(jiān)控，將集中顯示主節(jié)點及其子節(jié)點的所有的實時系統(tǒng)信息。n1.3.2 實時系統(tǒng)信息頁面：實時系統(tǒng)信息頁面：312021/3/9圖16 實時系統(tǒng)信息 系統(tǒng)的實時系統(tǒng)信息頁面將提供如下圖16 所示的信息：322021/3/9n1.4 實時消息信息實時消息信息n1.4.1 操作說明：操作說明：n通過實時監(jiān)控，將集中顯示主節(jié)點及子節(jié)點的消息信息，點查看按鈕，會在本頁面列出所有發(fā)送過的消息對列，點擊顯示消息隊列的按鈕，還會把此隊列下的所有消息顯示出來。n

17、1.4.2 實時消息信息頁面：實時消息信息頁面：332021/3/9實時消息信息頁面如下圖17 所示：圖17 實時消息信息頁面342021/3/9點擊圖 中的“查看”，該頁會出現(xiàn)對應的消息隊列信息，如下圖18 所示：圖18 對應的消息隊列信息352021/3/9點擊消息隊列中的隊列名稱，又會在該頁出現(xiàn)具體的消息列表，如下圖19所示：圖19 具體的消息列表信息362021/3/9n1.5日志管理日志管理n數(shù)據(jù)交換平臺提供各種日志，分別幫助用戶跟蹤、分析、調(diào)試應用系統(tǒng)和方便地進行運行審計，并在系統(tǒng)出現(xiàn)故障時可以快速地進行運行故障定位。日志統(tǒng)計分析功能提供用戶在各個部署點查看一段時間內(nèi)本部署點上交換

18、平臺所處理的數(shù)據(jù)的各種信息。通過對日志信息的綜合統(tǒng)計分析，提供給平臺管理員或普通用戶關(guān)于平臺運行狀態(tài)的直觀信息。數(shù)據(jù)交換平臺提供了以下三種日志： （1） 歷史日志； （2）日常維護日志 （3）升級日志372021/3/9n1.5.1 歷史日志：歷史日志： n傳輸歷史日志是根據(jù)數(shù)據(jù)種類、收發(fā)地址等記錄數(shù)據(jù)交換的日志。n 操作說明：操作說明：n點擊歷史日志，會出現(xiàn)本系統(tǒng)和子系統(tǒng)的日志查詢頁面，選擇查詢條件，點擊查詢，該頁面會出現(xiàn)查詢結(jié)果。n歷史日志頁面：歷史日志頁面：382021/3/9 歷史日志查詢頁面如下圖20 所示：圖20 日志查詢頁面392021/3/9在該查詢

19、頁面中點擊“確定”后，會出現(xiàn)查詢結(jié)果頁面，如下圖21 所示：圖21 查詢結(jié)果頁面402021/3/9n1.5.2 日常維護日志：日常維護日志：n日常維護日志是記錄統(tǒng)一數(shù)據(jù)交換平臺日常維護信息的日志。n日常維護日志操作說明：日常維護日志操作說明：n點擊日常維護日志，會出現(xiàn)本系統(tǒng)和子系統(tǒng)的日志查詢頁面，選擇查詢條件，點擊查詢，本頁面會出現(xiàn)查詢結(jié)果。412021/3/9n日常維護日志頁面：日常維護日志頁面：n日常維護日志查詢頁面如下圖22 所示：圖22 日常維護日志查詢頁面422021/3/9在該頁面中點擊“確定”后，會出現(xiàn)日常維護日志查詢結(jié)果頁面，如下圖23所示：圖23

20、 日常維護日志查詢結(jié)果頁面432021/3/9n1.5.3 升級日志：升級日志：n升級日志包括本地升級的記錄和下載新的版本升級本地以及升級服務器設(shè)置。n升級日志操作說明：升級日志操作說明： 點擊升級日志就會出現(xiàn)如圖24 所示的升級日志頁面圖24 升級日志頁面442021/3/9n若是國家中心已發(fā)布新的版本，在此頁面可選中要升級版本，點擊“下載升級包”會彈出一個確認的對話框，選擇“是”，開始下載升級包，進入如圖25 下載完成的頁面。n在此頁面中已告訴您一些注意事項，你可通過提示的命令參數(shù)來關(guān)閉服務器和關(guān)閉進程。在最下邊列出的是你在升級時所要使用的命令腳本，你可通過更新腳本來升級您的

21、系統(tǒng)。n點擊復制可將命令腳本復制到剪切板中。點擊返回則回到圖24升級日志頁面。452021/3/9圖25 升級下載完成頁面點擊“刪除”可刪除選中的本地版本，點擊設(shè)置進入如圖25 所示的升級服務器設(shè)置頁面。462021/3/9圖25 升級信息頁面472021/3/9在此您可填寫遠程升級服務器信息和本地服務器信息為升級做好提前設(shè)置。在此您可填寫遠程升級服務器信息和本地服務器信息為升級做好提前設(shè)置。 升級服務器設(shè)置升級服務器設(shè)置 參數(shù)名參數(shù)名說明說明遠程升級服務器遠程升級服務器服務器地址遠程升級服務器的IP地址服務器端口遠程升級服務器所用的HTTP端口升級路徑遠程升級服務器的項目系統(tǒng)所在根目錄本地服

22、務器本地服務器系統(tǒng)ID為本地服務器系統(tǒng)定義的ID號系統(tǒng)名稱本地服務器系統(tǒng)的名稱系統(tǒng)IP本地的IP地址管理員姓名本地服務器的管理員郵件地址管理員的郵件地址聯(lián)系電話管理員聯(lián)系電話482021/3/9n1.5.4升級管理升級管理n升級管理操作說明：升級管理操作說明：n升級管理頁面如圖26列出了現(xiàn)有的版本信息。圖26 升級管理頁面492021/3/9n點擊“初始化版本”可生成一個最初的版本，并將以前的所有版本刪除。n在對應的版本上點擊“發(fā)布”可發(fā)布此版本及此版本以前的版本，此時狀態(tài)已變成“已發(fā)布”，操作變成了“取消發(fā)布”，并在區(qū)域中心升級日志中可看到此版本。n點擊“取消發(fā)布”可將此已發(fā)布的版本取消，同時狀態(tài)變成“未