企業(yè)數(shù)據(jù)總線技術(shù)架構(gòu)說(shuō)明

1、數(shù)據(jù)總線技術(shù)框架說(shuō)明（轉(zhuǎn)）目錄數(shù)據(jù)總線技術(shù)框架說(shuō)明11描述以及約定41.1約定41.2問(wèn)題的提出41.3數(shù)據(jù)總線定義41.4實(shí)現(xiàn)目標(biāo)42技術(shù)框架42.1總線程序物理層級(jí)架構(gòu)42.2總線程序物理拓?fù)浣Y(jié)構(gòu)52.3總線程序架構(gòu)邏輯模塊層級(jí)視圖52.4總線程序架構(gòu)數(shù)據(jù)流邏輯視圖63程序模塊說(shuō)明73.1模塊圖示73.2服務(wù)宿主API層7公共查詢(xún)模塊7API實(shí)例管理模塊7API接口及類(lèi)生成模塊8Java及時(shí)編譯模塊8API函數(shù)構(gòu)造模塊8API對(duì)外服務(wù)宿主模塊8訪問(wèn)及安全控制模塊83.3規(guī)則邏輯層9邏輯控制管理模塊9邏輯規(guī)則生成模塊9邏輯規(guī)則控制宿主模塊9邏輯規(guī)則狀態(tài)監(jiān)控模塊93.4數(shù)據(jù)連接管理模塊9數(shù)據(jù)連

2、接管理模塊9數(shù)據(jù)連接模塊103.5客戶(hù)端連接104大致技術(shù)細(xì)節(jié)定義和約定104.1接口約定104.2可擴(kuò)展性約定115總結(jié)116參考111 描述以及約定1.1 約定1.1.1 應(yīng)用，在本文中的應(yīng)用是指一個(gè)application，他可以是一個(gè)windows 應(yīng)用程序，也可以是一個(gè)web 站點(diǎn)，也可以是一個(gè)移動(dòng)終端應(yīng)用程序。1.1.2 ws服務(wù)，在文本中是指Web Services服務(wù)1.1.3 CXF類(lèi)庫(kù)，是指Apache CXF Services Framework 1.2 問(wèn)題的提出 現(xiàn)在的企業(yè)中存在各種應(yīng)用（系統(tǒng)）和各種數(shù)據(jù)存儲(chǔ)需求，但是各個(gè)應(yīng)用之間的數(shù)據(jù)不能實(shí)現(xiàn)可控的數(shù)據(jù)共享，而且各個(gè)應(yīng)

3、用之間由于涉及到開(kāi)發(fā)技術(shù)以及和環(huán)境的限制也為企業(yè)的數(shù)據(jù)共享設(shè)置了障礙，這種現(xiàn)狀阻礙了企業(yè)各個(gè)應(yīng)用之間和數(shù)據(jù)交換和共享，也阻礙了企業(yè)對(duì)數(shù)據(jù)可控，數(shù)據(jù)管理，數(shù)據(jù)安全方面的需求，那么我們就需要有一種具有無(wú)關(guān)平臺(tái)，無(wú)關(guān)應(yīng)用，無(wú)關(guān)空間邏輯的一種數(shù)據(jù)集成和分配的系統(tǒng)，來(lái)管理企業(yè)現(xiàn)有的數(shù)據(jù)調(diào)用數(shù)據(jù)總線1.3 數(shù)據(jù)總線定義 數(shù)據(jù)總線（DataBus）是集成各個(gè)原始數(shù)據(jù)庫(kù)并對(duì)外提供一種有規(guī)則的，可控的數(shù)據(jù)鏈接存儲(chǔ)服務(wù)1.4 實(shí)現(xiàn)目標(biāo)1.4.1 集成原始數(shù)據(jù)庫(kù)，能夠?qū)ΜF(xiàn)有的數(shù)據(jù)庫(kù)進(jìn)行添加，刪除操作1.4.2 對(duì)外進(jìn)行數(shù)據(jù)存儲(chǔ)服務(wù)功能，能夠?qū)ν獠繑?shù)據(jù)存儲(chǔ)服務(wù)，包括數(shù)據(jù)查詢(xún)，數(shù)據(jù)刪除，數(shù)據(jù)修改，數(shù)據(jù)存儲(chǔ)過(guò)程以及函數(shù)的

4、執(zhí)行1.4.3 對(duì)應(yīng)用來(lái)源（訪問(wèn)者）進(jìn)行管理，能夠?qū)?yīng)用來(lái)源進(jìn)行添加，啟用，停用，授權(quán)，更改授權(quán)，刪除等操作1.4.4 能夠新增，刪除，修改API函數(shù)，能新增，修改，刪除，啟用，停用API函數(shù)，以實(shí)現(xiàn)對(duì)外部調(diào)用的響應(yīng)的邏輯控制，這些API的類(lèi)型包括數(shù)據(jù)庫(kù)的查詢(xún)，修改，刪除，存儲(chǔ)過(guò)程以及函數(shù)執(zhí)行等數(shù)據(jù)庫(kù)操作1.4.5 對(duì)訪問(wèn)者的操作可控，能夠?qū)υL問(wèn)者的進(jìn)行權(quán)限控制，包括查詢(xún)，修改，刪除操作的庫(kù)范圍，表范圍，行范圍，列范圍的的執(zhí)行權(quán)限，以及對(duì)訪問(wèn)的操作的時(shí)間進(jìn)行控制，如可以對(duì)來(lái)源為新企的應(yīng)用定義為只能在數(shù)據(jù)庫(kù)A的ta，tb表進(jìn)行全時(shí)段的訪問(wèn)，而對(duì)于表tc，td可以在12:00到18：00進(jìn)行修改和

5、刪除操作1.4.6 對(duì)訪問(wèn)記錄可查詢(xún)，可監(jiān)控，能夠?qū)Ω鱾€(gè)訪問(wèn)者的操作記錄進(jìn)行歷史查詢(xún)，和實(shí)時(shí)的監(jiān)控訪問(wèn)者的操作1.4.7 連接安全措施，能有有效的加密連接，保證即使網(wǎng)絡(luò)被監(jiān)聽(tīng)情況也能保證數(shù)據(jù)的安全性，完整性，可校驗(yàn)性1.4.8 跨平臺(tái)，跨語(yǔ)言，跨空間特性，能有效的支持任何平臺(tái)和任何語(yǔ)言的遠(yuǎn)程調(diào)用1.4.9 數(shù)據(jù)安全隔離，能夠有效的隔離訪問(wèn)者對(duì)數(shù)據(jù)的直接操作，保證數(shù)據(jù)的安全性2 技術(shù)框架2.1 總線程序物理層級(jí)架構(gòu)2.2 總線程序物理拓?fù)浣Y(jié)構(gòu)2.3 總線程序架構(gòu)邏輯模塊層級(jí)視圖2.4 總線程序架構(gòu)數(shù)據(jù)流邏輯視圖3 程序模塊說(shuō)明3.1 模塊圖示3.2 服務(wù)宿主API層3.2.1 公共查詢(xún)模塊3.2

6、.1.1 描述，公共查詢(xún)模塊，負(fù)責(zé)查詢(xún)現(xiàn)有API實(shí)例，包括狀態(tài)，函數(shù)參數(shù)說(shuō)明，示例代碼，服務(wù)控制人，調(diào)用方等信息3.2.1.2 實(shí)現(xiàn)邏輯，主要根據(jù)系統(tǒng)中的API對(duì)外提供查詢(xún)服務(wù)，讓調(diào)用方能夠得到技術(shù)支持3.2.2 API實(shí)例管理模塊3.2.2.1 描述，API實(shí)例管理模塊，負(fù)責(zé)管理API實(shí)例的發(fā)布，啟用狀態(tài)，訪問(wèn)信息，訪問(wèn)權(quán)限控制，狀態(tài)查詢(xún)等3.2.2.2 實(shí)現(xiàn)邏輯，通過(guò)API實(shí)例管理模塊實(shí)現(xiàn)API實(shí)例的維護(hù)，控制等，能有讓管理員控制API實(shí)例3.2.3 API接口及類(lèi)生成模塊3.2.3.1 描述，API接口及類(lèi)生成模塊，能夠根據(jù)管理模塊的指令生成API發(fā)布所需的接口和類(lèi)的Java代碼3.2.

7、3.2 實(shí)現(xiàn)邏輯，根據(jù)程序的接口定義以及通用類(lèi)來(lái)實(shí)現(xiàn)，自動(dòng)生成可編譯的Java代碼3.2.4 Java及時(shí)編譯模塊3.2.4.1 描述，Java及時(shí)編譯模塊，能夠根據(jù)指定的Java文件和構(gòu)建路徑，編譯Java代碼為Class或是Object3.2.4.2 實(shí)現(xiàn)邏輯，使用jdk提供的JavaCompiler，采用重寫(xiě)SimpleJavaFileObject，F(xiàn)orwardingJavaFileManager，URLClassLoade的方式自定義編譯java代碼為Class，使用DynamicClassLoader實(shí)現(xiàn)動(dòng)態(tài)實(shí)例對(duì)象3.2.5 API函數(shù)構(gòu)造模塊3.2.5.1 描述，API函數(shù)構(gòu)造

8、模塊，能夠?qū)崿F(xiàn)API函數(shù)的構(gòu)造和發(fā)布功能，可將構(gòu)造的API函數(shù)發(fā)送的API宿主模塊3.2.5.2 實(shí)現(xiàn)邏輯，使用CXF類(lèi)庫(kù)提供的ServerFactoryBean構(gòu)造服務(wù)元，并在構(gòu)造過(guò)程中添加攔截器回調(diào)和訪問(wèn)邏輯，以實(shí)現(xiàn)安全功能3.2.6 API對(duì)外服務(wù)宿主模塊3.2.6.1 描述，API對(duì)外服務(wù)宿主模塊，能提供webServices服務(wù)讓外部從指定的入口點(diǎn)進(jìn)行訪問(wèn)，從而提供服務(wù)3.2.6.2 實(shí)現(xiàn)邏輯，通過(guò)構(gòu)建模塊構(gòu)建ServerFactoryBean，使用Create產(chǎn)生Server，配置按照構(gòu)建模塊的定義配置Endpoint，實(shí)現(xiàn)ws服務(wù)來(lái)提供外部訪問(wèn)3.2.7 訪問(wèn)及安全控制模塊3.2

9、.7.1 描述，訪問(wèn)及安全控制模塊為API宿主模塊的回調(diào)，它按照安全連接的規(guī)則定義，進(jìn)行安全認(rèn)證，可實(shí)現(xiàn)x509證書(shū)，UserToken，自定義密匙的方式的認(rèn)證3.2.7.2 實(shí)現(xiàn)邏輯，按照API宿主模塊定義的Endpoint的InInterceptor，OutInterceptor的回調(diào)，來(lái)實(shí)現(xiàn)輸出和輸入的認(rèn)證和處理3.2.7.3 圖示3.3 規(guī)則邏輯層3.3.1 邏輯控制管理模塊3.3.1.1 描述，此模塊能夠維護(hù)邏輯規(guī)則，添加，刪除，啟用，停用邏輯規(guī)則層，以及獲取邏輯規(guī)則宿主的運(yùn)作狀態(tài)實(shí)時(shí)信息和日志3.3.1.2 實(shí)現(xiàn)邏輯，通過(guò)配置邏輯規(guī)則宿主的入口和各個(gè)邏輯規(guī)則層實(shí)現(xiàn)邏輯規(guī)則的控制，通

10、過(guò)調(diào)用狀態(tài)監(jiān)控模塊實(shí)現(xiàn)狀態(tài)和日志的讀取3.3.2 邏輯規(guī)則生成模塊3.3.2.1 描述，能夠響應(yīng)邏輯控制模塊的調(diào)用，生成邏輯規(guī)則控制模塊的指定的控制規(guī)則，并添加的邏輯控制宿主，實(shí)現(xiàn)邏輯規(guī)則的添加3.3.2.2 實(shí)現(xiàn)邏輯，根據(jù)程序定義的接口和通用類(lèi)生成規(guī)則類(lèi)的實(shí)例，并添加到邏輯控制宿主3.3.3 邏輯規(guī)則控制宿主模塊3.3.3.1 描述，此模塊能提供唯一入口點(diǎn)，供外部調(diào)用，并通過(guò)工廠反射的模式，松耦合的形式調(diào)用順序的調(diào)用邏輯規(guī)則層，每一個(gè)邏輯規(guī)則層會(huì)按照程序定義接口進(jìn)行執(zhí)行并返回3.3.3.2 實(shí)現(xiàn)邏輯，通過(guò)唯一的入口點(diǎn)調(diào)用實(shí)現(xiàn)集成控制，并在入口點(diǎn)執(zhí)行環(huán)境通過(guò)ClassLoader來(lái)實(shí)例規(guī)則層并

11、且調(diào)用來(lái)實(shí)現(xiàn)規(guī)則的控制3.3.4 邏輯規(guī)則狀態(tài)監(jiān)控模塊3.3.4.1 描述，此模塊通過(guò)邏輯規(guī)則控制宿主模塊入口的回調(diào)來(lái)實(shí)現(xiàn)狀態(tài)的讀取，并記錄日志信息，以實(shí)現(xiàn)所有操作的可回溯3.3.4.2 實(shí)現(xiàn)邏輯，此模塊定義唯一無(wú)阻攔式回調(diào)函數(shù)，供宿主模塊入口點(diǎn)回調(diào)，通過(guò)函數(shù)的回調(diào)信息，獲取當(dāng)前狀態(tài)并記錄和處理3.4 數(shù)據(jù)連接管理模塊3.4.1 數(shù)據(jù)連接管理模塊3.4.1.1 描述，此模塊能夠管理數(shù)據(jù)數(shù)據(jù)庫(kù)實(shí)例的掛載和卸載，數(shù)據(jù)庫(kù)驅(qū)動(dòng)的添加，并調(diào)用數(shù)據(jù)連接模塊實(shí)現(xiàn)數(shù)據(jù)庫(kù)操作的掛起3.4.1.2 實(shí)現(xiàn)邏輯，通過(guò)配置指定的數(shù)據(jù)庫(kù)實(shí)例信息和開(kāi)關(guān)，以供連接模塊的調(diào)用，來(lái)實(shí)現(xiàn)連接數(shù)據(jù)庫(kù)的控制3.4.2 數(shù)據(jù)連接模塊3.

12、4.2.1 描述，此模塊指定唯一的入口點(diǎn)供調(diào)用來(lái)實(shí)現(xiàn)數(shù)據(jù)庫(kù)的操作3.4.2.2 實(shí)現(xiàn)邏輯，通過(guò)管理模塊配置信息和入口調(diào)用信息，來(lái)判斷數(shù)據(jù)庫(kù)的連接類(lèi)型并動(dòng)態(tài)載入連接驅(qū)動(dòng)，通過(guò)驅(qū)動(dòng)模塊操作數(shù)據(jù)庫(kù)3.5 客戶(hù)端連接3.5.1 連接方式，客戶(hù)端通過(guò)soap協(xié)議，調(diào)用API實(shí)現(xiàn)數(shù)據(jù)庫(kù)的訪問(wèn)3.5.2 訪問(wèn)安全，客戶(hù)端通過(guò)私匙（或證書(shū)）加密，IP，MAC，密碼信息到服務(wù)端，服務(wù)端認(rèn)證后提供服務(wù)，客戶(hù)端接受傳入連接需要驗(yàn)證通過(guò)客戶(hù)端私匙加密服務(wù)端的IP，MAC，密碼信息，這樣就是實(shí)現(xiàn)了傳入和傳出安全驗(yàn)證3.5.3 通過(guò)平臺(tái)化，客戶(hù)端提供各種語(yǔ)言（。Net，java，VC）的幫助類(lèi)庫(kù)，輔助客戶(hù)端完成訪問(wèn)，客戶(hù)

13、端可以完全不關(guān)心實(shí)現(xiàn)邏輯（當(dāng)然客戶(hù)也可以自定義訪問(wèn)，以為soap協(xié)議是通用的）4 大致技術(shù)細(xì)節(jié)定義和約定4.1 接口約定4.1.1.1 實(shí)現(xiàn)方式，通過(guò)API函數(shù)的參數(shù)實(shí)現(xiàn)傳入?yún)?shù)的指定，當(dāng)執(zhí)行結(jié)果為數(shù)據(jù)集的時(shí)候返回DataTableResult，當(dāng)執(zhí)行單值返回結(jié)果是返回SingleResult，當(dāng)執(zhí)行無(wú)返回結(jié)果是返回VoidResult4.1.2 傳入?yún)?shù)控制，每個(gè)函數(shù)的傳入?yún)?shù)必須的原子數(shù)據(jù)類(lèi)型，int，string等4.1.3 大數(shù)據(jù)量性能控制，系統(tǒng)單次最大返回的數(shù)據(jù)元素?cái)?shù)量為5000行*500列，以避免程序形成資源鎖4.1.4 異?？刂疲谙到y(tǒng)中會(huì)使用外圍異?？刂疲圆粫?huì)導(dǎo)致程序崩潰，程序會(huì)打印所有異常信息到異常信息記錄中，以被查閱和調(diào)試4.1.5 系統(tǒng)穩(wěn)定性，需測(cè)試最高壓力為企業(yè)實(shí)際業(yè)務(wù)數(shù)據(jù)量的3-5倍數(shù)據(jù)請(qǐng)求壓力驗(yàn)證4.2 可擴(kuò)展性約定4.2.1 能夠在不更改系統(tǒng)邏輯框架的范圍內(nèi)，進(jìn)行后期開(kāi)發(fā)，并為后期開(kāi)發(fā)預(yù)留可擴(kuò)展接口和模塊5 總結(jié)5.1 數(shù)據(jù)總線系統(tǒng)能有效的解決企業(yè)數(shù)據(jù)管理松散，數(shù)據(jù)共享，數(shù)據(jù)安全，系統(tǒng)整合，跨平臺(tái)及跨語(yǔ)言應(yīng)用等方面帶來(lái)的數(shù)據(jù)庫(kù)訪問(wèn)，以及數(shù)據(jù)安全的問(wèn)題