分布式數(shù)據(jù)庫金融應(yīng)用發(fā)展報(bào)告_第1頁
分布式數(shù)據(jù)庫金融應(yīng)用發(fā)展報(bào)告_第2頁
分布式數(shù)據(jù)庫金融應(yīng)用發(fā)展報(bào)告_第3頁
分布式數(shù)據(jù)庫金融應(yīng)用發(fā)展報(bào)告_第4頁
分布式數(shù)據(jù)庫金融應(yīng)用發(fā)展報(bào)告_第5頁
已閱讀5頁,還剩75頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

分布式數(shù)據(jù)庫金融應(yīng)發(fā)展報(bào)告2)目 錄景 1快 1熟 3況 10關(guān) 10設(shè) 13測 15況 21布 21構(gòu) 26用 30署 40份 44果 53述 53析 55、對 1側(cè) 1側(cè) 68一、分布式數(shù)據(jù)庫金融應(yīng)用背景(一)數(shù)字化轉(zhuǎn)型持續(xù)加快國“十四五規(guī)劃明確提出加快數(shù)字化發(fā)展建設(shè)數(shù)字中國金融業(yè)一直以來重視信息科技創(chuàng)新應(yīng)用以人工智能、區(qū)塊鏈大數(shù)據(jù)云計(jì)算等先進(jìn)技術(shù)為代表的金融科技快速發(fā)展助力金融業(yè)解決傳統(tǒng)金融面臨的痛點(diǎn)難點(diǎn)實(shí)現(xiàn)金融服務(wù)的提質(zhì)增效數(shù)據(jù)庫作為金融信息系統(tǒng)的核心基礎(chǔ)設(shè)施有力支撐金融業(yè)數(shù)字化轉(zhuǎn)型北京金融科技產(chǎn)業(yè)聯(lián)(以下簡“聯(lián)盟分布式數(shù)據(jù)庫專委會在開展行業(yè)調(diào)研的基礎(chǔ)上,深入研究并總結(jié)金融業(yè)務(wù)發(fā)展趨勢。業(yè)務(wù)發(fā)展持續(xù)創(chuàng)新隨著互聯(lián)網(wǎng)金融不斷發(fā)展,金融業(yè)在金融服務(wù)場景化、生態(tài)化的趨勢下,業(yè)務(wù)創(chuàng)新發(fā)展需要進(jìn)一步加強(qiáng)多方第合作,以滿足《金融科技發(fā)展規(guī)劃(222205年)》“以市場為導(dǎo)向以需求為牽引深挖數(shù)據(jù)綜合應(yīng)用場景發(fā)揮數(shù)據(jù)和技術(shù)雙輪驅(qū)動(dòng)作用,在服務(wù)實(shí)體經(jīng)濟(jì)、惠及百姓民生、創(chuàng)新驅(qū)動(dòng)發(fā)展助力鄉(xiāng)村振興等領(lǐng)域?qū)崿F(xiàn)數(shù)據(jù)綜合應(yīng)用與多向賦能”的要求。數(shù)字化建設(shè)的業(yè)務(wù)改造過程中數(shù)據(jù)庫轉(zhuǎn)型顯得尤為關(guān)鍵不同種類金融業(yè)務(wù)有著不同的數(shù)據(jù)需求與之相對應(yīng)的數(shù)據(jù)庫不僅需要有海量數(shù)據(jù)存儲能力和高并發(fā)交易支撐能力,還需要針對不同業(yè)務(wù)有多樣化的功能。圍繞客戶體驗(yàn)、精準(zhǔn)營銷風(fēng)險(xiǎn)控制等金融應(yīng)用場景的業(yè)務(wù)創(chuàng)新對數(shù)據(jù)庫技術(shù)提出了“更快捷、更高效、更穩(wěn)定”的要求。業(yè)務(wù)連續(xù)性要求不斷提升數(shù)字化轉(zhuǎn)型發(fā)展的不斷深入進(jìn)一步提高了對金融業(yè)重要業(yè)務(wù)系統(tǒng)運(yùn)行連續(xù)性的要求在移動(dòng)金融加速金融服務(wù)普適化后,以銀行業(yè)為代表的金融領(lǐng)域服務(wù)渠道呈現(xiàn)多渠道、移動(dòng)化和全天候的特征核心業(yè)務(wù)系統(tǒng)對連續(xù)性要求已達(dá)到“365天×24小時(shí)級別使系統(tǒng)維護(hù)補(bǔ)丁升級等對數(shù)據(jù)庫有全局影響的變更操作窗口時(shí)長縮短同時(shí)由于經(jīng)營服務(wù)在社會經(jīng)濟(jì)運(yùn)行中的特殊性質(zhì)監(jiān)管部門對銀行等金融場景的核心業(yè)務(wù)系統(tǒng)的穩(wěn)定連續(xù)性提出了極其嚴(yán)格的要求?!督鹑诳萍及l(fā)展規(guī)劃(202-025年)》也提出了“建高可靠多層級容災(zāi)體系滿足日常生產(chǎn)同城災(zāi)備異地容災(zāi)、極端條件能力保全等需求,提升金融數(shù)據(jù)中心縱深防御能力,逐步形成高可用數(shù)據(jù)中心格局”的要求。隨著金融科技不斷發(fā)展系統(tǒng)變得越來越復(fù)雜數(shù)據(jù)的穩(wěn)定與可靠成為金融業(yè)數(shù)字化轉(zhuǎn)型面臨的主要挑戰(zhàn)之一分布式數(shù)據(jù)庫和數(shù)據(jù)存儲技術(shù)的不斷發(fā)展為金融數(shù)據(jù)的存儲帶來更可靠的保障和容災(zāi)能力的提升以此保證數(shù)據(jù)持續(xù)可靠,做到無損容災(zāi),滿足恢復(fù)點(diǎn)目標(biāo)(RO)、恢復(fù)時(shí)間目標(biāo)(RO)的要求,降低了服務(wù)器斷電、宕機(jī)、硬盤損壞、自然災(zāi)害等意外場景對金融業(yè)務(wù)帶來的影響。業(yè)務(wù)遷移更加平滑金融業(yè)的應(yīng)用軟件最高優(yōu)先級關(guān)注點(diǎn)就是穩(wěn)定性數(shù)字化轉(zhuǎn)型過程中首先追求穩(wěn)定從銀行等金融機(jī)構(gòu)部署架構(gòu)趨勢來看早期通常是將服務(wù)器集中部署在大型機(jī)上為的就是穩(wěn)定高效多并發(fā)隨著應(yīng)用的發(fā)展基于服務(wù)器來搭建不同應(yīng)用的架構(gòu)成為趨勢Orcle數(shù)據(jù)庫開始席卷市場。后來X86服務(wù)器興起引起應(yīng)用架構(gòu)發(fā)生變化盡管這時(shí)候數(shù)據(jù)庫市場還離不開OaceDB但百花齊放的理念已經(jīng)萌芽如今在分布式數(shù)據(jù)庫技術(shù)蓬勃發(fā)展的前提下金融業(yè)將部署在Oace、DB2等數(shù)據(jù)庫上的數(shù)據(jù)遷移至其他分布式數(shù)據(jù)庫產(chǎn)品上時(shí)必須平滑的實(shí)現(xiàn)新舊系統(tǒng)的替換以降低新技術(shù)轉(zhuǎn)型帶來的風(fēng)險(xiǎn),需要特別關(guān)注穩(wěn)定性的保障,容災(zāi)過程當(dāng)中RORO的真實(shí)情況同城異地RPO等重點(diǎn)。業(yè)務(wù)動(dòng)態(tài)擴(kuò)展需求逐步加強(qiáng)為應(yīng)對線上金融突發(fā)的業(yè)務(wù)增長場景如搶購秒殺等,金融業(yè)基于持續(xù)進(jìn)步的技術(shù)手段不斷快速創(chuàng)新和發(fā)展金融應(yīng)用從追求業(yè)務(wù)多元化到追求場景化創(chuàng)新業(yè)務(wù)創(chuàng)新再到金融數(shù)字化轉(zhuǎn)型深入推進(jìn)新應(yīng)用對金融系統(tǒng)的技術(shù)架構(gòu)有了更為嚴(yán)格的標(biāo)準(zhǔn)和要求在業(yè)務(wù)轉(zhuǎn)型過程中金融機(jī)構(gòu)須充分考慮應(yīng)用架構(gòu)和數(shù)據(jù)庫部署架構(gòu)可動(dòng)態(tài)擴(kuò)展性要求,并且在擴(kuò)縮容過程中保持對業(yè)務(wù)透明。(二)數(shù)據(jù)庫技術(shù)不斷成熟歷史沿革20世紀(jì)50年代,計(jì)算機(jī)開始應(yīng)用于數(shù)據(jù)管理方面。但傳統(tǒng)的文件系統(tǒng)無法滿足數(shù)據(jù)指數(shù)型增長帶來的數(shù)據(jù)管理、數(shù)據(jù)共享、數(shù)據(jù)檢索的訴求。為了解決以上問題,60年代,數(shù)據(jù)庫誕生。數(shù)據(jù)庫的核心理論支撐是數(shù)據(jù)模型最早一代的數(shù)據(jù)庫采用的是網(wǎng)狀數(shù)據(jù)模型和層次數(shù)據(jù)模型但這兩種數(shù)據(jù)庫在數(shù)據(jù)獨(dú)立性和抽象級別上都有很大的欠缺為了解決這些問題190年關(guān)系數(shù)據(jù)模型的發(fā)表奠定了關(guān)系數(shù)據(jù)庫的理論基礎(chǔ),具有里程碑式的時(shí)代意義。隨后,IBM在該關(guān)系數(shù)據(jù)模型的基礎(chǔ)上于20世紀(jì)80年代發(fā)布了D2數(shù)據(jù)庫系統(tǒng)。與此同時(shí),Orcle,Syase,MirooftSQLSever、Inori、PstreQL等其他眾多的數(shù)據(jù)庫系統(tǒng)開始問世。經(jīng)過幾十年的發(fā)展和實(shí)際應(yīng)用關(guān)系型數(shù)據(jù)庫技術(shù)越來越成熟和完善當(dāng)前關(guān)系型數(shù)據(jù)庫仍占據(jù)著全球數(shù)據(jù)庫的主要市場。隨著互聯(lián)網(wǎng)的興起數(shù)據(jù)量爆炸式增長單機(jī)數(shù)據(jù)庫越來越難滿足大規(guī)模數(shù)據(jù)的需求在互聯(lián)網(wǎng)金融移動(dòng)金融的快速發(fā)展下移動(dòng)互聯(lián)網(wǎng)帶來的渠道和服務(wù)的多樣化如銀企互聯(lián)移動(dòng)支付等引起業(yè)務(wù)量數(shù)據(jù)規(guī)模以及瞬間峰(搶購的快速增長傳統(tǒng)單機(jī)數(shù)據(jù)庫無法滿足業(yè)務(wù)性能容量的需求,分布式數(shù)據(jù)庫在這個(gè)背景下應(yīng)運(yùn)而生。20世紀(jì)90年代以來,分布式數(shù)據(jù)庫從技術(shù)研究開始進(jìn)入商業(yè)化應(yīng)用階段逐漸成為了數(shù)據(jù)庫領(lǐng)域的主流方向之一也成為金融分布式新核心技術(shù)架構(gòu)的基礎(chǔ)。從整體來看數(shù)據(jù)庫行業(yè)發(fā)展經(jīng)歷“單機(jī)時(shí)代“集群時(shí)代“分布式時(shí)代“分布式和云時(shí)代”如表1和圖1所示:表1表代間件品代9-0014年IM出STMN。于IM30的IS層和D2于M和NX統(tǒng)的Oce據(jù)庫代0-1221布OceACOceR、yL等代0-1722發(fā)布SnrGgepnry等代07今27推出Cudpn布Aoa文CudSn、WSAo、nfkMSze等圖1圖技術(shù)趨勢金融業(yè)在進(jìn)行數(shù)字化轉(zhuǎn)型的過程中須以應(yīng)用場景為牽引推動(dòng)以分布式數(shù)據(jù)庫為代表的關(guān)鍵核心技術(shù)持續(xù)迭代善,讓技術(shù)成為金融業(yè)務(wù)發(fā)展的“新引擎”。當(dāng)前的金融業(yè)核心業(yè)務(wù)系統(tǒng)呈現(xiàn)由集中式走向分布式的發(fā)展趨勢數(shù)據(jù)庫作為核心基礎(chǔ)軟件之一未來也將面臨承載金融應(yīng)用向分布式轉(zhuǎn)型的挑戰(zhàn)從之前數(shù)據(jù)庫技術(shù)的發(fā)展歷程來看未來分布式數(shù)據(jù)庫技術(shù)的發(fā)展將呈現(xiàn)五大技術(shù)趨勢:資源服務(wù)化當(dāng)管理的數(shù)據(jù)庫實(shí)例數(shù)量上千后不但運(yùn)維成(OPX)增加而且數(shù)據(jù)庫的管理運(yùn)維挑戰(zhàn)將會呈現(xiàn)指數(shù)型上升數(shù)據(jù)庫管理人(DB如果投入大量時(shí)間在硬件操作系統(tǒng),安裝部署升級等運(yùn)維工作上,將無法聚焦核心價(jià)值。因此,數(shù)據(jù)庫產(chǎn)品的發(fā)展趨勢之一將是利用虛擬化容器化等云基礎(chǔ)設(shè)施實(shí)現(xiàn)彈性伸縮高效安全的運(yùn)維管理能力實(shí)現(xiàn)數(shù)據(jù)庫的服務(wù)化和資源化,提升數(shù)據(jù)庫運(yùn)維管理能力。運(yùn)維智能化隨著卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的普及AI能力下沉到數(shù)據(jù)庫成為未來另一發(fā)展趨勢。通過與AI技術(shù)結(jié)合,有望提升數(shù)庫的自學(xué)習(xí)能力,從而提升數(shù)據(jù)庫在運(yùn)維過程中的參數(shù)配置索引制定路徑規(guī)劃的自處理能力實(shí)現(xiàn)自監(jiān)控自診斷自優(yōu)化和自安全端到端運(yùn)維管理技術(shù)提升數(shù)據(jù)庫產(chǎn)的可用性和高性能,達(dá)到優(yōu)化SQL、提高效率、降低運(yùn)維成本的作用。數(shù)據(jù)庫密態(tài)化攻擊數(shù)據(jù)庫竊取信息是當(dāng)今信息系統(tǒng)的一個(gè)主要安全問題數(shù)據(jù)泄露或被篡改等安全事件對企業(yè)和組織帶來的損失將是多方面的既有可量化的經(jīng)濟(jì)損失也有不可量化的品牌信譽(yù)和業(yè)務(wù)影響。因此,確保數(shù)據(jù)庫安全越來越重要。數(shù)據(jù)庫的另一發(fā)展趨勢是密態(tài)化即無論在何種業(yè)務(wù)場景和環(huán)境下數(shù)據(jù)在傳輸運(yùn)算以及存儲的各個(gè)環(huán)節(jié)始終都處于密文狀態(tài)當(dāng)數(shù)據(jù)擁有者在客戶端完成數(shù)據(jù)加密并發(fā)送給服務(wù)端后在攻擊者借助系統(tǒng)脆弱點(diǎn)竊取用戶數(shù)據(jù)的情況下仍然無法獲得有效的價(jià)值信息,從而起到保護(hù)數(shù)據(jù)隱私的作用。設(shè)計(jì)松耦合從新技術(shù)的前瞻性來看分布式數(shù)據(jù)庫的核心價(jià)值在于數(shù)據(jù)庫資源池在保證與傳統(tǒng)數(shù)據(jù)庫兼容的基礎(chǔ)上必須滿足分布式彈性擴(kuò)張當(dāng)資源池空間和計(jì)算能力不足時(shí)需要通過動(dòng)態(tài)增加計(jì)算存儲節(jié)點(diǎn)的方式進(jìn)行擴(kuò)容隨著系統(tǒng)的功能的添加新的實(shí)體對象的加入新的關(guān)系關(guān)聯(lián)修改數(shù)據(jù)庫將變得困難重重因此逐步松耦合成為數(shù)據(jù)庫設(shè)計(jì)的發(fā)展趨勢表現(xiàn)在將訪問層與內(nèi)核層松耦合將計(jì)算層與存儲層松耦合訪問層具備兼容多種生態(tài)接口一個(gè)數(shù)據(jù)庫支持多種插件兼容多種引擎提供標(biāo)準(zhǔn)的統(tǒng)一接口屏蔽掉不同引擎的差異性存算分離技術(shù)是實(shí)現(xiàn)松耦合的一種比較典型的技術(shù)類型可以將傳統(tǒng)分布式數(shù)據(jù)庫的存儲組(數(shù)據(jù)持久化)與計(jì)算組件(計(jì)算與內(nèi)存管理)分開。混合負(fù)載處理隨著金融機(jī)構(gòu)數(shù)據(jù)量不斷增長數(shù)據(jù)業(yè)務(wù)場景的日益復(fù)雜數(shù)據(jù)庫技術(shù)不再僅僅只面向于結(jié)構(gòu)化的OLP數(shù)據(jù)交易,需要進(jìn)一步擴(kuò)展到面向多樣化數(shù)據(jù)實(shí)時(shí)對客服務(wù)的負(fù)責(zé)場景傳統(tǒng)的在線數(shù)據(jù)庫拆分后的架構(gòu)也需滿足一些關(guān)聯(lián)統(tǒng)計(jì)和實(shí)時(shí)分析的要求在此類需求的驅(qū)動(dòng)下分布式數(shù)據(jù)庫數(shù)據(jù)處理分析的實(shí)時(shí)性和融合性都將有所提升??蛻艨赏ㄟ^HTP技術(shù)在支持高并發(fā)在線吞吐的同時(shí)提供海量數(shù)據(jù)的實(shí)時(shí)在線分析能力實(shí)現(xiàn)在線業(yè)務(wù)團(tuán)隊(duì)的實(shí)時(shí)分析會員營銷等。二、分布式數(shù)據(jù)庫金融應(yīng)用進(jìn)展情況(一)關(guān)鍵技術(shù)攻關(guān)人民銀行《金融科技發(fā)展規(guī)劃(202-225年)》提出“深化關(guān)鍵核心技術(shù)應(yīng)用”“加強(qiáng)核心技術(shù)的應(yīng)用攻關(guān)”。傳統(tǒng)的數(shù)據(jù)庫性能主要依賴于硬件能力但隨著摩爾定律失效數(shù)據(jù)庫的性能高并發(fā)能力擴(kuò)展都出現(xiàn)了瓶頸難以有較大突破分布式數(shù)據(jù)庫具有高性能高可靠低成本平滑擴(kuò)容等優(yōu)勢能較好地適應(yīng)當(dāng)前金融領(lǐng)域數(shù)據(jù)庫的應(yīng)用要求順應(yīng)數(shù)據(jù)庫技術(shù)未來的發(fā)展方向聯(lián)盟在落《金融科(FiTeh發(fā)展規(guī)(209-021年《金融科技發(fā)展規(guī)劃(22-225年)》要求的過程中,探索產(chǎn)用聯(lián)合新模式有計(jì)劃分步驟地穩(wěn)妥推動(dòng)分布式數(shù)據(jù)庫產(chǎn)品先行先試。搭建平臺考慮分布式數(shù)據(jù)庫在硬件條件系統(tǒng)架構(gòu)和關(guān)鍵技術(shù)上與傳統(tǒng)數(shù)據(jù)庫存在較大差異聯(lián)盟開展分布式數(shù)據(jù)庫金融應(yīng)用數(shù)據(jù)強(qiáng)一致性服務(wù)高可用分布式事務(wù)隔離級別語法支持與遷移復(fù)雜計(jì)算性能容量彈性伸縮異構(gòu)復(fù)制、運(yùn)維監(jiān)控等關(guān)鍵技術(shù)的多項(xiàng)研究推動(dòng)金融領(lǐng)域數(shù)據(jù)庫上下游適配性驗(yàn)證聯(lián)合金融業(yè)有分布式數(shù)據(jù)庫成功實(shí)施經(jīng)驗(yàn)的銀行機(jī)構(gòu)和國內(nèi)數(shù)據(jù)庫廠家調(diào)研銀行機(jī)構(gòu)基礎(chǔ)設(shè)施整理方案和實(shí)施經(jīng)驗(yàn)形成國內(nèi)分布式數(shù)據(jù)庫典型應(yīng)用案例解決分布式數(shù)據(jù)庫在金融應(yīng)用中存在的數(shù)據(jù)一致性服務(wù)可靠性難題推動(dòng)會員間科技創(chuàng)新合作發(fā)揮不同業(yè)態(tài)的比較優(yōu)勢,促進(jìn)分布式數(shù)據(jù)庫技術(shù)與金融業(yè)務(wù)深度融合。一是創(chuàng)造舞臺落實(shí)重點(diǎn)工作任務(wù)征集機(jī)制廣泛研究,充分調(diào)查,辨識分布式數(shù)據(jù)庫在金融業(yè)應(yīng)用中遇到的“急、重險(xiǎn)難的關(guān)鍵問題并將其作為推動(dòng)分布式數(shù)據(jù)庫技術(shù)成熟發(fā)展的著力點(diǎn)“以點(diǎn)帶面激發(fā)金融領(lǐng)域的科技創(chuàng)新活力。二是建立牽頭單“掛帥責(zé)任制促成金融機(jī)構(gòu)和科技公司項(xiàng)目結(jié)對形成多方共商的工作機(jī)制在處理重點(diǎn)工作的過程中,鼓勵(lì)大型金融機(jī)構(gòu)和科技企業(yè)進(jìn)行創(chuàng)新突破,組織中小企業(yè)積極貢獻(xiàn)智慧,激發(fā)不同主體的科技創(chuàng)新活力合力解決制約分布式數(shù)據(jù)庫技術(shù)在金融業(yè)穩(wěn)妥發(fā)展的關(guān)鍵技術(shù)難題。三是拓展多重成果推廣渠道,重視聯(lián)合攻關(guān)成果的呈現(xiàn)采用論壇講堂、專題講座案例分享、課題匯報(bào)等方式積極宣傳匯報(bào)攻關(guān)進(jìn)程樹立行業(yè)標(biāo)桿和模板以榜樣的示范引導(dǎo)作用,帶動(dòng)整個(gè)行業(yè)探索實(shí)施分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用的熱情推動(dòng)重大應(yīng)用成果產(chǎn)出的行業(yè)共享助力金融服務(wù)提質(zhì)增效。推動(dòng)攻關(guān)220年聯(lián)盟組織研究了分布式數(shù)據(jù)庫產(chǎn)品在容災(zāi)和遷移2個(gè)應(yīng)用場景中的重、難點(diǎn)問題。分布式數(shù)據(jù)庫容災(zāi)該課題分為容災(zāi)調(diào)研和容災(zāi)案例兩部分容災(zāi)調(diào)研方面為了解銀行信息系統(tǒng)的容災(zāi)要求課題組對多家銀行進(jìn)行IT基礎(chǔ)設(shè)施和關(guān)鍵信息系統(tǒng)容災(zāi)要求進(jìn)行了詳實(shí)調(diào)研形成《金融行業(yè)分布式事務(wù)數(shù)據(jù)庫容災(zāi)需求調(diào)研報(bào)告容災(zāi)案例方面多個(gè)數(shù)據(jù)庫廠家都提供了具有實(shí)際意義的銀行應(yīng)用實(shí)踐并在案例中較為詳細(xì)地描述了項(xiàng)目背景采用的數(shù)據(jù)庫關(guān)鍵技術(shù)容災(zāi)目標(biāo)設(shè)計(jì)方案、典型災(zāi)難場景切換過程驗(yàn)證和實(shí)施過程等內(nèi)容容災(zāi)課題用實(shí)踐經(jīng)驗(yàn)為正在應(yīng)用分布式數(shù)據(jù)庫或有應(yīng)用計(jì)劃的金融單位開展相關(guān)工作提供了有價(jià)值的參考。分布式數(shù)據(jù)庫遷移該課題聯(lián)合金融業(yè)有分布式數(shù)據(jù)庫成功遷移案例的金融機(jī)構(gòu)和國內(nèi)數(shù)據(jù)庫廠家結(jié)合實(shí)踐案例和成功經(jīng)驗(yàn),形成國內(nèi)分布式數(shù)據(jù)庫應(yīng)用遷移典型技術(shù)方案為金融業(yè)在進(jìn)行主流數(shù)據(jù)庫向國內(nèi)分布式數(shù)據(jù)庫遷移時(shí)提供參考借鑒遷移課題輸出了多份完整的遷移方案從預(yù)評估前期驗(yàn)證業(yè)務(wù)及數(shù)據(jù)庫規(guī)劃業(yè)務(wù)改造與測試數(shù)據(jù)遷移投產(chǎn)切換運(yùn)維保障7個(gè)階段描述了銀行實(shí)際遷移項(xiàng)目的實(shí)施情況并在方案中對整體遷移過程進(jìn)行了分析總結(jié)對項(xiàng)目增效進(jìn)行了估算用實(shí)踐證明了從主流數(shù)據(jù)庫向國內(nèi)分布式數(shù)據(jù)庫應(yīng)用遷移切實(shí)可行為正在準(zhǔn)備遷移或有遷移計(jì)劃的金融單位樹立遷移成功信心提供開展相關(guān)工作的參考。221年聯(lián)盟陸續(xù)完成《分布式數(shù)據(jù)庫金融應(yīng)用評價(jià)模型《分布式數(shù)據(jù)庫混合應(yīng)用負(fù)(HTP研究《分布式數(shù)據(jù)庫運(yùn)維體系建設(shè)指引等課題并發(fā)布了相關(guān)研究成果。分布式數(shù)據(jù)庫金融應(yīng)用評價(jià)模型該課題以分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用系列金融行業(yè)標(biāo)準(zhǔn)為依據(jù)在統(tǒng)一的測試方法和計(jì)算模型下對分布式數(shù)據(jù)庫進(jìn)行量化評價(jià)為監(jiān)管構(gòu)和金融機(jī)構(gòu)進(jìn)一步了解數(shù)據(jù)庫產(chǎn)品的特性和發(fā)展情況提供數(shù)據(jù)支持同時(shí)通過對權(quán)重的調(diào)整在一定程度上引導(dǎo)數(shù)據(jù)庫產(chǎn)業(yè)的發(fā)展方向。分布式數(shù)據(jù)庫運(yùn)維體系建設(shè)指引該課題分析了分布式數(shù)據(jù)庫的引入對于傳統(tǒng)運(yùn)維體系和運(yùn)維能力提出的挑戰(zhàn)嘗試總結(jié)運(yùn)維實(shí)踐的經(jīng)驗(yàn)從分布式數(shù)據(jù)庫的系統(tǒng)設(shè)計(jì)開發(fā)測試投產(chǎn)上線生產(chǎn)變更日常運(yùn)維以及下線管理等方面出發(fā)對分布式數(shù)據(jù)庫產(chǎn)品應(yīng)具備的運(yùn)維能力標(biāo)準(zhǔn)和監(jiān)控指標(biāo)體系進(jìn)行需求調(diào)研對分布式數(shù)據(jù)庫在技術(shù)引入過程中運(yùn)維管理體系提供指導(dǎo)與建議為各分布式數(shù)據(jù)庫廠商提供參考。分布式數(shù)據(jù)庫上云及多租戶指引該課題在關(guān)系型數(shù)據(jù)庫為信息系統(tǒng)核心軟件嘗試附加云化能力的背景下以向企業(yè)用戶提供符合需求可靈活配置的分布式數(shù)據(jù)庫云服務(wù)為目標(biāo)通過充分調(diào)研收集到自動(dòng)進(jìn)行數(shù)據(jù)庫的基礎(chǔ)設(shè)施適配方便部署和對外提供透明的數(shù)據(jù)庫資源池化服務(wù)等方面的需求詳細(xì)對照分析了數(shù)據(jù)庫上云及多租戶的價(jià)值將分布式數(shù)據(jù)庫與云計(jì)算基礎(chǔ)設(shè)計(jì)算存儲與網(wǎng)絡(luò)相匹配,提出了恰當(dāng)?shù)姆植际綌?shù)據(jù)庫上云及多租戶方案進(jìn)行了分布式數(shù)據(jù)庫上云及多租戶的發(fā)展趨勢的預(yù)測為各分布式數(shù)據(jù)庫廠商提供參考。(二)多層次標(biāo)準(zhǔn)建設(shè)習(xí)近平總書記強(qiáng)“標(biāo)準(zhǔn)決定質(zhì)量有什么樣的標(biāo)準(zhǔn)就有什么樣的質(zhì)量只有高標(biāo)準(zhǔn)才有高質(zhì)量金融標(biāo)準(zhǔn)是我國金融業(yè)健康發(fā)展的有力支撐在防范化解金融風(fēng)險(xiǎn)中具有重要作用當(dāng)前分布式數(shù)據(jù)庫正處于從起步階段向加速階段快速發(fā)展的關(guān)鍵時(shí)期打造一“以國家標(biāo)準(zhǔn)為底線行業(yè)標(biāo)準(zhǔn)為門檻企業(yè)標(biāo)準(zhǔn)為標(biāo)桿的新型標(biāo)準(zhǔn)體系是分布式數(shù)據(jù)庫在金融業(yè)能夠快速部署穩(wěn)定運(yùn)行集約化發(fā)展的基礎(chǔ)前提。行業(yè)標(biāo)準(zhǔn)為穩(wěn)步推動(dòng)分布式數(shù)據(jù)庫金融應(yīng)用實(shí)現(xiàn)基礎(chǔ)設(shè)施數(shù)據(jù)高效存儲和彈性擴(kuò)展規(guī)范分布式數(shù)據(jù)庫技術(shù)在金融領(lǐng)域應(yīng)用人民銀行于200年11月發(fā)《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范技術(shù)架構(gòu)》(JR/T003200)《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范安全技術(shù)要求(JR/T024-02《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范災(zāi)難恢復(fù)要求》(R/T025-02)等一系列行業(yè)標(biāo)準(zhǔn)(以下簡稱《行標(biāo)》)?!缎袠?biāo)從強(qiáng)化分布式數(shù)據(jù)庫技術(shù)對金融服務(wù)的技術(shù)支撐提升分布式數(shù)據(jù)庫技術(shù)對業(yè)務(wù)連續(xù)性和信息安全的保障能力的角度出發(fā)包含技術(shù)架構(gòu)災(zāi)難恢復(fù)安全要求等三項(xiàng)主要內(nèi)容有分布式事務(wù)數(shù)據(jù)庫的技術(shù)框架功能特性、運(yùn)維管理基礎(chǔ)支撐保障用戶管理訪問控制數(shù)據(jù)安全、監(jiān)控預(yù)警密鑰管理安全管理安全審計(jì)容災(zāi)能力分級、災(zāi)備技術(shù)要求災(zāi)備管理流程等分布式數(shù)據(jù)庫金融應(yīng)用規(guī)范內(nèi)容見圖2。圖2圖團(tuán)體標(biāo)準(zhǔn)聯(lián)盟于201年4月發(fā)布團(tuán)體標(biāo)準(zhǔn)《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用評估規(guī)范(T_FIA00-221并于202年4月發(fā)布團(tuán)體標(biāo)準(zhǔn)《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用檢測指南》(T_FIA00-22)配合行標(biāo)的實(shí)施落地。其中評估規(guī)范對《行標(biāo)要求給出對應(yīng)的配套檢測方法對分布式事務(wù)數(shù)據(jù)庫的測試指標(biāo)模型等進(jìn)行標(biāo)準(zhǔn)化檢測指南是對評估規(guī)范的補(bǔ)充,詳細(xì)描述了測評對象的測評指標(biāo)、測評要求、測評步驟及結(jié)果判定等內(nèi)容以上團(tuán)體標(biāo)準(zhǔn)為分布式數(shù)據(jù)庫在金融領(lǐng)域應(yīng)用中為各方提供行業(yè)評估指導(dǎo)從而強(qiáng)化分布式數(shù)據(jù)庫技術(shù)對金融服務(wù)的技術(shù)支撐提升分布式數(shù)據(jù)庫技術(shù)對業(yè)務(wù)連續(xù)性和信息安全的保障能力。(三)產(chǎn)品質(zhì)量檢測分布式數(shù)據(jù)庫金融應(yīng)用質(zhì)量檢測體(下文“檢測體系的目標(biāo)是在進(jìn)行分布式數(shù)據(jù)庫金融應(yīng)用標(biāo)準(zhǔn)驗(yàn)證的同時(shí)促進(jìn)企業(yè)完善產(chǎn)品提升產(chǎn)品在行業(yè)應(yīng)用中的適用性高效性相關(guān)單位通過制定標(biāo)準(zhǔn)標(biāo)準(zhǔn)驗(yàn)證和產(chǎn)品認(rèn)證三個(gè)環(huán)節(jié)推進(jìn)健全質(zhì)量檢測體系并以標(biāo)準(zhǔn)落地實(shí)施為手段依安全評估產(chǎn)品評測等方式持續(xù)強(qiáng)化分布式數(shù)據(jù)庫產(chǎn)品安與質(zhì)量管理不斷提升其對金融業(yè)務(wù)的支撐能力質(zhì)量檢體系主要包含以下幾個(gè)方面:標(biāo)準(zhǔn)驗(yàn)證與適配性驗(yàn)證標(biāo)準(zhǔn)驗(yàn)證以行業(yè)標(biāo)準(zhǔn)為依據(jù)以團(tuán)體標(biāo)準(zhǔn)為指導(dǎo)從能安全防護(hù)能力容災(zāi)恢復(fù)能力和性能四個(gè)方面細(xì)分為337個(gè)檢測項(xiàng)對分布式數(shù)據(jù)庫產(chǎn)品進(jìn)行驗(yàn)證。標(biāo)準(zhǔn)驗(yàn)證過程采用統(tǒng)一的方法和模型可公正客觀的體現(xiàn)數(shù)據(jù)庫產(chǎn)品項(xiàng)能力,達(dá)成以下三方面目的:一是驗(yàn)證數(shù)據(jù)庫廠商的產(chǎn)品是否符合行業(yè)標(biāo)準(zhǔn)是否滿足金融應(yīng)用的最基本要求。二是結(jié)合標(biāo)準(zhǔn)驗(yàn)證工作,進(jìn)一步打磨完善標(biāo)準(zhǔn)適用性、有效性,建立健全分布式數(shù)據(jù)庫技術(shù)標(biāo)準(zhǔn)體系。三是幫助金融機(jī)構(gòu)縮小產(chǎn)品選型范圍減輕選型及調(diào)研成本。適配性驗(yàn)證測試是在分布式數(shù)據(jù)庫產(chǎn)品完成金融標(biāo)準(zhǔn)驗(yàn)證的基礎(chǔ)上驗(yàn)證其在不同架構(gòu)國產(chǎn)化測試環(huán)境中功能正確性同時(shí)分析比較進(jìn)行同等計(jì)算資源國產(chǎn)化環(huán)境遷移時(shí)分布式數(shù)據(jù)庫處理能力以及系統(tǒng)穩(wěn)定性差異適配性測試結(jié)果可以體現(xiàn)兩個(gè)方面的情況一是分布式數(shù)據(jù)庫產(chǎn)品與國產(chǎn)芯片的適配程度二是分布式數(shù)據(jù)產(chǎn)品與國產(chǎn)操作系統(tǒng)的適配程度。應(yīng)用規(guī)范評價(jià)模型標(biāo)準(zhǔn)驗(yàn)證與適配性驗(yàn)證同屬于分布式數(shù)據(jù)庫產(chǎn)品的合規(guī)性驗(yàn)證。通過驗(yàn)證的產(chǎn)品能夠滿足金融業(yè)應(yīng)用的普通要求為了進(jìn)一步提升行業(yè)機(jī)構(gòu)對數(shù)據(jù)庫產(chǎn)品的了解從符合要求的產(chǎn)品中選擇出更加優(yōu)秀的產(chǎn)品聯(lián)盟還制定了分布式數(shù)據(jù)庫金融應(yīng)用評價(jià)模型(以下簡稱“評價(jià)模型”)。評價(jià)模型是以分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范為依托,采用統(tǒng)一的測試方法和計(jì)算模型對分布式數(shù)據(jù)庫能力進(jìn)行量化評價(jià)評價(jià)結(jié)果可為監(jiān)管機(jī)構(gòu)和金融機(jī)構(gòu)進(jìn)一步了解數(shù)據(jù)庫產(chǎn)品的特性和發(fā)展情況提供數(shù)據(jù)支持同時(shí)計(jì)算模型中測試用例具有權(quán)重調(diào)整權(quán)重的比值可影響評價(jià)結(jié)果從而引導(dǎo)數(shù)據(jù)庫產(chǎn)業(yè)發(fā)展方向。目前評價(jià)模型具備以下特性:一是多維度評價(jià)從基本功能分布式事務(wù)及存儲運(yùn)維管理安全管理高可用容災(zāi)和性能等六個(gè)維度對數(shù)據(jù)庫系統(tǒng)進(jìn)行全面評價(jià)每個(gè)維度的得分都是該維度內(nèi)各檢測項(xiàng)得分的加權(quán)平均值。二是定義核心評價(jià)項(xiàng)在評價(jià)模型中結(jié)合金融機(jī)構(gòu)對數(shù)據(jù)庫功能的核心需求劃分了核心檢測項(xiàng)核心檢測項(xiàng)采用一票否決機(jī)制數(shù)據(jù)庫產(chǎn)品如在某一維度不滿足核心檢測項(xiàng),該維度的得分為0分。三是設(shè)計(jì)分級測試用例評價(jià)模型通過基礎(chǔ)測試用例判斷檢測項(xiàng)是否符合標(biāo)準(zhǔn)要求通過增強(qiáng)測試用例體現(xiàn)數(shù)據(jù)庫對應(yīng)金融應(yīng)用需求的完善程度各檢測用例按照重要程度賦予不同的分值所以各檢測項(xiàng)的實(shí)際得分體現(xiàn)出了被測數(shù)據(jù)庫產(chǎn)品的綜合性能和特點(diǎn)。金融場景測試套件目前分布式數(shù)據(jù)庫產(chǎn)品在金融業(yè)選型及能力測評還未有統(tǒng)一的標(biāo)準(zhǔn)和模型傳統(tǒng)性能測試所采用的通用數(shù)據(jù)庫基準(zhǔn)測試包括基于隨機(jī)讀寫模型的Sybec基于倉庫進(jìn)銷存模型的TC-C等但這些基準(zhǔn)測試業(yè)務(wù)模型相對簡單與金融業(yè)數(shù)據(jù)庫應(yīng)用場景有明顯差異難以體現(xiàn)金融應(yīng)用中使用數(shù)據(jù)庫的特點(diǎn)。分布式數(shù)據(jù)庫測試套件基于金融核心交易場景的測試模型在金融賬務(wù)系統(tǒng)的基礎(chǔ)上以存取款轉(zhuǎn)賬賬戶查詢結(jié)息批量等核心交易場景為基礎(chǔ)借鑒通用數(shù)據(jù)庫基準(zhǔn)測試的設(shè)計(jì)思路通過抽象歸納和簡化設(shè)計(jì)形成以金融業(yè)務(wù)交易場景訪問數(shù)據(jù)的性能測試模型和方法用于指導(dǎo)金融業(yè)分布式數(shù)據(jù)庫選型和性能測評。金融場景測試套件具備以下特點(diǎn)。場景設(shè)計(jì):測試套件基于真實(shí)銀行業(yè)核心系統(tǒng),假設(shè)一個(gè)銀行如圖3所示,有M個(gè)機(jī)構(gòu)、N個(gè)柜員,初始有P個(gè)賬戶,每個(gè)賬戶有一定初始金額。同一時(shí)刻有T個(gè)操作柜員并發(fā)地發(fā)起業(yè)務(wù)交易。圖3圖核心交易:測試套件選取金融業(yè)核心系統(tǒng)最具有代表性的9個(gè)交易,如表2所示:表2表碼稱稱比1立AON12款A(yù)DOT53款A(yù)DW54賬ATNER605詢AQRY56詢ADQRY47息AISTE量8理AVIY量9付APY20熱點(diǎn)交易場景:熱點(diǎn)交易指“賬戶支付”交易中的10集中訪問某個(gè)特定賬戶。測試套件對此類情況進(jìn)行了測試。測試套件考慮了數(shù)據(jù)庫的分布式事務(wù)能力包括:原子性:利用“一對一轉(zhuǎn)賬(ACTANFE)”交易驗(yàn)證分布式事務(wù)的驗(yàn)證性。一致性:利用“對賬處理(ACVRIY)”交易證分布式事務(wù)的一致性。隔離性:利用“賬戶明細(xì)查詢(ACDTQER)”交易驗(yàn)證分布式事務(wù)的隔離性。持久性通過分布式事務(wù)的交易日志和數(shù)據(jù)庫志的比對驗(yàn)證分布式事務(wù)的持久性。三、分布式數(shù)據(jù)庫金融應(yīng)用情況(一)類型分布分布式數(shù)據(jù)庫經(jīng)過了整個(gè)金融業(yè)3年的實(shí)踐已經(jīng)有眾多的金融應(yīng)用上線。聯(lián)盟對部分的金融機(jī)構(gòu)進(jìn)行了抽樣調(diào)查,分析了當(dāng)前國內(nèi)分布式數(shù)據(jù)庫在金融業(yè)的應(yīng)用分布情況以下將從客戶類型資產(chǎn)負(fù)債類型與系統(tǒng)建設(shè)類型三不同的維度,分析分布式數(shù)據(jù)庫應(yīng)用的分布情況。按客戶類型劃分隨著金融業(yè)從“以渠道為中心”、“以產(chǎn)品為中心”、“以賬務(wù)為中心轉(zhuǎn)型“以客戶為中心將行業(yè)應(yīng)用從客戶類型的角度劃分為個(gè)人業(yè)務(wù)企業(yè)業(yè)務(wù)和同業(yè)業(yè)務(wù)三類如表3所示:型念例務(wù)型念例務(wù)存業(yè)型。務(wù)賬型等務(wù)服通型資、個(gè)人業(yè)務(wù)是指金融機(jī)構(gòu)以個(gè)人客戶為服務(wù)對象,提供存款貸款支付結(jié)算等服務(wù)的業(yè)務(wù)類型例如個(gè)人繳費(fèi)、個(gè)人存取款、個(gè)人轉(zhuǎn)賬等。企業(yè)業(yè)務(wù):是指金融機(jī)構(gòu)以企業(yè)和政府為服務(wù)對象提供賬務(wù)類服務(wù)的業(yè)務(wù)類型例如對公轉(zhuǎn)賬工資代發(fā)等。同業(yè)業(yè)務(wù):是指金融機(jī)構(gòu)以金融同業(yè)客戶為服務(wù)對象,以同業(yè)資金融通為核心的業(yè)務(wù)類型,例如同業(yè)存放、債券投資、同業(yè)拆借、外匯買賣等。根據(jù)聯(lián)盟221年對近30個(gè)金融機(jī)構(gòu)分布式數(shù)據(jù)庫應(yīng)用案例的調(diào)研情況進(jìn)行統(tǒng)計(jì):個(gè)人業(yè)務(wù)類型應(yīng)用占比約36,企業(yè)業(yè)務(wù)應(yīng)用占比約36,同業(yè)業(yè)務(wù)應(yīng)用占比28。從調(diào)研結(jié)果分析目前國內(nèi)的分布式數(shù)據(jù)庫應(yīng)用在客戶類型方面沒有明顯側(cè)重在個(gè)人業(yè)務(wù)企業(yè)業(yè)務(wù)與同業(yè)業(yè)務(wù)相關(guān)的應(yīng)用試點(diǎn)的比例相差不大按客戶分類的業(yè)務(wù)分布比例見圖4。圖4)按資產(chǎn)負(fù)債類型劃分金融業(yè)應(yīng)用從資產(chǎn)負(fù)債類型維度來劃分可以分為負(fù)債業(yè)務(wù)、資產(chǎn)業(yè)務(wù)和中間業(yè)務(wù)三類,如表4所示:表4)型念例務(wù)戶金對。、。務(wù)將戶負(fù),移。、。務(wù)和金客業(yè)式。業(yè)。負(fù)債業(yè)務(wù):是指由金融客戶將資金的使用權(quán)轉(zhuǎn)移到了金融機(jī)構(gòu)構(gòu)成了金融機(jī)構(gòu)對客戶負(fù)債的一種業(yè)務(wù)一般個(gè)人負(fù)債指的就是各類活定期存款企業(yè)負(fù)債則是企業(yè)單位存款。資產(chǎn)業(yè)務(wù):是指金融機(jī)構(gòu)將資金使用權(quán)移交到金融客戶側(cè)構(gòu)成客戶對金融機(jī)構(gòu)負(fù)債的一種業(yè)務(wù)整體來說,金融機(jī)構(gòu)對客戶的資金轉(zhuǎn)移分為投資和借貸兩類。中間業(yè)務(wù):是指金融機(jī)構(gòu)和客戶之間不進(jìn)行直接的資金轉(zhuǎn)移是金融機(jī)構(gòu)為滿足客戶所需的中間服務(wù)產(chǎn)生的業(yè)務(wù)一般以收取客戶服務(wù)費(fèi)形式盈利例如傳統(tǒng)的結(jié)算算、匯兌等,或者新興的外匯、基金、理財(cái)?shù)取8鶕?jù)聯(lián)盟分布式數(shù)據(jù)庫的金融應(yīng)用情況調(diào)研問卷顯示,分布式數(shù)據(jù)庫在金融領(lǐng)域應(yīng)用案例中資產(chǎn)業(yè)務(wù)類應(yīng)用占比約22負(fù)債業(yè)務(wù)類應(yīng)用占比約11另有67的金融機(jī)構(gòu)選擇中間業(yè)務(wù)作為試點(diǎn),其中銀行卡業(yè)務(wù)(22)、結(jié)算清算業(yè)(17和渠道系統(tǒng)業(yè)(17受到分布式數(shù)據(jù)庫應(yīng)用試點(diǎn)的青睞。按負(fù)債類型分類的金融應(yīng)用比例見圖。圖5)按系統(tǒng)建設(shè)類型劃分金融業(yè)應(yīng)用從系統(tǒng)建設(shè)類型來劃分,可分為管理系統(tǒng)、渠道系統(tǒng)、業(yè)務(wù)系統(tǒng)、支撐系統(tǒng)等四類,如表5所示。表5)型念例統(tǒng)統(tǒng)CMFM。統(tǒng)道、統(tǒng)統(tǒng)。統(tǒng)融。等統(tǒng)用。OA統(tǒng)。管理系統(tǒng)是指負(fù)責(zé)金融機(jī)構(gòu)內(nèi)部管理的系統(tǒng)包括有CR、FM等。渠道系統(tǒng):是指管理整個(gè)金融機(jī)構(gòu)對外的資金流轉(zhuǎn)渠道的系統(tǒng)包括電子銀行電話銀行網(wǎng)點(diǎn)柜臺短信平臺等。業(yè)務(wù)系統(tǒng):是指核心業(yè)務(wù)系統(tǒng)、結(jié)算清算系統(tǒng)、信用卡系統(tǒng)這一類對外服務(wù)的業(yè)務(wù)管理系統(tǒng)是銀行的重要系統(tǒng)。支撐系統(tǒng):是指用于保障、提供內(nèi)部支撐服務(wù)的系統(tǒng),例如報(bào)表平臺、OA平臺等。從系統(tǒng)建設(shè)的角度來看目前國內(nèi)分布式數(shù)據(jù)庫在各個(gè)應(yīng)用類型中均有使用調(diào)查顯示業(yè)務(wù)系統(tǒng)與支撐系統(tǒng)使用最多,分別占比42與25。就業(yè)務(wù)系統(tǒng)的細(xì)分應(yīng)用類型分析投資類應(yīng)用與銀行卡應(yīng)用使用分布式數(shù)據(jù)庫較多占比均為12,而傳統(tǒng)的賬務(wù)核心系統(tǒng)使用較少,占比約為6。按建設(shè)類型分類金融應(yīng)用比例見圖6。圖6)(二)架構(gòu)設(shè)計(jì)隨著金融業(yè)務(wù)環(huán)境的發(fā)展變化,金融業(yè)務(wù)與IT系統(tǒng)之間已形成相互促進(jìn)的良性循環(huán),IT系統(tǒng)的技術(shù)發(fā)展和應(yīng)用,推動(dòng)金融業(yè)務(wù)的創(chuàng)新金融業(yè)務(wù)對IT系統(tǒng)提出更高的要求,促進(jìn)IT系統(tǒng)的技術(shù)演進(jìn)。互聯(lián)網(wǎng)+金融場景的爆發(fā)式增長,集中式核心系統(tǒng)已經(jīng)難以支撐海量用戶海量數(shù)據(jù)高并發(fā)、跨數(shù)據(jù)中心高可用的業(yè)務(wù)處理需求同時(shí)集中式架構(gòu)的核心系統(tǒng)是龐大的單一應(yīng)用系統(tǒng)升級迭代復(fù)雜在互聯(lián)網(wǎng)時(shí)代很難要求快速的業(yè)務(wù)創(chuàng)新。金融業(yè)在變革面前需要進(jìn)行頂層設(shè)計(jì)形成業(yè)務(wù)和IT高度融合的頂層架構(gòu)在信息化建設(shè)方面利用新技術(shù)提高IT的適應(yīng)性、靈活性、敏捷性和數(shù)據(jù)分析能力。為了達(dá)到這個(gè)目標(biāo)金融應(yīng)用架構(gòu)的發(fā)展趨勢是互聯(lián)網(wǎng)化平臺化、集約化和智能化。因此金融應(yīng)用的IT架構(gòu)不斷演變,從邏輯架構(gòu)演進(jìn)分為“胖核心架構(gòu)“瘦核心”架構(gòu)“分布式架構(gòu)三個(gè)階段。金融應(yīng)用架構(gòu)設(shè)計(jì)及轉(zhuǎn)變路線如圖7所示。圖7線“胖核心”架構(gòu)“胖核心”架構(gòu)指的是銀行內(nèi)部綜合業(yè)務(wù)集中的架構(gòu)。200年至200年左右的十年間,大型金融和城市商業(yè)金融均采用該架構(gòu)業(yè)務(wù)系統(tǒng)耦合度極高難以剝離底層數(shù)據(jù)庫采用集中式系統(tǒng)整體思路建設(shè)大而全“胖核心”架構(gòu)見圖。圖8圖“瘦核心”架構(gòu)210年以后隨著電子購(電商移動(dòng)互聯(lián)網(wǎng)的發(fā)展胖核心(核心系統(tǒng)業(yè)務(wù)集中)架構(gòu)已經(jīng)無法滿足金融業(yè)務(wù)發(fā)展的需要因?yàn)榻鹑跇I(yè)務(wù)變動(dòng)頻繁業(yè)務(wù)系統(tǒng)牽一發(fā)而動(dòng)全身“胖核心架構(gòu)的瓶頸逐步顯現(xiàn)此時(shí)金融業(yè)務(wù)系統(tǒng)開始拆分為多個(gè)子系統(tǒng)或中心來應(yīng)對這種變化稱為“瘦核心架構(gòu)于是按照交易業(yè)務(wù)等不同的角度拆分出記賬核心貸款核心成本核心等各個(gè)核心系統(tǒng)并引入EAI總線進(jìn)行管理集中式的架構(gòu)并沒有發(fā)生太大的改變數(shù)據(jù)庫層依舊采用集中式架構(gòu)進(jìn)行支撐?!笆莺诵摹奔軜?gòu)如圖9所示。圖9圖“分布式”架構(gòu)互聯(lián)網(wǎng)企業(yè)在大數(shù)據(jù)時(shí)代下帶來了新業(yè)態(tài),以其獨(dú)特經(jīng)營模式和價(jià)值創(chuàng)造方式對商業(yè)銀行傳統(tǒng)業(yè)務(wù)形成直接沖擊。在金融科技的支撐下,金融應(yīng)用采用耦合度更低的SOA總線將業(yè)務(wù)和存儲過渡到分布式架構(gòu)分布式架構(gòu)如圖10所示。圖1圖“分布式”架構(gòu)可帶來以下收益:高并發(fā)性能。提供水平線性擴(kuò)展和彈性伸縮能力。提升故障隔離能力,提高系統(tǒng)可用性。支持多活架構(gòu),提升容災(zāi)能力。成本優(yōu)勢明顯。分布式系統(tǒng)基于相對低廉的通用服務(wù)器設(shè)備構(gòu)建,獲取相同處理能力的成本遠(yuǎn)低于傳統(tǒng)架構(gòu)。能夠?yàn)闃I(yè)務(wù)產(chǎn)品創(chuàng)新、降低功能耦合程度等方面的提供更多的支撐。提供灰度發(fā)布能力,實(shí)現(xiàn)版本平滑升級等。(三)場景應(yīng)用分布式數(shù)據(jù)庫是金融信息系統(tǒng)中最關(guān)鍵的組件之一其實(shí)施過程是個(gè)復(fù)雜的系統(tǒng)工程若管控不當(dāng)則會存在上層業(yè)務(wù)連續(xù)性中斷的風(fēng)險(xiǎn)經(jīng)過多年的實(shí)踐和課題研究聯(lián)盟總結(jié)出適合分布式數(shù)據(jù)庫使用場景的實(shí)施原則步驟以及關(guān)鍵系統(tǒng)要求確保分布式數(shù)據(jù)庫實(shí)施的正確性連續(xù)性和穩(wěn)定性。為真實(shí)了解各金融機(jī)構(gòu)對分布式數(shù)據(jù)庫的實(shí)施情況聯(lián)盟開展抽樣調(diào)查從問卷結(jié)果分析了國內(nèi)分布式數(shù)據(jù)庫在融業(yè)的應(yīng)用分布情況。圖11圖根據(jù)金融應(yīng)用轉(zhuǎn)型中涉及到的分布式數(shù)據(jù)庫上線需求,對應(yīng)用移植和新建兩種上線場景進(jìn)行了統(tǒng)計(jì)分析其中存量遷移占總比例的56,新建需求占44,顯示存量業(yè)務(wù)遷移仍然是當(dāng)前分布式事務(wù)型數(shù)據(jù)庫的主要應(yīng)用場景分布式數(shù)據(jù)庫新建/遷移占比情況如圖11所示。圖12圖將分布式數(shù)據(jù)庫應(yīng)用案例按集群規(guī)模進(jìn)行分類20個(gè)節(jié)點(diǎn)以下屬于小規(guī)模部署,2~10個(gè)節(jié)點(diǎn)屬于中型規(guī)模部署;100個(gè)節(jié)點(diǎn)以上屬于大規(guī)模部署。根據(jù)分布式數(shù)據(jù)庫應(yīng)用調(diào)研小規(guī)模部署占46中型規(guī)模占37大規(guī)模部署占17。小規(guī)模部署無法凸顯分布式數(shù)據(jù)庫的優(yōu)勢,而統(tǒng)計(jì)結(jié)果顯示小規(guī)模集群部署占較大比重說明不少銀行依然將分布式數(shù)據(jù)庫作為技術(shù)研究和試商用分布式數(shù)據(jù)庫市場依然處于孵化期。當(dāng)前分布式數(shù)據(jù)庫集群規(guī)模占比如圖12顯示。下面分別針對增量和存量遷移的實(shí)施情況進(jìn)行分析研究。新建場景隨著云計(jì)算大數(shù)據(jù)人工智能等新一代信息技術(shù)發(fā)展普及,外加疫情影響,國內(nèi)金融業(yè)數(shù)字化轉(zhuǎn)型加劇。目前,金融機(jī)構(gòu)普遍具有海量的數(shù)據(jù)存儲及動(dòng)態(tài)的數(shù)據(jù)計(jì)算響應(yīng)需求分布式數(shù)據(jù)庫基于其強(qiáng)大的數(shù)據(jù)處理能力以及在線橫向擴(kuò)縮容特性使其在數(shù)字化轉(zhuǎn)型過程中得到廣泛應(yīng)用根據(jù)聯(lián)盟相關(guān)調(diào)研顯示和傳統(tǒng)業(yè)務(wù)遷移相比金融機(jī)構(gòu)新建業(yè)務(wù)采用分布式數(shù)據(jù)庫更為普遍,業(yè)務(wù)場景以批量處理為主此外部分新建業(yè)務(wù)采用了單元化架構(gòu)確保數(shù)據(jù)安全及應(yīng)用快速迭代更新大多數(shù)的新金融應(yīng)用認(rèn)可分布式數(shù)據(jù)庫作為基礎(chǔ)架構(gòu)也證明了分布式數(shù)據(jù)庫在架構(gòu)上的選型具備先進(jìn)性。新建金融應(yīng)用業(yè)務(wù)場景分析根據(jù)聯(lián)盟抽樣調(diào)查顯示在金融新建業(yè)務(wù)場景中復(fù)度越高的業(yè)務(wù)場景對分布式數(shù)據(jù)庫的依賴度越高部分海量數(shù)據(jù)計(jì)算業(yè)務(wù)場景也開始選型分布式數(shù)據(jù)庫。業(yè)務(wù)場景分類圖13圖根據(jù)調(diào)查聯(lián)機(jī)交易場景是目前分布式數(shù)據(jù)庫應(yīng)用最多的場景聯(lián)機(jī)交易直接面向客戶并且基于金融業(yè)的特殊性,對數(shù)據(jù)庫性能以及高可用性均有較高要求。同時(shí)數(shù)據(jù)檢索,批量處理兩個(gè)場景也普遍采用了分布式數(shù)據(jù)庫系統(tǒng)傳統(tǒng)的數(shù)據(jù)檢索或者批量處理普遍依賴于大數(shù)據(jù)架構(gòu)隨著分布式數(shù)據(jù)庫計(jì)算處理能力的提升及良好的SL語法兼容性分布式數(shù)據(jù)庫開始逐步應(yīng)用于數(shù)據(jù)檢索以及批量處理場景分布式數(shù)據(jù)庫業(yè)務(wù)場景占比如圖13所示。應(yīng)用系統(tǒng)分類目前分布式數(shù)據(jù)庫在新業(yè)務(wù)系統(tǒng)應(yīng)用場景中以金融機(jī)構(gòu)同業(yè)業(yè)務(wù)和個(gè)人業(yè)務(wù)為主,占比均為33,其次是公司業(yè)務(wù),占比24。機(jī)構(gòu)內(nèi)部應(yīng)用占比相對較少。由此可見分布式數(shù)據(jù)庫系統(tǒng)更多應(yīng)用在較為復(fù)雜的業(yè)務(wù)場景對底層基礎(chǔ)軟件性能具有較高要求同時(shí)個(gè)人業(yè)務(wù)這類具有一定零售屬性的業(yè)務(wù)場景也對分布式數(shù)據(jù)庫有較強(qiáng)需求。新建金融應(yīng)用系統(tǒng)架構(gòu)分析由于分布式數(shù)據(jù)庫架構(gòu)特殊性,新建應(yīng)用會從應(yīng)用架構(gòu),數(shù)據(jù)架構(gòu)等方面進(jìn)行設(shè)計(jì)。根據(jù)金融聯(lián)盟的統(tǒng)計(jì)結(jié)果,中規(guī)模的分布式數(shù)據(jù)庫集群占比較多此外為更好的適配分布式數(shù)據(jù)庫新應(yīng)用會在應(yīng)用設(shè)計(jì)上進(jìn)行單元化架構(gòu)的設(shè)計(jì)以及數(shù)據(jù)模型的考慮。集群規(guī)模從問卷調(diào)查結(jié)果來看在新業(yè)務(wù)場景中分布式數(shù)據(jù)庫集群應(yīng)用規(guī)模以中規(guī)模為主,占比近50,大規(guī)模集群數(shù)量占比最少為18和存量應(yīng)用移植集群規(guī)模相比,新業(yè)務(wù)中等規(guī)模數(shù)據(jù)庫集群數(shù)量明顯提升大規(guī)模集群數(shù)量占比則變化不大由此可見相對傳統(tǒng)業(yè)務(wù)金融機(jī)構(gòu)更愿意在新業(yè)務(wù)中嘗試采用分布式數(shù)據(jù)庫集群架構(gòu)新業(yè)務(wù)歷史包袱小遷移升本低更容易發(fā)揮分布式數(shù)據(jù)庫的架構(gòu)優(yōu)勢。應(yīng)用架構(gòu)選型根據(jù)聯(lián)盟抽樣結(jié)果顯示部分新應(yīng)用在應(yīng)用架構(gòu)選型過程中進(jìn)行了應(yīng)用單元化的拆分采用SOA服務(wù)總線服務(wù)化單元化的設(shè)計(jì)思想可以將應(yīng)用系統(tǒng)拆分為若干較小規(guī)模的獨(dú)立單元每個(gè)單元獨(dú)立開發(fā)部署相比大型單一系統(tǒng)功能繁雜開發(fā)規(guī)劃周期較長單元(服務(wù)化架構(gòu)數(shù)據(jù)安全性得到提升同時(shí)應(yīng)用開發(fā)更加靈活更易實(shí)現(xiàn)應(yīng)用快速迭代開發(fā)和灰度發(fā)布有效滿足金融機(jī)構(gòu)業(yè)務(wù)場景需求。數(shù)據(jù)模型設(shè)計(jì)數(shù)據(jù)庫傳統(tǒng)的E-R關(guān)系模型在分布式數(shù)據(jù)庫建模過程中依然適用但為了盡可能避免跨節(jié)點(diǎn)的數(shù)據(jù)傳輸需要注意數(shù)據(jù)分布方式和分布規(guī)則的選擇通過選合理的分片規(guī)則以及數(shù)據(jù)分布策略可以最大程度保證數(shù)據(jù)處理在單分片內(nèi)完成。基于聯(lián)盟的抽樣顯示幾乎所有的新建應(yīng)用都會優(yōu)先在架構(gòu)設(shè)計(jì)上進(jìn)行數(shù)據(jù)模型的重新設(shè)計(jì)模型設(shè)計(jì)考慮點(diǎn)如下表6所示:表6表計(jì)解略模間做Rge做Lt或Hh、。型表點(diǎn)在的IO升/據(jù)份要小種全。性照CP(nsn)性(aaly(rtnten)顧。的在CP和P靈須致交性在足AP一。存量移植場景目前金融應(yīng)用存量遷移過程分為五步包括遷移評估業(yè)務(wù)改造數(shù)據(jù)遷移數(shù)據(jù)庫割接運(yùn)維優(yōu)化。還有部分系統(tǒng)涉及到數(shù)據(jù)同步改造。在金融應(yīng)用數(shù)字化轉(zhuǎn)型過程中會遇到大量的應(yīng)用移植情況分布式數(shù)據(jù)庫基于分布式架構(gòu)及多活中心特性可以將應(yīng)用進(jìn)行平滑移植到新的數(shù)據(jù)引擎上根據(jù)聯(lián)盟的抽樣調(diào)查顯示金融分布式數(shù)據(jù)庫的實(shí)施與遷移工作主要呈現(xiàn)如下規(guī)律:方案設(shè)計(jì)傳統(tǒng)金融業(yè)務(wù)大多基于DBOrce等商業(yè)數(shù)據(jù)庫系統(tǒng),無論應(yīng)用系統(tǒng)是金融企業(yè)自研還是基于IS(軟件開發(fā)商)的產(chǎn)品,均已建設(shè)較長時(shí)間(核心系統(tǒng)建設(shè)時(shí)間均在10年以上),由于歷史原因,相關(guān)系統(tǒng)的業(yè)務(wù)邏輯,設(shè)計(jì)文檔,研發(fā)代碼可能存在一定缺失。如需遷移,需至少完成如下工作:數(shù)據(jù)庫采集分析即對源數(shù)據(jù)庫的數(shù)據(jù)對象類型性能、部署模式、使用的高級特性(如加密表、存儲過程等)進(jìn)行采集和分析。應(yīng)用SL采集分析即對應(yīng)用程序所有功能涉及到的SL實(shí)現(xiàn)采集和分析,為應(yīng)用改造提供數(shù)據(jù)支持。兼容性評估針對源數(shù)據(jù)庫采集分析應(yīng)用SQL采集分析形成的數(shù)據(jù)進(jìn)行計(jì)劃遷移的目標(biāo)數(shù)據(jù)庫與源數(shù)據(jù)庫的整體兼容性評估。通過兼容性評估即可與軟件開發(fā)團(tuán)隊(duì)/IV大致分析出改造工作量,改造風(fēng)險(xiǎn)等。兼容驗(yàn)證圖14圖調(diào)查顯示傳統(tǒng)金融業(yè)務(wù)大多基于DBOrcle等商業(yè)數(shù)據(jù)庫系統(tǒng),且或多或少利用了這些商業(yè)數(shù)據(jù)庫高級特性,例如存儲過程物化視圖、觸發(fā)器自定義函數(shù)等要實(shí)現(xiàn)平滑遷移分布式數(shù)據(jù)庫需支持傳統(tǒng)集中式數(shù)據(jù)庫系統(tǒng)的存儲過程觸發(fā)器自定義函數(shù)等特性能夠做到SQL語法與傳統(tǒng)關(guān)系型數(shù)據(jù)庫盡可能兼容在應(yīng)用移植過程中盡可能做到對應(yīng)用程序透明或應(yīng)用改寫工作量降到最低存量業(yè)務(wù)的傳統(tǒng)數(shù)據(jù)庫替換比例見圖1。金融機(jī)構(gòu)通常采用兩種方案:徹底改造直接將數(shù)據(jù)庫遷移到分布式數(shù)據(jù)庫主要面對應(yīng)用已經(jīng)在前期進(jìn)行業(yè)務(wù)拆分模塊化微服務(wù)化單元化設(shè)計(jì),又或者基于某標(biāo)準(zhǔn)分布式開發(fā)框架設(shè)計(jì)的業(yè)務(wù)系統(tǒng)這類系統(tǒng)已進(jìn)行了業(yè)務(wù)邏輯解耦且已較少使用包括存儲過程觸發(fā)器自定義函數(shù)等傳統(tǒng)集中式數(shù)據(jù)庫的高級特性而是直接將數(shù)據(jù)庫當(dāng)做數(shù)據(jù)存儲使用應(yīng)用邏輯主要中在業(yè)務(wù)代碼側(cè)此類遷移源數(shù)據(jù)庫改造遷移到分布式據(jù)庫難度較低業(yè)務(wù)對分布式數(shù)據(jù)庫SQL兼容性要求主要集中在SQL語法和數(shù)據(jù)類型的支持無需進(jìn)行存儲過程觸發(fā)器等功能的支持。平滑遷移將改造成本盡量降低此類系統(tǒng)通常需要分布式數(shù)據(jù)庫支持傳統(tǒng)集中式數(shù)據(jù)庫系統(tǒng)的存儲過程、觸發(fā)器自定義函數(shù)等特性能夠做到SQL語法與傳統(tǒng)關(guān)系型數(shù)據(jù)庫盡可能兼容在應(yīng)用移植過程中盡可能做到對應(yīng)用程序透明,或應(yīng)用改寫工作量降到最低。業(yè)務(wù)改造調(diào)查顯示絕大多數(shù)的業(yè)務(wù)改造周期通常在半年以內(nèi)金融應(yīng)用遷移改造所需平均時(shí)間為6.5個(gè)月一些關(guān)鍵核心業(yè)務(wù),如賬務(wù)核心系統(tǒng),涉及復(fù)雜的分布式轉(zhuǎn)型和性能優(yōu)化,需更長的業(yè)務(wù)改造時(shí)間金融機(jī)構(gòu)的應(yīng)用遷移用時(shí)占比調(diào)查反饋見圖1。圖15圖這里要說明的是真正的代碼開發(fā)時(shí)間只有業(yè)務(wù)改造周期的三分之一。在業(yè)務(wù)改造過程中,數(shù)據(jù)對象的改造,SL的改寫業(yè)務(wù)邏輯的改寫統(tǒng)稱代碼開發(fā)在代碼開發(fā)前有約三分之一的時(shí)間是在進(jìn)行兼容性評估改寫設(shè)計(jì)工作例如詳細(xì)地?cái)?shù)據(jù)對象改動(dòng)方案,評估哪些業(yè)務(wù)SQL、業(yè)務(wù)邏輯等剩下的三分之一主要是進(jìn)行測試包括業(yè)務(wù)邏輯正確性,數(shù)據(jù)庫和業(yè)務(wù)性能,與其他系統(tǒng)互通性等。數(shù)據(jù)遷移數(shù)據(jù)遷移是應(yīng)用移植的第三步,主要包括環(huán)境的遷移、結(jié)構(gòu)遷移、數(shù)據(jù)遷移、數(shù)據(jù)對比幾個(gè)步驟。因?yàn)榇媪肯到y(tǒng)的數(shù)據(jù)通常都在TB級別及以上,除了數(shù)據(jù)遷移本身需要很長的時(shí)間外在不同類型的數(shù)據(jù)庫之間確保數(shù)據(jù)遷移過程中的數(shù)據(jù)完整性和一致性也有很高的要求。另一方面金融系統(tǒng)對業(yè)務(wù)連續(xù)性要求越來越高要求數(shù)據(jù)遷移、遷移割接過程盡量不影響或少影響生產(chǎn)交易。因此,數(shù)據(jù)遷移一般采用數(shù)據(jù)庫遷移工具如全量遷移增量遷移(或稱在線遷移數(shù)據(jù)比對等工具實(shí)現(xiàn)數(shù)據(jù)遷移并在新業(yè)務(wù)系統(tǒng)上試運(yùn)行(驗(yàn)證)一段時(shí)間才進(jìn)行割接。業(yè)務(wù)割接數(shù)據(jù)庫割接是指在業(yè)務(wù)驗(yàn)證滿足相關(guān)預(yù)定要求基礎(chǔ)上,對老系統(tǒng)的數(shù)據(jù)(含業(yè)務(wù)系統(tǒng)本身進(jìn)行整體割接下圖顯示一些聯(lián)機(jī)交易型業(yè)務(wù)的割接停機(jī)時(shí)間統(tǒng)計(jì)信息對于在線交易類業(yè)務(wù)的平均割接停機(jī)時(shí)間都要求在分鐘級割接停機(jī)時(shí)間分布見圖1。圖16圖為了保障割接的順利與異常的管控割接前金融企業(yè)通常需要制定完整的“回退方案”“割接方案”并在測系統(tǒng)演練幾次后方可執(zhí)行。運(yùn)維優(yōu)化運(yùn)維優(yōu)化是指在割接前中后的過程中金融企業(yè)需要熟悉相關(guān)分布式數(shù)據(jù)庫的運(yùn)維操作包括但不限于數(shù)據(jù)庫備份數(shù)據(jù)庫性能分析與性能問題排查數(shù)據(jù)庫的監(jiān)控巡檢數(shù)據(jù)庫常規(guī)運(yùn)維等對于割接中后一段時(shí)間通常還需要ISV、數(shù)據(jù)庫廠商進(jìn)行配合護(hù)航,直至數(shù)據(jù)庫完全割接成功并成功運(yùn)行預(yù)估時(shí)間。(四)服務(wù)器部署分布式數(shù)據(jù)庫相比傳統(tǒng)集中式數(shù)據(jù)庫既可以保證數(shù)據(jù)強(qiáng)一致又能實(shí)現(xiàn)水平擴(kuò)展可以滿足金融機(jī)構(gòu)各類業(yè)務(wù)系統(tǒng)的需求因此金融機(jī)構(gòu)分布式數(shù)據(jù)庫不僅應(yīng)用在金融機(jī)構(gòu)的內(nèi)部業(yè)務(wù)與一般業(yè)務(wù)上也在逐步應(yīng)用到核心業(yè)務(wù)上隨著國內(nèi)分布式數(shù)據(jù)庫的不斷成熟以及與國內(nèi)CPU及操作系統(tǒng)的適配不斷完善國內(nèi)金融機(jī)構(gòu)基礎(chǔ)設(shè)施和平臺會逐步遷移到國內(nèi)服務(wù)器及操作系統(tǒng)上。據(jù)聯(lián)盟分析,預(yù)計(jì)203年支撐辦公OA業(yè)務(wù)的數(shù)據(jù)庫將實(shí)現(xiàn)全??煽仡A(yù)計(jì)205年支撐一般業(yè)務(wù)的數(shù)據(jù)庫將有50以上的流量運(yùn)行在國內(nèi)平臺上,支撐核心系統(tǒng)的數(shù)據(jù)庫實(shí)現(xiàn)全棧可控案例也將逐漸增多。金融機(jī)構(gòu)對數(shù)據(jù)安全具有極高的要求目前金融應(yīng)用主要是以本地化服務(wù)器部署為主,部分采用私有化專有云部署較少采用服務(wù)化公有云部署下面從本地化服務(wù)器部署、私有化專有云部署服務(wù)化公有云部署三個(gè)方面詳細(xì)介紹金融應(yīng)用部署情況。核心業(yè)務(wù)服務(wù)器部署情況圖17圖核心業(yè)務(wù)服務(wù)器部署本地化仍是首選調(diào)研結(jié)果顯示目前約75的分布式數(shù)據(jù)庫直接運(yùn)行在物理服務(wù)器上、約25的分布式數(shù)據(jù)庫運(yùn)行在云服務(wù)(虛擬化上分布式數(shù)據(jù)庫部署方式占比見圖17。86芯片服務(wù)器和商用Liux系統(tǒng)是目前數(shù)據(jù)中心的主流IT基礎(chǔ)設(shè)施技術(shù)成熟生態(tài)完善數(shù)據(jù)庫是重要系統(tǒng),調(diào)查顯示為保證安全生產(chǎn)目前約有九成的分布式數(shù)據(jù)庫集群依然運(yùn)行在86服務(wù)器上近年來隨著國內(nèi)芯片和操作系統(tǒng)的不斷進(jìn)步目前約有7的分布式數(shù)據(jù)庫集群開始運(yùn)行在國內(nèi)芯片為核心的服務(wù)器上分布式數(shù)據(jù)庫部署服務(wù)器類型占比見圖18。圖18圖部署在本地化的服務(wù)器中的業(yè)務(wù)典型的是銀行賬務(wù)系統(tǒng)監(jiān)管對其有嚴(yán)格的性能及可用性的要求需要具備異地容災(zāi)的能力因此支撐該類業(yè)務(wù)的分布式數(shù)據(jù)庫運(yùn)行在云服務(wù)器上這會帶來一些不可控風(fēng)險(xiǎn)直接部署到物理服務(wù)器上是最優(yōu)解,它也可以與專有云中的其他產(chǎn)品(例如存儲、網(wǎng)絡(luò)、負(fù)載均衡等)無縫對接,共用專有云的服務(wù)。非核心業(yè)務(wù)服務(wù)器部署情況非核心業(yè)務(wù)選用專有云部署逐步增多隨著云計(jì)算技術(shù)的不斷發(fā)展,金融機(jī)構(gòu)的IT基礎(chǔ)設(shè)施由原有煙囪式的系統(tǒng)建設(shè)模式向資源池化動(dòng)態(tài)擴(kuò)展的云計(jì)算平臺演進(jìn)業(yè)務(wù)應(yīng)用部署在云服務(wù)器上將原本離散的業(yè)務(wù)打通并通過互網(wǎng)化、微服務(wù)化助力金融機(jī)構(gòu)持續(xù)創(chuàng)新。數(shù)據(jù)庫作為一個(gè)軟件,通常都可以運(yùn)行在云服務(wù)器上。根據(jù)聯(lián)盟內(nèi)部統(tǒng)計(jì)與采用物理服務(wù)器部署方式相比在虛擬化平臺上部署分布式數(shù)據(jù)庫軟件受限于虛擬網(wǎng)絡(luò)的高延時(shí)和遠(yuǎn)程磁盤的低I性能通常會大幅降低尤其是在高并發(fā)場景下性能下降會更加明顯因此分布式數(shù)據(jù)庫會將業(yè)務(wù)分級把諸如O管理中間業(yè)務(wù)等非核心系統(tǒng)經(jīng)過評估后部署至本地專有云上。OA及管理類業(yè)務(wù)部署至本地化云主機(jī)對于訪問流量不高性能和可用性要求較低的管理類業(yè)務(wù)可以將支撐這些系統(tǒng)的分布式數(shù)據(jù)庫部署到專有云平臺的標(biāo)準(zhǔn)云服務(wù)器上。項(xiàng)目上線前需要對運(yùn)行在云服務(wù)器上的數(shù)據(jù)庫進(jìn)行壓力測試,確保其性能能夠滿足業(yè)務(wù)需要。中間業(yè)務(wù)及非核心表外業(yè)務(wù)部署至本地化裸金屬服務(wù)器對性能及可用性都有一定要求的中間業(yè)務(wù)或者非核心表外業(yè)務(wù)承載這些業(yè)務(wù)的分布式數(shù)據(jù)庫可以部署在專有云的裸金屬服務(wù)器上裸金屬服務(wù)器是使用下一代虛擬化技術(shù)的新型計(jì)算類服務(wù)器與上一代虛擬化技術(shù)相比下一代虛擬化技術(shù)不僅保留了普通云服務(wù)器的彈性體驗(yàn)而且保留了物理機(jī)的性能與特性因此裸金屬服務(wù)器融合了物理機(jī)與云服務(wù)器的優(yōu)勢運(yùn)行在裸金屬服務(wù)器上的分布式數(shù)據(jù)庫可以直接訪問處理器和內(nèi)存無任何虛擬化開銷性能相較云主機(jī)有大幅提升,足以支撐銀行非核心業(yè)務(wù)系統(tǒng)。服務(wù)類業(yè)務(wù)服務(wù)器部署情況服務(wù)類業(yè)務(wù)服務(wù)器選用公用云部署較多云數(shù)據(jù)庫即開即用,可以讓金融機(jī)構(gòu)快速獲得高可用、高性能的數(shù)據(jù)庫,并大幅減少運(yùn)維工作量,讓金融機(jī)構(gòu)專注于自身業(yè)務(wù)發(fā)展。尤其是在中小型金融機(jī)構(gòu)中低人力成本和建設(shè)成本對其選擇云上的分布式數(shù)據(jù)庫有著天然的優(yōu)勢除此以外在可用性和擴(kuò)展性上也比小型金融機(jī)構(gòu)自建要提升很多:切換可用區(qū)。分布式數(shù)據(jù)庫支持多區(qū)域(Reio)部署、多可用區(qū)(AaiabeZoe)部署,發(fā)生故障時(shí),可以根據(jù)優(yōu)先級自動(dòng)切換到一個(gè)健康的可用區(qū)。讓數(shù)據(jù)庫適應(yīng)快速增長的業(yè)務(wù)分布式關(guān)系型數(shù)據(jù)庫由一個(gè)個(gè)獨(dú)立的通用計(jì)算機(jī)作為節(jié)點(diǎn)數(shù)據(jù)根據(jù)容量小可用性自動(dòng)分布在各個(gè)節(jié)點(diǎn)當(dāng)數(shù)據(jù)量不斷增長時(shí)分布式數(shù)據(jù)庫可以平滑擴(kuò)展節(jié)點(diǎn)的數(shù)量。(五)容災(zāi)備份容災(zāi)系統(tǒng)概述為了保證業(yè)務(wù)連續(xù)性實(shí)現(xiàn)業(yè)務(wù)發(fā)展規(guī)劃金融系統(tǒng)需要建設(shè)一套能夠抵御和化解各種災(zāi)難情況的容災(zāi)備份系統(tǒng)。容災(zāi)系統(tǒng)是指在相隔較遠(yuǎn)的同城或異地建立兩套或多套功能相同的IT系統(tǒng),多套系統(tǒng)之間可以進(jìn)行健康狀態(tài)監(jiān)視和功能切換當(dāng)一處系統(tǒng)因意外停止工作時(shí)整個(gè)應(yīng)用系統(tǒng)可以切換到另一處,使該系統(tǒng)功能可以繼續(xù)正常工作。在《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范災(zāi)難恢復(fù)要求》中根據(jù)分布式數(shù)據(jù)庫應(yīng)用于金融業(yè)務(wù)系統(tǒng)的重要程度和生故障的影響范圍、危害程度,將其容災(zāi)能力等級劃分為6級應(yīng)用于金融領(lǐng)域的分布式數(shù)據(jù)庫災(zāi)難恢復(fù)能力應(yīng)至少到4級及以上要求具體對應(yīng)的RORP災(zāi)備部署等關(guān)鍵指標(biāo)要求見下表:表7表級R)R)署4級30鐘0備5級15鐘0備6級1鐘0備應(yīng)用于金融領(lǐng)域的分布式數(shù)據(jù)庫,應(yīng)綜合分析業(yè)務(wù)風(fēng)險(xiǎn)業(yè)務(wù)功能和中斷影響根據(jù)成本風(fēng)險(xiǎn)平衡原則以及運(yùn)管理要求選擇相應(yīng)的災(zāi)備建設(shè)模式對于同城災(zāi)備應(yīng)支持同城兩中心或同城多中心部署架構(gòu)對于異地災(zāi)備應(yīng)持兩地三中心或多地多中心等部署架構(gòu)。災(zāi)備模式分析相關(guān)調(diào)研結(jié)果顯示在分布式數(shù)據(jù)庫金融應(yīng)用中采用同城雙活災(zāi)備模式的占比38,采用本地備份災(zāi)備模式的占比21采用多地多中心災(zāi)備模式的占比14采用多地多中心+同城雙活災(zāi)備模式的占比10其余占比總計(jì)17分布式數(shù)據(jù)庫金融應(yīng)用災(zāi)備模式分布情況見圖1。圖19圖若按照本地備份同城雙活多地多中心三類進(jìn)行統(tǒng)計(jì)分析則可以得到分布式數(shù)據(jù)庫金融應(yīng)用三種災(zāi)備模式分布情況,見圖2。圖20圖綜合上述調(diào)研的數(shù)據(jù),可以得出以下結(jié)論:同城雙活災(zāi)備模式是首選一方面同城雙活災(zāi)備模式符《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范災(zāi)難恢復(fù)要求即達(dá)到4級容災(zāi)能力要求能夠應(yīng)對機(jī)房級故障較好地保證業(yè)務(wù)連續(xù)性另一方面與多地多中心災(zāi)備模式相比同城雙活的建設(shè)成本運(yùn)維成本應(yīng)用適配復(fù)雜度等方面都更低。采用本地備份災(zāi)備模式的應(yīng)用系統(tǒng)仍較多尤其值得注意的是采用本地備份的應(yīng)用系統(tǒng)中不包含金融機(jī)構(gòu)的內(nèi)部業(yè)務(wù)也涉及面向客戶的個(gè)人業(yè)務(wù)司業(yè)務(wù)以及金融同業(yè)業(yè)務(wù)不符《分布式數(shù)據(jù)庫技術(shù)金應(yīng)用規(guī)范災(zāi)難恢復(fù)要求》的要求??鐢?shù)據(jù)中心容災(zāi)架構(gòu)以銀行業(yè)為代表的金融領(lǐng)域服務(wù)渠道正逐漸呈現(xiàn)多渠道移動(dòng)化和全天候的特征核心業(yè)務(wù)系統(tǒng)對連續(xù)性的要求已達(dá)“35天×24小時(shí)級別在此背景下要求業(yè)務(wù)數(shù)據(jù)實(shí)現(xiàn)跨數(shù)據(jù)中心雙活,即在兩個(gè)數(shù)據(jù)中心實(shí)時(shí)進(jìn)行備份,一旦失去一個(gè)中心所有業(yè)務(wù)可以及時(shí)切換至另一個(gè)數(shù)據(jù)中心繼續(xù)執(zhí)行??鐢?shù)據(jù)中心容災(zāi)架構(gòu)目前有同城雙活和兩地三中心兩類:同城雙活架構(gòu)數(shù)據(jù)單向異步復(fù)制。此架構(gòu)中應(yīng)用系統(tǒng)跨數(shù)據(jù)中心雙活數(shù)據(jù)中心A將數(shù)據(jù)從存儲節(jié)點(diǎn)通過專網(wǎng)快速復(fù)制到同城的數(shù)據(jù)中心B。業(yè)務(wù)流量通過負(fù)載均衡或者流量路由可以訪問不同的數(shù)據(jù)中心當(dāng)某一數(shù)據(jù)中心宕機(jī)后能將流量切換至另一個(gè)中心能夠滿足RO小于30秒RPO等于0秒的災(zāi)難恢復(fù)要求此架構(gòu)需要注意的是寫流量只能對A中心進(jìn)行。此種同城雙活部署架構(gòu)見圖21。圖21一數(shù)據(jù)切分雙向復(fù)制.此架構(gòu)中應(yīng)用系統(tǒng)跨數(shù)據(jù)中心雙活業(yè)務(wù)庫按使用方式切割數(shù)據(jù)中心A的業(yè)務(wù)庫A將數(shù)據(jù)從存儲節(jié)點(diǎn)通過專網(wǎng)快速復(fù)制到同城的數(shù)據(jù)中心B的業(yè)務(wù)庫A中,同時(shí)數(shù)據(jù)中心B的業(yè)務(wù)庫B將數(shù)據(jù)從存儲節(jié)點(diǎn)通過專網(wǎng)快速復(fù)制到同城的數(shù)據(jù)中心A的業(yè)務(wù)庫B中業(yè)務(wù)庫A的寫流量路由到A中心業(yè)務(wù)庫B的寫流量路由到B中心可以將寫流量均衡當(dāng)某一中心宕機(jī)后可以將該中心的寫流量路由到另一中心即可能夠滿足RTO小于10秒RPO等于0秒的災(zāi)難恢復(fù)要求。此種同城雙活部署架構(gòu)部署見圖2。圖22二數(shù)據(jù)完全雙向復(fù)制.此架構(gòu)中應(yīng)用跨中心部署,業(yè)務(wù)流量無論讀寫均可訪問不同中心,底層數(shù)據(jù)雙向?qū)崟r(shí)同步復(fù)制滿足數(shù)據(jù)的最終一致性要求此架構(gòu)僅限于無狀態(tài)的應(yīng)用系統(tǒng),數(shù)據(jù)不要求強(qiáng)一致,能夠滿足RO等于0秒,RPO等于0秒的災(zāi)難恢復(fù)要求此種同城雙活部署架構(gòu)的部署見圖2。圖23三多地多中心架構(gòu)集群間復(fù)制此架構(gòu)中系統(tǒng)跨中心部署至三個(gè)中心AB中心為同城雙活,數(shù)據(jù)復(fù)制延遲較低,C中心為異地災(zāi)備,數(shù)據(jù)復(fù)制延遲較高。A中心通過異步復(fù)制方式數(shù)據(jù)通過數(shù)據(jù)庫的外部接口和軟(如數(shù)據(jù)增量接口和消息中間件經(jīng)專網(wǎng)復(fù)制到同城中心B,然后再經(jīng)外部網(wǎng)絡(luò)復(fù)制異地中心C。此架構(gòu)對應(yīng)用系統(tǒng)的種類無限制能夠滿足RTO小于10秒,RPO等于0秒的災(zāi)難恢復(fù)要求。此種多地多中心(兩地三中心)部署架構(gòu)見圖2。圖24一副本間復(fù)制此架構(gòu)在主城市部署兩個(gè)數(shù)據(jù)中心每個(gè)數(shù)據(jù)中心部署主機(jī)群的兩個(gè)副本異地第三數(shù)據(jù)中心部署主集群的單副本以及備集群通過一套整體的存儲協(xié)議機(jī)制保證數(shù)據(jù)副本一致性當(dāng)主城市或備城市任意數(shù)據(jù)中心發(fā)生故障時(shí)可利用存儲層的選舉和復(fù)制規(guī)則自動(dòng)切換有效數(shù)據(jù)副本實(shí)現(xiàn)RO=RT<30秒當(dāng)主城市全部故障時(shí)進(jìn)行一次主備Faloe由備集群接管業(yè)務(wù)服務(wù)保證RP=此種多地多中心(兩地三中心)部署架構(gòu)見圖25。圖25二四、分布式數(shù)據(jù)庫金融應(yīng)用成果(一)成果概述傳統(tǒng)集中式數(shù)據(jù)庫已廣泛應(yīng)用到金融業(yè)支撐著金融業(yè)實(shí)現(xiàn)了信息化數(shù)字化和智能化在移動(dòng)金融加速金融服務(wù)普適化的背景下潮汐式“爆發(fā)式的高難度業(yè)務(wù)場景層出不窮,傳統(tǒng)集中式數(shù)據(jù)庫面對這些場景時(shí)往往力不從心而分布式數(shù)據(jù)庫因?yàn)橛兄鴱?qiáng)一致高性能高可靠低成本易擴(kuò)容集中管理等顯著優(yōu)點(diǎn)滿足了金融業(yè)務(wù)系統(tǒng)對數(shù)據(jù)庫的各方面要求是數(shù)據(jù)庫未來發(fā)展的重要趨勢因此越來越多的金融機(jī)構(gòu)愿意嘗試去使用分布式數(shù)據(jù)庫。試點(diǎn)驗(yàn)證多類場景目前已有較多的金融機(jī)構(gòu)使用了分布式數(shù)據(jù)庫主要是替換已有的DB2和Orcle數(shù)據(jù)庫。分布式數(shù)據(jù)庫大部分應(yīng)用到金融機(jī)構(gòu)的一般業(yè)務(wù)系統(tǒng)和OA系統(tǒng),例如:互聯(lián)網(wǎng)金融銀行卡系統(tǒng)營銷系統(tǒng)貸款系統(tǒng)數(shù)據(jù)檢索系統(tǒng)以及電子公文系統(tǒng)等從應(yīng)用類型看用于個(gè)人業(yè)務(wù)公司業(yè)務(wù)、金融機(jī)構(gòu)同業(yè)業(yè)務(wù)以及內(nèi)部業(yè)務(wù)的比例相當(dāng)。金融核心系統(tǒng)對數(shù)據(jù)一致性完整性安全性可靠性要求非常高監(jiān)管部門也有嚴(yán)格的要求目前金融核心系統(tǒng)使用分布式數(shù)據(jù)庫的案例并不多。隨著國家政策的不斷推進(jìn)金融機(jī)構(gòu)勇于創(chuàng)新已經(jīng)有多家機(jī)構(gòu)正在嘗試將國內(nèi)分布式數(shù)據(jù)庫用于核心系統(tǒng)預(yù)計(jì)202-225年這些新核心系統(tǒng)會陸續(xù)上線并將形成可借鑒能推廣的典型案例和解決方案,為分布式數(shù)據(jù)庫在金融領(lǐng)域的全面應(yīng)用探明路徑。形成分步上線機(jī)制雖然分布式數(shù)據(jù)庫本身在數(shù)據(jù)庫領(lǐng)域已經(jīng)有了長足的進(jìn)步但在金融業(yè)的應(yīng)用尚處于起步階段且缺少相關(guān)建設(shè)指引具有一定的實(shí)施風(fēng)險(xiǎn)為降低風(fēng)險(xiǎn)金融機(jī)構(gòu)普遍是從OA辦公業(yè)務(wù)和一般業(yè)務(wù)開始試點(diǎn),試點(diǎn)成熟后,再不斷深入到核心業(yè)務(wù)的改造中避免影響安全生產(chǎn)項(xiàng)目正式上線前一般會通過雙寫或者數(shù)據(jù)鏈路復(fù)制等方式讓原數(shù)據(jù)庫和分布式數(shù)據(jù)庫并軌運(yùn)行一段時(shí)間觀察分布式數(shù)據(jù)庫的性能及穩(wěn)定性表現(xiàn)一旦發(fā)現(xiàn)問題方便及時(shí)回退這種“并軌到“單軌”再“獨(dú)立運(yùn)行的穩(wěn)步推進(jìn)的替換方案可以確保安全生產(chǎn)也為其他金融機(jī)構(gòu)試點(diǎn)分布式數(shù)據(jù)庫積累了寶貴的經(jīng)驗(yàn)。大幅降低擁有成本金融分布式數(shù)據(jù)庫的出現(xiàn)讓各大金融機(jī)構(gòu)擺脫了專有硬件的依賴普遍降低了信息化系統(tǒng)建設(shè)成本從調(diào)研情況看金融機(jī)構(gòu)將分布式數(shù)據(jù)庫主要用于聯(lián)機(jī)交易和批處理場景這些場景往往需要短時(shí)間內(nèi)完成大量數(shù)據(jù)的處理與分布式數(shù)據(jù)庫的特性比較匹配指標(biāo)應(yīng)用情況如表8所示使用分布式數(shù)據(jù)庫替換后幫助金融機(jī)構(gòu)擺脫了對昂貴專有硬件的依賴又提升了系統(tǒng)處理能力降低了金融機(jī)構(gòu)的整體擁有成本(TO)。表8表標(biāo)況TS2次-45次量2GB-1B程中系數(shù)大從1個(gè)到2。案力用中。(二)指標(biāo)分析聯(lián)盟對30多家金融機(jī)構(gòu)的分布式數(shù)據(jù)庫使用現(xiàn)狀進(jìn)行了詳實(shí)的問卷調(diào)查與分析調(diào)查內(nèi)容主要涉及建設(shè)階段業(yè)務(wù)場景、性能提升、數(shù)據(jù)量、改造時(shí)長、經(jīng)濟(jì)效益等指標(biāo),從調(diào)查結(jié)果的各項(xiàng)指標(biāo)可以看出各金融機(jī)構(gòu)大多已經(jīng)在使用分布式數(shù)據(jù)庫且通過使用分布式數(shù)據(jù)庫取得了較好的性能及經(jīng)濟(jì)等方面的收益。建設(shè)階段指標(biāo)目前已經(jīng)有76的金融機(jī)構(gòu)已經(jīng)使用分布式數(shù)據(jù)庫,其中約35的機(jī)構(gòu)處于新建階段,而41的機(jī)構(gòu)已經(jīng)處于深入使用的加速階段。分布式數(shù)據(jù)庫金融應(yīng)用建設(shè)階段見圖26。圖26圖業(yè)務(wù)場景指標(biāo)目前的分布式數(shù)據(jù)庫的金融應(yīng)用業(yè)務(wù)場景主要集中在聯(lián)機(jī)交易方面,其占比為53,其他兩類分別是批量處理和數(shù)據(jù)檢索類,占比分別為4和3。分布式數(shù)據(jù)庫金融應(yīng)用業(yè)務(wù)場景占比見圖27。圖27圖性能提升指標(biāo)分布式數(shù)據(jù)庫的優(yōu)勢在于可以將業(yè)務(wù)數(shù)據(jù)分布到多個(gè)節(jié)點(diǎn)進(jìn)行存儲與計(jì)算通過采用存算分離的架構(gòu)極大地提高數(shù)據(jù)庫的整體處理能力對于業(yè)務(wù)系統(tǒng)而言采用分布式數(shù)據(jù)庫的效果主要體現(xiàn)在響應(yīng)時(shí)間縮短事務(wù)處理能力升等方面。從實(shí)際的調(diào)查結(jié)果來看采用分布式數(shù)據(jù)庫后性能提升的幅度與業(yè)務(wù)系統(tǒng)的規(guī)模與業(yè)務(wù)量相關(guān)對于業(yè)務(wù)量較小的系統(tǒng),性能提升不明顯,提升指標(biāo)基本維持在80-10的區(qū)間對于業(yè)務(wù)量較大的系統(tǒng)性能提升較為明顯以某大型銀行金融業(yè)務(wù)系統(tǒng)為例其響應(yīng)時(shí)間在使用分布式數(shù)據(jù)庫后,提升了約10-200,TPS(每秒執(zhí)行事務(wù)數(shù))達(dá)到12萬,同時(shí)隨著數(shù)據(jù)量增長至12TB,整體性能提升達(dá)到200以上。金融機(jī)構(gòu)采用分布式數(shù)據(jù)庫后,約50的業(yè)務(wù)系統(tǒng)性能基本維持不變這是因?yàn)榉植际綌?shù)據(jù)庫在金融機(jī)構(gòu)大多是從業(yè)務(wù)量相對較小的管理類業(yè)務(wù)開始試點(diǎn)的后續(xù)將隨著分布式數(shù)據(jù)庫逐步應(yīng)用到核心等金融交易類業(yè)務(wù)場景后性能提升占比指標(biāo)將逐步提高。性能提升指標(biāo)見圖2。數(shù)據(jù)量指

圖28圖根據(jù)調(diào)查結(jié)果目前金融機(jī)構(gòu)采用分布式數(shù)據(jù)庫的業(yè)務(wù)系統(tǒng)業(yè)務(wù)數(shù)據(jù)量統(tǒng)計(jì)占比可以看出分布式數(shù)據(jù)庫更多應(yīng)用在數(shù)據(jù)量較大的業(yè)務(wù)系統(tǒng)上。業(yè)務(wù)數(shù)據(jù)量統(tǒng)計(jì)見圖2。圖29圖改造時(shí)長指標(biāo)由傳統(tǒng)集中式數(shù)據(jù)庫改造為分布式數(shù)據(jù)庫其改造所需的時(shí)間主要體現(xiàn)在分布式數(shù)據(jù)庫架構(gòu)設(shè)計(jì)與安裝部署異構(gòu)數(shù)據(jù)庫語法改造與適配業(yè)務(wù)數(shù)據(jù)的遷移與驗(yàn)證等方面除去立項(xiàng)簽署合同等非技術(shù)因素一個(gè)業(yè)務(wù)系統(tǒng)由傳統(tǒng)集中式數(shù)據(jù)庫改造為分布式數(shù)據(jù)庫所需的改造時(shí)長一般在兩年內(nèi)完成其中大部分系統(tǒng)改造集中在5個(gè)月內(nèi)完成改造時(shí)長統(tǒng)計(jì)如圖30所示。經(jīng)濟(jì)效益指

圖30圖金融機(jī)構(gòu)傳統(tǒng)集中式數(shù)據(jù)庫大多運(yùn)行在價(jià)格高昂的大型機(jī)小型機(jī)及企業(yè)級存儲上而分布式數(shù)據(jù)庫只需要運(yùn)行在價(jià)格相對較低的X8ARM等架構(gòu)的PC服務(wù)器上且分布式數(shù)據(jù)庫的軟件費(fèi)用相對國外集中式數(shù)據(jù)庫較低相關(guān)軟硬件維保費(fèi)用也較低雖然因?yàn)榉植际讲渴鹪O(shè)備數(shù)量有所增加,但通過調(diào)查統(tǒng)計(jì),總體的經(jīng)濟(jì)效益有所提升。調(diào)查顯示使用分布式數(shù)據(jù)庫改造后經(jīng)濟(jì)效益基本保持不變(80-120之間)的有50,有約三分之一的業(yè)務(wù)系統(tǒng)在經(jīng)過改造后經(jīng)濟(jì)效益提升兩倍以上經(jīng)濟(jì)效益提升情況如圖31所示。圖31圖五、分布式數(shù)據(jù)庫金融應(yīng)用的挑戰(zhàn)與應(yīng)對(一)金融應(yīng)用業(yè)務(wù)側(cè)應(yīng)用設(shè)計(jì)靈活性以銀行為例銀行信息系統(tǒng)架構(gòu)由應(yīng)用架構(gòu)數(shù)據(jù)架構(gòu),基礎(chǔ)架構(gòu)三部分組成。應(yīng)用架構(gòu)主要關(guān)注業(yè)務(wù)功能如何實(shí)現(xiàn)定義應(yīng)用與應(yīng)用系統(tǒng)及其交互集成關(guān)系數(shù)據(jù)架構(gòu)主要負(fù)責(zé)數(shù)據(jù)的全生命周期包括數(shù)據(jù)產(chǎn)生流轉(zhuǎn)整合應(yīng)用歸檔;基礎(chǔ)架構(gòu)就是計(jì)算、網(wǎng)絡(luò)存儲、基礎(chǔ)軟件災(zāi)備、安全等。銀行信息系統(tǒng)架構(gòu)如圖32所示。圖32構(gòu)該架構(gòu)的靈活性方面可能存在如下挑戰(zhàn)。復(fù)雜核心系統(tǒng)難管理和迭代現(xiàn)有架構(gòu)中所有業(yè)務(wù)流程均要走到核心的會計(jì)/賬務(wù)系統(tǒng),一旦核心系統(tǒng)崩潰,將導(dǎo)致銀行所有業(yè)務(wù)全部停業(yè)具體來看即是業(yè)務(wù)連續(xù)性差和可迭代性差。架構(gòu)缺乏彈性的系統(tǒng)設(shè)計(jì)目前大多金融應(yīng)用架構(gòu)很難應(yīng)對業(yè)務(wù)突發(fā)流量即不彈性例如在應(yīng)“網(wǎng)購日”業(yè)務(wù)的增長時(shí),對網(wǎng)上銀行系統(tǒng)WB節(jié)點(diǎn)、AP節(jié)點(diǎn)進(jìn)行擴(kuò)容整個(gè)擴(kuò)容過程需要經(jīng)過4個(gè)部門多個(gè)專業(yè)領(lǐng)域的人員相互配合,進(jìn)行50個(gè)操作步驟,耗時(shí)數(shù)周才完成。系統(tǒng)建設(shè)周期過長現(xiàn)基“大集中的應(yīng)用設(shè)計(jì)方式,產(chǎn)品創(chuàng)新升級迭代需要經(jīng)歷“原系統(tǒng)改造”、“設(shè)計(jì)開發(fā)”“測試“試點(diǎn)“上線”等階段整個(gè)生命周期大概需要三個(gè)月到半年。應(yīng)用設(shè)計(jì)建議如下。金融業(yè)務(wù)可以通過分布式架構(gòu)動(dòng)態(tài)擴(kuò)容等技術(shù)應(yīng)對業(yè)務(wù)洪峰的來臨依靠天然“數(shù)據(jù)分散能力使得真正的業(yè)務(wù)雙活,甚至多活得以實(shí)現(xiàn),讓業(yè)務(wù)上線更平滑更快速。具體的應(yīng)用設(shè)計(jì)思路與流程可以做如下參考:金融核心系統(tǒng)由集中式走向分布式架構(gòu)的總體設(shè)計(jì)大致有兩個(gè)方面一方面是業(yè)務(wù)由外圍到核心逐步下移至開放平臺或開放分布式平臺直至完成分布式改造另一方面是建設(shè)雙核心在原來集中式核心基礎(chǔ)上將二三類賬戶獨(dú)立出來建設(shè)互聯(lián)網(wǎng)金融分布式核心系統(tǒng)就實(shí)施流程來看從集中式往分布式架構(gòu)演進(jìn)可分為五個(gè)階段:API化改造,即核心業(yè)務(wù)進(jìn)行API化改造,用AI網(wǎng)關(guān)替代傳統(tǒng)ESB,這個(gè)階段可以支持開放銀行部分業(yè)務(wù)卸載即啟“大核心小外圍策略將小部分業(yè)務(wù)卸載到開放平臺部分核心保留,即過渡“大核心大外圍狀態(tài)將少數(shù)業(yè)務(wù)(賬務(wù)存款等模塊保留在傳統(tǒng)核心其他業(yè)務(wù)系(賬務(wù)系統(tǒng)的查詢等都卸載到開放平臺雙軌并行“傳統(tǒng)核心“分布式新核心”雙軌并行(一般Ⅱ/Ⅲ類賬戶基于新核心,Ⅰ類賬戶保留在傳統(tǒng)核心全面核心升級即全部完成分布式新核心替換,ⅡⅢⅠ類等賬戶均在新核心。運(yùn)維管理易用性目前國內(nèi)金融機(jī)構(gòu)面臨大量的運(yùn)維人力成本和資源成本,有大量的遺留陳舊系統(tǒng)運(yùn)維困難。挑戰(zhàn)如下。平臺自動(dòng)化程度低傳統(tǒng)的銀行應(yīng)用系統(tǒng)及基礎(chǔ)設(shè)施平臺采用非云的部署方式各個(gè)應(yīng)用部門各自負(fù)責(zé)自身應(yīng)用的生命周期管理,各自采用不同的運(yùn)維管理工具和技術(shù)棧,自動(dòng)化程度依賴個(gè)人技術(shù)能力不同企業(yè)不同部門之間差異較大。架構(gòu)標(biāo)準(zhǔn)化程度低。過于復(fù)雜的分層IT架構(gòu)讓整個(gè)系統(tǒng)分成了網(wǎng)絡(luò)傳輸層/存儲設(shè)備層/服務(wù)器層/操作系統(tǒng)層/數(shù)據(jù)庫層/中間件&運(yùn)行庫/應(yīng)用軟件等。企業(yè)一般會從不同的供應(yīng)商分層采購不同的設(shè)備及軟件IT行業(yè)在標(biāo)準(zhǔn)化還在起步階段導(dǎo)致不同廠家的異構(gòu)設(shè)備之間接口不同適配困難模型不統(tǒng)一沒有辦法使用一套通用的管理系統(tǒng)進(jìn)行運(yùn)維管理。設(shè)備管理操作復(fù)雜傳統(tǒng)的集中式架構(gòu)主要是以IO(即IBM、Orcle、EMC)三家廠商主導(dǎo)的信息系統(tǒng)架構(gòu)。隨著IB/Oace/MC在中國的市場空間逐步縮小相應(yīng)的人才獲取也更加困難有經(jīng)驗(yàn)的人才更是稀缺導(dǎo)致系統(tǒng)的運(yùn)維管理出現(xiàn)人員真空。建議如下。推薦采用本地化部署結(jié)合公/私有云共同管理的設(shè)計(jì)思路在核心業(yè)務(wù)系統(tǒng)采用業(yè)務(wù)本地化部署與分布式數(shù)據(jù)庫結(jié)合的方案在加強(qiáng)安全性可靠性也能讓應(yīng)用數(shù)據(jù)具有“物理集中邏輯隔離的特性在非核心業(yè)務(wù)系統(tǒng)可依托云服務(wù)提供商的云管能力,構(gòu)建多云一體化管理和IT服務(wù)平臺使多資源統(tǒng)一納管多地域統(tǒng)一權(quán)限多服務(wù)統(tǒng)一入口。實(shí)現(xiàn)銀行IT資源統(tǒng)一管理、靈活調(diào)度,支持應(yīng)用多活部署組件版本同步更新支撐業(yè)務(wù)跨區(qū)灰度發(fā)布充分發(fā)揮分布式計(jì)算功能快速建立統(tǒng)一運(yùn)維人才培養(yǎng)體系滿足分布式架構(gòu)轉(zhuǎn)型建設(shè)需求。資源成本利用率金融機(jī)構(gòu)業(yè)務(wù)運(yùn)轉(zhuǎn)所需要的各類資源需求相比各行業(yè)來說屬于較高的水平尤其是硬件資源但是目前的應(yīng)用經(jīng)過長“堆疊式建設(shè)在利用率上問題凸顯在資源成本利用方面金融應(yīng)用綜合建設(shè)成本較高面臨“復(fù)用困難”“成本高昂的雙重問題結(jié)合實(shí)踐情況來看采用資源共享是提升資源利用率的較優(yōu)方案。挑戰(zhàn)如下?!盁焽枋健奔軜?gòu)利用率低、復(fù)用困難。傳統(tǒng)的IT系統(tǒng)采用靜態(tài)資源分配分散管理各分散的業(yè)務(wù)部門通常按照規(guī)劃的最大資源申請物理機(jī)虛擬機(jī)資源物理資源仍被私有化無法實(shí)現(xiàn)共享利用率低同時(shí)從銀行業(yè)務(wù)系統(tǒng)來看復(fù)雜的業(yè)務(wù)流程和架構(gòu)導(dǎo)致企業(yè)中應(yīng)用系統(tǒng)數(shù)據(jù)庫繁多且分散并且各個(gè)應(yīng)用之間的數(shù)據(jù)是隔離的無法完全共享。集中式架構(gòu)設(shè)備成本高昂基于IBM大型主機(jī)的銀行集中式系統(tǒng)總成本(購買+維護(hù))遠(yuǎn)超過基于x8/AM的分布式系統(tǒng)成本壓力愈發(fā)明顯在存量博弈時(shí)代銀行業(yè)競爭加劇,更低的IT維護(hù)投入帶來更強(qiáng)的成本優(yōu)勢和更大的創(chuàng)新空間互聯(lián)網(wǎng)銀行的崛起進(jìn)一步考驗(yàn)傳統(tǒng)銀行的成本控制能力。硬件、軟件和數(shù)據(jù)資源共享建議如下。硬件資源共享。通過底層虛擬化/云化技術(shù),將硬件資源池化各應(yīng)用系統(tǒng)按需動(dòng)態(tài)申請資源共享資源池采用跨CU架構(gòu)的云體系,最大程度利用原有本地服務(wù)器資源。軟件資源共享通過將應(yīng)用軟件微服務(wù)化組件化不同應(yīng)用之間共享相同的公共服務(wù),靈活安裝卸載功能組件,避免二次開發(fā)通過云化多租戶特性實(shí)現(xiàn)多用戶環(huán)境下共用相同的系統(tǒng)或程序組件,并且可確保各用戶間數(shù)據(jù)的隔離性。數(shù)據(jù)存儲共享首先采用分布式數(shù)據(jù)庫將業(yè)務(wù)的數(shù)據(jù)物理集中起來實(shí)現(xiàn)打破數(shù)據(jù)孤島的能力再設(shè)立數(shù)據(jù)標(biāo)準(zhǔn)、進(jìn)行數(shù)據(jù)立法采用統(tǒng)一的數(shù)據(jù)庫設(shè)計(jì)規(guī)范讓業(yè)務(wù)對數(shù)據(jù)的使用標(biāo)準(zhǔn)化最后通過不同應(yīng)用之間或者不同數(shù)據(jù)處理系統(tǒng)之間數(shù)據(jù)流動(dòng)同步實(shí)現(xiàn)數(shù)據(jù)源頭的統(tǒng)一數(shù)據(jù)一次加工,多次使用。數(shù)據(jù)庫設(shè)計(jì)合理性金融應(yīng)用在數(shù)據(jù)使用方式快速變化的沖擊下往往需要靈活調(diào)整其數(shù)據(jù)模型尤其是數(shù)據(jù)庫的設(shè)計(jì)方案但是調(diào)研得出應(yīng)用數(shù)據(jù)庫的設(shè)計(jì)并不能最好地發(fā)揮出數(shù)據(jù)庫管理系統(tǒng)軟件的能力。金融應(yīng)用在數(shù)據(jù)庫設(shè)計(jì)時(shí)不夠嚴(yán)密和謹(jǐn)慎,可能導(dǎo)致后期產(chǎn)生諸多問題例“應(yīng)用邏輯與數(shù)據(jù)庫綁定難運(yùn)維開發(fā)“應(yīng)用雙寫方案欠缺導(dǎo)致遷移難“應(yīng)用設(shè)計(jì)前瞻性不足未能充分利用分布式產(chǎn)品能力”等。挑戰(zhàn)如下。應(yīng)用邏輯與數(shù)據(jù)庫耦合度過高由于歷史原因受限于早期的網(wǎng)絡(luò)帶寬和延時(shí)瓶頸應(yīng)用開發(fā)者往往選擇將業(yè)務(wù)邏輯下沉至數(shù)據(jù)庫端,以減少網(wǎng)絡(luò)反復(fù)開銷。但是有利有弊,此類方案在應(yīng)用開發(fā)采用大量存儲過程就導(dǎo)致難以拆解運(yùn)維升級不同數(shù)據(jù)庫的存儲過程語法定義不同這給數(shù)據(jù)庫遷移帶來了極大的困難應(yīng)用遷移至新的分布式數(shù)據(jù)庫需要做大量的改造工作以工行為例某應(yīng)用存儲過程代碼上千萬行,即使通過遷移工具自動(dòng)遷移90,仍有百萬級代碼需要人工遷移這些代碼往往比較陳舊已無人有能力維護(hù)改造。應(yīng)用標(biāo)準(zhǔn)雙寫方案缺乏應(yīng)用雙寫是保障應(yīng)用與數(shù)據(jù)庫解耦的良好手段整個(gè)雙寫方案涉及數(shù)據(jù)庫并行回切監(jiān)控同步等多個(gè)技術(shù)點(diǎn)和策略同一個(gè)銀行不同應(yīng)用使用的方案都不一樣導(dǎo)致在數(shù)據(jù)庫遷移的過程中每個(gè)應(yīng)用都需要自行開發(fā)一套方案,沒有標(biāo)準(zhǔn)化方案。數(shù)據(jù)庫設(shè)計(jì)未考慮分布式化分布式數(shù)據(jù)庫的數(shù)據(jù)存儲原理與傳統(tǒng)集中式數(shù)據(jù)庫原理不相同對于數(shù)據(jù)的使用高效性可能因?yàn)閼?yīng)用側(cè)表設(shè)計(jì)不合理導(dǎo)致而降低所以需要針對應(yīng)用側(cè)的庫表進(jìn)行分布式設(shè)計(jì),例如熱點(diǎn)拆分和數(shù)據(jù)對齊。針對這種情況,建議如下。注重應(yīng)用邏輯設(shè)計(jì)的通用性對于未來有業(yè)務(wù)擴(kuò)展性需求(敏態(tài)應(yīng)用應(yīng)用系統(tǒng)在設(shè)計(jì)業(yè)務(wù)邏輯的時(shí)候盡可能避免采用存儲過程等下沉業(yè)務(wù)邏輯至數(shù)據(jù)庫的技術(shù)并采用分布式設(shè)計(jì)思路改造對于未來沒有業(yè)務(wù)擴(kuò)展需求(穩(wěn)態(tài)應(yīng)用保留原有存儲過程等下沉業(yè)務(wù)邏輯至數(shù)據(jù)庫的技術(shù)并通過完善自動(dòng)化遷移工具的遷移效率降低應(yīng)用改造成本。設(shè)計(jì)應(yīng)用層雙寫方案在應(yīng)用側(cè)設(shè)計(jì)數(shù)據(jù)雙寫方案考慮可對數(shù)據(jù)庫更換的情況以避免出現(xiàn)部分?jǐn)?shù)據(jù)庫無法完成數(shù)據(jù)同步的情況具體來看可以應(yīng)用側(cè)改造做雙寫表利用數(shù)據(jù)同步工具同步應(yīng)用相關(guān)參數(shù)表由于目標(biāo)庫的數(shù)據(jù)有延遲比對的數(shù)據(jù)以成功寫入目標(biāo)庫的部分為基準(zhǔn)反向與源數(shù)據(jù)庫數(shù)據(jù)進(jìn)行校驗(yàn)。進(jìn)行分布式數(shù)據(jù)庫設(shè)計(jì)分布式數(shù)據(jù)庫基于其數(shù)據(jù)物理分散的原理可以利用更多的物理資源提供數(shù)據(jù)服務(wù)但同時(shí)也需要更為嚴(yán)苛的網(wǎng)絡(luò)環(huán)境在此情況下數(shù)據(jù)的分布方式會直接關(guān)系到應(yīng)用的性能所以按業(yè)務(wù)數(shù)據(jù)使用特性選擇數(shù)據(jù)分布策略才能更好地利用分布式數(shù)據(jù)庫能力舉例來說一般分布式數(shù)據(jù)庫有兩種數(shù)據(jù)分布方式復(fù)制表方式將表中的全量數(shù)據(jù)在集群的每一個(gè)數(shù)據(jù)節(jié)點(diǎn)上保留一份,適用于小表維度表哈希表方式將表中某一個(gè)或幾個(gè)字段進(jìn)行hah運(yùn)算后,生成對應(yīng)的hah值,根據(jù)數(shù)據(jù)節(jié)點(diǎn)實(shí)例與哈希值的映射關(guān)系獲得該元組的目標(biāo)存儲位置適用于數(shù)據(jù)量較大的事實(shí)表。(二)分布式數(shù)據(jù)庫側(cè)分布式數(shù)據(jù)庫產(chǎn)業(yè)化時(shí)間較短不管是產(chǎn)品成熟度還是生態(tài)工具層面都還不太完善金融機(jī)構(gòu)在使用分布式數(shù)據(jù)庫的過程中也發(fā)現(xiàn)了較多不足性能和兼容性是金融機(jī)構(gòu)使用分布式數(shù)據(jù)庫時(shí)面臨的突出問題需要金融機(jī)構(gòu)與產(chǎn)業(yè)機(jī)構(gòu)通力合作通過實(shí)際應(yīng)用場景驗(yàn)證打磨產(chǎn)品促使產(chǎn)品不斷成熟。產(chǎn)品高性能金融應(yīng)用數(shù)據(jù)庫是現(xiàn)代金融企業(yè)的業(yè)務(wù)基礎(chǔ)金融應(yīng)用數(shù)據(jù)庫復(fù)雜的數(shù)據(jù)結(jié)構(gòu)和業(yè)務(wù)邏輯。目前金融機(jī)構(gòu)的分布式數(shù)據(jù)庫性能挑戰(zhàn)如下。系統(tǒng)復(fù)雜性增強(qiáng)金融應(yīng)用系統(tǒng)需要和同一個(gè)企業(yè)內(nèi)部的其他系統(tǒng)通信,易造成數(shù)據(jù)庫在復(fù)雜邏輯下的性能衰減。系統(tǒng)壓力增大區(qū)別于早期的金融業(yè)務(wù)目前的應(yīng)用系統(tǒng)有來自不同的數(shù)據(jù)使用方式通常需要支持大量并發(fā)用戶同時(shí)進(jìn)行數(shù)據(jù)查詢和修改操作對數(shù)據(jù)庫并發(fā)處理能力要求較高。歷史數(shù)據(jù)遷移開發(fā)新的系統(tǒng)時(shí)需要遷移已有的數(shù)據(jù),由于數(shù)據(jù)轉(zhuǎn)換規(guī)則復(fù)雜、數(shù)據(jù)量大,容易出現(xiàn)性能問題。數(shù)據(jù)資源爭用由于應(yīng)用程序代碼沒有很好利用底層數(shù)據(jù)庫的功能導(dǎo)致多用戶并發(fā)訪問系統(tǒng)時(shí)對共享的資源成過度的競爭,致使系統(tǒng)性能受到嚴(yán)重的限制。以上的客觀問題會導(dǎo)致分布式數(shù)據(jù)庫的研發(fā)存在很多的挑戰(zhàn),具體來看有如下幾個(gè)方面:物理資源利用不充分現(xiàn)在金融業(yè)分布式數(shù)據(jù)庫架構(gòu)設(shè)計(jì)大多沿用成熟開源/閉源代碼進(jìn)行迭代。受限于數(shù)據(jù)庫穩(wěn)定性考量,底層物理資源調(diào)度模塊大多沒有進(jìn)行重做或改造,所以在對多核芯片和新型網(wǎng)絡(luò)設(shè)備使用上還不足。內(nèi)核調(diào)度設(shè)計(jì)過于陳舊。以PotgeSL為例,早期設(shè)計(jì)考慮如今大數(shù)據(jù)壓力采用多進(jìn)程調(diào)度方式設(shè)計(jì)會帶來性能不足。數(shù)據(jù)庫中間件臃腫在分布式數(shù)據(jù)庫設(shè)計(jì)中采用中間件來對數(shù)據(jù)庫實(shí)例進(jìn)行調(diào)度的方案如果考慮不完備會在業(yè)務(wù)復(fù)雜性較強(qiáng)的情況下導(dǎo)致中間件壓力增大從而引起性能惡化。從數(shù)據(jù)庫產(chǎn)品角度建議如下。加大對真實(shí)場景的研究提升最佳實(shí)踐能力將數(shù)據(jù)庫特性更精確地轉(zhuǎn)化為業(yè)務(wù)性能對數(shù)據(jù)庫底層框架需要更多的自主設(shè)計(jì)和原創(chuàng)性設(shè)計(jì)從架構(gòu)設(shè)計(jì)之初就需要考慮到如今和未來的大數(shù)據(jù)大壓力情況下的高效應(yīng)用同時(shí)也需要提升對如NME磁盤RMA網(wǎng)絡(luò)NUA架構(gòu)芯片的支持將更先進(jìn)的硬件充分利用起來完成應(yīng)用的性能需求。采用方案進(jìn)行性能優(yōu)化例如減少磁盤訪問通過創(chuàng)建并使用正確的數(shù)據(jù)庫索引和優(yōu)化SQL路徑來減少直接的堆數(shù)據(jù)磁盤訪問減少內(nèi)部網(wǎng)絡(luò)傳輸采用數(shù)據(jù)分頁精簡字段和算子下推等數(shù)據(jù)庫優(yōu)化方式降低網(wǎng)絡(luò)開銷提升分布式數(shù)據(jù)庫網(wǎng)絡(luò)利用率,從而加速性能。減少外部網(wǎng)絡(luò)吞吐。通過預(yù)處理批處理存儲過程結(jié)果集游標(biāo)等方案將業(yè)務(wù)邏輯后推至數(shù)據(jù)庫端減少大量數(shù)據(jù)吞吐從而加速性能。減少CPU資源消耗。業(yè)務(wù)層設(shè)計(jì)時(shí)綁定變量方式參數(shù)傳遞、減少不必要排序減少比較算子來降低數(shù)據(jù)庫算力浪費(fèi)通過NMA綁核等減少跨核跨處理器競爭編譯執(zhí)(LL,從解釋執(zhí)行向編譯執(zhí)行轉(zhuǎn)變來降低CPU中斷頻繁引起的性能下降。數(shù)據(jù)安全性數(shù)字經(jīng)濟(jì)時(shí)代數(shù)據(jù)的價(jià)值得到了普遍認(rèn)可中央也將“數(shù)據(jù)作為五大生產(chǎn)要素之一寫入文件金融業(yè)所擁有的包含個(gè)人可識別信息及賬戶資金狀況的數(shù)據(jù)關(guān)鍵且重要如有泄露會造成巨大損失同時(shí)隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的高速發(fā)展和金融電子化的逐漸深入越來越多的銀行業(yè)務(wù)系統(tǒng)通過網(wǎng)絡(luò)將數(shù)據(jù)集中起來利用功能強(qiáng)大的數(shù)據(jù)庫來存儲和管理業(yè)務(wù)數(shù)據(jù)客戶資料等重要的金融信息因此金融數(shù)據(jù)庫的安全已成為金融計(jì)算機(jī)信息系統(tǒng)安全的關(guān)鍵。常見的數(shù)據(jù)庫安全問題如下。敏感數(shù)據(jù)的共享安全問題對敏感數(shù)據(jù)使用范疇定位不清晰,導(dǎo)致敏感數(shù)據(jù)泄露;違規(guī)操作造成的數(shù)據(jù)泄露和非法篡改風(fēng)險(xiǎn)黑客或犯罪分子在用戶存取數(shù)據(jù)庫時(shí)盜用用戶名和用戶口令假冒合法用戶偷取、修改甚至破壞數(shù)據(jù);安全事件難以定責(zé)與取證出現(xiàn)安全事件后如何留取證,如何定責(zé)以防止后續(xù)安全事件發(fā)生;脆弱的用戶賬號設(shè)置如果密碼相對簡單或不進(jìn)行定時(shí)修改,黑客或犯罪分子會更容易破解數(shù)據(jù)庫;粗粒度的數(shù)據(jù)庫存取控制對數(shù)據(jù)庫的存取控制應(yīng)以更細(xì)粒度操控否則將會傾向于給應(yīng)用超過其需求的權(quán)限造成使用風(fēng)險(xiǎn);密碼以明文方式存儲。數(shù)據(jù)庫方面的安全漏洞建議如下。對數(shù)據(jù)庫提供商來說除了依賴數(shù)據(jù)庫外部的安全防護(hù)手段以外在數(shù)據(jù)庫內(nèi)核中也需要設(shè)計(jì)更高維度的安全防護(hù)手段,包括但不限于采用國密SM體系及更嚴(yán)格的標(biāo)準(zhǔn)來設(shè)計(jì)數(shù)據(jù)加密體系提供強(qiáng)制訪問策略對用戶和實(shí)體進(jìn)行權(quán)限設(shè)計(jì)設(shè)計(jì)黑白名單管理讓用戶能在數(shù)據(jù)庫訪問側(cè)屏蔽非授信訪問定義更嚴(yán)密的口令系統(tǒng)提供多維混合加密的默認(rèn)選擇甚至提供硬件加密接口等引入隱私計(jì)算區(qū)塊鏈等前沿安全技術(shù)對數(shù)據(jù)文件進(jìn)行加密定期同步數(shù)據(jù)庫安全補(bǔ)丁等等。對數(shù)據(jù)庫使用者來說也可以采取一定方案提升數(shù)據(jù)庫安全等級包括但不限于采用嚴(yán)格的身份認(rèn)證提升數(shù)據(jù)庫防攻擊能力包括但不限于使用更復(fù)雜的口令采用電子令牌和數(shù)字證書等使用更細(xì)致的數(shù)據(jù)訪問控制解決敏感數(shù)據(jù)“物理集中邏輯隔離的難點(diǎn)包括但不限于將控制權(quán)與訪問權(quán)分離對行級數(shù)據(jù)進(jìn)行訪問控制提升數(shù)據(jù)保密性緩解數(shù)據(jù)泄露和篡改問題包括但不限于選擇更合理的選擇加密字段安全高效的加密算法對密鑰的妥善管理對動(dòng)態(tài)數(shù)據(jù)脫敏以及全密態(tài)數(shù)據(jù)庫等值查詢等加強(qiáng)審計(jì)追蹤和漏洞掃描解決事件發(fā)生后追責(zé)問題包括但不限于啟用系統(tǒng)使用審核和用戶操作審核。加強(qiáng)數(shù)據(jù)庫狀態(tài)監(jiān)控以預(yù)警安全事件。架構(gòu)可用性沒有任何一個(gè)單一的系統(tǒng)可以保證長期無差錯(cuò)的平穩(wěn)運(yùn)行但是在金融這樣一個(gè)特

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論