金證數(shù)據(jù)中心運維管理平臺白皮書

金證數(shù)據(jù)中心運維管理平臺白皮書 金證數(shù)據(jù)中心運維管理平臺產(chǎn)品白皮書WWW.SZKINGDOM.COM2012年目錄1. 產(chǎn)品白皮書 31.1. 關(guān)于本產(chǎn)品 31.2. 關(guān)于白皮書 31.3. 關(guān)于閱讀者 31.4. 版權(quán)聲明 31.5. 商標聲明 42. 產(chǎn)品簡介 42.1. 產(chǎn)品背景 42.2. 產(chǎn)品概述 52.3. 產(chǎn)品總體構(gòu)成 63. 產(chǎn)品功能 63.1. 元數(shù)據(jù)管理 63.2. 數(shù)據(jù)質(zhì)量管理 73.3. 運維監(jiān)控 84. 總體技術(shù)架構(gòu) 105. 產(chǎn)品配置 115.1. 服務(wù)器環(huán)境 115.2. 客戶端環(huán)境 11產(chǎn)品白皮書關(guān)于本產(chǎn)品金證數(shù)據(jù)中心運維管理平臺是針對企業(yè)IT環(huán)境中備受關(guān)注的數(shù)據(jù)治理問題所提出的一整套端到端的解決方案。數(shù)據(jù)治理涵蓋于企業(yè)的整個信息化建設(shè)過程，它涉及每個系統(tǒng)，包括所有業(yè)務(wù)核心系統(tǒng)、數(shù)據(jù)倉庫、CIF、風(fēng)險管理、合規(guī)支持等等，它需要一個統(tǒng)一的管理平臺進行管理，其范圍涵蓋對數(shù)據(jù)的集成、整合、交換、同步和應(yīng)用。金證數(shù)據(jù)中心運維管理平臺由元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理和運維監(jiān)控管理三大模塊組成，形成完整的企業(yè)數(shù)據(jù)治理解決方案。關(guān)于白皮書本白皮書旨在幫助讀者了解產(chǎn)品能力，確定工具平臺構(gòu)建的要素，包含：技術(shù)架構(gòu)、應(yīng)用構(gòu)建策略、產(chǎn)品特性、關(guān)鍵技術(shù)原理和平臺環(huán)境等。關(guān)于閱讀者本手冊的目標讀者包括企業(yè)決策人員、市場分析人員、營銷服務(wù)人員，以及系統(tǒng)架構(gòu)人員、應(yīng)用架構(gòu)人員、應(yīng)用開發(fā)人員和應(yīng)用實施人員。除了第一章的特性之外，其他各章節(jié)之間的內(nèi)容是基本獨立的。管理人員和決策人員可以瀏覽各個章節(jié)的概述部分來了解整章的內(nèi)容。業(yè)務(wù)分析人員可以直接閱讀產(chǎn)品特性部分，架構(gòu)設(shè)計人員可以直接閱讀應(yīng)用構(gòu)建策略和平臺環(huán)境部分或者架構(gòu)策略和技術(shù)架構(gòu)部分，應(yīng)用開發(fā)人員可以直接閱讀產(chǎn)品特性和關(guān)鍵技術(shù)原理部分，應(yīng)用實施人員可以閱讀應(yīng)用構(gòu)建策略、產(chǎn)品特性和關(guān)鍵技術(shù)原理部分。版權(quán)聲明本文包含的信息代表金證公司目前對本文所涉及內(nèi)容的觀點，由于用戶需求、市場和產(chǎn)品情況的不斷變化，本文中的信息并不代表金證公司未來的觀點，金證公司不能保證本文信息在未來時間的有效性。本文包含的內(nèi)容，無論是明確陳述的內(nèi)容或隱含的內(nèi)容，都不能理解為金證公司的正式商業(yè)承諾。本文包含敏感信息，須限制使用。擴散或復(fù)制本文須得到金證公司的書面認可，嚴禁以任何形式印刷或出版本文的全部或部分內(nèi)容。本文中提及的有關(guān)產(chǎn)品和名稱為相應(yīng)公司或機構(gòu)的（注冊）商標。本文信息若有變動，恕不另行通知。商標聲明為金證公司在中華人民共和國國家商標局登記注冊的商標，其所有權(quán)由本公司合法擁有，受法律保護。未經(jīng)本公司書面許可或授權(quán)，任何單位及個人不得以任何方式或理由對該商標的任何部分進行使用、復(fù)制、修改、傳播、抄錄或與其它產(chǎn)品捆綁使用。侵犯本公司商標權(quán)，本公司將依法追究其法律責(zé)任。產(chǎn)品簡介產(chǎn)品背景長期以來，企業(yè)受到“憑經(jīng)驗、靠感覺、輕數(shù)據(jù)”的工作習(xí)慣影響，數(shù)據(jù)遠未發(fā)揮其應(yīng)有價值，數(shù)據(jù)問題未受到足夠重視。雖然開發(fā)并應(yīng)用了多者上百套業(yè)務(wù)處理系統(tǒng)，產(chǎn)生大量數(shù)據(jù)，但是這些數(shù)據(jù)所帶來的各種問題卻成為企業(yè)提高競爭力的巨大障礙。這些問題主要表現(xiàn)在以下4個方面。數(shù)據(jù)分散、重復(fù)、不一致。信息系統(tǒng)的開發(fā)和應(yīng)用按部門開展，各系統(tǒng)的數(shù)據(jù)定義、數(shù)據(jù)采集流程自成體系，缺少一致性，形成一個個“信息孤島”；不能把分散的數(shù)據(jù)依據(jù)其內(nèi)在邏輯聚集關(guān)聯(lián)成一個完整的數(shù)據(jù)源，難以建立全面、準確、完整反映企業(yè)經(jīng)營狀況的單一數(shù)據(jù)視圖。關(guān)鍵業(yè)務(wù)數(shù)據(jù)不準確。前臺人員不關(guān)心數(shù)據(jù)質(zhì)量，其控制未融入到業(yè)務(wù)流程中；企業(yè)缺乏規(guī)范的數(shù)據(jù)質(zhì)量控制流程和考核機制，數(shù)據(jù)質(zhì)量問題不能及時發(fā)現(xiàn)并解決。數(shù)據(jù)處理難以滿足需要。交易系統(tǒng)設(shè)計側(cè)重于特定功能的實現(xiàn)和處理效率的保證，其數(shù)據(jù)處理難以滿足業(yè)務(wù)發(fā)展、經(jīng)營決策和管理考核的需要。缺乏數(shù)據(jù)規(guī)劃，數(shù)據(jù)管理成本高。缺乏對數(shù)據(jù)采集、分布、流轉(zhuǎn)及應(yīng)用的合理規(guī)劃，部門間、總分行缺乏數(shù)據(jù)共享及協(xié)調(diào)機制。數(shù)據(jù)需求、數(shù)據(jù)質(zhì)量、數(shù)據(jù)應(yīng)用等問題的管理和解決分散在不同項目、業(yè)務(wù)和技術(shù)部門，沒有一個明確的組織對相關(guān)問題提供協(xié)調(diào)機制和統(tǒng)一的報告渠道，并跟蹤解決數(shù)據(jù)相關(guān)問題。上述問題最終導(dǎo)致企業(yè)運用數(shù)據(jù)時，存在大量的數(shù)據(jù)缺失、重復(fù)、矛盾、失真現(xiàn)象。導(dǎo)致花了大代價積累的歷史數(shù)據(jù)不可用、不敢用，無法轉(zhuǎn)化成有用的信息，進而無法對決策、營銷、考核等管理工作起到有效支撐。為解決上述問題，企業(yè)多年來付出了種種努力，包括信息系統(tǒng)升級改造、數(shù)據(jù)清洗等，投入大量的人力物力，成本巨大。但由于未采用系統(tǒng)性的管控治理，數(shù)據(jù)問題并未能從根本上解決，已阻礙了企業(yè)管理精細化的進程。顯然，企業(yè)急需建立一種新的數(shù)據(jù)管理機制來改善這種狀況。金證數(shù)據(jù)運營平臺正是通過從全企業(yè)的視角協(xié)調(diào)、統(tǒng)領(lǐng)各個層面的數(shù)據(jù)管理工作，建立人、數(shù)據(jù)、系統(tǒng)之間的和諧關(guān)系，保證企業(yè)內(nèi)部各類人員在正確的時間、正確的環(huán)境得到正確的數(shù)據(jù)支持及服務(wù)。產(chǎn)品概述數(shù)據(jù)治理是企業(yè)全面的信息技術(shù)（IT）管控的一個主要部分，本產(chǎn)品的目標是建立一個元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理和運維監(jiān)控管理所構(gòu)成的企業(yè)數(shù)據(jù)管理和控制的完整體系。提升企業(yè)整體視角的數(shù)據(jù)環(huán)境規(guī)劃能力；建立企業(yè)視角的通用數(shù)據(jù)標準提升統(tǒng)一有序的業(yè)務(wù)系統(tǒng)和信息管理系統(tǒng)的管理能力；建立統(tǒng)一有序的數(shù)據(jù)倉庫系統(tǒng)的管理能力；提升企業(yè)信息的質(zhì)量（可訪問性、可用性、正確性、一致性等）；提升數(shù)據(jù)的安全性（數(shù)據(jù)、硬件、軟件、應(yīng)用系統(tǒng)、使用者）；提升企業(yè)內(nèi)部不同職能部門之間的共享數(shù)據(jù)和協(xié)同工作能力；增加有效工作時間用于分析數(shù)據(jù)，減少用于在復(fù)雜企業(yè)數(shù)據(jù)環(huán)境中搜索數(shù)據(jù)的時間。產(chǎn)品總體構(gòu)成金證數(shù)據(jù)中心運維管理平臺包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理和運維監(jiān)控管理三大重點模塊。元數(shù)據(jù)管理：元數(shù)據(jù)架構(gòu)、元數(shù)據(jù)標準、元數(shù)據(jù)生成獲取和維護、元數(shù)據(jù)存儲、整合和共享、元數(shù)據(jù)查詢和報表、數(shù)據(jù)術(shù)語及字典管理、元數(shù)據(jù)知識庫管理數(shù)據(jù)質(zhì)量管理：業(yè)務(wù)數(shù)據(jù)標準、技術(shù)數(shù)據(jù)標準、數(shù)據(jù)標準的范圍（公共代碼標準、通用數(shù)據(jù)標準、共享數(shù)據(jù)標準和特定數(shù)據(jù)標準）；數(shù)據(jù)質(zhì)量檢核問題查詢、數(shù)據(jù)質(zhì)量指標趨勢分析及報告等。運維監(jiān)控管理：元數(shù)據(jù)變化監(jiān)控，數(shù)據(jù)質(zhì)量監(jiān)控，服務(wù)器監(jiān)控和數(shù)據(jù)庫監(jiān)控。 產(chǎn)品功能元數(shù)據(jù)管理元數(shù)據(jù)管理提供跨工具和應(yīng)用的企業(yè)級的元數(shù)據(jù)統(tǒng)一視圖，提供了清晰定義和分析跟蹤業(yè)務(wù)運作歷史數(shù)據(jù)的實際可行的解決方案。本模塊提供企業(yè)數(shù)據(jù)倉庫環(huán)境內(nèi)置的元數(shù)據(jù)類型支持；支持用戶按需定制元模型結(jié)構(gòu)，形成統(tǒng)一的元數(shù)據(jù)模型，特別適合支持業(yè)務(wù)元數(shù)據(jù)的管理，同時多樣性的類關(guān)系管理支持靈活、規(guī)范的元數(shù)據(jù)項關(guān)聯(lián)關(guān)系。本模塊可連接各種數(shù)據(jù)源和接口，自動獲取元數(shù)據(jù)，保證了元數(shù)據(jù)的最新、一致、可用、極大減少人工維護工作量。元數(shù)據(jù)管理模塊包含如下幾層架構(gòu)：數(shù)據(jù)源層。提供元數(shù)據(jù)的各個源系統(tǒng)。采集適配器層。通過配置統(tǒng)一的接口配置器，對各個源系統(tǒng)進行元數(shù)據(jù)采集。元數(shù)據(jù)存儲層。存儲從各個源系統(tǒng)中采集到的元數(shù)據(jù)。應(yīng)用功能層。元數(shù)據(jù)的應(yīng)用功能，包括元數(shù)據(jù)維護，元數(shù)據(jù)分析，元數(shù)據(jù)檢索，版本管理，ODS層的快速建立，血緣分析和影響分析等。展現(xiàn)層。為應(yīng)用功能提供統(tǒng)一展現(xiàn)。數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理模塊分為數(shù)據(jù)標準管理和數(shù)據(jù)質(zhì)量分析兩部分。數(shù)據(jù)標準管理：檢核指標的配置。配置相關(guān)的技術(shù)和業(yè)務(wù)指標對倉庫中的數(shù)據(jù)進行質(zhì)量檢查。檢核指標執(zhí)行。解析檢核指標的規(guī)則并執(zhí)行。檢核指標的調(diào)度。完成對檢核指標的調(diào)度，可設(shè)為定時觸發(fā)和手工觸發(fā)。數(shù)據(jù)質(zhì)量分析：檢核問題查詢。查詢檢核指標執(zhí)行后產(chǎn)生的檢核問題。檢核日志查詢。查詢檢核指標執(zhí)行的日志。指標趨勢分析。分析檢核指標的結(jié)果異常率趨勢。單表數(shù)據(jù)分析。分析單表的檢核結(jié)果異常率。問題處理率分析。分析檢核異常結(jié)果的處理率。數(shù)據(jù)質(zhì)量報告。根據(jù)數(shù)據(jù)質(zhì)量檢核的結(jié)果生成數(shù)據(jù)質(zhì)量報告。運維監(jiān)控通過監(jiān)控模塊，可以對包括BI系統(tǒng)在內(nèi)的大型數(shù)據(jù)庫應(yīng)用系統(tǒng)進行有效的實時監(jiān)控。通過數(shù)據(jù)集中監(jiān)控，可以對數(shù)據(jù)的整體處理流程進行定量把握；將元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量管理程序化和流程化；用戶可以對處理過程實施監(jiān)控，對于數(shù)據(jù)異常能夠及時得到告警信息和錯誤報告。本模塊分為四部分內(nèi)容：元數(shù)據(jù)變化監(jiān)控。通過監(jiān)控元數(shù)據(jù)的變化，使得管理維護人員能及早的發(fā)現(xiàn)源系統(tǒng)的結(jié)構(gòu)變化，從而修改相應(yīng)的ETL程序。定期發(fā)送元數(shù)據(jù)版本變化報告。數(shù)據(jù)質(zhì)量監(jiān)控。通過監(jiān)控檢核指標的運行結(jié)果，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，及早反饋、解決，避免數(shù)據(jù)質(zhì)量問題的擴散。定期發(fā)送質(zhì)量檢核報告。服務(wù)器監(jiān)控。監(jiān)控服務(wù)器的狀態(tài)，包括CPU利用率、IO壓力、內(nèi)存利用率和網(wǎng)絡(luò)壓力。數(shù)據(jù)庫監(jiān)控。監(jiān)控各個系統(tǒng)的數(shù)據(jù)庫狀態(tài)，包括表空間每日增長情況、表空間統(tǒng)計信息、表空間使用情況。結(jié)合服務(wù)器監(jiān)控信息定期發(fā)送性能優(yōu)化報告?？傮w技術(shù)架構(gòu)系統(tǒng)層次：1、源系統(tǒng)層，為運維平臺提供數(shù)據(jù)。2、資料庫，通過JDBC、SQLXML、SDKAPI和文本文件從源系統(tǒng)獲取數(shù)據(jù)，包含了存儲大量數(shù)據(jù)處理邏輯的LBM和存儲過程。3、系統(tǒng)核心層，通過BP/XP調(diào)用資料庫中的LBM和存儲過程，并完成業(yè)務(wù)功能的處理，之后用4種前段技術(shù)進行統(tǒng)一展現(xiàn)。4、展示媒介，瀏覽器、郵件、短信平臺等。關(guān)鍵技術(shù)LBM：通用的邏輯處理功能模塊。KCXP/KCBP：金證通訊中間件和業(yè)務(wù)中間件層，是調(diào)用后臺業(yè)務(wù)的通道C3P0：檢核任務(wù)調(diào)度器的數(shù)據(jù)庫連接池。KDE：核心處理模塊，由多個java類組成，并包含與KCXP通訊的JNI的調(diào)用和JNI的連接池。產(chǎn)品配置服務(wù)器環(huán)境

組件要求處理器推薦2CPU，P4以上內(nèi)存最低2G，推薦4G以上磁盤空間300MB操作系統(tǒng)Windows2000/2003/2008HP-UNIXLinuxAIX網(wǎng)絡(luò)連接TCP/IP應(yīng)用服務(wù)器Tomcat3.2.6以上WebSphere6.1應(yīng)用服務(wù)器標準版或企業(yè)版或以上BEAWebLogic9.0或以上關(guān)系數(shù)據(jù)庫服務(wù)器OracleDB2TeradataMicrosoftSQLServerInformixSybaseMySQL客戶