數據資產云圖(DACP)

1、工欲善其事，必先利其器數據資產云圖（DACP）白皮書環(huán)球第一數字資產交易所大數據事業(yè)群 數據資產管理部主要內容n 產品概述n 架構功能n 部署實施n 應用案例n 聯系我們23盡管“數據是資產”概念已經廣為人知，但“如何管理數據資產”仍然缺少成熟理論以及工具手段數據資產管理是企業(yè)或組織采取的各種管理活動，用以保證數據資產的安全完整，合理配置和有效利用，從而提高帶來的經濟效益，保障和促進各項事業(yè)發(fā)展。該領域是大數據時代企業(yè)布局競爭的核心，也是目前市場空白。什么是數據資產？存在什么問題？數據源不規(guī)范，導致無效數據加工處理緩慢，導致低效決策加工流程混亂，人力物力浪費評估手段缺失，數據資產價值大打折扣分

2、配不透明，數據資產錯配定義不統(tǒng)一錯誤判斷分布雜亂，數據資產閑置數據不開放，企業(yè)數據合作受限數據庫報表文件接口權限視圖治理無力應用低效運營缺失數據資產是企業(yè)及組織擁有或控制，能帶來未來經濟利益的數據資源。4 數據資產管理包括哪些核心內容？讓企業(yè)數據更加準確、一致、完整、安全，降低IT成本。使得企業(yè)數據的使用過程更為人性、快捷、智能，從而提升管理決策水平。支持企業(yè)數據資產的分發(fā)、開放、交易等數據嫁接的實現，從而促進數據資產的價值實現。5交易所提倡建立一體化全流程的數據資產管理體系數據資產規(guī)范及治理能力數據資產運營、開放、應用能力數據資產管理體系核心在于有效解決對數據資產進行管理的實踐性問題，既幫助

3、企業(yè)合理評估、規(guī)范和治理企業(yè)信息資產，又可以挖掘和發(fā)揮數據資產價值并促進持續(xù)增值，并符合大數據的跨行業(yè)合作趨勢資產質量更加可靠創(chuàng)新合作更加便捷運營手段更加豐富數據資產應用有效處置租賃、報損、轉換全面評估資產分布、活性、配置合理性、使用策略使能創(chuàng)新交易、數據開放數據資產運營協同工作數據資產數據規(guī)范 管控體系 元模型數據 情景規(guī)則 人員組織數據處理 全局洞察 采集加工 快速可視化 運維管控第三方應用加載標準化數據接口、平滑遷移、快速定制快速開發(fā)部署效率、質量形式豐富易用數據產品、報表有機融合數據資產云圖（DACP）：數據資產管理的專業(yè)管家6 DACP作為數據資產管理平臺，涵蓋了采集、加工、使用、評

4、估、優(yōu)化、下線等數據資產的全生命周期管理，并基于全面數據治理能力，進一步提供專業(yè)化的數據資產“管家”服務，包括資產規(guī)劃、運營管理、開放管理，以及面向企業(yè)客戶和個人客戶的不同類型數據資產應用，從而為大數據時代的數據資產管理和增值發(fā)展提供全面支持。數據資產治理數據資產開放管理數據資產運營管理數據資產規(guī)劃管理數據資產應用應用軟件應用軟件瀏覽器瀏覽器終端終端/app電話呼叫電話呼叫微信微信短信短信Email內部數據傳統(tǒng)數據庫新型數據庫文檔資料數據加工運維管理安全管理質量管理數據體系規(guī)劃數據標準化管理價值評估增值策略資產活性分析資產配置優(yōu)化數據采集開發(fā)者社區(qū)數據交互中心數據資產合作平臺數據可視化平臺企業(yè)

5、客戶應用個人客戶應用金融-風險識別醫(yī)療-傳染源定位征信管理個人數據寶庫小數據聚合政府-輿情管理注： 數據資產應用內容需要根據具體業(yè)務場景定制。DACP將立足數據資產管理領域，服務于全行業(yè)和全客戶7特定行業(yè)的大型企業(yè)（如電信、金融、航空、制造等）各行業(yè)的大中型企業(yè)中小企業(yè)以及個人客戶產品部署+定制化開發(fā)產品部署+云化服務SaaS/App管理數據資產掘金經濟價值注： 云化服務和SaaS、App等形式目前仍處于規(guī)劃階段。DACP能給企業(yè)內與數據資產相關的不同角色人員帶來價值8能夠合理評估、規(guī)范和管理企業(yè)信息資產，在有效IT投資和降低管理成本的同時，挖掘和發(fā)揮數據資產價值并增值。企業(yè)管理者IT建設部門

6、業(yè)務運營人員數據運營人員能夠規(guī)范數據處理過程、保障數據資產質量、提升IT系統(tǒng)建設效率、快速支撐業(yè)務部門運營需要，從而激發(fā)創(chuàng)新、體現價值。能夠快速、高效的提供體驗良好的數據展現手段，通過確保了數據資產質量，從而有助于做出更加準確的業(yè)務舉措。支持多種數據使用模式，并提供更為豐富、安全的數據運營管理手段，有助于企業(yè)間進行更廣泛的數據合作并由此創(chuàng)造價值。9為什么傳統(tǒng)數據管理方式不適合數據資產管理要求？傳統(tǒng)數據管理方式元數據數據稽核管理制度外部性管理，依賴管理力度和執(zhí)行自律，成難毀易。挑戰(zhàn)1挑戰(zhàn)2挑戰(zhàn)3從范圍來看，從形式來看，從內涵來看，非結構化數據、內外部數據混搭、云化處理等都會沖擊傳統(tǒng)管理模式數據加

7、工的復雜度和速度要求越來越高，也對傳統(tǒng)管理效率提出挑戰(zhàn)數據的交換、轉讓、租賃、交易等各種創(chuàng)新模式，也要求新的管理手段資產驗證數據整合交易保障DACP不僅是技術工具，也是重要的運營管理手段！10良好界面體驗完善規(guī)范標準智能化過程控制凝聚了10年以上電信級數據管理規(guī)范和實踐經驗，形成了一整套管理辦法和信息體系全Web界面的在線操作提供了豐富的可視化組件，能夠很好地幫助信息展現、問題定位和決策支持能夠根據數據資產實際使用過程進行智能化分析，并動態(tài)調整管理過程中的規(guī)則參數；支持第三方應用集成一站式管理：面向業(yè)務人員提供快速取數、自助分析、門戶定制等功能；面向技術人員提供可視化運維、自動化處理等工具；面

8、向管理人員提供各種評估告警以及決策支持手段；數據治理企業(yè)級大數據中心數據處理及可視化框架使能數據開放支持多租戶管理、數據開放平臺、數據合作加工模式等數據交互模式，并能夠很好地保證數據使用過程中的隱私安全；11DACP客戶概覽湖北移動上海移動青海移動山東移動四川移動重慶移動遼寧移動福建聯通馬來西亞馬來西亞青海四川上海湖北福建重慶DACP已通過市場認可，并持續(xù)拓展新空間主要內容n 產品概述n 架構功能n 部署實施n 應用案例n 聯系我們12DACP在企業(yè)IT系統(tǒng)中的定位13網絡通信平臺主機系統(tǒng)軟件主機存儲備份OS1.網絡通信層2.主機存儲層數據存儲層db2oraclehadoop3.數據層 DAC

9、P平臺資產規(guī)劃資產應用4.應用支撐層資產評估資產運營數據采集數據加工數據管理運維監(jiān)控業(yè)務應用系統(tǒng)應用系統(tǒng)15.應用系統(tǒng)層應用系統(tǒng)5應用系統(tǒng)2應用系統(tǒng)3應用系統(tǒng)4應用系統(tǒng)6分析門戶、網站6.信息發(fā)布層信息安全體系項目實施方法論支持標準化體系支持gpDACP定位于應用支撐層，在數據治理基礎上，實現資產規(guī)劃、加工、評估、運營等功能Non-disclosure Confidential Document. Unauthorized Copy Prohibited. Copyright 2014. All rights reserved. DACP的功能架構14數據資產規(guī)劃數據架構管理數據標準化維度表標

10、準化指標標準化數據資產質量數據資產加工數據流程設計數據模型設計數據處理開發(fā)數據應用開發(fā)數據測試上線數據運維運行監(jiān)控告警管理數據評估數據優(yōu)化存儲優(yōu)化下線管理質量規(guī)則管理質量規(guī)則檢查質量問題管理元數據管理元數據采集元數據分類元數據稽核數據關系分析字段關系分析元數據服務數據資產安全安全策略管理安全漏洞檢查權限申請分配安全審計數據處理類 | 數據交換類 | 文件操作類 | 數據查詢類 | 數據安全類 | 數據檢查類 (函數適配器)Engine for db2db2Engine for oracleOracleEngine for hadoopHadoopEngine for GBASEMPP功能層統(tǒng)一

11、API層生產平臺數據地圖運營層數據資產應用數據資產評估數據資產運營指標墻自助分析多維報表運營診斷資產構成分析資產使用評估資產活性分析資產分布評估多租戶接入管理數據開放平臺BI應用商店數據分發(fā)中心DACP的技術架構1516元數據庫元數據庫元數據管理開發(fā)管理運維監(jiān)控管理統(tǒng)一日志、通信、控制中心生產運行環(huán)境質量管理上線元數據采集1234元數據查詢元數據分析元數據維護元數據采集開發(fā)過程管理需求開發(fā)管理項目開發(fā)管理。數據生命周期管理應用生命周期管理進程啟停臨時任務管理數據質量采集數據稽核評估問題管理質量報告運維管理同步開發(fā)任務DACP以元模型驅動，連接數據管理，開發(fā)、運維和生產運行，形成一體化管理DAC

12、P的集成架構17關鍵特性介紹：完善的數據治理與管控（1/5）建立標準體系1數據標準是數據資產管理的基礎，需要對管理對象，管理要求、管理手段、管理流程等進行規(guī)范，從而成為海爾相關系統(tǒng)和部門統(tǒng)一遵循的標準。具備管控手段3針對數據生命周期各個階段的不同特性，提供各種監(jiān)控、管理工具，將可能出現的系統(tǒng)運行出錯或數據異常變化進行修正或告警，以避免出現更大的損失形成信息地圖2建立全集團的IT的信息地圖，通過自動化的多源頭元數據采集，自動分析匯總，形成完整的企業(yè)數據地圖，使用戶能夠從全局視角審查企業(yè)整體數據狀況。實現影響分析4實現數據來源的追溯，能夠方便內部管理、審計或外部監(jiān)管的需求追溯業(yè)務指標、報表的數據來

13、源和加工過程, 即能方便的找到想要的數據以及這個數據與其他數據的傳遞關系和業(yè)務邏輯關系。促進數據協同5實現跨平臺的元數據管理，具備數據管控統(tǒng)一功能平臺，增強應用的協同管理能力,能夠展示出數據之間的關系，從而促進不同階段的數據形成協同關系，以及閉環(huán)加工流程，確保數據可靠性。持續(xù)質量改進6數據質量體系需要通過實踐和規(guī)劃的相互促進，不斷完善改進，為此，需要確保確保數據架構合理，條理清晰，過程可控，知識積累傳承，并通過監(jiān)控和審計不斷促進質量水平的持續(xù)提升。建立起可管可信的數據資產治理體系18關鍵特性介紹：完善的數據治理與管控（2/5）DMP數據質量智能化數據標準化規(guī)范化數據關系脈絡化通過對數據、應用、

14、系統(tǒng)綜合管理，構建標準化、流程化、自動化、一體化的數據管理體系確保數據架構合理，條理清晰，過程可控，知識積累傳承。19關鍵特性介紹：完善的數據治理與管控（3/5）數據標準化制定數據架構管理主數據管理指標數據管理代碼標準化管理規(guī)則稽核評估DACP提供了完整全面數據治理與管控功能體系，可以幫助企業(yè)實現數據資源的條理化、脈絡化，成為數據資產化管理的重要基礎數據采集數據加工數據分發(fā)數據共享敏感數據管理質量規(guī)則管理問題定位分析影響范圍分析問題知識庫質量標準定位數據標準化管理專業(yè)數據管理高效數據處理持續(xù)質量改進可視化開發(fā)管理需求分析變更分析知識積累自助分析數據可視化快速響應20關鍵特性介紹：完善的數據治理

15、與管控（4/5）接口系統(tǒng)提供完整細致的血緣分析，對問題的節(jié)點進行回溯，分析其處理路徑上可能存在的問題以及相關影響范圍應用處理程序數據表全面追溯的數據影響分析，一切盡在掌握21關鍵特性介紹：完善的數據治理與管控（5/5）一站式統(tǒng)一運維監(jiān)控 為運維部門提供了一個中央管理點，使得運維人員可以緊密有效地對系統(tǒng)上發(fā)生的事件進行控制，為分布式環(huán)境創(chuàng)建一個“任務控制”中心。 對收集到報警信息及時觸發(fā)各種動作，可通過郵件、短信、語音等方式提醒運維人員 對日常監(jiān)控數據的分析，也可以幫助運維人員分析出系統(tǒng)中存在的性能瓶頸，以便采取適當的解決措施對系統(tǒng)進行優(yōu)化或擴展。22關鍵特性介紹：高效的數據資產應用（1/4）需

16、求設計開發(fā)調試測試部署、升級文檔生成需求設計開發(fā)測試上線n 接口開發(fā)n 程序開發(fā)n 指標開發(fā)n 展示開發(fā)n 數據流程設計n 數據模型設計n 規(guī)則設計n 展示設計n 測試方案n 測試執(zhí)行n 測試報告n 測試跟蹤n 需求受理n 需求分析n 上線審核n 上線執(zhí)行n 上線跟蹤表格組件可視化設置表格組件可視化設置全過程的開發(fā)管理，提升執(zhí)行效率，確保數據質量通過數據管理來提升開發(fā)效率，而加強開發(fā)管控反過來也促進了數據質量有效提升23關鍵特性介紹：高效的數據資產應用（2/4）報表組件調度類圖表組件地圖組件流程類郵件觸發(fā)UI組件社區(qū)組件分析導航組件圖形組件短信觸發(fā)規(guī)則組件安全服務組件提供方便靈活的組合方式，并

17、能和數據組件進行綁定以組件的形式保證應用在其內部的事務控制動作過濾組件計算組件指標警告清洗組件封裝了特定業(yè)務邏輯，有明確的輸入和輸出，保證業(yè)務規(guī)則的實現腦圖分析路徑分析預測分析用戶身份信息日志審計安全集成負責BI Store 應用使用日志的記錄，以及與經營分析系統(tǒng)安全模塊交互進行客戶端使用權限控制提供數據獲取能力，對獲取的數據需要提供明確的數據指標、指標口徑、數據范圍、數據時效性等豐富的組件庫快速幫助實現數據資產應用24關鍵特性介紹：高效的數據資產應用（3/4）可視化的拖拽式開發(fā)類Excel的報表設計過程無失真導入無失真導入Excel文件文件體驗良好、可靠高效的設計開發(fā)過程25關鍵特性介紹：高

18、效的數據資產應用（4/4）豐富美觀、實用大方的數據可視化能力26關鍵特性介紹：創(chuàng)新的數據資產運營（1/3）根據多年的經驗積累，總結了從數據到資產的評估體系，可以幫助企業(yè)全方位的診斷發(fā)現問題，并提供相應的策略來企業(yè)提高數據的健康度27關鍵特性介紹：創(chuàng)新的數據資產運營（2/3）通過標準化數據服務，搭建企業(yè)的應用開放平臺，促進應用的百花齊放運行資源的穩(wěn)定性應用上線下線管理應用共享管理信息安全管理統(tǒng)一數據訪問接口統(tǒng)一應用運行機制封裝好的sdk API進行開發(fā)信息推送API支持展示組件支持訂閱中心數據處理開發(fā)；數據高速訪問提供數據安全控制數據沙箱提供32類數據開放運行基礎平臺數據標準化服務基于Api二次

19、開發(fā)統(tǒng)一運行環(huán)境，主機，數據庫等打通與各系統(tǒng)的接口。統(tǒng)一數據中心統(tǒng)一的開發(fā)工具提供可二次開發(fā)的SDK包應用發(fā)布評估管理運行監(jiān)控下線管理應用類型包括報表，信息推送，手機經分，手機客戶端等企業(yè)應用商店28關鍵特性介紹：創(chuàng)新的數據資產運營（3/3）數據分析師ETL開發(fā)工程師模型架構師運營程序員數據化運營商業(yè)決策產品設計理解業(yè)務文檔化業(yè)務和需求BI產品設計PD業(yè)務分析師/數據PD合作伙伴合作伙伴數據產品PD購買決策行業(yè)分析營銷支撐分析、挖掘用戶需求數據產品設計培訓，咨詢，解決方案架構師技術框架設計平臺與工具的實現數據產品開發(fā)團隊商業(yè)智能團隊數據開發(fā)團隊內部用戶外部用戶基礎開發(fā)&開發(fā)架構使用、建設建設服

20、務能力開放，打造數據資產工廠能力開放，打造數據資產工廠29技術特點：DACP擁有八項專有技術基于SQL解析實現透明數據安全訪問的控制業(yè)務指標的異常自動發(fā)現算法數據庫數據冗余的發(fā)現和消除算法基于TopN的多維數據診斷算法多數據庫數據分發(fā)同步技術基于元數據流程圖形可視化技術數據庫的智能檢索技術數據倉庫元數據管理技術DACP專有技術2專有技術1專有技術3專有技術4專有技術5專有技術6專有技術7專有技術8Non-disclosure Confidential Document. Unauthorized Copy Prohibited. Copyright 2014. All rights reser

21、ved. 30小結3類 發(fā)展方向8項 技術專利9年 產品積累支持第三方應用集成覆蓋數據資產全生命周期豐富易用的可視化管理與生產有機結合多元化運營手段有效數據資產規(guī)劃評估主要內容n 產品概述n 架構功能n 部署實施n 應用案例n 聯系我們3132DACP具備快速集成和部署能力針對已建有信息系統(tǒng)的企業(yè)，系統(tǒng)提供開放、開源的接口，可以和原有系統(tǒng)無縫對接，不影響原有系統(tǒng)的使用只要硬件環(huán)境滿足基礎要求，即可新建一套數據置產管理的系統(tǒng)支持主流的數據庫軟件，如Oracle、SQL Server、DB2、MySql等只需500G，普通的PC硬盤即可滿足要求支持開源的Tomcat，也支持專業(yè)性較高的Weblog

22、ic和Websphere數據庫存儲WEB服務器普通PC機即可，安裝Linux操作系統(tǒng)運行平臺部署時對平臺要求低新建系統(tǒng)集成升級模式靈活快速安裝部署學習方便建設周期短33參考配置配置說明推薦配置 主機PC Server *2 或小型機盡量采用獨立的環(huán)境，單臺性能建議不小于30萬TPCC（具備配置視數據量的大小調整），作為數據資產云圖（DACP）在正式環(huán)境的核心，必須保證雙擊熱備和7*24小時不間斷運行 存儲運行環(huán)境500G，數據存儲5T 10T存儲系統(tǒng)運行配置信息，日志中心，質量稽核，作業(yè)計劃調度等（具體配置視數據量大小調整） 操作系統(tǒng)Unix、Linux、Aix、Solaris、Windows

23、 Server WEB服務器Weblogic、Tomcat數據庫Oracle、DB2、Mysql、SQL Server、Teredata支持各種主流關系型數據庫主要內容n 產品概述n 架構功能n 部署實施n 應用案例n 聯系我們3435典型案例1：助力數據治理、提升工作效率類別類別末端原因末端原因人員缺少對現有系統(tǒng)學習手段離職或變動數據源數據自相矛盾復雜規(guī)則設有被充分理解變更帶來質量問題開發(fā)過程時間太緊張業(yè)務規(guī)則理解錯誤需求理解不準確缺少測試標準和方法質量管理質量監(jiān)控規(guī)則不好把握系統(tǒng)構架設計中缺少質量考慮質量監(jiān)控帶來過多性能開銷優(yōu)化構架質量控制1234全過程開發(fā)管理全過程質量管理元數據管理引入DACP平臺質量管理開發(fā)過程數據源人員質量持續(xù)改進人員培訓周期由3個月縮短至5天元數據覆蓋度從30%上升至98%問題查證率提高50%節(jié)約人力資源成本30%客戶現狀：1、BI系統(tǒng)經過12年以上建設，超過10萬張數據表、1600個以上應用，容量超過100T2、存在多廠家合作開發(fā)，數據質量管理主要依靠管理制度和事后稽核典型案例2：高效建設大數據應用系統(tǒng)，管理海量數據客戶現狀：1、客戶計劃采取Hadoop+DB2 混搭式結構實現經分域系統(tǒng)重構、