東深數(shù)據(jù)資產(chǎn)平臺白皮書

東深數(shù)據(jù)資產(chǎn)平臺白皮書 6 6 7 8 9 10 10 11 11 11 13 13 13 13 15 16 17 18 18 19 20 21 22 23 23 23 25 26 27 28 28 29 29 29 30 31 32 33 33 34 34 34 35 35 36 37 38 38 38 39 40 41 41 42 43 43 44 45 45 45 46 46 47 47 47 49 51 51 53 54 54 541.1項目背景下行壓力,近期中央密集部署新型基礎(chǔ)設(shè)施建設(shè),中共中央政治局常務(wù)委員會會議將推動高校數(shù)據(jù)中心迎來新的建設(shè)高潮,在此被背景下高校建設(shè)數(shù)據(jù)中心應(yīng)避免“一哄而上”,需堅持科學(xué)規(guī)劃與頂層設(shè)計，那么在“新基建”浪潮下,面向十四數(shù)據(jù)中心被納入新基建后，本身被賦予新內(nèi)涵，學(xué)校的長期發(fā)展數(shù)據(jù)中心的建設(shè)，高校新型數(shù)據(jù)中心需要更加普適地為師生的學(xué)習(xí)、教學(xué)作、科研、生活提供服務(wù)。面向數(shù)字經(jīng)濟時代的需求，高校新型數(shù)據(jù)中分滿足云計算、大數(shù)據(jù)等技術(shù)和應(yīng)用的發(fā)展需求，支撐學(xué)校各業(yè)務(wù)部門數(shù)據(jù)中心是高校智慧校園的基石，隨著智慧校園建設(shè)的持續(xù)深入用和物聯(lián)應(yīng)用不斷繁榮發(fā)展，整個學(xué)校每天產(chǎn)生的數(shù)據(jù)量與日俱增，科的采集、管理、應(yīng)用好學(xué)校的各類數(shù)據(jù)是當(dāng)前高校信息化建設(shè)的重中之型高校數(shù)據(jù)中能夠推動算力提升孵化諸多創(chuàng)新，比如讓“漫步在云端”術(shù)更快落地應(yīng)用，助力高?？蒲袆?chuàng)新；比如讓“孕育于數(shù)字”的新需求大程度釋放，讓教師的教學(xué)管理效率更高，讓學(xué)生的生活服務(wù)更加便捷新型數(shù)據(jù)中心建設(shè)要避免傳統(tǒng)數(shù)據(jù)中心建設(shè)遇到的問題，包括行不嚴格帶來的管理混亂，應(yīng)用數(shù)據(jù)采集不全面帶來的個別數(shù)據(jù)缺失量管理不到位帶來的業(yè)務(wù)不通暢，數(shù)據(jù)服務(wù)開放不友好帶來的數(shù)據(jù)應(yīng)等問題。另外，對于數(shù)據(jù)資產(chǎn)管理平臺、大數(shù)據(jù)存儲計算平臺、大數(shù)臺這些相對成熟的設(shè)置，學(xué)?？梢詣?chuàng)造條件進行建設(shè)；對于人工智能這些還處于發(fā)展中的基礎(chǔ)設(shè)置，應(yīng)采取不同的策略，不提倡蜂擁而上1.2建設(shè)目標(biāo)通過數(shù)據(jù)資產(chǎn)平臺建設(shè)，解決部分數(shù)據(jù)的數(shù)據(jù)源缺失、數(shù)據(jù)項不據(jù)不準(zhǔn)確等數(shù)據(jù)質(zhì)量問題，從源頭把控數(shù)據(jù)質(zhì)量，形成良性的數(shù)據(jù)通過數(shù)據(jù)資產(chǎn)平臺建設(shè)形成數(shù)據(jù)的常態(tài)化治理體系，構(gòu)建校級服務(wù)動化運行監(jiān)控、數(shù)據(jù)修改/問題反饋等機制，在數(shù)據(jù)資產(chǎn)、行為數(shù)上，量化分析與評價，驅(qū)動業(yè)務(wù)數(shù)據(jù)融合創(chuàng)新，推動數(shù)據(jù)建設(shè)1.3產(chǎn)品概述1.4建設(shè)原則數(shù)據(jù)資產(chǎn)管理平臺建設(shè)從實際出發(fā)，遵循統(tǒng)一領(lǐng)導(dǎo)、相互協(xié)調(diào)；計、分步實施；互聯(lián)互通、資源共享；突出重點、注重實效；技術(shù)數(shù)據(jù)資產(chǎn)管理平臺規(guī)劃和建設(shè)將在校領(lǐng)導(dǎo)及信息化工作小組統(tǒng)一領(lǐng)導(dǎo)下相按照國家和省市規(guī)定的運行機制，充分利用國內(nèi)外大數(shù)據(jù)技術(shù)研究的成果，1.5產(chǎn)品訴求2、數(shù)據(jù)交換子系統(tǒng)如何實現(xiàn)了這個迫切的功能，并且達到了數(shù)據(jù)交換及可1.6設(shè)計理念支持完整的事務(wù)控制策略，跨數(shù)據(jù)庫事務(wù)控制，保證數(shù)支持多數(shù)據(jù)源的多表對多數(shù)據(jù)源的多表的復(fù)雜支持數(shù)據(jù)過濾器，通過自定義的數(shù)據(jù)過濾器可以實現(xiàn)復(fù)雜的數(shù)據(jù)交換規(guī)則；2技術(shù)架構(gòu)及體系2.1系統(tǒng)架構(gòu)2.2架構(gòu)介紹2.3運行環(huán)細設(shè)計內(nèi)容3.1標(biāo)準(zhǔn)管理3.1.1代碼標(biāo)準(zhǔn)1.支持查看代碼變更記錄，信息包括變更人.變更時間.變3.提供代碼分類及代碼管理功能，對代碼分類及代級編碼.本級編碼.簡碼.標(biāo)準(zhǔn)類型.標(biāo)準(zhǔn)來源.代碼名稱.代碼描述.編碼方法.描述舉3.1.2數(shù)據(jù)標(biāo)準(zhǔn)1.支持對數(shù)據(jù)項標(biāo)準(zhǔn)的搜索功能，可按照數(shù)據(jù)分類.數(shù)據(jù)表.審核狀態(tài).關(guān)鍵字3.提供數(shù)據(jù)分類及數(shù)據(jù)表管理功能，根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)5.支持查看數(shù)據(jù)標(biāo)準(zhǔn)代碼變更記錄，信息包括變更人.變更時間.變更類型.變3.1.3版本管理3.1.4數(shù)據(jù)庫建模6.支持對引用標(biāo)準(zhǔn)進行物理表核驗，可以根據(jù)對物理表的7.支持根據(jù)創(chuàng)建人.創(chuàng)建時間.數(shù)據(jù)表名.引用標(biāo)準(zhǔn)名稱等條件對數(shù)據(jù)庫建模的3.2元數(shù)據(jù)管理3.2.1數(shù)據(jù)源管理4.支持數(shù)據(jù)對多數(shù)據(jù)源進行動態(tài)加載.動態(tài)切換使用.動態(tài)增刪改及連接測試3.2.2元數(shù)據(jù)對象4.支持根據(jù)創(chuàng)建人.創(chuàng)建時間.數(shù)據(jù)表名.對象名稱等條件對數(shù)據(jù)庫建模的列表3.2.3元數(shù)據(jù)檢測4.支持根據(jù)檢測人.檢測時間.檢測對象名稱等條件對元數(shù)據(jù)檢測列表進行篩3.2.4元數(shù)據(jù)版本管理字段長度.默認值.是否主鍵.是否允許空值7.支持選擇任意兩個不同的版本進行差異對比，對比報告包3.2.5影響分析2.用戶可以自行訂閱元數(shù)據(jù)對象，當(dāng)訂閱的元數(shù)據(jù)發(fā)生變3.3數(shù)據(jù)集成管理3.3.1集成數(shù)據(jù)源管理4.支持數(shù)據(jù)對多數(shù)據(jù)源進行動態(tài)加載.動態(tài)切換使用.動態(tài)增刪改及連接測試3.3.2結(jié)構(gòu)化數(shù)據(jù)采集1.支持數(shù)據(jù)采集任務(wù)的新增.修改.刪除及根據(jù)任務(wù)名稱3.支持采集任務(wù)管理功能，通過添加業(yè)務(wù)數(shù)據(jù)表，型列。在任務(wù)列表中可以對選擇任務(wù)進行相關(guān)操作，包括手動運行.自6.支持對當(dāng)前庫任務(wù)批量開啟/關(guān)閉功能，用戶對當(dāng)前庫.當(dāng)前頁面的采集任3.3.3自動化數(shù)據(jù)采集接口2.支持數(shù)據(jù)采集接口任務(wù)可以根據(jù)需要設(shè)置定時運行，按照分鐘.小時.天.周.3.數(shù)據(jù)采集接口提供設(shè)置全量更新.增量更新.以時間戳的方式設(shè)置增量更新行狀態(tài).任務(wù)執(zhí)行進度.開始時間.結(jié)束時間.總耗時.導(dǎo)入數(shù)據(jù)量.成功的數(shù)據(jù)量.失務(wù)狀態(tài)；日志信息包括任務(wù)名稱.所屬系統(tǒng).目標(biāo)數(shù)據(jù)庫名稱.任務(wù)狀態(tài).開始時間.結(jié)束時間.耗時，可查看每條日志采集數(shù)據(jù)的詳情，包括采集成功數(shù).采集失敗數(shù)表數(shù)據(jù)包括任務(wù)名稱.目標(biāo)數(shù)據(jù)庫名稱.采集開始時間.采集結(jié)束時間.新增數(shù)據(jù)量.更新數(shù)據(jù)量.刪除數(shù)據(jù)量，提供通過.不通過操作，只有審核通過的數(shù)據(jù)才能正式3.3.4ETL建模3.支持常用的數(shù)據(jù)處理方式，需包含：去重.合并.過濾.替換.加密.求和.平均.3.3.5調(diào)度管理2.任務(wù)配置主要對調(diào)度任務(wù)進行添加.修改.刪除，添加信息主要有調(diào)度名稱.3.支持自定義配置調(diào)度任務(wù)，支持在調(diào)度任務(wù)中配3.3.6調(diào)度日志3.3.7實時計算6.支持對計算結(jié)果進行存儲至MPP高性能分布式數(shù)據(jù)庫，包括但不限于3.3.8數(shù)據(jù)導(dǎo)入2.支持導(dǎo)入數(shù)據(jù)審批功能，相關(guān)主管人員進入數(shù)據(jù)審批列3.支持對定義模板的增加.修改.刪除及根據(jù)創(chuàng)建人.創(chuàng)建時間.模板名稱3.4主數(shù)據(jù)管理3.4.1主數(shù)據(jù)庫管理2.提供主數(shù)據(jù)整體情況匯總功能，默認根據(jù)當(dāng)時截止時間3.支持查看主數(shù)據(jù)量變化趨勢，提供主數(shù)據(jù)3.4.2開放接口管理3.提供接口測試功能。在線模擬接口請求功能，便3.4.3數(shù)據(jù)資產(chǎn)編目1.提供數(shù)據(jù)資產(chǎn)目錄管理功能。支持對資產(chǎn)目錄進行新增.編輯等維護操作，2.資產(chǎn)信息包括資源分類.資源名稱.API接3.提供添加數(shù)據(jù)對象功能。支持根據(jù)從數(shù)據(jù)5.提供發(fā)布數(shù)據(jù)資產(chǎn)功能。選擇欲發(fā)布上3.4.4數(shù)據(jù)資產(chǎn)查詢1.展示數(shù)據(jù)資產(chǎn)中心數(shù)據(jù)信息，包括：數(shù)據(jù)總量.數(shù)據(jù)表總量.數(shù)據(jù)目錄數(shù).數(shù)4.支持數(shù)據(jù)目錄的在線申請以及下載申請，申請信息填寫頁面，需要填寫申3.4.5數(shù)據(jù)資產(chǎn)審核狀態(tài)的申請列表?？蛇M一步查看資產(chǎn)目錄申請信息，包含基本信息.申請人.申請3.4.6個人資產(chǎn)中心2.支持查看本人申請的詳情記錄，包括接口名稱.下載按鈕.數(shù)據(jù)預(yù)覽按鈕.申3.4.7歷史庫管理2.支持查看備份清單中每個對象的最近備份狀態(tài).備份時間.備份版本數(shù).不同3.5數(shù)據(jù)質(zhì)量管理3.5.1檢測對象管理2.支持對檢測進行新增.修改.刪除及根據(jù)創(chuàng)建人.創(chuàng)建時間.對象名稱等條件進3.支持檢測對象可以一次對單個或多個字段增加質(zhì)4.支持手動對檢測對象執(zhí)行檢測，系統(tǒng)能根據(jù)配置好的檢測規(guī)則，啟動執(zhí)行3.5.2檢測任務(wù)管理形式列出展示，支持根據(jù)創(chuàng)建人.創(chuàng)建時間.任3.執(zhí)行檢測任務(wù)后，系統(tǒng)自動按照配置的檢測規(guī)則3.5.3檢測規(guī)則管理1.支持檢測規(guī)則的增加.修改.刪除及根據(jù)創(chuàng)建人.創(chuàng)建2.支持預(yù)置以下檢測規(guī)則：取值范圍約束規(guī)則.非空檢查規(guī)則.代碼檢查規(guī)則.唯一性檢查規(guī)則.大小值檢查規(guī)則.長度校驗規(guī)則.及時性校驗規(guī)則.電話號|手機號3.5.4檢測歷史查詢以前的檢測結(jié)果信息。檢測歷史信息列表主要有檢測日期.檢測項數(shù).檢測項3.5.5質(zhì)量報告管理3.6數(shù)據(jù)安全管理3.6.1用戶管理1.支持維護用戶基本信息(姓名.類型.賬號.性別.郵箱.電話號碼.2.支持用戶新增.修改.刪除.查看及根據(jù)用戶姓名.賬號等條件進行篩選查詢等3.6.2角色管理1.支持角色的新增.修改.刪除.查看及根據(jù)角色名稱2.角色權(quán)限控制支持菜單權(quán)限控制，支持根據(jù)不同角色自院系各級管理員.院系各口管理員等各類角色，除此之外還要提供超級管理員角4.支持角色的成員維護，能將角色賦予用戶從而使該用戶擁有相應(yīng)的菜單及3.6.3組織機構(gòu)管理3.6.4應(yīng)用管理3.6.5外部接口管理2.主要接口參數(shù)需包含接口名稱.業(yè)務(wù)系統(tǒng)名稱.聯(lián)系人.聯(lián)系電話.聯(lián)系人部門.3.6.6接口授權(quán)管理3.支持應(yīng)用維度授權(quán)展示所有的應(yīng)用列表，可以查3.6.7接口統(tǒng)計3.6.8接口日志1.支持接口調(diào)用日志記錄功能，包括接口名稱.接口類型.接口描述.接口調(diào)用3.6.9白名單3.6.10黑名單3.7數(shù)據(jù)運維管理3.7.1數(shù)據(jù)備份1.支持備份新增.修改.刪除.查看及根據(jù)備份名稱.創(chuàng)建時間.創(chuàng)建人等條件進5.可查看備份清單中每個對象的最近備份狀態(tài).備份時間.備份版本數(shù).不同版3.7.2任務(wù)管理3.7.3任務(wù)日志3.7.4文件管理3.7.5運維監(jiān)控1.支持對數(shù)據(jù)資產(chǎn)集群主機及組件的運行監(jiān)控和管理，包括但不限于2.支持圖形化配置功能，可管理平臺下的各組件的配置項4.提供對底層架構(gòu)組件進行運維管理功能。包括主機.H3.8數(shù)據(jù)分析與預(yù)警3.8.1結(jié)構(gòu)化數(shù)據(jù)分析預(yù)警1.失聯(lián)預(yù)警。通過校園卡消費情況.上網(wǎng)數(shù)據(jù)情況.圖書借閱情況.學(xué)生請假情4.網(wǎng)癮預(yù)警。通過上網(wǎng)時間.連續(xù)上網(wǎng)時長.日均上網(wǎng)時長.一周累計上網(wǎng)時長5.心理預(yù)警。通過學(xué)生的心理問卷普查情況.心理咨詢情況.學(xué)業(yè)成績.社交活歸.未出寢.異常留宿等預(yù)警；支持查看全校宿舍異常行為預(yù)警學(xué)生名單，并對學(xué)7.疫情防控檢測預(yù)警。通過疫情防控填報數(shù)據(jù)，對有確診.現(xiàn)有無癥狀.現(xiàn)有發(fā)熱.現(xiàn)有隔離.居家隔離.集中隔離.所在中高風(fēng)險地區(qū)的3.8.2領(lǐng)導(dǎo)駕駛艙1.教育教學(xué)。分析內(nèi)容圍繞學(xué)生培養(yǎng)計劃.學(xué)習(xí)興趣.學(xué)習(xí)容包括：教授上課學(xué)時按院系分布.教授上課率.教授上部級教學(xué)成果獲獎統(tǒng)計.教學(xué)成果獲獎趨勢.精品課程統(tǒng)計.教材建設(shè)統(tǒng)計.培養(yǎng)層布.年齡分布.性別分布.年齡分布.學(xué)歷分布.任教類型分布.入校人數(shù).人員來校趨3.學(xué)生概況。主要分析內(nèi)容包括：各學(xué)院學(xué)生人數(shù).年齡分布.生源地分布.性級項目數(shù)量.縱向項目數(shù)量.橫向項目數(shù)量.縱向項目年度趨勢.橫向項目年度趨勢.累計鑒定成果數(shù)量.不同鑒定類別成果分布.累計論文發(fā)表總數(shù).年度論文發(fā)表數(shù)量.論文類型數(shù).近五年發(fā)表日期趨勢.累計著作權(quán)成果數(shù)量.各單位著作權(quán)成果分布.出版社排行.近五年出版日期趨勢.累計專利成果數(shù)量.年度專利成果分布.累計量.年度采購資產(chǎn)值分布.進口資產(chǎn)統(tǒng)計分析.各部門擁有資產(chǎn)分布.資產(chǎn)類別分布.資產(chǎn)購入數(shù)量趨勢.資產(chǎn)購入價格趨勢.資產(chǎn)來源國別分布.資產(chǎn)來源統(tǒng)計.總床位比.消費類型占比.年度圖書入館數(shù)量分布.圖書總量.年度人均借閱量.學(xué)生今年各月份圖書借閱分布.教職工今年各月份圖書借閱分布.本年度男女生借閱分布.本年度借閱總量.本年度熱門圖書TOP.本年度學(xué)生借閱總量.本年度教職工借閱總7.財務(wù)概況。內(nèi)容包含財務(wù)收入.財務(wù)