數(shù)據(jù)治理與服務項目需求

數(shù)據(jù)治理與服務項目需求序號采購內(nèi)容技術參數(shù)數(shù)量單位備注1數(shù)據(jù)中臺平臺升級（含數(shù)據(jù)匯聚平臺、數(shù)據(jù)共享平臺、數(shù)據(jù)管理平臺）本次采購的數(shù)據(jù)中臺軟件系統(tǒng)，提供一套完整的數(shù)據(jù)收集、清洗、治理、開發(fā)并對外服務的系統(tǒng)平臺軟件，支持數(shù)據(jù)服務工程師及學校管理人員對全校各業(yè)務系統(tǒng)數(shù)據(jù)資源的抽取治理開發(fā)發(fā)布等操作。具體要求如下：一、功能部分1、用戶模塊功能點：中臺用戶賬號權限管理中心。實現(xiàn)用戶創(chuàng)建、刪除、權限分配、身份管理等身份操作。功能點：用戶登錄與權限管理。提供用戶登錄功能，支持賬號密碼驗證。功能點：支持分配用戶初始密碼，用戶初次登陸時強制要求修改初始密碼，并確保用戶修改密碼符合強密碼要求。功能點：用戶賬號信息管理允許用戶查看和編輯個人信息，包括用戶狀態(tài)、聯(lián)系方式等。功能點：個人信息管理允許用戶查看和編輯個人信息。功能點：我的資源管理實現(xiàn)對賬號范圍內(nèi)數(shù)據(jù)資源的申請、審批、使用管理。功能點：我的申請管理提供審批申請事項的查看、審批進度跟蹤。2、檢索展示模塊功能點：數(shù)據(jù)目錄瀏覽實現(xiàn)數(shù)據(jù)目錄的瀏覽功能，支持按主題、部門、專題等分類展示。功能點：數(shù)據(jù)資源搜索提供全局搜索功能，支持關鍵詞搜索、篩選排序。功能點：全局搜索提供全局搜索功能，支持對數(shù)據(jù)目錄、字段、應用成果的模糊搜索。功能點：條件搜索提供全局條件搜索功能，支持對數(shù)據(jù)目錄、字段、應用成果的模糊搜索。功能點：數(shù)據(jù)資源詳情查看提供數(shù)據(jù)資源詳情的查看功能，包括數(shù)據(jù)項、數(shù)據(jù)預覽、數(shù)據(jù)應用、數(shù)據(jù)評論等。功能點：數(shù)據(jù)任務成果展示實現(xiàn)數(shù)據(jù)任務成果的展示功能，包括任務名稱、圖標、分類、簡介等。3、數(shù)據(jù)抽取模塊功能點：數(shù)據(jù)抽取能夠從多種數(shù)據(jù)源（如數(shù)據(jù)庫、文件系統(tǒng)、表格等）抽取數(shù)據(jù)，并進行集成整合，支持多次抽取，數(shù)據(jù)補采等。功能點：支持適配各種關系型數(shù)據(jù)接入，包括但不限于Oracle、MySQL、SQLServer、PostgreSQL、MongoDB、Sybase、Teradata和達夢DM、人大金倉Kingbase、華為GaussDB。功能點：結(jié)構(gòu)化小數(shù)據(jù)低延遲（單行200字節(jié)）：至少滿足一種關系型數(shù)據(jù)庫之間的傳輸速度不低于110MB/s。功能點：數(shù)據(jù)清洗與轉(zhuǎn)換模塊對抽取的數(shù)據(jù)進行清洗，處理缺失值、異常值等，同時進行數(shù)據(jù)格式轉(zhuǎn)換，表對表抽取轉(zhuǎn)結(jié)構(gòu)等。4、數(shù)據(jù)存算管理模塊提供高效的數(shù)據(jù)存儲方式，包括關系型數(shù)據(jù)庫、非關系型數(shù)據(jù)庫等存儲方案，確保數(shù)據(jù)的安全性和可靠性。支持數(shù)據(jù)存儲的自動擴容和性能優(yōu)化功能，根據(jù)數(shù)據(jù)增長情況自動調(diào)整存儲策略。功能點：非關系型數(shù)據(jù)庫熱數(shù)據(jù)支持：支持key-value型的寬列分布式NoSQL數(shù)據(jù)庫能力，支持半結(jié)構(gòu)/非結(jié)構(gòu)化數(shù)據(jù)的實時存儲、搜索數(shù)據(jù)能力，支持MOB特性，支持Spark計算框架，提供SparkSQl、SPARKapp處理接口，能實現(xiàn)數(shù)據(jù)分布式并行計算。功能點：用戶創(chuàng)建自定義函數(shù)包括支持運行Java/Python/Scala編程語言腳本。UDF（用戶自定義函數(shù)）、UDAF（用戶自定義聚合函數(shù)）和UDTF（用戶自定義表生成函數(shù)）。功能點：提供將物理資源劃分為邏輯資源池功能，防止資源搶占，提升資源使用效率，即不同的租戶可以獨占不同的資源池，也可以共享一個資源池。功能點：服務節(jié)點可拓展支持一鍵擴容功能，實現(xiàn)計算能力和存儲容量同步擴展；支持包括但不限于Hbase服務節(jié)點、YARN計算服務節(jié)點、Kafka服務節(jié)點、ES服務節(jié)點的獨立擴容。5、數(shù)據(jù)治理管理模塊制定和管理數(shù)據(jù)標準，包括數(shù)據(jù)格式、數(shù)據(jù)字典、代碼標準等，確保數(shù)據(jù)的一致性和規(guī)范性。功能點：支持管理數(shù)據(jù)元、字典表、限定詞的能力。支持按照標準的發(fā)布狀態(tài)進行數(shù)據(jù)元版本管理的能力，提供版本變更支持在線審批等功能。功能點：數(shù)據(jù)質(zhì)量管理支持通過對不同字段配置不同的規(guī)則，對數(shù)據(jù)表內(nèi)各字段數(shù)據(jù)特征質(zhì)量進行檢查。支持通過人工或智能化方式，使用SQL、Spark等，對接入的數(shù)據(jù)進行存儲位置、提供方式、總量和更新情況、業(yè)務含義、字段格式語義和取值分布、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)質(zhì)量等進行多維度評估檢查。功能點：數(shù)據(jù)地圖形成數(shù)據(jù)臺賬，支持數(shù)據(jù)臺賬導出功能，能夠展示數(shù)據(jù)從接入、治理、編目、對外應用支撐、應用使用各個環(huán)節(jié)的全景，支持定制展示環(huán)節(jié)以及每個環(huán)節(jié)展示的屬性列表。功能點：數(shù)據(jù)血緣分析能夠追溯數(shù)據(jù)的來源和流向，了解數(shù)據(jù)在各個處理環(huán)節(jié)的變化情況。提供數(shù)據(jù)血緣可視化展示功能，以圖形化方式呈現(xiàn)數(shù)據(jù)血緣關系。支持全鏈路數(shù)據(jù)血緣的查看及分析，支持全流程數(shù)據(jù)血緣（包含采集、加工、共享分發(fā)）；能夠展示細粒度的數(shù)據(jù)血緣關系，包括不限于數(shù)據(jù)表級、字段級數(shù)據(jù)血緣關系展示。功能點：元數(shù)據(jù)管理對數(shù)據(jù)的定義、結(jié)構(gòu)、關系等元數(shù)據(jù)信息進行管理，方便數(shù)據(jù)的理解和使用。支持元數(shù)據(jù)的自動采集和更新功能，確保元數(shù)據(jù)的及時性和準確性。支持各種主流類型的數(shù)據(jù)存儲和處理平臺，包括但不限于MySQL、Hive、Oracle，人大金倉Kingbase、華為GaussDB、達夢DM等，可提供元數(shù)據(jù)信息展示和動態(tài)更新。6、數(shù)據(jù)開發(fā)模塊提供一站式集成開發(fā)環(huán)境，滿足大數(shù)據(jù)環(huán)境下的主專題庫表開發(fā)、流程調(diào)度和生產(chǎn)運維需要。功能點：圖形化開發(fā)：支持通過圖形化的拖拉拽方式將不同類型節(jié)點連線組織開發(fā)成工作流的功能，可實現(xiàn)零編碼交互，工作流畫布支持自動布局。功能點：數(shù)據(jù)開發(fā)工作流管理支持工作流運行管理功能，能夠管理工作流執(zhí)行路徑，包括但不限于串行、并行、分支條件，支持全流程運行及選擇部分流程運行的高級運行功能。功能點：數(shù)據(jù)開發(fā)基線管理支持智能基線功能，能夠智能捕捉導致基線上的任務無法按時完成的異常情況的功能及預警功能。支持將預警規(guī)則作為內(nèi)部邏輯和告警策略，自動監(jiān)控所有重要任務。功能點：開發(fā)任務調(diào)度功能支持調(diào)度管理功能，包括一次性調(diào)度與周期性調(diào)度，其中周期性調(diào)度應支持按分鐘、小時、日、周、月、年調(diào)度，工作流可跨周期依賴。支持啟停功能，支持工作流重跑。7、數(shù)據(jù)安全管理功能點：數(shù)據(jù)加密解密支持數(shù)據(jù)加密解密操作，可選擇AES/國密SM2/國密SM4算法及相關模式，對數(shù)據(jù)進行加密、解密。功能點：訪問控制可針對應用及用戶進行訪問控制，用戶需基于應用申請數(shù)據(jù)目錄權限，并通過審批后，方可訪問數(shù)據(jù)接口，以實現(xiàn)訪問控制。功能點：接口調(diào)用審計支持接口調(diào)用審計功能，記錄接口調(diào)用行為，便于安全審計和追溯。保障數(shù)據(jù)的安全性。功能點：數(shù)據(jù)可靠存儲平臺采用多副本分布式機制存儲數(shù)據(jù)，保障數(shù)據(jù)可靠存儲。二、性能部分1、用戶并發(fā)處理能力升級：本次系統(tǒng)需滿足數(shù)據(jù)中臺的數(shù)據(jù)歸集、數(shù)據(jù)處理、數(shù)據(jù)開放的性能要求。影響系統(tǒng)使用效率的關鍵性性能指標要求如下：用戶訪問應用的時效性要求，在500并發(fā)數(shù)時平均延時小于1秒。服務提供方面，表轉(zhuǎn)API能力不低于3000QPS。在數(shù)據(jù)抽取性能方面，在千兆網(wǎng)絡帶寬環(huán)境下，單節(jié)點數(shù)據(jù)傳輸速率不低于60MB/s。三、架構(gòu)部分1、高性能架構(gòu)設計需要采用分布式架構(gòu)、負載均衡技術等手段，將系統(tǒng)負載合理分散到多個節(jié)點上，大幅提升系統(tǒng)的并發(fā)處理能力。產(chǎn)品進行嚴格的壓力測試，模擬各種高并發(fā)場景，對系統(tǒng)性能進行全面評估和優(yōu)化。2、高可靠架構(gòu)設計對平臺架構(gòu)進行全面優(yōu)化，確保平均無故障時間大于6個月以上。采用高可用架構(gòu)設計，如主備切換、集群部署等，以提高系統(tǒng)的可用性和性能。在系統(tǒng)運行過程中，進行實時監(jiān)控和預警，及時發(fā)現(xiàn)并解決潛在問題。建立完善的備份和恢復機制，確保在系統(tǒng)出現(xiàn)故障時能夠快速恢復數(shù)據(jù)和服務，最大限度地減少對業(yè)務的影響。需要滿足多節(jié)點方案調(diào)度處理并確保單實例宕機不會導致前端業(yè)務中斷。3、可擴展性設計滿足定制化開發(fā)模塊的即插即用，滿足未來業(yè)務拓展需求，支持數(shù)據(jù)庫分布式擴展和應用程序負載均衡，通過簡單的服務器擴展和修改數(shù)據(jù)分拆配置實現(xiàn)負載擴容，避免軟件進行大規(guī)模修改升級宕機時間。滿足在進行性能擴展時，支持橫向擴展將新增服務器資源納入運行支撐環(huán)境，實時進行微服務分布。4、國產(chǎn)信創(chuàng)適配要求本期項目建設系統(tǒng)，數(shù)據(jù)處理范圍包括針對參照國家信創(chuàng)標準建設的CPU、操作系統(tǒng)及數(shù)據(jù)庫等相關系統(tǒng)，支持與主流信創(chuàng)數(shù)據(jù)庫的對接，實現(xiàn)信創(chuàng)系統(tǒng)數(shù)據(jù)互通互聯(lián)，同時完成信創(chuàng)終端的適配工作。1套軟件平臺2校內(nèi)數(shù)據(jù)治理及業(yè)務接口開發(fā)遷移服務本次采購的數(shù)據(jù)服務，針對當前已知未接入的業(yè)務系統(tǒng)，如考勤系統(tǒng)、圖書館系統(tǒng)、門禁系統(tǒng)、財務系統(tǒng)、招生系統(tǒng)、辦事大廳系統(tǒng)、預約系統(tǒng)、科研管理系統(tǒng)、資產(chǎn)管理系統(tǒng)、圖書館管理系統(tǒng)、統(tǒng)一身份認證、校園一卡通、校園融合門戶系統(tǒng)，及等關鍵系統(tǒng)進行詳盡的調(diào)查并出具調(diào)研報告；對上述系統(tǒng)以“應接盡接”的方式及時、全量的接入到數(shù)據(jù)中心；協(xié)助采購人制定《音樂學院數(shù)據(jù)標準規(guī)范》，梳理數(shù)據(jù)標準作為數(shù)據(jù)治理和應用系統(tǒng)開發(fā)標準；建設并實現(xiàn)學校全量數(shù)據(jù)倉庫，包括人員統(tǒng)一管理、資產(chǎn)管理主題庫，針對具體系統(tǒng)對主題數(shù)據(jù)倉庫的數(shù)據(jù)模型設計需求，分析和拆解需求數(shù)據(jù)表，形成專題應用需要的數(shù)據(jù)集市，包括但不限于人事專題、學工專題、資產(chǎn)專題、財務主題、科研專題、教學專題、圖書專題、一卡通專題等，以滿足綜合校情分析應用使用需求為標準提供數(shù)據(jù)服務。具體要求如下：1、數(shù)據(jù)調(diào)研服務針對校級數(shù)據(jù)中臺所承載的業(yè)務事項進行調(diào)研，將事項內(nèi)容拆解為具體的數(shù)據(jù)需求，在學校已建系統(tǒng)中獲取數(shù)據(jù)需求的對應關系，形成需求、事項、數(shù)據(jù)供給三者的關聯(lián)關系表，并調(diào)研不同系統(tǒng)所支持的不同數(shù)據(jù)提供方式（如API接口、數(shù)據(jù)庫直連、文件傳輸?shù)龋?、更新頻次（實時、每日、每周等）、數(shù)據(jù)量級（記錄數(shù)、存儲大小）等關鍵因素，為后續(xù)針對性的數(shù)據(jù)歸集方案提供全面參考。2、數(shù)據(jù)編目服務依托本期項目建設的數(shù)據(jù)服務系統(tǒng)，對校級數(shù)據(jù)資源進行統(tǒng)一編目，基于數(shù)據(jù)編目功能開展數(shù)據(jù)資源編目、目錄審核、目錄發(fā)布、目錄維護、應用系統(tǒng)與數(shù)據(jù)目錄關聯(lián)、數(shù)據(jù)需求在線申請等數(shù)據(jù)供給工作。3、數(shù)據(jù)歸集利用校數(shù)據(jù)中臺的數(shù)據(jù)歸集功能將本期項目需要歸集數(shù)據(jù)以全量或者增量的形式進行抽取、轉(zhuǎn)換、裝載至大數(shù)據(jù)計算平臺，實現(xiàn)數(shù)據(jù)的入庫，形成歸集庫?；谠擁椖拷ㄔO的數(shù)據(jù)管理平臺并結(jié)合學校實際，開展數(shù)據(jù)治理服務，包括數(shù)據(jù)調(diào)研服務、數(shù)據(jù)標準規(guī)范制定、數(shù)據(jù)集成服務、數(shù)據(jù)資產(chǎn)目錄梳理服務、數(shù)據(jù)清洗轉(zhuǎn)換服務、歷史數(shù)據(jù)留存服務等。其中數(shù)據(jù)調(diào)研和數(shù)據(jù)集成服務范圍包含前期歷史建設業(yè)務系統(tǒng)數(shù)據(jù)，如考勤系統(tǒng)、科研系統(tǒng)、招生系統(tǒng)、考核系統(tǒng)、一卡通系統(tǒng)、圖書管理系統(tǒng)、網(wǎng)上辦事大廳系統(tǒng)等，和同期建設其他項目系統(tǒng)數(shù)據(jù)，如教務系統(tǒng)、人事系統(tǒng)、學工系統(tǒng)、后勤服務系統(tǒng)、研究生管理系統(tǒng)、資產(chǎn)管理系統(tǒng)、房產(chǎn)管理系統(tǒng)、用戶中心系統(tǒng)等。4、數(shù)據(jù)標準化治理基于校級數(shù)據(jù)中臺開展數(shù)據(jù)標準化治理工作，采取一系列措施來制定數(shù)據(jù)質(zhì)量規(guī)則和驗證方法、執(zhí)行數(shù)據(jù)清洗和去重操作以及應用數(shù)據(jù)模型和標準。對于數(shù)據(jù)清洗，標準化文本字段如統(tǒng)一日期格式、地址格式，修復不一致數(shù)據(jù)，補全缺失值采用插補算法補充空缺數(shù)據(jù)，刪除無效數(shù)據(jù)；數(shù)據(jù)去重，確定唯一標識符并選擇一個或多個字段作為判斷重復記錄的標準，使用精確匹配和模糊匹配技術處理完全相同和相似但非完全相同的記錄，建立去重策略決定保留哪個版本的數(shù)據(jù)?；趪鴺?、教育部、校內(nèi)數(shù)據(jù)標準集等材料，制定校級統(tǒng)一數(shù)據(jù)標準，并形成標準的數(shù)據(jù)資源層以及主專題資源庫，整體為學校各業(yè)務數(shù)據(jù)流轉(zhuǎn)、資源調(diào)用、數(shù)據(jù)填報等使用需求，做到一數(shù)一源與資源快速復用能力，為學校全面實現(xiàn)業(yè)務線上流轉(zhuǎn)奠定扎實的數(shù)據(jù)基礎?；谠擁椖拷ㄔO的數(shù)據(jù)管理平臺，建設并實現(xiàn)學校全量數(shù)據(jù)倉庫，包括人員統(tǒng)一管理、資產(chǎn)管理主題庫，針對具體系統(tǒng)對主題數(shù)據(jù)倉庫的數(shù)據(jù)模型設計需求，分析和拆解需求數(shù)據(jù)表，形成專題應用需要的數(shù)據(jù)集市，包括但不限于人事專題、學工專題、資產(chǎn)專題、財務主題、科研專題、教學專題、圖書專題、一卡通專題等，以滿足綜合校情分析應用使用需求為標準提供數(shù)據(jù)服務。5、數(shù)據(jù)服務化基于校級數(shù)據(jù)中臺的數(shù)據(jù)接口開發(fā)功能，開發(fā)數(shù)據(jù)服務接口以支持業(yè)務應用，選擇合適的數(shù)據(jù)交換格式（如JSON或XML）以及確定安全機制，如使用Token進行認證授權；通過安全機制確保只有經(jīng)過驗證的用戶才能訪問敏感數(shù)據(jù)，并通過限流和配額管理防止濫用；提供數(shù)據(jù)服務調(diào)用接口文檔，需提供詳盡的數(shù)據(jù)服務接口文檔，涵蓋所有可用端點、請求方法、參數(shù)說明及示例請求與響應，以便開發(fā)者能夠輕松理解和使用這些服務；持續(xù)保障數(shù)據(jù)服務質(zhì)量，建立監(jiān)控體系持續(xù)跟蹤API的表現(xiàn)，設置日志記錄以便于問題追蹤和審計，實施版本控制策略保證向后兼容性，從而為外部用戶提供可靠且易于集成的數(shù)據(jù)服務接口文檔及實例。6、數(shù)據(jù)標準規(guī)范梳理基于國家發(fā)布的《教育行業(yè)標準-教育基礎數(shù)據(jù)》、《教育系統(tǒng)人員基礎數(shù)據(jù)》、《教育管理基礎數(shù)據(jù)元素和代碼規(guī)范》，針對本項目所需和所產(chǎn)生的數(shù)據(jù)，形成數(shù)據(jù)標準規(guī)范，規(guī)范內(nèi)容需包括數(shù)據(jù)分類與定義、數(shù)據(jù)元素與屬性、編碼規(guī)則、數(shù)據(jù)