智慧城市 城市智能中樞 數(shù)據(jù)治理要求 征求意見(jiàn)稿

1城市全域數(shù)字化轉(zhuǎn)型城市智能中樞數(shù)據(jù)治理要求本文件適用于指導(dǎo)城市智能中樞數(shù)據(jù)治理體系GB/T18391.2信息技術(shù)元數(shù)據(jù)注冊(cè)系統(tǒng)（MDR）第2部分：分類GB/T22239-2019信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)基本GB/T34960.5-2018信息技術(shù)服務(wù)治理第5部分：數(shù)據(jù)治GB/T39786-2021信息安全技術(shù)信息系統(tǒng)密碼應(yīng)用基本GB/T42093.1-2022標(biāo)準(zhǔn)文檔結(jié)構(gòu)化元模型第1部分GB/T43697-2024數(shù)據(jù)安全技術(shù)數(shù)據(jù)分類分級(jí)3.13.23.3基于數(shù)據(jù)生存周期，進(jìn)行數(shù)據(jù)全面質(zhì)量管理、資產(chǎn)管理、風(fēng)險(xiǎn)管理等統(tǒng)籌與協(xié)調(diào)管控的過(guò)程。注：多學(xué)科視角下，數(shù)據(jù)治理需要解決數(shù)據(jù)權(quán)屬關(guān)系問(wèn)題，明確數(shù)據(jù)利益23.43.53.6將不同來(lái)源的數(shù)據(jù)按照一定的規(guī)則進(jìn)行收集、匯聚、整合的行為和過(guò)程。4縮略語(yǔ)ETL：數(shù)據(jù)抽取、轉(zhuǎn)化、加載（ExtrFTP：文件傳輸協(xié)議（FileTransferProtocHDFS：Hadoop分布式文件系統(tǒng)（HadoopDistribuHTTP：超文本傳輸協(xié)議（HypertextTransferProtocHTTPS：超文本傳輸安全協(xié)議（ypertextTransferMPP：大規(guī)模并行處理（MassivelyParallelProcessing）SFTP：SSH文件傳輸協(xié)議（SSHFSQL：結(jié)構(gòu)化查詢語(yǔ)言（StructuredQueryL5數(shù)據(jù)治理范圍f)物聯(lián)網(wǎng)（IoT）數(shù)據(jù)：通過(guò)物聯(lián)網(wǎng)設(shè)備、傳感器、終端等產(chǎn)生的3有分散的城市多源數(shù)據(jù)資源以物理統(tǒng)一或邏輯統(tǒng)一的形式歸集至統(tǒng)一的數(shù)據(jù)平臺(tái)并進(jìn)行治理，4監(jiān)控和評(píng)價(jià)、改進(jìn)和優(yōu)化等七個(gè)步驟，根據(jù)實(shí)7.2統(tǒng)籌與規(guī)劃a)規(guī)劃數(shù)據(jù)資源應(yīng)開(kāi)展數(shù)據(jù)資源現(xiàn)狀盤點(diǎn)，確定數(shù)據(jù)資源規(guī)劃目標(biāo)并編制數(shù)據(jù)資源規(guī)劃文件；7.3組織設(shè)立a)數(shù)據(jù)資產(chǎn)分類：對(duì)元數(shù)據(jù)、主數(shù)據(jù)、參考數(shù)據(jù)、一般數(shù)據(jù)進(jìn)行系統(tǒng)梳理，分類歸檔；b)數(shù)據(jù)資產(chǎn)評(píng)估：評(píng)估數(shù)據(jù)的價(jià)值、質(zhì)量、使用情況和潛在應(yīng)用場(chǎng)景，為數(shù)據(jù)治7.5規(guī)范建立制定數(shù)據(jù)治理框架中的相關(guān)政策、標(biāo)準(zhǔn)和流程，包括以a)數(shù)據(jù)治理政策制定：明確數(shù)據(jù)管理的原則、目標(biāo)和要求，覆蓋數(shù)據(jù)生命周期的各個(gè)階57.6治理實(shí)施7.7監(jiān)控和評(píng)價(jià)a)監(jiān)督與評(píng)估：建立數(shù)據(jù)治理的監(jiān)督與評(píng)估7.8改進(jìn)和優(yōu)化b)根因分析：分析差異的產(chǎn)生原因，可能涉及技術(shù)問(wèn)題、組織問(wèn)題或外部環(huán)境變化等；c)風(fēng)險(xiǎn)評(píng)估：評(píng)估差異對(duì)整體數(shù)據(jù)治理的影響，判斷問(wèn)題的嚴(yán)重程度和優(yōu)先級(jí)。6a)庫(kù)表歸集按歸集類型劃分包括整庫(kù)遷移、多表遷移、單表同步等，要求如下：3)應(yīng)提供源表與目標(biāo)表結(jié)構(gòu)不一致時(shí)數(shù)據(jù)遷移功能，支持表字段自由映b)庫(kù)表歸集按歸集方式劃分包括全量歸集、增量歸集，要求如下：2)應(yīng)提供源表數(shù)據(jù)增量遷移到目標(biāo)表的功能，支持更新、追加、覆蓋增量模式。c)庫(kù)表歸集按歸集頻率劃分包括離線歸集、實(shí)時(shí)歸集，要求如下：2)應(yīng)支持實(shí)時(shí)感知源表數(shù)據(jù)增刪改等變化，并自動(dòng)同步到目標(biāo)表；文件歸集包括文件數(shù)據(jù)源管理、歸集任務(wù)配置、歸集任務(wù)調(diào)度等，要e)應(yīng)提供源端文件周期性自動(dòng)遷移功能，支持分鐘、小時(shí)、天接口歸集包括接口數(shù)據(jù)源管理、歸集任務(wù)配置、歸集任務(wù)調(diào)度等，要求如b)應(yīng)提供歸集接口的發(fā)布、配置、任務(wù)調(diào)試功能；d)應(yīng)提供自定義時(shí)間頻度調(diào)用源端接口歸集功能；8.2數(shù)據(jù)對(duì)賬7對(duì)賬要求包括結(jié)構(gòu)化數(shù)據(jù)對(duì)賬、非結(jié)構(gòu)數(shù)據(jù)對(duì)賬等功能，要求如a)應(yīng)提供源表和目標(biāo)表在某一對(duì)賬時(shí)間節(jié)點(diǎn)比對(duì)數(shù)據(jù)量和數(shù)據(jù)內(nèi)容的完整性和一致性功b)應(yīng)提供源端文件和目標(biāo)端文件在某一對(duì)賬時(shí)間節(jié)點(diǎn)比對(duì)文件個(gè)數(shù)和文件內(nèi)容的完整性和一致條數(shù)、對(duì)賬時(shí)間、對(duì)賬狀態(tài)、對(duì)賬結(jié)果，支持查看對(duì)即時(shí)賬方式等，滿足提供方對(duì)賬單和分發(fā)方對(duì)賬單c)應(yīng)支持生成提供方與分發(fā)方即時(shí)對(duì)賬單，支持查看對(duì)賬單后，b)應(yīng)支持查看由配置方案生成的對(duì)賬列表，d)應(yīng)支持生成提供方與分發(fā)方盤點(diǎn)對(duì)賬單，支持查看對(duì)賬單后，8.3數(shù)據(jù)歸檔數(shù)據(jù)歸檔是指將數(shù)據(jù)轉(zhuǎn)移到受控的存儲(chǔ)媒體中進(jìn)行長(zhǎng)期保存，要a)存儲(chǔ)媒體應(yīng)符合GB/T18894-2016中8.b)歸檔文件格式應(yīng)符合GB/T188e)應(yīng)制定數(shù)據(jù)恢復(fù)機(jī)制，在需要時(shí)能快速、準(zhǔn)確h)應(yīng)提供管理組織內(nèi)部和外部監(jiān)管的數(shù)據(jù)8l)應(yīng)支持在歸檔數(shù)據(jù)時(shí)同步遷移歸檔要素9.1.1數(shù)據(jù)標(biāo)準(zhǔn)文件管理數(shù)據(jù)標(biāo)準(zhǔn)文件管理包括標(biāo)準(zhǔn)文件維護(hù)、標(biāo)準(zhǔn)文件版本管理、標(biāo)準(zhǔn)文件引用情況等，要求d)應(yīng)提供對(duì)標(biāo)準(zhǔn)文件版本管理功能，e)應(yīng)提供以列表或可視化方式查看數(shù)據(jù)標(biāo)準(zhǔn)中對(duì)標(biāo)準(zhǔn)文件9.1.2數(shù)據(jù)字典標(biāo)準(zhǔn)管理數(shù)據(jù)字典標(biāo)準(zhǔn)管理指對(duì)數(shù)據(jù)字典標(biāo)準(zhǔn)的數(shù)據(jù)元值域進(jìn)行管理，要g)應(yīng)支持通過(guò)手動(dòng)錄入、庫(kù)表導(dǎo)入、文件導(dǎo)入等方式填充9.1.3數(shù)據(jù)元標(biāo)準(zhǔn)數(shù)據(jù)元標(biāo)準(zhǔn)是指對(duì)數(shù)據(jù)的基本單元進(jìn)行規(guī)范化的定義和描述的規(guī)則集合，要求9k)宜支持根據(jù)數(shù)據(jù)元標(biāo)準(zhǔn)定期進(jìn)行引用情況分析，了解各應(yīng)用系統(tǒng)中對(duì)數(shù)據(jù)元的引用情況。9.1.4編碼規(guī)則管理a)應(yīng)支持自定義編碼和基于編碼規(guī)則自動(dòng)生成二種方式，具有唯一性；b)應(yīng)支持根據(jù)自增序列（按標(biāo)準(zhǔn)創(chuàng)建順序）、固定字符串、所屬標(biāo)準(zhǔn)集編碼創(chuàng)建編碼規(guī)則；e)應(yīng)定義數(shù)據(jù)編碼的標(biāo)準(zhǔn)化格式，梳理組織內(nèi)部的數(shù)據(jù)，形成統(tǒng)一的編碼規(guī)則；g)應(yīng)支持根據(jù)引用的標(biāo)準(zhǔn)模板配置編碼生成規(guī)則自動(dòng)生成編碼值，生成后可手動(dòng)修改；h)應(yīng)支持自定義組合編碼規(guī)則，包括但不限于流水號(hào)、字母、數(shù)字、常量、時(shí)間變量；k)應(yīng)提供編碼規(guī)則生存周期管理功能，包括但不限于新增、發(fā)布、停用、變更、l)應(yīng)定期對(duì)編碼規(guī)則的使用情況進(jìn)行檢查和評(píng)估，發(fā)m)應(yīng)提供編碼規(guī)則生成接口功能，供第三方平臺(tái)調(diào)用。9.1.5標(biāo)準(zhǔn)配置a)應(yīng)支持對(duì)數(shù)據(jù)元的內(nèi)部標(biāo)識(shí)符定義自動(dòng)生成規(guī)則，在手動(dòng)創(chuàng)建本地?cái)?shù)據(jù)元標(biāo)準(zhǔn)時(shí)內(nèi)部標(biāo)識(shí)符b)應(yīng)支持設(shè)定智能對(duì)標(biāo)優(yōu)先級(jí)配置，在數(shù)據(jù)標(biāo)準(zhǔn)智能對(duì)標(biāo)時(shí)優(yōu)先遍歷優(yōu)先級(jí)高的標(biāo)準(zhǔn)分類中的9.2.1質(zhì)量維度b)完整性：按照數(shù)據(jù)規(guī)則要求，數(shù)據(jù)元素被賦予數(shù)值的程度；c)準(zhǔn)確性：數(shù)據(jù)準(zhǔn)確表示其所描述的真實(shí)實(shí)體（實(shí)際對(duì)象）e)規(guī)范性：數(shù)據(jù)符合數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、業(yè)務(wù)規(guī)則、元數(shù)據(jù)或權(quán)威參9.2.2數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理旨在保障數(shù)據(jù)在其生存周期內(nèi)的質(zhì)量，b)應(yīng)明確數(shù)據(jù)質(zhì)量稽核流程的程序、內(nèi)容f)應(yīng)收集數(shù)據(jù)使用部門和人員的數(shù)據(jù)質(zhì)量反饋信息，并采9.2.3質(zhì)量規(guī)則應(yīng)基于數(shù)據(jù)質(zhì)量維度，設(shè)置數(shù)據(jù)質(zhì)量規(guī)則。質(zhì)量規(guī)則要求d)應(yīng)支持對(duì)規(guī)則的語(yǔ)法正確性進(jìn)行檢查并反饋檢查結(jié)果，對(duì)于語(yǔ)法不正確的規(guī)則提供編輯和修e)應(yīng)支持對(duì)表級(jí)增量數(shù)據(jù)行及數(shù)據(jù)大小波動(dòng)的檢測(cè)，h)應(yīng)支持波動(dòng)率檢驗(yàn)，提供絕對(duì)值和相對(duì)值（上升或下降）兩種比較方式；k)應(yīng)支持通過(guò)并行計(jì)算引擎和分布式計(jì)算能力，實(shí)現(xiàn)跨庫(kù)、跨表、跨字段的數(shù)據(jù)質(zhì)量檢測(cè)；9.2.4質(zhì)量檢測(cè)任務(wù)人基本信息、反饋內(nèi)容、附件及補(bǔ)充說(shuō)明等關(guān)鍵要素，并提供錯(cuò)誤數(shù)據(jù)的處理g)應(yīng)支持查看質(zhì)量檢測(cè)任務(wù)的詳細(xì)信息，并支持將任務(wù)分派給指定的處理對(duì)象；h)應(yīng)提供新增、送審、變更、停用、k)應(yīng)支持測(cè)量和監(jiān)控?cái)?shù)據(jù)項(xiàng)對(duì)數(shù)據(jù)質(zhì)量規(guī)則的符合度；n)應(yīng)支持用戶配置質(zhì)量告警內(nèi)容模板，并支持驗(yàn)證告警模板是否正確運(yùn)行；o)應(yīng)支持對(duì)檢測(cè)任務(wù)進(jìn)行測(cè)試，并生成測(cè)試結(jié)果。9.2.5數(shù)據(jù)質(zhì)量分析a)應(yīng)明確數(shù)據(jù)質(zhì)量問(wèn)題的分析要求，對(duì)關(guān)鍵數(shù)據(jù)質(zhì)量問(wèn)題的根本原因、影響范圍進(jìn)行分析；9.2.6質(zhì)量問(wèn)題管理f)應(yīng)支持對(duì)問(wèn)題數(shù)據(jù)明細(xì)進(jìn)行打標(biāo)，標(biāo)識(shí)出問(wèn)題數(shù)據(jù)違反g)應(yīng)提供問(wèn)題數(shù)據(jù)明細(xì)的導(dǎo)出功能，支持將數(shù)據(jù)導(dǎo)出9.2.7質(zhì)量報(bào)告f)應(yīng)支持按年、季度、月等時(shí)間維度查看數(shù)據(jù)質(zhì)量得9.2.8數(shù)據(jù)質(zhì)量提升9.3.1主數(shù)據(jù)管理c)應(yīng)支持對(duì)主數(shù)據(jù)的變更進(jìn)行版本管理；h)應(yīng)提供主數(shù)據(jù)標(biāo)準(zhǔn)定義能力，能夠定義與管理主數(shù)據(jù)9.3.2主數(shù)據(jù)編碼規(guī)則a)應(yīng)提供主數(shù)據(jù)編碼規(guī)則功能，能夠?qū)χ鲾?shù)據(jù)進(jìn)行編碼規(guī)則定義；b)應(yīng)支持提供多種編碼格式類型，包括但不限于流水碼、固定字符串、日期時(shí)間碼等；9.3.3主數(shù)據(jù)模型a)應(yīng)提供主數(shù)據(jù)模型及類目管理功能，能夠根據(jù)業(yè)務(wù)域及自定義分類方式對(duì)模型進(jìn)行分類管理；c)應(yīng)提供主數(shù)據(jù)模型批量導(dǎo)入導(dǎo)出功9.4數(shù)據(jù)融合數(shù)據(jù)融合是指集成多個(gè)數(shù)據(jù)源以產(chǎn)生比任何單獨(dú)的數(shù)據(jù)源更有價(jià)值信息的過(guò)程。數(shù)據(jù)融合方式包a)感知融合：應(yīng)支持對(duì)不同來(lái)源的感知數(shù)據(jù)進(jìn)行關(guān)聯(lián)性統(tǒng)計(jì)分析，進(jìn)行原始數(shù)據(jù)融b)應(yīng)按照統(tǒng)一的目錄和規(guī)范，將不同來(lái)源、不同格式的數(shù)據(jù)進(jìn)行統(tǒng)一索引；10.1元數(shù)據(jù)管理?yè)?jù)元之間的關(guān)系，并方便在不同應(yīng)用系統(tǒng)之間a)應(yīng)支持多種元數(shù)據(jù)歸集方式，包括但不限于實(shí)時(shí)歸集、定時(shí)歸集、手工導(dǎo)入；d)應(yīng)支持內(nèi)置歸集數(shù)據(jù)源的元模型組合；e)應(yīng)支持根據(jù)元數(shù)據(jù)模型或元數(shù)據(jù)自動(dòng)識(shí)別和自動(dòng)關(guān)聯(lián)關(guān)系；h)應(yīng)支持歸集完成后將元數(shù)據(jù)組織成符合公共倉(cāng)庫(kù)元模型（CWM）的結(jié)構(gòu)，將元數(shù)據(jù)存儲(chǔ)在關(guān)系k)各元數(shù)據(jù)項(xiàng)應(yīng)逐項(xiàng)填寫(xiě)內(nèi)容，不應(yīng)有空項(xiàng)。c)基于分類體系的查詢：用戶可通過(guò)導(dǎo)航層次結(jié)構(gòu)進(jìn)行檢索；d)查詢結(jié)果應(yīng)以用戶易于理解的方式呈現(xiàn)，包含相關(guān)元數(shù)據(jù)字段信息時(shí)應(yīng)支持按照關(guān)鍵字進(jìn)行e)應(yīng)支持查看元數(shù)據(jù)詳細(xì)信息，如元數(shù)據(jù)基本信息c)應(yīng)完整地描述標(biāo)準(zhǔn)文檔的結(jié)構(gòu)和內(nèi)容，包括層次結(jié)構(gòu)、要素表述形式和內(nèi)容要素等方面；d)應(yīng)與不同標(biāo)準(zhǔn)文檔中的應(yīng)用應(yīng)保持一致性，保障元模型的通用性和可復(fù)用性；g)應(yīng)進(jìn)行動(dòng)態(tài)調(diào)整和維護(hù)，實(shí)現(xiàn)元模型系和索引不應(yīng)被破壞。元數(shù)據(jù)庫(kù)應(yīng)支持?jǐn)?shù)據(jù)庫(kù)管理系統(tǒng)、文件系統(tǒng)等不同物b)版本控制：應(yīng)支持對(duì)元數(shù)據(jù)的存儲(chǔ)進(jìn)行版本控制，元數(shù)據(jù)血緣包括血緣管理、血緣檢索、血緣統(tǒng)計(jì)等，b)應(yīng)支持根據(jù)數(shù)據(jù)歸集和數(shù)據(jù)處理任務(wù)自動(dòng)解析形成元數(shù)據(jù)血緣關(guān)系功能；c)應(yīng)提供庫(kù)、表、字段級(jí)血緣關(guān)系功e)應(yīng)提供以可視化數(shù)據(jù)流向關(guān)系呈現(xiàn)元數(shù)據(jù)血緣功f)應(yīng)提供查看單個(gè)元數(shù)據(jù)血緣和影響分析鏈路圖功能；h)應(yīng)支持?jǐn)?shù)據(jù)血緣關(guān)系識(shí)別，包括數(shù)據(jù)來(lái)源、傳輸過(guò)程、處理過(guò)程等；l)應(yīng)支持對(duì)數(shù)據(jù)開(kāi)發(fā)的全過(guò)程追蹤，實(shí)現(xiàn)以某個(gè)數(shù)據(jù)對(duì)象為起點(diǎn)的所有與該對(duì)象相關(guān)的元數(shù)據(jù)a)應(yīng)提供定義層級(jí)目錄功能；b)應(yīng)提供導(dǎo)入導(dǎo)出目錄功能；j)應(yīng)提供目錄緩存功能，快速響應(yīng)服務(wù)使用機(jī)構(gòu)的使k)應(yīng)支持展示目錄之間的關(guān)聯(lián)關(guān)系；a)應(yīng)支持對(duì)不同類型數(shù)據(jù)進(jìn)行資產(chǎn)編目，包g)應(yīng)提供資源生存周期管理功能，包括但不限于新增、送審a)基本屬性：包括數(shù)據(jù)的來(lái)源、類型、結(jié)構(gòu)、規(guī)模、更新周期、標(biāo)準(zhǔn)和質(zhì)量等；b)業(yè)務(wù)要素：包括業(yè)務(wù)描述、業(yè)務(wù)指標(biāo)、業(yè)務(wù)規(guī)則和關(guān)聯(lián)關(guān)系等；c)管理要素：包括數(shù)據(jù)權(quán)屬、分類分d)價(jià)值要素：包括市場(chǎng)信息、領(lǐng)域信息、地域信息和應(yīng)用價(jià)值等。b)應(yīng)支持能夠自定義設(shè)置特定部分的元數(shù)據(jù)是否可對(duì)外提供服務(wù)；c)應(yīng)支持目錄的查詢、核查、更新、同步d)應(yīng)支持根據(jù)數(shù)據(jù)資源目錄相關(guān)屬性和數(shù)據(jù)項(xiàng)進(jìn)行數(shù)據(jù)資源查詢；e)應(yīng)支持自動(dòng)化審核，對(duì)發(fā)布的數(shù)據(jù)資源進(jìn)行質(zhì)量檢查和合規(guī)性驗(yàn)證；b)應(yīng)支持將已發(fā)布的資源下線，下線后的資源在資產(chǎn)門戶不可見(jiàn)；10.3資源管理b)應(yīng)提供注冊(cè)不同數(shù)據(jù)類型資源功能，包括但不限于：文件、庫(kù)表、接口、消息管道；數(shù)據(jù)預(yù)覽是指對(duì)結(jié)構(gòu)化數(shù)據(jù)資源樣例數(shù)據(jù)進(jìn)行查看，b)應(yīng)提供零代碼篩選樣例數(shù)據(jù)功能。版本管理是指對(duì)資源歷史變更記錄的維護(hù)管理，要a)應(yīng)提供查詢資源歷史變更版本列表功能，并支持查看單個(gè)歷史版本詳情；b)應(yīng)提供選擇任意兩個(gè)兩本比對(duì)變更差異點(diǎn)功能；10.4任務(wù)管理作業(yè)管理包括任務(wù)開(kāi)發(fā)、任務(wù)調(diào)試、作業(yè)編排、作業(yè)調(diào)度等，要b)應(yīng)提供自定義數(shù)據(jù)處理腳本任務(wù)功能；i)應(yīng)支持管理任務(wù)生存周期，包括但b)應(yīng)提供任務(wù)實(shí)例的基本運(yùn)維操作功g)應(yīng)提供任務(wù)運(yùn)行失敗原因診斷功能，并支持給配置庫(kù)是指存儲(chǔ)處理任務(wù)、腳本元數(shù)據(jù)的數(shù)據(jù)庫(kù)，應(yīng)支持配置庫(kù)構(gòu)建、連接測(cè)試等。數(shù)據(jù)安全四個(gè)層面明確等級(jí)保護(hù)要求中不同級(jí)別的密鑰管理和安全管理要求，等級(jí)保護(hù)要求應(yīng)不低于三級(jí)，具體應(yīng)符合GB/T39786-2021對(duì)應(yīng)密碼應(yīng)用級(jí)別和GB/T22239-2019對(duì)應(yīng)等保級(jí)別11.2敏感數(shù)據(jù)識(shí)別a)對(duì)發(fā)現(xiàn)的數(shù)據(jù)資產(chǎn)應(yīng)支持采用人工方式進(jìn)行敏感數(shù)據(jù)的梳理和識(shí)別；c)應(yīng)支