(高清版)DB52∕T 1541.2-2020 政務(wù)數(shù)據(jù)平臺(tái) 第2部分：數(shù)據(jù)歸集規(guī)范

DB52DB52/T1541.2—2020政務(wù)數(shù)據(jù)平臺(tái)第2部分：數(shù)據(jù)歸集規(guī)范Governmentdataplatform—Part2:dataingestionspecification2020-11-20發(fā)布2020-12-20實(shí)施貴州省市場(chǎng)監(jiān)督管理局發(fā)布I 1 1 1 3 3 3 4 4 5 6 61GB/T38664.2-2020信息技術(shù)大數(shù)據(jù)政務(wù)數(shù)據(jù)開放DB52/T1540.3-2020政務(wù)數(shù)據(jù)第3部分：數(shù)據(jù)DB52/T1541.3-2020政務(wù)數(shù)據(jù)平臺(tái)第3部2半結(jié)構(gòu)化數(shù)據(jù)semi-structu數(shù)據(jù)采集定義datacollection3ACID：數(shù)據(jù)庫(kù)事務(wù)特征原子性、一致性、隔離型和持久性（AtomicityConsistencyIsolationXML：可擴(kuò)展標(biāo)記語(yǔ)言（eXtensib5.4應(yīng)如實(shí)準(zhǔn)確地處理數(shù)據(jù)，不應(yīng)虛構(gòu)或篡改數(shù)據(jù)；應(yīng)準(zhǔn)確記錄數(shù)據(jù)，不應(yīng)存在異?；蝈e(cuò)誤4c)原始數(shù)據(jù)位于互聯(lián)網(wǎng)環(huán)境的，應(yīng)建立與政務(wù)外網(wǎng)之間的安全傳輸通道，采取必要的安全措施保障數(shù)據(jù)傳輸安全性，對(duì)互聯(lián)網(wǎng)環(huán)境數(shù)據(jù)的歸集。數(shù)據(jù)歸集總體流程見圖1,流程包含以下內(nèi)容：a)將原始數(shù)據(jù)不進(jìn)行處理地采集存放在政務(wù)數(shù)據(jù)平臺(tái)的貼源層中；b)對(duì)貼源層中的數(shù)據(jù)進(jìn)行清洗加工使其滿足政務(wù)數(shù)據(jù)平臺(tái)使用的質(zhì)量要求，清洗加工后的數(shù)據(jù)存放在政務(wù)數(shù)據(jù)平臺(tái)的公共層中；c)對(duì)公共層中的數(shù)據(jù)進(jìn)行個(gè)性化面向應(yīng)用、業(yè)務(wù)的整合，最終數(shù)據(jù)存放在政務(wù)數(shù)據(jù)平臺(tái)的主題層d)當(dāng)原始數(shù)據(jù)發(fā)生更新時(shí)，應(yīng)依照采集、清洗加工、整合的步驟對(duì)更新數(shù)據(jù)進(jìn)行歸集。數(shù)據(jù)源貼源層清洗采集數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，接入形式包括數(shù)據(jù)庫(kù)、文件、接口、消息隊(duì)列。8.2.1數(shù)據(jù)剖析數(shù)據(jù)剖析應(yīng)包括以下內(nèi)容：a)業(yè)務(wù)分析：對(duì)數(shù)據(jù)來(lái)源業(yè)務(wù)進(jìn)行探查分析；b)接入方式分析：對(duì)源數(shù)據(jù)存儲(chǔ)位置、提供方式進(jìn)行分析；c)結(jié)構(gòu)分析：對(duì)數(shù)據(jù)的含義、類型、長(zhǎng)度、結(jié)構(gòu)進(jìn)行分析；58.3.2返回?cái)?shù)據(jù)為結(jié)構(gòu)化或半結(jié)構(gòu)化的接口類型，應(yīng)建立源接口返回?cái)?shù)據(jù)結(jié)構(gòu)與目標(biāo)8.3.3結(jié)構(gòu)化的二維表和半結(jié)構(gòu)化文件，應(yīng)建立源文件結(jié)構(gòu)與目標(biāo)數(shù)據(jù)庫(kù)之間存儲(chǔ)結(jié)構(gòu)6