公共數(shù)據(jù)清洗比對流程、探查清單、質(zhì)量檢查規(guī)則、報告示、轉(zhuǎn)換規(guī)則示例

（規(guī)范性）

數(shù)據(jù)清洗比對流程圖A.1規(guī)定了數(shù)據(jù)清洗比對流程。數(shù)據(jù)清洗比對流程

（資料性）

數(shù)據(jù)探查清單示例數(shù)據(jù)探查清單包括數(shù)據(jù)表探查清單和數(shù)據(jù)字段探查清單。數(shù)據(jù)表探查清單示例見表B.1。數(shù)據(jù)字段探查清單示例見表B.2。數(shù)據(jù)表探查清單示例所屬部門表名表注釋最后更新時間數(shù)據(jù)量是否更新更新周期XXX部門XXX_XX_XXXX信息202X-XX-XX10000是每月XXX局XX_XXXXXXXXXX變更信息202X-XX-XX10000是實時數(shù)據(jù)字段探查清單示例表名字段名字段注釋數(shù)據(jù)類型空值數(shù)量空值率是否允許空值是否主鍵是否有重復(fù)數(shù)據(jù)是否使用字典值域樣例數(shù)據(jù)XXXX_XXId主鍵ID；自增數(shù)值00.00%否是否否—100XXXX_XXis_deleted是否刪除：0未刪除；1刪除數(shù)值00.00%否否是是0、10

（資料性）

數(shù)據(jù)質(zhì)量檢查規(guī)則示例數(shù)據(jù)質(zhì)量檢查規(guī)則示例見表C.1。數(shù)據(jù)質(zhì)量檢查規(guī)則示例規(guī)則名稱規(guī)則說明字段完整檢查規(guī)則檢查字段數(shù)量與數(shù)據(jù)探查清單相比是否一致記錄完整檢查規(guī)則檢查記錄數(shù)量與數(shù)據(jù)探查清單相比是否一致空缺值檢查規(guī)則檢查值的填充是否完整，是否存在空缺值邏輯檢查規(guī)則檢查數(shù)據(jù)是否存在邏輯或常識性錯誤，如幼兒園入學(xué)年齡為18歲格式檢查規(guī)則檢查數(shù)據(jù)是否存在格式錯誤，如身份證件號碼長度大于18位值域檢查規(guī)則檢查數(shù)據(jù)的值是否在允許取值的范圍之內(nèi)字段重復(fù)檢查規(guī)則檢查字段是否存在重復(fù)記錄重復(fù)檢查規(guī)則檢查記錄是否存在重復(fù)數(shù)據(jù)沖突檢查規(guī)則檢查分布在不同表中的相同數(shù)據(jù)是否一致數(shù)據(jù)更新檢查規(guī)則檢查數(shù)據(jù)是否已按照要求進(jìn)行更新

（資料性）

數(shù)據(jù)質(zhì)量檢查報告示例數(shù)據(jù)質(zhì)量檢查報告示例見表D.1。數(shù)據(jù)質(zhì)量檢查報告示例數(shù)據(jù)質(zhì)量檢查報告報告日期：202X年XX月XX日總體情況：截止到202X年XX月XX日XX:XX，檢查總表數(shù)XX個，實施質(zhì)檢規(guī)則XX個，檢查記錄數(shù)XXXXX條。發(fā)現(xiàn)問題數(shù)據(jù)XXXX條。問題主要集中在XXXX規(guī)則上。數(shù)據(jù)時效性校驗通過率為XX.XXXX%，更新情況較差。表數(shù)據(jù)量及問題率統(tǒng)計序號來源部門名稱數(shù)據(jù)資源名稱表名質(zhì)檢數(shù)據(jù)量（條）問題數(shù)據(jù)量（條）問題率（%）1XXX部門XXXX信息xx_xx_xxxx9999854785.479%2XXXX部門XXX信息xxx_xxxxxx9900.000%數(shù)據(jù)質(zhì)量問題序號表名字段名質(zhì)檢規(guī)則問題數(shù)據(jù)量（條）合格率（%）檢查時間1xxx_xxxxxxlianxidianhua固定電話號碼或手機(jī)號碼格式校驗271397.683%202X年XX月XX日2xxx_xxxxxxchuanzhen傳真號碼格式校驗2629177.555%202X年XX月XX日

（資料性）

數(shù)據(jù)轉(zhuǎn)換規(guī)則示例數(shù)據(jù)轉(zhuǎn)換規(guī)則示例見表E.1。數(shù)據(jù)轉(zhuǎn)換規(guī)則示例規(guī)則類型規(guī)則名稱規(guī)則說明格式轉(zhuǎn)換規(guī)則日期型統(tǒng)一格式轉(zhuǎn)換將各類日期型數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為符合GB/T7408—2005的日期型數(shù)據(jù)，如YYYYMMDD時間型統(tǒng)一格式轉(zhuǎn)換將各類時間型數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為符合GB/T7408—2005的時間型數(shù)據(jù)，如hhmmss日期時間型統(tǒng)一格式轉(zhuǎn)換將各類日期時間型數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為符合GB/T7408—2005的日期時間型數(shù)據(jù)，如YYYYMMDDThhmmss代碼轉(zhuǎn)換規(guī)則性別數(shù)據(jù)統(tǒng)一代碼轉(zhuǎn)換將人員性別代碼按照GB/T2261.1—2003中“性別代碼”進(jìn)行統(tǒng)一轉(zhuǎn)換民族數(shù)據(jù)統(tǒng)一代碼轉(zhuǎn)換將人員的民族代碼按照GB/T3304—1991中“民族數(shù)字代碼”進(jìn)行統(tǒng)一轉(zhuǎn)換婚姻狀況數(shù)據(jù)統(tǒng)一代碼轉(zhuǎn)換將人員的婚姻狀態(tài)代碼按照GB/T2