2024大數(shù)據(jù)清洗加工規(guī)范

前 附 本規(guī)范定義了大數(shù)據(jù)清洗加工的標(biāo)準(zhǔn)方法，為貴州省各級政府部門、企下列文件對于本規(guī)范的應(yīng)用是必不可少的。凡是標(biāo)注日期的引用文件，DB52/T1123-2016DB52/T1124-20161DB52/T1125-20162DB52/T1126-2016數(shù)據(jù)采集data大數(shù)據(jù)big一種規(guī)模大到在獲取、存儲、管理、分析方面超出了傳統(tǒng)數(shù)據(jù)庫軟件工臟數(shù)據(jù)dirty臟數(shù)據(jù)是指系統(tǒng)中的數(shù)據(jù)不在給定的范圍內(nèi)或?qū)τ趯?shí)際業(yè)務(wù)毫無意義，或是數(shù)據(jù)格式非法，以及在系統(tǒng)中存在不規(guī)范的編碼和含糊的業(yè)務(wù)邏輯。數(shù)據(jù)清洗data數(shù)據(jù)清洗是指利用現(xiàn)有的數(shù)據(jù)挖掘手段和方法清洗“臟數(shù)據(jù)”“臟數(shù)結(jié)構(gòu)化數(shù)據(jù)structural結(jié)構(gòu)化數(shù)據(jù)也稱作行數(shù)據(jù)，是由二維表結(jié)構(gòu)來邏輯表達(dá)和實(shí)現(xiàn)的數(shù)據(jù)，嚴(yán)格地遵循數(shù)據(jù)格式與長度規(guī)范，主要通過關(guān)系型數(shù)據(jù)庫進(jìn)行存儲和管理。非結(jié)構(gòu)化數(shù)據(jù)unstructured非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒有預(yù)定義的數(shù)據(jù)模型，不半結(jié)構(gòu)化數(shù)據(jù)semi-structured非結(jié)構(gòu)化數(shù)據(jù)處于結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)之間，具有一定的結(jié)構(gòu)，數(shù)據(jù)規(guī)范data數(shù)據(jù)完整性準(zhǔn)則dataintegrity對數(shù)據(jù)進(jìn)行有關(guān)存在性、有效性、結(jié)構(gòu)、內(nèi)容及其他基本數(shù)據(jù)特征的測數(shù)據(jù)覆蓋data表達(dá)質(zhì)量presentation數(shù)據(jù)衰變data政務(wù)數(shù)據(jù)資源是指政務(wù)部門在履行職責(zé)過程中制作或獲取的，以一定形政務(wù)數(shù)據(jù)不僅有傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，還包含大量的非結(jié)構(gòu)化數(shù)據(jù)。進(jìn)行后通過技術(shù)手段轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)。1數(shù)據(jù)質(zhì)量問題中模式層的臟數(shù)據(jù)，必須借助數(shù)據(jù)整合技術(shù)。2數(shù)據(jù)清洗的方法包括：缺失數(shù)據(jù)處理、相似重復(fù)對象監(jiān)測、異常數(shù)據(jù)處數(shù)據(jù)清洗具體流程如下3理。預(yù)處理過程中除了更正、修復(fù)系統(tǒng)中的一些錯誤數(shù)據(jù)之外，更多的是對數(shù)ETL具體數(shù)據(jù)抽取工具種類繁多，可根據(jù)實(shí)際業(yè)務(wù)數(shù)據(jù)的特點(diǎn)進(jìn)行選擇。從數(shù)據(jù)庫或視圖的數(shù)據(jù)原封不動的從數(shù)據(jù)庫中抽取出來。該方法主要用于在系統(tǒng)數(shù)據(jù)初增量抽?。ǜ拢簱?jù)分別插入到不同的數(shù)據(jù)表中。對于數(shù)據(jù)加載工作，一般會搭建數(shù)據(jù)庫環(huán)境，如果數(shù)據(jù)量大（千萬級以上），可以使用文本文件存儲結(jié)合腳本程序處理進(jìn)行一致等，非法值問題包括取值錯誤、格式錯誤、多余字符、亂碼等，需根據(jù)具4▲

圖5存在缺失值數(shù)據(jù)處理策略參考圖是否有其他渠道可以取到相關(guān)數(shù)據(jù)，必要時(shí)進(jìn)行重新采集。若無法取得相關(guān)數(shù)據(jù)，則需e）對于指標(biāo)重要性低，缺失率高的缺失值數(shù)據(jù)，可備份當(dāng)前數(shù)據(jù)，直接刪掉不需以同一指標(biāo)的計(jì)算結(jié)果（均值、中位數(shù)、眾數(shù)等）a1）處理方法是將其處理成一致的某種格式。這種情況的數(shù)據(jù)多數(shù)由人工收集或用戶需要以半自動校驗(yàn)半人工方式來找出可能存在的問題，并去除不需要的字符。典該問題不能簡單地以刪除來處理，因?yàn)槌梢驈?fù)雜，可能是人工填寫錯誤、前端沒可直接發(fā)現(xiàn)問題的數(shù)據(jù)，防止分析結(jié)果錯誤。主要包含以下三個步驟：1）去重放在格式內(nèi)容清洗之后，原因是格式內(nèi)容清理之后才能總體發(fā)現(xiàn)重復(fù)的業(yè)務(wù)2）離群值（異常值）采集數(shù)據(jù)時(shí)可能因?yàn)榧夹g(shù)或物理原因，數(shù)據(jù)取值超過數(shù)據(jù)值域范圍。為處理離群值，第一步即為識別離群值。識別離群值的方法主要有如下兩種：一區(qū)域之內(nèi)，所以利用數(shù)據(jù)自身分布特征來識別離群值，可采用直觀的箱型圖方法可視效，但對于聚合程度高，彼此相關(guān)的多維數(shù)據(jù)而言，通過數(shù)據(jù)分布特征或業(yè)務(wù)理解來識別離群值的方法會缺乏有效性。面對這種情況，聚類方法提供識別多維數(shù)據(jù)集中噪聲數(shù)據(jù)的方法。新采集的數(shù)值，按照缺失值辦法處理。對于重要性較低數(shù)值，可直接去除。3）典、元數(shù)據(jù)等，還可梳理數(shù)據(jù)之間的關(guān)系，并進(jìn)行修正。不一致數(shù)據(jù)往往是因?yàn)槿狈?shù)據(jù)標(biāo)準(zhǔn)或未依照已有標(biāo)準(zhǔn)執(zhí)行而產(chǎn)生。錯誤關(guān)聯(lián)數(shù)據(jù)清洗方法主要有以下方法：c）基于距離的方法：使用距離度量來量化數(shù)據(jù)對象之間的相似性。要字段，可以從數(shù)據(jù)集中刪除。對于尚不明確是否需要的字段，原則上數(shù)據(jù)量在可處理是一種通過測量和改善數(shù)據(jù)綜合特征來優(yōu)化數(shù)據(jù)價(jià)值的過程。數(shù)據(jù)質(zhì)量評價(jià)指標(biāo)和方法研究的重點(diǎn)在于數(shù)據(jù)的含義、內(nèi)容、分類、分級、質(zhì)量的評價(jià)指標(biāo)等的研究分析。12數(shù)據(jù)規(guī)范(Dataspecification):參考數(shù)據(jù)進(jìn)行有關(guān)存在性、完整性、質(zhì)量及歸檔的測量標(biāo)準(zhǔn)；數(shù)據(jù)完整性準(zhǔn)則(Dataintegrityfundamentals):重復(fù)(Duplication):—致性和同步(Consistencyandsynchronization):應(yīng)用和系統(tǒng)中所存儲或使用的信息等價(jià)程度的測量，以及使數(shù)據(jù)等價(jià)處理流程的測量標(biāo)f(Timelinessandavailability):易用性和可維護(hù)性(Easeofuseandmaintainability):數(shù)據(jù)覆蓋(Datacoverage):相對于數(shù)據(jù)總體或全體相關(guān)對象數(shù)據(jù)的可用性和全表達(dá)質(zhì)量(Presentationquality)；如何進(jìn)行有效信息表達(dá)以及如何從用戶中理解性和數(shù)據(jù)質(zhì)量中執(zhí)行度的測量標(biāo)準(zhǔn)，以及對業(yè)務(wù)所需數(shù)據(jù)的重要性、實(shí)用性及相關(guān)數(shù)據(jù)衰變(Datadecay):效用性(Transactability):數(shù)據(jù)產(chǎn)生期望業(yè)務(wù)交易或結(jié)果程度的測量標(biāo)準(zhǔn)。所選維度，制定評估方案，選擇合適的評估手段進(jìn)行測量，最后合并和分析所有質(zhì)量評數(shù)據(jù)清洗管理涉及的數(shù)據(jù)管理角色有提供者和管理者。提供者負(fù)責(zé)提供清洗的業(yè)務(wù)項(xiàng)目中提供者為數(shù)據(jù)接入方，管理者為項(xiàng)目建設(shè)方。具體針對特殊情況有所變化。配置與部署接入服務(wù)，實(shí)現(xiàn)接入數(shù)據(jù)庫的數(shù)據(jù)交換提供者應(yīng)該提供待清洗數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)；提供者應(yīng)接收數(shù)據(jù)清洗系統(tǒng)的問題數(shù)據(jù)，及時(shí)修改，并通知管理者。管理者對數(shù)據(jù)清洗系統(tǒng)的管理要點(diǎn)應(yīng)包括:管理者應(yīng)負(fù)責(zé)構(gòu)建清洗后數(shù)據(jù)及問題數(shù)據(jù)各自的數(shù)據(jù)庫和數(shù)據(jù)表的結(jié)構(gòu)；管理者應(yīng)負(fù)責(zé)源質(zhì)量評價(jià)、數(shù)據(jù)加工模型與算法質(zhì)量評價(jià)、數(shù)據(jù)產(chǎn)品質(zhì)量評價(jià)等?？祁I(lǐng)域內(nèi)已存在相關(guān)的數(shù)據(jù)質(zhì)量管理國際、國家規(guī)范或行業(yè)標(biāo)準(zhǔn)，數(shù)據(jù)審核宜采用這壁審核指標(biāo)可以包括但不限于準(zhǔn)確性，真實(shí)性誤差等技術(shù)參數(shù)，特色數(shù)據(jù)和重點(diǎn)數(shù)