數(shù)據(jù)質(zhì)量管理

1、數(shù)據(jù)管理,演講人,部門(mén),職務(wù),數(shù)據(jù)管理,1,數(shù)據(jù)管理的目標(biāo),2,數(shù)據(jù)管理的難點(diǎn)與重點(diǎn),3,數(shù)據(jù)質(zhì)量控制方法論,4,案例介紹,數(shù)據(jù)管理的目標(biāo),目標(biāo)一：安全,訪問(wèn)安全,存儲(chǔ)安全,目標(biāo)二：正確,數(shù)據(jù)精確,數(shù)據(jù)正確,目標(biāo)三：效率,常規(guī)加載的效率,非常規(guī)加載的效率,數(shù)據(jù)管理,1,數(shù)據(jù)管理的目標(biāo),2,數(shù)據(jù)管理的難點(diǎn)與重點(diǎn),3,數(shù)據(jù)質(zhì)量控制方法論,4,案例介紹,數(shù)據(jù)質(zhì)量管理的難點(diǎn)與重點(diǎn),1,數(shù)據(jù)質(zhì)量概念,2,數(shù)據(jù)質(zhì)量的重要性,3,數(shù)據(jù)質(zhì)量不高的主要原因,4,數(shù)據(jù)質(zhì)量歸類,5,數(shù)據(jù)質(zhì)量示例,6,數(shù)據(jù)質(zhì)量管理方法,數(shù)據(jù)質(zhì)量概念,數(shù)據(jù)本身的數(shù)據(jù)質(zhì)量,數(shù)據(jù)的真實(shí)性,數(shù)據(jù)必須真實(shí)準(zhǔn)確的反映實(shí)際發(fā)生的業(yè)務(wù),數(shù)據(jù)的完備性

2、,數(shù)據(jù)的完備性是說(shuō)數(shù)據(jù)是充分的，任何有關(guān)操作的數(shù)據(jù)都沒(méi)有被遺漏,數(shù)據(jù)的自治性,數(shù)據(jù)并不是孤立存在的，數(shù)據(jù)之間往往存在著各種各樣的約束，這種約,束描述了數(shù)據(jù)的關(guān)聯(lián)關(guān)系。數(shù)據(jù)必須能夠滿足這種數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，而,不能夠相互矛盾,數(shù)據(jù)的真實(shí)性、完備性、自洽性是數(shù)據(jù)本身應(yīng)具有的屬性,稱為數(shù)據(jù)的絕對(duì)質(zhì)量，是保證數(shù)據(jù)質(zhì)量的基礎(chǔ)。除了數(shù)據(jù)的,絕對(duì)質(zhì)量外，還有我們?cè)诶煤痛尜A數(shù)據(jù)的過(guò)程中所產(chǎn)生的,數(shù)據(jù)質(zhì)量，包括使用質(zhì)量、存貯質(zhì)量和傳輸質(zhì)量，稱之為過(guò),程質(zhì)量,數(shù)據(jù)質(zhì)量概念,數(shù)據(jù)的過(guò)程質(zhì)量,數(shù)據(jù)的使用質(zhì)量,數(shù)據(jù)的使用質(zhì)量是指數(shù)據(jù)被正確的使用。再正確的數(shù)據(jù)，如果被錯(cuò)誤的,使用，就不可能得出正確的結(jié)論,數(shù)據(jù)的存貯質(zhì)

3、量,指數(shù)據(jù)被安全的存貯在適當(dāng)?shù)慕橘|(zhì)上。所謂安全是指采用了適當(dāng)?shù)姆桨?和技術(shù)來(lái)抵制外來(lái)的因素，使數(shù)據(jù)免受破壞，備份是我們常使用的技術(shù)，如,異地備份和雙機(jī)備份等，所謂存貯在適當(dāng)?shù)慕橘|(zhì)上是指當(dāng)需要數(shù)據(jù)的時(shí)候能,及時(shí)方便的取出,數(shù)據(jù)的傳輸質(zhì)量,數(shù)據(jù)的傳輸質(zhì)量是指數(shù)據(jù)在傳輸過(guò)程中的效率和正確性。在現(xiàn)代信息社,會(huì)中，數(shù)據(jù)在異地之間的傳輸越來(lái)越多，保證傳輸過(guò)程中的高效率和正確性,非常重要,數(shù)據(jù)質(zhì)量重要性,關(guān)系建設(shè)系統(tǒng)成敗,很多數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用程度不高或最后失敗，歸根結(jié)底都是數(shù)據(jù)質(zhì)量不高造成,的,數(shù)據(jù)質(zhì)量好壞關(guān)系到結(jié)果與預(yù)期是否一致,低下的數(shù)據(jù)質(zhì)量往往造成開(kāi)發(fā)出來(lái)的系統(tǒng)與用戶的預(yù)期大相徑庭,數(shù)據(jù)質(zhì)量是決策正確的保

4、障,數(shù)據(jù)信息是企業(yè)重要的戰(zhàn)略資源，合理有效的使用正確的數(shù)據(jù)能指導(dǎo)企業(yè),領(lǐng)導(dǎo)作出正確的決策，提高企業(yè)的競(jìng)爭(zhēng)力。不合理的使用不正確的數(shù)據(jù)（即差的,數(shù)據(jù)質(zhì)量）可導(dǎo)致決策的失敗，正可謂差之毫厘、謬以千里,數(shù)據(jù)質(zhì)量是長(zhǎng)期困擾開(kāi)發(fā)的難題,數(shù)據(jù)質(zhì)量不高已經(jīng)成為困擾此類項(xiàng)目的開(kāi)發(fā)人員與用戶的一個(gè)嚴(yán)重問(wèn)題,數(shù)據(jù)質(zhì)量不高的主要原因,數(shù)據(jù)質(zhì)量歸類,數(shù)據(jù)質(zhì)量示例,數(shù)據(jù)質(zhì)量管理方法,數(shù)據(jù)管理,1,數(shù)據(jù)管理的目標(biāo),2,數(shù)據(jù)管理的難點(diǎn)與重點(diǎn),3,數(shù)據(jù)質(zhì)量控制方法論,4,案例介紹,數(shù)據(jù)質(zhì)量控制方法論,1,數(shù)據(jù)源檢驗(yàn)方法,2,數(shù)據(jù)源檢驗(yàn)適用規(guī)則,3,數(shù)據(jù)檢驗(yàn)方法,4,數(shù)據(jù)檢驗(yàn)適用規(guī)則,5,數(shù)據(jù)質(zhì)量檢驗(yàn)的順序,數(shù)據(jù)源檢驗(yàn)方法,數(shù)

5、據(jù)源檢驗(yàn)是對(duì),HDS,中的源表進(jìn)行的數(shù)據(jù)質(zhì)量檢查。數(shù)據(jù)源檢驗(yàn)分為時(shí)效性,檢驗(yàn)和正確性檢驗(yàn)兩個(gè)大類，其中正確性檢驗(yàn)又分為完整性檢驗(yàn)、原則性檢驗(yàn),邏輯性檢驗(yàn),分類,檢驗(yàn)方法,檢查范疇,異常處,理方式,說(shuō)明,時(shí)效性,時(shí)效性檢驗(yàn),數(shù)據(jù)是否,按時(shí)到達(dá),代碼一致性,記錄條數(shù)檢查,數(shù)據(jù)值檢查,報(bào)警,正確性,完整性檢驗(yàn),停止,ETL,原則性檢驗(yàn),停止,ETL,對(duì)單字段的數(shù)值檢查。不符合,原則性檢驗(yàn)時(shí)該數(shù)據(jù)一定是錯(cuò),誤的,對(duì)單表或多個(gè)表內(nèi)字段間邏輯,關(guān)系的檢查,邏輯性檢驗(yàn),數(shù)據(jù)值檢查,報(bào)警,數(shù)據(jù)源檢驗(yàn)方法,時(shí)效性檢驗(yàn),判斷在約定的時(shí)間內(nèi)，數(shù)據(jù)源的數(shù)據(jù)是否按時(shí)到達(dá),完整性檢驗(yàn),HDS,數(shù)據(jù)表與代碼表的一致性檢查,

6、HDS,數(shù)據(jù)表記錄數(shù)檢查,原則性檢驗(yàn),HDS,數(shù)據(jù)表中字段的數(shù)值是否在合法的區(qū)間內(nèi),邏輯性檢驗(yàn),單表或多個(gè)表內(nèi)字段間邏輯關(guān)系的檢查,數(shù)據(jù)源檢驗(yàn)適用的規(guī)則,時(shí)效性檢驗(yàn),規(guī)則一：時(shí)效性檢驗(yàn)適用于,HDS,中所有的代碼表和數(shù)據(jù)表,完整性檢驗(yàn),規(guī)則二：包含外鍵字段的,HDS,數(shù)據(jù)表必須進(jìn)行代碼一致性檢驗(yàn),規(guī)則三：包含日期型字段且可以確定記錄數(shù)范圍的,HDS,數(shù)據(jù)表必須進(jìn)行記,錄條數(shù)檢驗(yàn),原則性檢驗(yàn),規(guī)則四,HDS,數(shù)據(jù)表中可以確定取值范圍的字段必須進(jìn)行原則性檢驗(yàn),邏輯性檢驗(yàn),規(guī)則五：?jiǎn)伪砘蚨鄠€(gè)表內(nèi)的字段具有相同的業(yè)務(wù)含義，不同的統(tǒng)計(jì)口徑，且,存在匯總關(guān)系。滿足此條件時(shí)必須進(jìn)行邏輯性檢驗(yàn),規(guī)則六：本表的

7、字段與其他表中的字段的業(yè)務(wù)含義、統(tǒng)計(jì)口徑相同。滿足此,條件時(shí)必須進(jìn)行邏輯性檢驗(yàn),規(guī)則七：?jiǎn)伪砘蚨鄠€(gè)表內(nèi)的字段具有不同的業(yè)務(wù)含義，相同的統(tǒng)計(jì)口徑,在業(yè)務(wù)上有邏輯公式成立。滿足此條件時(shí)必須進(jìn)行邏輯性檢驗(yàn),數(shù)據(jù)檢驗(yàn)方法,數(shù)據(jù)校驗(yàn)是對(duì),DDS,數(shù)據(jù)庫(kù)中前臺(tái)應(yīng)用直接使用的相關(guān)表的檢驗(yàn)。數(shù)據(jù)校驗(yàn)分為時(shí),效性檢驗(yàn)和正確性檢驗(yàn)兩個(gè)大類，其中正確性檢驗(yàn)又分為完整性檢驗(yàn)、原則性檢驗(yàn),模糊性檢驗(yàn)、邏輯性檢驗(yàn),分類,時(shí)效性,正確性,檢驗(yàn)方法,時(shí)效性檢驗(yàn),完整性檢驗(yàn),原則性檢驗(yàn),檢查范疇,數(shù)據(jù)是否,按時(shí)到達(dá),代碼一致性,記錄條數(shù)檢查,數(shù)據(jù)值檢查,異常處理方式,報(bào)警,停止,ETL,停止,ETL,對(duì)單字段的數(shù)值檢查和單表內(nèi)

8、邏輯,關(guān)系的檢查。不符合原則性檢驗(yàn)時(shí),該數(shù)據(jù)一定是錯(cuò)誤的,對(duì)單字段的數(shù)值、同比值的檢查,不符合模糊性檢驗(yàn)時(shí)只能懷疑此數(shù),據(jù)有問(wèn)題,對(duì)不同數(shù)據(jù)源加工得到的多個(gè)表內(nèi),字段間邏輯關(guān)系的檢查,不符合邏輯性檢驗(yàn)時(shí)只能懷疑此數(shù),據(jù)有問(wèn)題,說(shuō)明,模糊性檢驗(yàn),數(shù)據(jù)值檢查,報(bào)警,邏輯性檢驗(yàn),數(shù)據(jù)值檢查,報(bào)警,數(shù)據(jù)檢驗(yàn)方法,時(shí)效性檢驗(yàn),判斷在約定的時(shí)間內(nèi)，前臺(tái)應(yīng)用直接使用的相關(guān)表是否按時(shí)加載,完整性檢驗(yàn),DDS,事實(shí)表與維度表的一致性檢查,DDS,事實(shí)表記錄數(shù)檢查,原則性檢驗(yàn),DDS,事實(shí)表中單字段的數(shù)值是否在合法的區(qū)間內(nèi),同一表內(nèi)字段間邏輯關(guān)系的檢查,模糊性檢驗(yàn),判斷字段的數(shù)值及其同比值是否在合理的區(qū)間內(nèi),邏輯

9、性檢驗(yàn),由不同數(shù)據(jù)源加工得到的多個(gè)表內(nèi)字段間邏輯關(guān)系的檢查,數(shù)據(jù)檢驗(yàn)適用的規(guī)則,時(shí)效性檢驗(yàn),規(guī)則一：時(shí)效性檢驗(yàn)適用于,DDS,中所有的維度表和事實(shí)表,完整性檢驗(yàn),規(guī)則二：包含外鍵字段的,DDS,中事實(shí)表必須進(jìn)行代碼一致性檢驗(yàn),規(guī)則三：包含日期型字段且可以確定記錄數(shù)范圍的,DDS,事實(shí)表必須進(jìn)行記,錄條數(shù)檢驗(yàn),原則性檢驗(yàn),規(guī)則四：表中的字段可以確定取值范圍，同時(shí)可以判定不在此范,圍內(nèi)的數(shù)據(jù)必定是錯(cuò)誤的。滿足此條件必須進(jìn)行原則性檢驗(yàn),規(guī)則五：同表內(nèi)多個(gè)字段間具有相同的業(yè)務(wù)含義，不同的統(tǒng)計(jì)口徑，存,在匯總關(guān)系時(shí)，必須進(jìn)行原則性檢驗(yàn),規(guī)則六：同表內(nèi)多個(gè)字段間具有不同的業(yè)務(wù)含義，相同的統(tǒng)計(jì)口徑，在,業(yè)務(wù)

10、上有邏輯公式成立時(shí)，必須進(jìn)行原則性檢驗(yàn),數(shù)據(jù)檢驗(yàn)適用的規(guī)則,模糊性檢驗(yàn),規(guī)則七：不能進(jìn)行完整性、原則性檢驗(yàn)的情況下，必須進(jìn)行模糊性檢驗(yàn),規(guī)則八：規(guī)則七不成立時(shí)，根據(jù)系統(tǒng)的重要程度決定是否進(jìn)行模糊性檢驗(yàn),系統(tǒng)的重要程度及哪些系統(tǒng)要進(jìn)行模糊性檢驗(yàn)由客戶方確定,邏輯性檢驗(yàn),規(guī)則九：本表的字段與其它表中的字段具有相同的業(yè)務(wù)含義，不同的統(tǒng),計(jì)口徑，存在匯總關(guān)系，且兩張表的數(shù)據(jù)不是經(jīng)同一數(shù)據(jù)源加工得到。滿足此條,件時(shí)必須進(jìn)行邏輯性檢驗(yàn),規(guī)則十：本表的字段與其他表中的字段的業(yè)務(wù)含義、統(tǒng)計(jì)口徑相同，且兩張,表的數(shù)據(jù)不是經(jīng)同一數(shù)據(jù)源加工得到。滿足此條件時(shí)必須進(jìn)行邏輯性檢驗(yàn),規(guī)則十一：本表的字段與其他表中的字段具

11、有不同的業(yè)務(wù)含義，相同的統(tǒng)計(jì),口徑，在業(yè)務(wù)上有邏輯公式成立，且兩張表的數(shù)據(jù)不是經(jīng)同一數(shù)據(jù)源加工得到,滿足此條件時(shí)必須進(jìn)行邏輯性檢驗(yàn),數(shù)據(jù)質(zhì)量檢驗(yàn)的順序,1,數(shù)據(jù)源完整性檢驗(yàn),數(shù)據(jù)源的完整性檢驗(yàn)報(bào)異常時(shí)應(yīng)停止,ETL,加載過(guò)程，不需要再進(jìn)行后續(xù)的,檢驗(yàn),2,數(shù)據(jù)源原則性檢驗(yàn),數(shù)據(jù)源的原則性檢驗(yàn)報(bào)異常時(shí)應(yīng)停止,ETL,加載過(guò)程。不需要再進(jìn)行后續(xù)的,檢驗(yàn),3,數(shù)據(jù)校驗(yàn)完整性檢驗(yàn),數(shù)據(jù)校驗(yàn)的完整性檢驗(yàn)報(bào)異常時(shí)應(yīng)停止,ETL,加載過(guò)程，不需要再進(jìn)行后續(xù),的檢驗(yàn),4,數(shù)據(jù)校驗(yàn)原則性檢驗(yàn),數(shù)據(jù)校驗(yàn)的原則性檢驗(yàn)報(bào)異常時(shí)應(yīng)停止,ETL,加載過(guò)程，不需要再進(jìn)行后續(xù),的檢驗(yàn),5,數(shù)據(jù)源時(shí)效性檢驗(yàn)、數(shù)據(jù)源邏輯性檢驗(yàn)、

12、數(shù)據(jù)校驗(yàn)時(shí)效性檢驗(yàn),數(shù)據(jù)校驗(yàn)?zāi)：詸z驗(yàn)、數(shù)據(jù)校驗(yàn)邏輯性檢驗(yàn),這五類檢驗(yàn)方法報(bào)異常時(shí),ETL,加載正常進(jìn)行，但需要給出預(yù)警提示,數(shù)據(jù)管理,1,數(shù)據(jù)管理的目標(biāo),2,數(shù)據(jù)管理的難點(diǎn)與重點(diǎn),3,數(shù)據(jù)質(zhì)量控制方法論,4,案例介紹,數(shù)據(jù)質(zhì)量檢驗(yàn)的案例,下面以行業(yè)對(duì)比報(bào)表中的全國(guó)卷煙市場(chǎng)分類銷量情況表（分價(jià)類）為,例來(lái)介紹如何根據(jù)數(shù)據(jù)質(zhì)量管理方案進(jìn)行各類規(guī)則的制定實(shí)施過(guò)程,步驟一確定相關(guān)的表,全國(guó)卷煙市場(chǎng)分類銷售情況表（分價(jià)類,在,DDS,中直接使用的表為,APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL,對(duì)應(yīng)的,HDS,中的源表為,EIIRECV,EIIRECV_TZ_BS_Y_Q_M_S

13、ELLDETAIL,因此下面的檢驗(yàn)規(guī)則主要針對(duì)這兩張表來(lái)制定,步驟二確定數(shù)據(jù)源的時(shí)效性檢驗(yàn)規(guī)則,根據(jù)表,EIIRECV,EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL,的數(shù)據(jù)到達(dá)規(guī)律,定義該表每月最晚到達(dá)日期為,8,日,步驟三,確定數(shù)據(jù)源的完整性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)源檢驗(yàn)適用規(guī)則的規(guī)則二、三,1,EIIRECV,EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL,中包含有外鍵字段,I_Provinc,e,省份代碼,I_Org,機(jī)構(gòu)代碼,C_Brand,規(guī)格,I_Province,省份代碼）對(duì)應(yīng)代碼表,DM.T_DM_GJJ_QGSF,中的,QGSFDM,I_,Org,機(jī)構(gòu)

14、代碼,對(duì)應(yīng)代碼表,DM.T_DM_GJJ_ZZJG,中的,ZZJGDM,C_Brand,規(guī)格,對(duì)應(yīng)代碼表,T_DM_GJJ_JY,中的,THTXBS,該表符合規(guī)則二的檢驗(yàn)條件，需要進(jìn)行代碼一致性檢查,2,該表包含有日期型字段,Y,M,但記錄條數(shù)每月不確定，因此不滿足規(guī)則三,無(wú)法進(jìn)行記錄條數(shù)檢查,步驟四,確定數(shù)據(jù)源的原則性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)源檢驗(yàn)適用規(guī)則的規(guī)則四,1,EIIRECV,EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL,中包含有數(shù)據(jù)字段,sell,系統(tǒng)外,總銷量,Out_Sell_Retail_Amount,系統(tǒng)外零售量,Out_Sell_Amount,系統(tǒng)外批發(fā)銷量,E

15、nd_Store_Amount,期末庫(kù)存,根據(jù)業(yè)務(wù)經(jīng)驗(yàn)確定,sell=0,Out_Sell_Retail_Amount=0,Out_Sell_Amount=0,End_Store_Amount=0,步驟五,確定數(shù)據(jù)源的邏輯性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)源檢驗(yàn)適用規(guī)則五,1,EIIRECV,EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL,表包含字段,Out_Sell_Retail_,Amount,Out_Sell_Amount,End_Store_Amount,2,EIIRECV,EIIRECV_TZ_BS_Y_Q_M_BASIC,表也包含字段,Out_Sell_Retail_Amo,unt

16、,Out_Sell_Amount,End_Store_Amount,3,這兩張表對(duì)應(yīng)字段具有相同業(yè)務(wù)含義、不同的統(tǒng)計(jì)口徑，存在以下匯總關(guān)系,EIIRECV,EIIRECV_TZ_BS_Y_Q_M_BASIC,表統(tǒng)計(jì)商業(yè)企業(yè)的系統(tǒng)外批發(fā)銷售量,系統(tǒng)外零售量、期末商業(yè)庫(kù)存數(shù)據(jù),EIIRECV,EIIRECV_TZ_BS_Y_Q_M_SELL,DETAIL,表統(tǒng)計(jì)商業(yè)企業(yè)分卷煙規(guī)格的系統(tǒng)外批發(fā)銷售量、系統(tǒng)外零售量、期,末商業(yè)庫(kù)存數(shù)據(jù)。因此,EIIRECV,EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL,表中某,商業(yè)企業(yè)分規(guī)格的匯總數(shù)據(jù)應(yīng)該等于表,EIIRECV,EIIRECV_TZ_B

17、S_Y_Q_M_BA,SIC,中對(duì)應(yīng)的商業(yè)企業(yè)的數(shù)據(jù),步驟五,確定數(shù)據(jù)源的邏輯性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)源檢驗(yàn)適用規(guī)則的規(guī)則六、七,1,EIIRECV,EIIRECV_TZ_BS_Y_Q_M_SELLDETAILL,表中不包含字段與其,他表中,的字段具有相同的業(yè)務(wù)含義、統(tǒng)計(jì)口徑。因此不滿足規(guī)則六邏輯檢,驗(yàn),2,EIIRECV,EIIRECV_TZ_BS_Y_Q_M_SELLDETAILL,表中包含有字段,sell,系統(tǒng)外總銷量,Out_Sell_Retail_Amount,系統(tǒng)外零售,量,Out_Sell,_Amount,系統(tǒng)外批發(fā)銷量,End_Store_Amount,期,末庫(kù)存,ratio_st

18、oc,k_sell,存銷比,具有不同的業(yè)務(wù)含義、相同的統(tǒng)計(jì)口徑，存在業(yè)務(wù)邏輯關(guān)系,ratio_stock_sell= End_Store_Amount/sell,sell= Out_Sell_Retail_Amount+ Out_Sell_Amount,步驟六,確定數(shù)據(jù)的時(shí)效性檢驗(yàn)規(guī)則,根據(jù)表,APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL,使,用的源表的最晚到達(dá)時(shí)間，加上后臺(tái)數(shù)據(jù)加工處,理的時(shí)間，定義該表的最晚加載日期為每月,12,日,步驟七,確定數(shù)據(jù)的完整性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則二、三,1,APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL,不

19、包含外鍵字段，因此不符,合規(guī)則二,不需要進(jìn)行代碼一致性檢查,2,該表包含有日期型字段,DQRQ,記錄條數(shù)每月確定，因此滿足規(guī)則三，需要,進(jìn)行記錄條數(shù)檢查，此表每月加載量為,35,行,步驟八,確定數(shù)據(jù)的原則性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則四,1,APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL,表中包含有字段,BY_SYXL,BY_HCY,BY_JL1,BY_JL2,BY_JL3,BY_JL4,BY_JL5,LJ_SYXL,LJ_HCY,LJ_JL1,LJ_JL2,LJ_JL3,LJ_JL4,LJ_JL5,可以確定取值范圍，根據(jù)業(yè)務(wù)經(jīng)驗(yàn)確定,BY_SYXL,BY_HCY,L

20、J_SYXL,LJ_SYXL 0,BY_JL1,BY_JL2,BY_JL3,BY_JL4,BY_JL50,LJ_JL1,LJ_JL2,LJ_JL3,LJ_JL4,LJ_JL50,步驟八,確定數(shù)據(jù)的原則性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則五、六,1,APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL,中包含有字段,SCLXMC,BY_SYXL,BY_HCY,BY_JL1,BY_JL2,BY_JL3,BY_JL4,BY_JL5,LJ_SYXL,LJ_HC,Y,LJ_JL1,LJ_JL2,LJ_JL3,LJ_JL4,LJ_JL5,存在有相同業(yè)務(wù)含義，不同,的統(tǒng)計(jì)口徑，其中市場(chǎng)類型為全

21、國(guó)的數(shù)據(jù)對(duì)應(yīng)于市場(chǎng)類型為本土市場(chǎng)、重點(diǎn),市場(chǎng)和其他市場(chǎng)的匯總數(shù)據(jù),2,APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL,中不包含字段具有不同的業(yè)務(wù)含義,相同的統(tǒng)計(jì)口徑，在業(yè)務(wù)上存在業(yè)務(wù)邏輯公式的。因此不滿足數(shù)據(jù)檢驗(yàn)的規(guī),則六,步驟九,確定數(shù)據(jù)的模糊性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則七、八,1,APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL,表中包含有字段,BY_SYXL,BY_HCY,LJ_SYXL,LJ_HCY,BY_JL1_BL,BY_JL2_BL,BY_JL3_BL,BY_JL4_BL,BY,_JL5_BL,LJ_JL1_BL,LJ_JL2_BL,L

22、J_JL3_BL,LJ_JL4_BL,LJ_JL5_BL,不,滿足規(guī)則七，滿足規(guī)定八,2,其中字段,BY_SYXL,BY_HCY,LJ_SYXL,LJ_HCY,的數(shù)據(jù)根據(jù)業(yè)務(wù)經(jīng)驗(yàn)確定,數(shù)據(jù)審核規(guī)范如下：市場(chǎng)類型為全國(guó)的對(duì)應(yīng)以上字段數(shù)據(jù)同比的合理區(qū)間在,0,10,市場(chǎng)類型除全國(guó)外其他類型的同比合理區(qū)間在,10,20,步驟九,確定數(shù)據(jù)的模糊性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則七、八,3,其中字段,BY_JL1_BL,BY_JL2_BL,BY_JL3_BL,BY_JL4_BL,BY_JL5_BL,LJ_JL1_BL,LJ_JL2_BL,LJ_JL3_BL,LJ_JL4_BL,LJ_JL5_BL,的

23、數(shù)據(jù)根據(jù)統(tǒng)計(jì),學(xué)公式確定，數(shù)據(jù)審核規(guī)范如下：區(qū)分市場(chǎng)類型使用,99,置信區(qū)間；合理區(qū),間在歷史數(shù)據(jù)平均值,3,歷史數(shù)據(jù)標(biāo)準(zhǔn)差,歷史數(shù)據(jù)記錄數(shù)的平方根,歷史,數(shù)據(jù)平均值,3,歷史數(shù)據(jù)標(biāo)準(zhǔn)差,歷史數(shù)據(jù)記錄數(shù)的平方根,步驟十,確定數(shù)據(jù)的邏輯性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則九,1,APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL,表包含有字段,SCLXMC,BY_JL1,B,Y_JL2,BY_JL3,BY_JL4,BY_JL5,2,ZHGL.L_T_ZHGL_JYFLSPDXYBBLJ,表,煙草系統(tǒng)卷煙分類商品電訊月報(bào)表累,計(jì),包含有字段,DQ,YLYNCLJ,ELYNCLJ,S

24、LYNCLJ,SILYNCLJ,WLYNCL,J,3,這兩張表對(duì)應(yīng)字段具有相同業(yè)務(wù)含義，不同的統(tǒng)計(jì)口徑，存在匯總,關(guān)系,APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL,表中為各省份的分價(jià)類銷量的分月的數(shù),據(jù),ZHGL.T_ZHGL_JYFLSPDXYBBLJ,表表中各省份、分價(jià)類商業(yè)銷量的累計(jì)數(shù),據(jù),因此,APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL,表各省份的分價(jià)類銷量的分月的匯,總數(shù)據(jù)等于該電訊月報(bào),ZHGL.T_ZHGL_JYFLSPDXYBBLJ,表對(duì)應(yīng)省份、對(duì)應(yīng)價(jià),類商業(yè)銷量的累計(jì)數(shù)據(jù),步驟十,確定數(shù)據(jù)的邏輯性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則九,4,APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL,表包含有字段,SCLXMC,BY_SYXL,5,ZHGL.T_ZHGL_JYXTSPDXYBBLJ,表,煙草系統(tǒng)卷煙商品電訊