數(shù)據(jù)質(zhì)量-培訓(xùn)ppt課件

1、數(shù)據(jù)質(zhì)量.數(shù)據(jù)質(zhì)量問題的危害Poor Data Quality or inconsistent data causes defects in the value chain and is a momentum killer for Data Alignment, Synchronisation and CollaborationCustomer ServiceLevelOOSFailed ATPCost to ServeLogisticsCall CentrePrice NegotiationsInventories levelsEmergency StockReturnsRetired pr

2、oducts.日程什么是數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量的重要性影響數(shù)據(jù)質(zhì)量問題的要素如何才干獲取高質(zhì)量數(shù)據(jù)Informatica平臺(tái)如何處理數(shù)據(jù)質(zhì)量問題.什么是數(shù)據(jù)質(zhì)量-定義數(shù)據(jù)質(zhì)量是一個(gè)涵蓋面很廣的術(shù)語，涉及某條或某組數(shù)據(jù)的準(zhǔn)確性、完備性、一致性、符合性和時(shí)效性以及數(shù)據(jù)如何進(jìn)入并在整個(gè)企業(yè)內(nèi)流動(dòng)。不同的企業(yè)對(duì)數(shù)據(jù)質(zhì)量有著不同的定義和要求，但是數(shù)據(jù)質(zhì)量最終可歸結(jié)為“符合要求的數(shù)據(jù) 。并且數(shù)據(jù)質(zhì)量是個(gè)繼續(xù)的過程。.什么是數(shù)據(jù)質(zhì)量-符合要求的數(shù)據(jù)完全性 一切必需的數(shù)據(jù)能否都存在嗎？符合性 哪些數(shù)據(jù)是以非規(guī)范格式存儲(chǔ)的？一致性 哪些數(shù)據(jù)值提供的信息自相矛盾？準(zhǔn)確性 數(shù)據(jù)準(zhǔn)確表示真實(shí)來源還是可驗(yàn)證的來源？反復(fù)性 哪

3、些數(shù)據(jù)記錄是反復(fù)的記錄？完好性 哪些數(shù)據(jù)失去了重要的關(guān)系聯(lián)絡(luò)？時(shí)效性 數(shù)據(jù)壽命能否滿足用戶要求嗎？域級(jí)字段域之間業(yè)務(wù)邏輯數(shù)據(jù)傳送，比如etl過程.數(shù)據(jù)質(zhì)量的重要性數(shù)據(jù)質(zhì)量問題是IT 工程勝利的最大妨礙76%的數(shù)據(jù)集成工程或完全的失敗，或嚴(yán)重延遲主要的問題是缺乏對(duì)數(shù)據(jù)和數(shù)據(jù)質(zhì)量的了解平均來看, 需求10個(gè)左右的迭代過程來分析數(shù)據(jù)質(zhì)量，并糾正存在的問題低質(zhì)量的數(shù)據(jù)影響決策的制定和執(zhí)行低質(zhì)量的數(shù)據(jù)影響對(duì)市場的反響效率低質(zhì)量的數(shù)據(jù)導(dǎo)致不恰當(dāng)?shù)臎Q策投資沒價(jià)值的產(chǎn)品線關(guān)注無價(jià)值的客戶現(xiàn)代企業(yè)管理是數(shù)據(jù)質(zhì)量需求的催化劑知識(shí)任務(wù)者正在劇烈的認(rèn)識(shí)到數(shù)據(jù)是他們?nèi)蝿?wù)中最重要的資產(chǎn)全球化的組織和全球化的數(shù)據(jù)分布，使得

4、數(shù)據(jù)集成變得愈發(fā)重要合規(guī)性的要求使得對(duì)數(shù)據(jù)管理的大意不能再被容忍高質(zhì)量數(shù)據(jù)有利于提高客戶稱心度在與客戶交互環(huán)節(jié)的數(shù)據(jù)質(zhì)量問題更應(yīng)該得到充分的關(guān)注正確的拼寫客戶的名字、性別和Title最新的產(chǎn)品信息最新的價(jià)錢信息CRM，Call Center系統(tǒng)中準(zhǔn)確的客戶數(shù)據(jù)有利于協(xié)助組織提升提供更佳的客戶效力提升交叉銷售和向上銷售的有效性將更多的時(shí)機(jī)轉(zhuǎn)化為真正客戶確保法規(guī)服從高質(zhì)量的數(shù)據(jù)協(xié)助實(shí)現(xiàn)Sarbanes-Oxley and BASEL II等法規(guī)的控制要求和對(duì)業(yè)務(wù)績效的準(zhǔn)確報(bào)告. 在法規(guī)服從方面都要求數(shù)據(jù)是可信任的，并且是可審計(jì)的低質(zhì)量的數(shù)據(jù)呵斥資源、本錢的耗費(fèi)TDWI估算由于客戶數(shù)據(jù)質(zhì)量問題，呵斥

5、全美國$6111億美圓的人力資源，打印，郵寄等本錢的浪費(fèi).影響數(shù)據(jù)質(zhì)量問題的要素.數(shù)據(jù)質(zhì)量問題歸類業(yè)務(wù)系統(tǒng)源數(shù)據(jù)的質(zhì)量問題源數(shù)據(jù)信息不正確源數(shù)據(jù)信息不完好源數(shù)據(jù)信息不一致規(guī)范代碼問題缺乏一致、完好的規(guī)范代碼，如產(chǎn)品代碼沒有可執(zhí)行的規(guī)范，或者有書面規(guī)范但執(zhí)行不力等代碼直接寫在程序中，沒有代碼表維護(hù)ETL產(chǎn)生的質(zhì)量問題技術(shù)性問題非技術(shù)性問題如業(yè)務(wù)規(guī)那么了解錯(cuò)誤.數(shù)據(jù)質(zhì)量問題產(chǎn)生的環(huán)節(jié)數(shù)據(jù)消費(fèi)環(huán)節(jié)數(shù)據(jù)和業(yè)務(wù)規(guī)那么不符數(shù)據(jù)產(chǎn)生不嚴(yán)謹(jǐn)手工錄入不規(guī)范新舊系統(tǒng)的切換數(shù)據(jù)的孤立修正呵斥系統(tǒng)之間數(shù)據(jù)不一致數(shù)據(jù)運(yùn)用和加工環(huán)節(jié)數(shù)據(jù)抽取錯(cuò)誤或脫漏數(shù)據(jù)的時(shí)間段錯(cuò)誤數(shù)據(jù)的反復(fù)抽取數(shù)據(jù)生成的時(shí)間點(diǎn)錯(cuò)誤數(shù)據(jù)加載轉(zhuǎn)換規(guī)那么錯(cuò)誤

6、.如何才干獲取高質(zhì)量數(shù)據(jù)訪問和評(píng)價(jià)數(shù)據(jù)數(shù)據(jù)質(zhì)量規(guī)劃和目的數(shù)據(jù)質(zhì)量戰(zhàn)略選擇和實(shí)施上游戰(zhàn)略下游戰(zhàn)略.如何才干獲取高質(zhì)量數(shù)據(jù)-訪問和評(píng)價(jià)數(shù)據(jù)訪問數(shù)據(jù)質(zhì)量的當(dāng)前形狀，以了解隱藏的數(shù)據(jù)質(zhì)量問題完全性 一切必需的數(shù)據(jù)能否都存在嗎？符合性 哪些數(shù)據(jù)是以非規(guī)范格式存儲(chǔ)的？一致性 哪些數(shù)據(jù)值提供的信息自相矛盾？準(zhǔn)確性 數(shù)據(jù)準(zhǔn)確表示真實(shí)來源還是可驗(yàn)證的來源？反復(fù)性 哪些數(shù)據(jù)記錄是反復(fù)的記錄？完好性 哪些數(shù)據(jù)失去了重要的關(guān)系聯(lián)絡(luò)？時(shí)效性 數(shù)據(jù)壽命能否滿足用戶要求嗎？.如何才干獲取高質(zhì)量數(shù)據(jù)-數(shù)據(jù)質(zhì)量規(guī)劃和目的對(duì)數(shù)據(jù)的內(nèi)容和質(zhì)量有了一個(gè)明晰的了解之后，下一步是進(jìn)展規(guī)劃和工程方案，以糾正當(dāng)前錯(cuò)誤和防止未來出現(xiàn)錯(cuò)誤。有效

7、的方案可以處理企業(yè)現(xiàn)有運(yùn)用程序庫中的數(shù)據(jù)質(zhì)量問題，并且可以確保新的運(yùn)用程序從開場就融入數(shù)據(jù)質(zhì)量原那么。 .如何才干獲取高質(zhì)量數(shù)據(jù)-數(shù)據(jù)質(zhì)量戰(zhàn)略選擇和實(shí)施采用企業(yè)范圍內(nèi)的、反復(fù)的繼續(xù)性方法處理數(shù)據(jù)質(zhì)量問題。與此同時(shí)，無法一次性處理一切數(shù)據(jù)質(zhì)量問題。要確保為企業(yè)提供準(zhǔn)確、一致和及時(shí)的數(shù)據(jù)，獨(dú)一途徑是經(jīng)過可最終涵蓋一切公司數(shù)據(jù)的階段性數(shù)據(jù)質(zhì)量管理程序?qū)崿F(xiàn)。選擇用于處理長期數(shù)據(jù)質(zhì)量問題的戰(zhàn)略要求根據(jù)每個(gè)數(shù)據(jù)質(zhì)量方案產(chǎn)生的影響平衡方案的本錢。常用的戰(zhàn)略類型有兩種：在企業(yè)中的輸入點(diǎn)處理數(shù)據(jù)質(zhì)量問題的方法稱為“上游戰(zhàn)略，而在耗費(fèi)來自操作系統(tǒng)如數(shù)據(jù)倉庫的數(shù)據(jù)的運(yùn)用程序中實(shí)施那么稱為“下游戰(zhàn)略 。 .上游戰(zhàn)略上

8、游戰(zhàn)略將檢驗(yàn)現(xiàn)有運(yùn)用程序的邏輯、數(shù)據(jù)和流程，以便獲得經(jīng)過探查來處置未覆蓋的異常情況的時(shí)機(jī)。這能夠包括更改運(yùn)用程序邏輯、增添更好的表單驗(yàn)證、改良與數(shù)據(jù)輸入相關(guān)的流程，而且會(huì)要求對(duì)預(yù)備好的數(shù)據(jù)進(jìn)展清洗。它還能夠強(qiáng)迫在運(yùn)用程序本身融入數(shù)據(jù)質(zhì)量功能，例如，在數(shù)據(jù)進(jìn)入企業(yè)時(shí)根據(jù)知例如對(duì)數(shù)據(jù)進(jìn)展驗(yàn)證。由于此方法可以在源頭上處理數(shù)據(jù)質(zhì)量問題，因此它對(duì)每個(gè)從該來源提取數(shù)據(jù)的運(yùn)用程序和每個(gè)未來會(huì)從該來源提取數(shù)據(jù)的運(yùn)用程序大有裨益。但是，上游戰(zhàn)略耗費(fèi)高。它們能夠要求對(duì)運(yùn)用程序、其邏輯和數(shù)據(jù)進(jìn)展更改。企業(yè)在更改現(xiàn)有處理方案時(shí)能夠會(huì)遇到妨礙。要?jiǎng)倮麑?shí)施上游戰(zhàn)略，工程需求明確的一切權(quán)、共識(shí)和來自其它團(tuán)隊(duì)的員工的支持。.

9、下游戰(zhàn)略下游戰(zhàn)略在目的運(yùn)用程序或數(shù)據(jù)倉庫中處理數(shù)據(jù)質(zhì)量問題，而不是在數(shù)據(jù)源。由于可以迅速修正數(shù)據(jù)，因此戰(zhàn)略可以在流程中得到改良，這通常是經(jīng)過數(shù)據(jù)轉(zhuǎn)換、清洗和查找驗(yàn)證來實(shí)現(xiàn)的。下游戰(zhàn)略只對(duì)正在運(yùn)用目的運(yùn)用程序或數(shù)據(jù)倉庫的運(yùn)用者有益，但是相比上游戰(zhàn)略，下游戰(zhàn)略實(shí)施起來要容易得多并且耗費(fèi)更低。 .Informatica平臺(tái)如何處理數(shù)據(jù)質(zhì)量問題-數(shù)據(jù)質(zhì)量管理流程探查和分析多個(gè)來源數(shù)據(jù)集成未來源映射至目的構(gòu)造業(yè)務(wù)數(shù)據(jù)構(gòu)建企業(yè)數(shù)據(jù)質(zhì)量規(guī)那么部署規(guī)那么交互/批量/實(shí)時(shí)報(bào)告數(shù)據(jù)質(zhì)量目的構(gòu)造分析和映射對(duì)數(shù)據(jù)質(zhì)量進(jìn)展繼續(xù)清洗和監(jiān)控 維持 監(jiān)控實(shí)施一次性維持繼續(xù)不斷 清洗分析提取將問題報(bào)告發(fā)送回來源維持繼續(xù)不斷來源

10、 DQ 報(bào)告和管理來源 DQ 報(bào)告和管理源數(shù)據(jù)檢查員企業(yè)數(shù)據(jù)檢查員數(shù)據(jù)檢查員糾正的數(shù)據(jù)和改良的數(shù)據(jù)質(zhì)量123345.Step 1: 數(shù)據(jù)質(zhì)量探查數(shù)據(jù)質(zhì)量探查是一種描畫數(shù)據(jù)的內(nèi)容、一致性和數(shù)據(jù)構(gòu)造的有效途徑來自 Philip Russoms TDWI 報(bào)告一切的數(shù)據(jù)質(zhì)量工程都必需從數(shù)據(jù)質(zhì)量探查起步基于工具的數(shù)據(jù)探查比手工的方法具有更高的消費(fèi)力數(shù)據(jù)質(zhì)量探查不是一次性的任務(wù)數(shù)據(jù)探查, 數(shù)據(jù)集成, 數(shù)據(jù)質(zhì)量是數(shù)據(jù)管理最正確實(shí)際的三個(gè)親密兄弟Source: Taking Data Quality to the Enterprise through Data Governance TDWI Report,

11、 March 2006 by Philip Russom.ApplicationsDatabasesFlat filesMainframe 問題分類完好性Conformity一致性準(zhǔn)確性反復(fù)的數(shù)據(jù)數(shù)據(jù)相關(guān)性 數(shù)據(jù)清理規(guī)格闡明書 數(shù)據(jù)轉(zhuǎn)換規(guī)格闡明書 數(shù)以千計(jì)的 數(shù)據(jù)屬性 數(shù)以百萬的紀(jì)錄DiscoverDiscoverStep 1: 數(shù)據(jù)質(zhì)量探查一切發(fā)現(xiàn)的問題都應(yīng)該向數(shù)據(jù)源系統(tǒng)的責(zé)任人進(jìn)展報(bào)告.Step 2: 建立數(shù)據(jù)質(zhì)量度量和定義提升目的僅僅知道“我的數(shù)據(jù)質(zhì)量有問題對(duì)數(shù)據(jù)質(zhì)量工程來說是不夠的需求了解，那些數(shù)據(jù)有問題？這些問題是如何產(chǎn)生的？定義數(shù)據(jù)質(zhì)量度量度量必需和業(yè)務(wù)目的一致綁定在沒有綁定之前，

12、不要啟開工程設(shè)定改良目的How will you know when you are done?.Step 2: 建立數(shù)據(jù)質(zhì)量度量、并定義目的一旦完成初步的數(shù)據(jù)質(zhì)量探查，需求馬上設(shè)定改良的目的針對(duì)特定的系統(tǒng)，制定有針對(duì)性，“足夠好的改良方案定義100%滿足，不一定是利用資源的最正確方式.Step 3: 設(shè)計(jì) & 建立數(shù)據(jù)質(zhì)量規(guī)那么Standardize, Correct, and Enrich數(shù)據(jù)規(guī)范化糾正/補(bǔ)全有問題的數(shù)據(jù)數(shù)據(jù)加強(qiáng)“Once in the system, poor data quality can cost organizations vast sums in lost re

13、venues. Defective data leads to breakdowns in the supply chain, poor business decisions, and inferior customer relationship management.Informatica Velocity.Step 4: 建立數(shù)據(jù)質(zhì)量放火墻 CRMFinanceSupplyChainLegacyExternalSystemsData Quality Fire Wall OperationalData StoreLoadTransformExtractData Quality ETL Rec

14、onciliation Fuzzy Matching Scorecarding Cleansing Enrichment DataWarehouseERPCustomerHubProductHubSupplierHub Single ViewOfProductSingle Viewof CustomerDQReportingDQScorecardingReporting Basel II IAS SOXDataMining.Step 4: 建立數(shù)據(jù)質(zhì)量放火墻在數(shù)據(jù)錄入時(shí)進(jìn)展數(shù)據(jù)質(zhì)量檢測實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)質(zhì)量檢測，例如：在數(shù)據(jù)錄入時(shí)進(jìn)展數(shù)據(jù)匹配和清理這個(gè)活動(dòng)可以有效地阻止有問題的數(shù)據(jù)進(jìn)入系統(tǒng).Ste

15、p 5 管理過程包含:常規(guī)的基準(zhǔn)設(shè)定監(jiān)控質(zhì)量變化趨勢堅(jiān)持和業(yè)務(wù)發(fā)現(xiàn)一致Step 5: 監(jiān)控?cái)?shù)據(jù)質(zhì)量 Vs. 目的.Customer ObjectMaterials ObjectVendor ObjectAsset ObjectStep 5:監(jiān)控?cái)?shù)據(jù)質(zhì)量 Vs. 目的.Step 5:監(jiān)控?cái)?shù)據(jù)質(zhì)量 Vs. 目的Progress Over Time.數(shù)據(jù)質(zhì)量管理過程管理 Analyze1. Profile the Data2. Establish Metrics and Define Targets3. Design & Build Quality Rules5. Monitor Data Qual

16、ity Versus TargetsEnhanceImplement Audit Controls4. Build a DQ FirewallTargetApplicationXML, Messaging, and Web ServicesPackaged ApplicationsRelational and Flat FilesMainframe and MidrangeSources.如何保證數(shù)據(jù)運(yùn)用和加工環(huán)節(jié)的數(shù)據(jù)質(zhì)量詳細(xì)的ETL設(shè)計(jì)文檔測試： 根據(jù)實(shí)踐情況選擇測試是貫穿整個(gè)開發(fā)過程還是在全部開發(fā)任務(wù)完成以后進(jìn)展，并確定測試的順序，此義務(wù)需在工程的開場階段就進(jìn)展思索 元數(shù)據(jù)管理：經(jīng)過Informatica Metadata Manager，用戶可以明晰的了解到數(shù)據(jù)源是什么，中間做了什么轉(zhuǎn)換，即可了解： 此數(shù)據(jù)來自何處？ 此結(jié)果是如何計(jì)算的？ 它的可靠程度如何？ 如何運(yùn)用？ 我們的結(jié)果能否一致并具有合規(guī)性？ .元數(shù)據(jù)管理SourcesTargetsBusinessIntelligenceMetadataMetadataMetadataCustomMetadataData Mo