使用Data-Profile進(jìn)行數(shù)據(jù)剖析課件

使用DataProfile進(jìn)行數(shù)據(jù)剖析使用DataProfile進(jìn)行數(shù)據(jù)剖析數(shù)據(jù)事件探查功能※熟悉數(shù)據(jù)源并找出數(shù)據(jù)中要修復(fù)的問(wèn)題※僅對(duì)SQLServer中存儲(chǔ)的數(shù)據(jù)進(jìn)行事件探查并標(biāo)識(shí)潛在的數(shù)據(jù)質(zhì)量問(wèn)題。數(shù)據(jù)事件探查功能※熟悉數(shù)據(jù)源并找出數(shù)據(jù)中要修復(fù)的問(wèn)題數(shù)據(jù)事件探查步驟第一步：創(chuàng)建數(shù)據(jù)事件探查任務(wù)第二步：查看數(shù)據(jù)事件探查結(jié)果數(shù)據(jù)事件探查步驟第一步：創(chuàng)建數(shù)據(jù)事件探查任務(wù)第二步：查看數(shù)據(jù)創(chuàng)建數(shù)據(jù)事件探查任務(wù)將探查結(jié)果放在test.xml中配置探查內(nèi)容創(chuàng)建數(shù)據(jù)事件探查任務(wù)將探查結(jié)果放在test.xml中配置探查查看數(shù)據(jù)事件探查結(jié)果查看數(shù)據(jù)事件探查結(jié)果探查內(nèi)容候選鍵列長(zhǎng)度分布列Null比率列模式列統(tǒng)計(jì)信息列值分布函數(shù)依賴關(guān)系值包含探查內(nèi)容候選鍵候選鍵候選鍵（CandidateKeyProfiles）配置文件可以幫助您識(shí)別哪些列中存在重復(fù)值。通過(guò)使用這個(gè)功能，可以判斷表中的一列（或多列的組合）是不是適合做該表的主鍵。候選鍵候選鍵（CandidateKeyProfiles）配置列長(zhǎng)度分布列長(zhǎng)度分布(ColumnLengthDistribution)配置文件用于報(bào)告所選列中各個(gè)字符串值的不同長(zhǎng)度。此配置文件可以幫助您識(shí)別數(shù)據(jù)中無(wú)效的值。例如，郵政編碼的長(zhǎng)度是固定的，如果發(fā)現(xiàn)有不是這個(gè)長(zhǎng)度的數(shù)據(jù)，那么這個(gè)記錄可能是錯(cuò)誤的。列長(zhǎng)度分布列長(zhǎng)度分布(ColumnLengthDistr列Null比率列Null比率(ColumnNullRatio)配置文件用于報(bào)告所選列中

Null值的百分比。列Null比率列Null比率(ColumnNull列模式列模式(ColumnPattern)配置文件用于報(bào)告一組正則表達(dá)式，其中涵蓋字符串列中指定百分比的值。此配置文件可以幫助您識(shí)別數(shù)據(jù)中無(wú)效的字符串列模式列模式(ColumnPattern)配置文件用于報(bào)告列統(tǒng)計(jì)信息列統(tǒng)計(jì)信息(ColumnStatistics)配置文件報(bào)告各種統(tǒng)計(jì)信息，例如數(shù)值列的最小值、最大值、平均值和標(biāo)準(zhǔn)偏差。此配置文件可以幫助您識(shí)別數(shù)據(jù)中存在的問(wèn)題，如無(wú)效的日期。例如，您對(duì)歷史日期列進(jìn)行事件探查，卻發(fā)現(xiàn)最近的日期是一個(gè)將來(lái)的日期。列統(tǒng)計(jì)信息列統(tǒng)計(jì)信息(ColumnStatistics)列值分布列值分布(ColumnValueDistribution)配置文件報(bào)告選定列中非重復(fù)值以及每個(gè)值所在表中的百分比。此配置文件還可以幫助您識(shí)別非重復(fù)值的數(shù)目不正確。例如，您對(duì)應(yīng)該包含美國(guó)的各州的列進(jìn)行事件探查，卻發(fā)現(xiàn)

50多個(gè)非重復(fù)值列值分布列值分布(ColumnValueDistribu函數(shù)依賴關(guān)系函數(shù)依賴關(guān)系(FunctionalDependency)用于報(bào)告某列（依賴列）中的值對(duì)另一列或一組列（決定列）中的值的依賴程度。此配置文件也可以幫助您識(shí)別數(shù)據(jù)中存在的問(wèn)題，如無(wú)效的值。函數(shù)依賴關(guān)系函數(shù)依賴關(guān)系(FunctionalDepend函數(shù)依賴關(guān)系例如，您對(duì)包含美國(guó)郵政編碼的列和包含美國(guó)各州的列之間的依賴關(guān)系進(jìn)行事件探查。同一郵政編碼應(yīng)始終對(duì)應(yīng)同一州，但配置文件卻發(fā)現(xiàn)有違反此依賴關(guān)系的情況。函數(shù)依賴關(guān)系例如，您對(duì)包含美國(guó)郵政編碼的列和包含美國(guó)各州的列值包含值包含(ValueInclusion)用于計(jì)算兩列或兩個(gè)列集之間的重疊值。此配置文件還可以確定列或列集是否適合用作選定表間的外鍵。值包含值包含(ValueInclusion)用于計(jì)算兩列或值包含如下例，對(duì)FactInternetSales表的

ProductKey列進(jìn)行事件探查，卻發(fā)現(xiàn)該列包含在產(chǎn)品表的

ProductKey列中找不到的值值包含如下例，對(duì)FactInternetSales表的Pr值包含使用命令來(lái)查詢值包含使用命令來(lái)查詢謝謝！謝謝！使用DataProfile進(jìn)行數(shù)據(jù)剖析使用DataProfile進(jìn)行數(shù)據(jù)剖析數(shù)據(jù)事件探查功能※熟悉數(shù)據(jù)源并找出數(shù)據(jù)中要修復(fù)的問(wèn)題※僅對(duì)SQLServer中存儲(chǔ)的數(shù)據(jù)進(jìn)行事件探查并標(biāo)識(shí)潛在的數(shù)據(jù)質(zhì)量問(wèn)題。數(shù)據(jù)事件探查功能※熟悉數(shù)據(jù)源并找出數(shù)據(jù)中要修復(fù)的問(wèn)題數(shù)據(jù)事件探查步驟第一步：創(chuàng)建數(shù)據(jù)事件探查任務(wù)第二步：查看數(shù)據(jù)事件探查結(jié)果數(shù)據(jù)事件探查步驟第一步：創(chuàng)建數(shù)據(jù)事件探查任務(wù)第二步：查看數(shù)據(jù)創(chuàng)建數(shù)據(jù)事件探查任務(wù)將探查結(jié)果放在test.xml中配置探查內(nèi)容創(chuàng)建數(shù)據(jù)事件探查任務(wù)將探查結(jié)果放在test.xml中配置探查查看數(shù)據(jù)事件探查結(jié)果查看數(shù)據(jù)事件探查結(jié)果探查內(nèi)容候選鍵列長(zhǎng)度分布列Null比率列模式列統(tǒng)計(jì)信息列值分布函數(shù)依賴關(guān)系值包含探查內(nèi)容候選鍵候選鍵候選鍵（CandidateKeyProfiles）配置文件可以幫助您識(shí)別哪些列中存在重復(fù)值。通過(guò)使用這個(gè)功能，可以判斷表中的一列（或多列的組合）是不是適合做該表的主鍵。候選鍵候選鍵（CandidateKeyProfiles）配置列長(zhǎng)度分布列長(zhǎng)度分布(ColumnLengthDistribution)配置文件用于報(bào)告所選列中各個(gè)字符串值的不同長(zhǎng)度。此配置文件可以幫助您識(shí)別數(shù)據(jù)中無(wú)效的值。例如，郵政編碼的長(zhǎng)度是固定的，如果發(fā)現(xiàn)有不是這個(gè)長(zhǎng)度的數(shù)據(jù)，那么這個(gè)記錄可能是錯(cuò)誤的。列長(zhǎng)度分布列長(zhǎng)度分布(ColumnLengthDistr列Null比率列Null比率(ColumnNullRatio)配置文件用于報(bào)告所選列中

Null值的百分比。列Null比率列Null比率(ColumnNull列模式列模式(ColumnPattern)配置文件用于報(bào)告一組正則表達(dá)式，其中涵蓋字符串列中指定百分比的值。此配置文件可以幫助您識(shí)別數(shù)據(jù)中無(wú)效的字符串列模式列模式(ColumnPattern)配置文件用于報(bào)告列統(tǒng)計(jì)信息列統(tǒng)計(jì)信息(ColumnStatistics)配置文件報(bào)告各種統(tǒng)計(jì)信息，例如數(shù)值列的最小值、最大值、平均值和標(biāo)準(zhǔn)偏差。此配置文件可以幫助您識(shí)別數(shù)據(jù)中存在的問(wèn)題，如無(wú)效的日期。例如，您對(duì)歷史日期列進(jìn)行事件探查，卻發(fā)現(xiàn)最近的日期是一個(gè)將來(lái)的日期。列統(tǒng)計(jì)信息列統(tǒng)計(jì)信息(ColumnStatistics)列值分布列值分布(ColumnValueDistribution)配置文件報(bào)告選定列中非重復(fù)值以及每個(gè)值所在表中的百分比。此配置文件還可以幫助您識(shí)別非重復(fù)值的數(shù)目不正確。例如，您對(duì)應(yīng)該包含美國(guó)的各州的列進(jìn)行事件探查，卻發(fā)現(xiàn)

50多個(gè)非重復(fù)值列值分布列值分布(ColumnValueDistribu函數(shù)依賴關(guān)系函數(shù)依賴關(guān)系(FunctionalDependency)用于報(bào)告某列（依賴列）中的值對(duì)另一列或一組列（決定列）中的值的依賴程度。此配置文件也可以幫助您識(shí)別數(shù)據(jù)中存在的問(wèn)題，如無(wú)效的值。函數(shù)依賴關(guān)系函數(shù)依賴關(guān)系(FunctionalDepend函數(shù)依賴關(guān)系例如，您對(duì)包含美國(guó)郵政編碼的列和包含美國(guó)各州的列之間的依賴關(guān)系進(jìn)行事件探查。同一郵政編碼應(yīng)始終對(duì)應(yīng)同一州，但配置文件卻發(fā)現(xiàn)有違反此依賴關(guān)系的情況。函數(shù)依賴關(guān)系例如，您對(duì)包含美國(guó)郵政編碼的列和包含美國(guó)各州的列值包含值包含(ValueInclusion)用于計(jì)算兩列或兩個(gè)列集之間的重疊值。此配置文件還可以確定列或列集是否適合用作選定表間的外鍵。值包含值包含(Value