微軟數(shù)據(jù)平臺(tái)與PowerBIV30

第一部分：企業(yè)信息管理EIM理念第二部分：主數(shù)據(jù)管理第三部分：數(shù)據(jù)質(zhì)量管理第四部分：跨平臺(tái)數(shù)據(jù)集成第五部分：數(shù)據(jù)可視化分析內(nèi)容第一頁(yè)，共36頁(yè)。SQLServer是7大企業(yè)數(shù)據(jù)平臺(tái)工具的套裝第二頁(yè)，共36頁(yè)。企業(yè)需要可信的，一致的數(shù)據(jù)Sourceofexamples:TDWI(2009)可信的,一致的數(shù)據(jù)錯(cuò)誤或不完整的數(shù)據(jù)業(yè)務(wù)決策業(yè)務(wù)決策更高的效率減少開(kāi)銷增加收入更高的利潤(rùn)降低效率客戶的不滿合規(guī)奉獻(xiàn)減少收入和利潤(rùn)由于錄入了錯(cuò)誤的客戶代碼導(dǎo)致無(wú)法發(fā)送賬單，一家電信公司每個(gè)約損失8百萬(wàn)美元一家全球的化工企業(yè)發(fā)現(xiàn)由于無(wú)法識(shí)別和協(xié)調(diào)全球的供應(yīng)商，它們每年在采購(gòu)折扣上損失數(shù)百萬(wàn)美元由于重復(fù)的客戶記錄，一個(gè)保險(xiǎn)公司每年在郵寄開(kāi)銷上損失數(shù)十萬(wàn)美元（郵費(fèi)，退信，員工支出）由于數(shù)據(jù)不準(zhǔn)確導(dǎo)致反復(fù)的給客戶發(fā)送報(bào)告，最終使一家信息服務(wù)商每年損失50萬(wàn)美元并丟失了客戶一家大銀行發(fā)現(xiàn)其62％的房屋貸款被錯(cuò)誤的計(jì)算了，導(dǎo)致本金每個(gè)月越來(lái)越大一個(gè)在中西部的保險(xiǎn)公司因?yàn)閿?shù)據(jù)是“質(zhì)疑”的，導(dǎo)致其決策支持系統(tǒng)推遲2年上線第三頁(yè)，共36頁(yè)。企業(yè)信息管理的業(yè)務(wù)目的數(shù)據(jù)冗余數(shù)據(jù)不一致業(yè)務(wù)變化業(yè)務(wù)低效需要解決主要問(wèn)題客戶數(shù)據(jù)不一致系統(tǒng)用戶數(shù)據(jù)不一致業(yè)務(wù)定義不一致低生產(chǎn)力低效的供應(yīng)鏈管理不一致的客戶待遇客戶不滿意浪費(fèi)銷售部門的努力企業(yè)內(nèi)的每一個(gè)系統(tǒng)、應(yīng)用、甚至業(yè)務(wù)部門都會(huì)收集自己版本的核心業(yè)務(wù)實(shí)體數(shù)據(jù)。引入新的產(chǎn)品和服務(wù)營(yíng)業(yè)網(wǎng)點(diǎn)變化新技術(shù)出現(xiàn)并成熟第四頁(yè)，共36頁(yè)。實(shí)現(xiàn)企業(yè)信息管理的多個(gè)環(huán)節(jié)基于知識(shí)的數(shù)據(jù)清理和匹配數(shù)據(jù)質(zhì)量分析移動(dòng)BI、領(lǐng)導(dǎo)駕駛艙、自助式分析數(shù)據(jù)挖掘管理數(shù)據(jù)和維度快速、容易加載數(shù)據(jù)集成部署和管理改進(jìn)用戶體驗(yàn)管理清理集成數(shù)據(jù)洞察主數(shù)據(jù)服務(wù)數(shù)據(jù)質(zhì)量服務(wù)數(shù)據(jù)跨系統(tǒng)集成數(shù)據(jù)可視化分析第五頁(yè)，共36頁(yè)。InsightsIntegrationTrustedData微軟EIM解決方案主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)集成服務(wù)分析服務(wù)報(bào)表服務(wù)PowerBIR語(yǔ)言數(shù)據(jù)挖掘所有功能都集成在一個(gè)產(chǎn)品中數(shù)據(jù)集成服務(wù)SSIS從多種數(shù)據(jù)源整合數(shù)據(jù)在企業(yè)內(nèi)和云環(huán)境上擴(kuò)展數(shù)據(jù)集成數(shù)據(jù)質(zhì)量服務(wù)DQS基于業(yè)務(wù)知識(shí)清洗和標(biāo)準(zhǔn)化數(shù)據(jù)主數(shù)據(jù)管理服務(wù)MDS提升業(yè)務(wù)效率統(tǒng)一和標(biāo)準(zhǔn)化的數(shù)據(jù)IT控制下的業(yè)務(wù)驅(qū)動(dòng)治理報(bào)表和分析服務(wù)等數(shù)據(jù)可視化服務(wù)做出可信的決策，用可信的，一致的數(shù)據(jù)支持為用戶驅(qū)動(dòng)的商業(yè)智能提供支持。第六頁(yè)，共36頁(yè)。第一部分：企業(yè)信息管理EIM理念第二部分：主數(shù)據(jù)管理第三部分：數(shù)據(jù)質(zhì)量管理第四部分：跨平臺(tái)數(shù)據(jù)集成第五部分：數(shù)據(jù)可視化分析內(nèi)容第七頁(yè)，共36頁(yè)。CustomerOrientedBusinessCycle

以客戶為導(dǎo)向的業(yè)務(wù)循環(huán)Marketing&Promotion營(yíng)銷CommunitySalesSupport&Services社群銷售支持服務(wù)Telematics物聯(lián)網(wǎng)WeChatPlatform微信平臺(tái)DSClubDS俱樂(lè)部DSConnectDS物聯(lián)系統(tǒng)T-CallCenter呼叫中心CallCenter呼叫中心DMS經(jīng)銷商管理系統(tǒng)DigitalShowRoom數(shù)字展廳DCS經(jīng)銷商協(xié)同平臺(tái)DSWebsiteDS官方網(wǎng)站MediaChannels媒體渠道MobileApp行動(dòng)應(yīng)用Customer第八頁(yè)，共36頁(yè)。業(yè)務(wù)與IT協(xié)作是主數(shù)據(jù)管理的核心“誰(shuí)來(lái)主導(dǎo)或驅(qū)動(dòng)你的主數(shù)據(jù)?”業(yè)務(wù)/IT協(xié)作: 業(yè)務(wù)為主IT配合: IT為主業(yè)務(wù)配合: 未知/其他: –Forrester70%15%12%3%數(shù)據(jù)屬于業(yè)務(wù)用戶，而不是IT因?yàn)闃I(yè)務(wù)用戶理解業(yè)務(wù)領(lǐng)域和實(shí)體，他們是最好的數(shù)據(jù)管家IT是管理數(shù)據(jù)存儲(chǔ)和整合的最佳人選，但是業(yè)務(wù)用戶應(yīng)該得到數(shù)據(jù)治理的授權(quán)第九頁(yè)，共36頁(yè)。核心概念介紹主數(shù)據(jù)管理（MDM

Master

Data

Management）

概念主數(shù)據(jù)管理描述了一組流程、技術(shù)和解決方案，用于為所有利益相關(guān)方（如用戶、應(yīng)用程序、數(shù)據(jù)倉(cāng)庫(kù)、流程以及貿(mào)易伙伴）創(chuàng)建并維護(hù)業(yè)務(wù)數(shù)據(jù)的一致性、完整性、相關(guān)性和精確性。

第十頁(yè)，共36頁(yè)。哪些是主數(shù)據(jù)?主數(shù)據(jù)–多系統(tǒng)共享的緩慢改變的參考數(shù)據(jù)第十一頁(yè)，共36頁(yè)。數(shù)據(jù)倉(cāng)庫(kù)和主數(shù)據(jù)管理對(duì)比數(shù)據(jù)是歷史的數(shù)據(jù)是現(xiàn)時(shí)的包括交易數(shù)據(jù)和主數(shù)據(jù)只包括特定類型的主數(shù)據(jù)只包括被認(rèn)為是分析需要的數(shù)據(jù)包括完整的跨整個(gè)企業(yè)的實(shí)體信息維度是平面的實(shí)體是有上下文的(實(shí)體視圖、角色)通常是一個(gè)數(shù)據(jù)消費(fèi)者，端點(diǎn)通常是數(shù)據(jù)的消費(fèi)者也是提供者，通常具有雙向的關(guān)系目的是分析歷史數(shù)據(jù)目的是保持精確和最新更新的實(shí)體數(shù)據(jù)重點(diǎn)是實(shí)體和聚合重點(diǎn)是實(shí)體維度不會(huì)被其他應(yīng)用所使用實(shí)體被包括數(shù)據(jù)倉(cāng)庫(kù)在內(nèi)的其他應(yīng)用所使用圍繞著交易分析來(lái)建立各種工具圍繞著實(shí)體管理來(lái)建立各種工具數(shù)據(jù)倉(cāng)庫(kù)主數(shù)據(jù)管理主數(shù)據(jù)管理和數(shù)據(jù)倉(cāng)庫(kù)不一樣，雖然它們是共生的。第十二頁(yè)，共36頁(yè)。消除主數(shù)據(jù)項(xiàng)目的誤解第十三頁(yè)，共36頁(yè)。企業(yè)信息的管理模式第十四頁(yè)，共36頁(yè)。形成信息和數(shù)據(jù)標(biāo)準(zhǔn)Hereweare!第十五頁(yè)，共36頁(yè)。微軟MDM功能架構(gòu)應(yīng)用處理環(huán)境開(kāi)發(fā)管理環(huán)境用戶界面開(kāi)發(fā)工作流程定義分發(fā)流程定義流程監(jiān)控管理分發(fā)接口定義主數(shù)據(jù)數(shù)據(jù)庫(kù)數(shù)據(jù)抽取數(shù)據(jù)存儲(chǔ)數(shù)據(jù)備份主數(shù)據(jù)數(shù)據(jù)管理主數(shù)據(jù)查詢主數(shù)據(jù)清理數(shù)據(jù)分析工作流程管理主數(shù)據(jù)申請(qǐng)主數(shù)據(jù)審批主數(shù)據(jù)轉(zhuǎn)換主數(shù)據(jù)分發(fā)規(guī)則主數(shù)據(jù)分發(fā)處理主數(shù)據(jù)業(yè)務(wù)管理編碼規(guī)則處理編碼處理數(shù)據(jù)交換處理流程調(diào)度接口調(diào)用WEB用戶界面管理發(fā)布申請(qǐng)審批查詢監(jiān)控SAP業(yè)務(wù)環(huán)境主數(shù)據(jù)平臺(tái)接口其它業(yè)務(wù)系統(tǒng)主數(shù)據(jù)平臺(tái)接口用戶身份管理授權(quán)系統(tǒng)第十六頁(yè)，共36頁(yè)。SQLServerMasterDataServices第十七頁(yè)，共36頁(yè)。SQLServerMasterDataServices客戶熟悉的MicrosoftExcel界面:定義和管理數(shù)據(jù)實(shí)體驗(yàn)證業(yè)務(wù)規(guī)則以用戶為中心的主數(shù)據(jù)管理第十八頁(yè)，共36頁(yè)。第一部分：企業(yè)信息管理EIM理念第二部分：主數(shù)據(jù)管理第三部分：數(shù)據(jù)質(zhì)量管理第四部分：跨平臺(tái)數(shù)據(jù)集成第五部分：數(shù)據(jù)可視化分析內(nèi)容第十九頁(yè)，共36頁(yè)。常見(jiàn)的數(shù)據(jù)質(zhì)量問(wèn)題數(shù)據(jù)質(zhì)量問(wèn)題數(shù)據(jù)問(wèn)題示例格式值是否按照一致的格式標(biāo)準(zhǔn)?電話號(hào)碼#可能顯示為xxxxxxxxxx,(xxx)xxx-xxxx,1.xxx.xxx.xxxx,等.標(biāo)準(zhǔn)數(shù)據(jù)元素是否一致性定義和理解?一個(gè)系統(tǒng)性別代碼=M,F,U，另一個(gè)系統(tǒng)性別代碼=0,1,2一致性值是否代表統(tǒng)一的含義?營(yíng)業(yè)額是否總是顯示為美元還是也有可能為?完整性是否所有必須的數(shù)據(jù)都包含?20%的顧客的lastname為空,

50%的郵政編碼為99999精確性數(shù)據(jù)是否準(zhǔn)確地反映現(xiàn)實(shí)或可驗(yàn)證的數(shù)據(jù)來(lái)源？供應(yīng)商顯示為‘活動(dòng)’，但是其實(shí)6年前已經(jīng)和它沒(méi)有業(yè)務(wù)往來(lái)。有效性數(shù)據(jù)值是否在接受的范圍內(nèi)?薪水值應(yīng)該在60,000-120,000重復(fù)性數(shù)據(jù)多次出現(xiàn)JohnRyan和JackRyan都在系統(tǒng)中出現(xiàn)了–他們是同一個(gè)人嗎?20第二十頁(yè)，共36頁(yè)。微軟數(shù)據(jù)質(zhì)量DQS解決方案概念第二十一頁(yè)，共36頁(yè)。DQS架構(gòu)概覽DQ客戶端交互式DQ

項(xiàng)目知識(shí)發(fā)現(xiàn)和管理SSISDQ組件未來(lái)的客戶端–Excel,SharePoint,MDS…DQ云計(jì)算分類參照數(shù)據(jù)Dallas分類參照數(shù)據(jù)服務(wù)DQSUIDQ服務(wù)器RD服務(wù)API(瀏覽,設(shè)置,驗(yàn)證…)參照數(shù)據(jù)API(瀏覽,獲取,更新…)數(shù)據(jù)質(zhì)量服務(wù)DQ項(xiàng)目存儲(chǔ)DQ活動(dòng)項(xiàng)目CommonKnowledgeStoreMS數(shù)據(jù)域知識(shí)庫(kù)存儲(chǔ)發(fā)布的KB本地?cái)?shù)據(jù)域DQ引擎知識(shí)發(fā)現(xiàn)數(shù)據(jù)探查匹配清理參照數(shù)據(jù)數(shù)據(jù)探查參照數(shù)據(jù)據(jù)服務(wù)第三方MSDQ域存儲(chǔ)參照數(shù)據(jù)第二十二頁(yè)，共36頁(yè)。介紹數(shù)據(jù)質(zhì)量服務(wù)SQLServerDataQualityServices直觀的，基于向?qū)У目蛻舳斯ぞ甙l(fā)現(xiàn)數(shù)據(jù)知識(shí)創(chuàng)建知識(shí)庫(kù)引用外部數(shù)據(jù)集清理和匹配數(shù)據(jù)結(jié)果導(dǎo)出到Excel驗(yàn)證清洗過(guò)的數(shù)據(jù)評(píng)估匹配的紀(jì)錄基于知識(shí)的數(shù)據(jù)質(zhì)量管理第二十三頁(yè)，共36頁(yè)。交互式進(jìn)行清理–示例第二十四頁(yè)，共36頁(yè)。交互式進(jìn)行清理-Profiler第二十五頁(yè)，共36頁(yè)。知識(shí)管理–示例第二十六頁(yè)，共36頁(yè)。第一部分：企業(yè)信息管理EIM理念第二部分：主數(shù)據(jù)管理第三部分：數(shù)據(jù)質(zhì)量管理第四部分：跨平臺(tái)數(shù)據(jù)集成第五部分：數(shù)據(jù)可視化分析內(nèi)容第二十七頁(yè)，共36頁(yè)。SQLServerIntegrationServices強(qiáng)大，但在創(chuàng)建集成解決方案時(shí)簡(jiǎn)單易用由于減少了外部顧問(wèn)的數(shù)量，所以總體成本也可以降低“Microsoft’sSQLServerIntegrationServices(SSIS)ETLproductwasbyfartheleastlikelytorequireexternalSIsupportaccordingtooursurvey,withonly9%ofrespondentssayingthattheyusedanSIforimplementation,comparedwithIBM’susersemployinganSImorethan50%ofthetime.”–Forrester:EnterpriseETL:EvolvingandIndispensableToYourDataManagementStrategy(May2010)第二十八頁(yè)，共36頁(yè)。廣泛的數(shù)據(jù)連接企業(yè)數(shù)據(jù)源:關(guān)系性數(shù)據(jù)庫(kù)SQLServer,Oracle,DB2,MySQL任何ODBC或OLEDB數(shù)據(jù)源CDCforSQLServerandOracleSAPTeradataFlatfilesXMLExcel文檔云WebServicesSQLAzureAzureDataMarket自定義數(shù)據(jù)源過(guò)程通過(guò)VST腳本內(nèi)建了對(duì)擴(kuò)展性的支持第二十九頁(yè)，共36頁(yè)。SQLServerIntegrationServices示例第三十頁(yè)，共36頁(yè)。完整的EIM集成解決方案DQS提供了流式的數(shù)據(jù)清洗和轉(zhuǎn)換MDS通過(guò)中間表和訂閱視圖創(chuàng)建了一個(gè)主數(shù)據(jù)的交換機(jī)制SSIS為裝載和抽取主數(shù)據(jù)提供了一個(gè)平臺(tái)第三十一頁(yè)，共36頁(yè)。第一部分：企業(yè)信息管理EIM理念第二部分：主數(shù)據(jù)管理第三部分：數(shù)據(jù)質(zhì)量管理第四部分：跨平臺(tái)數(shù)據(jù)集成第五部分：數(shù)據(jù)可視化分析內(nèi)容第三十二頁(yè)，共36頁(yè)。SolutionValues價(jià)值Reducetimespentinreconcilingdatafromdisparatesources.Provideasingleviewofmasterdata.Improvethedataquality,accuracy,andconsistency.Simplifythebusinessp