微軟Big-Data解決方案介紹(與Hadoop對應)課件

微軟BigData解決方案

MicrosoftAnalyticsPlatformSystem

-結合新一代的SQLServerParallelDataWarehouse與100%ApacheHadoop技術-Mark

ChenDataPlatformTechnologySolutionProfessionalmarkchen@微軟BigData解決方案

MicrosoftAn企業(yè)都想要擁抱BigData

現階段企業(yè)的應用及挑戰(zhàn)企業(yè)都想要擁抱BigData

現階段企業(yè)的應用及挑戰(zhàn)所有的企業(yè)都在談論BigData的需要性:但是

……………傳統(tǒng)資料倉儲的問題資料來源OLTPERPCRMLOBETL資料交換資料倉儲商業(yè)智慧與分析儀表板報表遽增的資料1即時資料2非關聯(lián)式資料裝置網頁感應器社群新資料來源與類型3雲端資料4可是資料倉儲的造價都很昂貴，硬體絕大部分都是特定獨規(guī)，很難彰顯效益現行80%企業(yè)面對BigData首要解決的都是大量的累積資料，集中起來往往都超過Terabyte所有的企業(yè)都在談論BigData的需要性:但是

………資訊基礎架構資料管理與處理DATAENRICHMENTANDFEDERATEDQUERY商業(yè)智慧與分析自助服務協(xié)同合作Corporate預測行動化擷取、轉換、載入單一查詢模型資料品質主資料服務管理非關聯(lián)式關聯(lián)式分析Streaming內部與外部資料來源OLTPERPCRMLOB非結構化資料裝置網站感應器社群企業(yè)BigData需要的是：現代化的資料倉儲資訊基礎架構資料管理與處理DATAENRICHMENTA分析前得先將資料從HDFS搬到資料倉儲HDFS(Hadoop)ETL資料倉儲HDFS(Hadoop)學習新技術T-SQL建置整合管理維護支援單獨的Hadoop不能解決巨量資料所有的挑戰(zhàn)

艱深的學習曲線、速度慢、效率低只利用Hadoopecosystem的便宜新的資料來源裝置網站感應器社群“New”datasources新的資料來源裝置網站感應器社群分析前得先將資料從HDFS搬到資料倉儲HDFSETL資為何不全部都住在同一臺WarehouseHDFS(Hadoop)TSQL問題不在便宜而已,關鍵在開發(fā)應用

共存共生的架構“New”datasourcesDevicesWebSensorSocial透過加一臺BridgeServer來連接WarehouseHDFS(Hadoop)TSQL“New”datasourcesDevicesWebSensorSocialBridgeServer為何不全部都住在同一臺WarehouseHDFSTSQL問新技術帶來新契機亦或新挑戰(zhàn)??？CloudBigDataSocialMobility做個有效可運用的分析？該怎麼做?+++新技術帶來新契機亦或新挑戰(zhàn)??？CloudBigDataSo微軟現代化的資料倉儲系統(tǒng)微軟現代化的資料倉儲系統(tǒng)業(yè)界最低價執(zhí)行海量資料分析，且擁有突破性效能提供了大規(guī)模平行處理(MPP)資料倉儲技術SQLServerParallelDataWarehouse(PDW)與Microsoft的100%ApacheHadoop散發(fā)技術HDInsight，結合成一套周全的應用裝置。並且為了將SQLServerPDW的資料與Hadoop的資料整合，APS提供了PolyBase資料查詢技術。業(yè)界最低價執(zhí)行海量資料分析，且擁有突破性效能AnalyticalPlatformSystem

(APS)結果直接且平行存取HDFS透過外部資料表、Polybase查詢引擎與HDFSBridge非關聯(lián)式資料APS-Hadoop關聯(lián)式資料APS-RelationalHDFSbridgePolybase查詢引擎外部資料表外部

資料來源外部

檔案格式一般的

T-SQL社群

應用程式感應裝置

與RFID行動

應用程式網頁

應用程式傳統(tǒng)資料綱要

的資料倉儲AnalyticalPlatformSystem(AP軟硬體整合設計的APS是

最容易使用又最開放的一體機預先建構好的硬體+軟體與Dell,HP,Quanta聯(lián)合設計預先建構的硬體預先安裝完成的軟體隨插即用內建

BestPractice省時為巨量資料而生AnalyticsPlatformSystem,(APS)SQLServerParallelDataWarehouseMicrosoftHDInsightPolyBase軟硬體整合設計的APS是

最容易使用又最開放的一體機預先極速的性能

MPP與In-MemoryColumnstore的性能以欄位式架構大規(guī)模壓縮儲存資料高達60%的效能改善史資料進出記憶體速度更快可更新與叢集架構提供即時的資料更新與載入作業(yè)12提升100x

更快的查詢Updateableclusteredcolumnstorevs.tablewithcustomaryindexing提升15x

更強的壓縮資料存放區(qū)索引表示C1C3C5C4C2C6並行查詢執(zhí)行QueryResults極速的性能

MPP與In-MemoryColumnst高效能且於一體機內調教完成整合AD使用者驗證機制使用MicrosoftBI

方案即能輕鬆存取使用SystemCenter進行管理、監(jiān)控100%的ApacheHadoop方案SQLServerParallelDataWarehouseMicrosoftHDInsightPolyBaseAPS以HDInsight提供企業(yè)級的Hadoop解決方案

可管理的，安全的，高度可性的Hadoop集成一體機高效能且於一體機內調教完成整合AD使用者驗證機制使用M進行Hadoop查詢時獲得更高的效能不須特別技術，即可將資料倉儲的資料

封存至Hadoop中(搬移)匯出關聯(lián)式資料至Hadoop(複製)匯出Hadoop資料至資料倉儲(複製)PolyBase簡化Hadoop資料應用的情境

BringingislandsofHadoopdatatogether

進行Hadoop查詢時獲得更高的效能不須特別技術，即可將SeamlesslyAddCapacitySmallest(53TB)ToLargest(6PB)StartsmallwithafewTerabytewarehouseAddcapacityupto6Petabytes53TB6PBAddCapacityAddCapacityLargestWarehouse

PBStartSmall

AndGrowStartSmallLinearlyScaleOUTSeamlesslyAddCapacitySmallesTopologydesignedforGrowthExtendTopologydesignedforGrowthExAPS的優(yōu)勢容易與快速的資料交換SSIS1StartS1S2S3S4End高達15x的資料壓縮3BigData整合的PolyBase4In-MemoryColumnsStore2C1C2C3C4C5C6C7C8APS的優(yōu)勢容易與快速的資料交換SSIS1StartS1SBIToolsReportingandcubesSQLServerSMPMicrosoftAPS的應用AnalyticsPlatformSystemETL/ELTwithSSIS,DQS,MDSERPCRMLOBAPPSETL/ELTwithDWLoaderHadoop/BigDataPDWHDInsightPolyBaseAdhocqueriesIntra-DayNearreal-timeFastadhocColumnstorePolybaseCETASLinkTableReal-TimeROLAP/MOLAPDirectQuerySNACBIToolsReportingandcubesSQL從APS

到BigInsightMicrosoftAzureHDInsightHortonworksfor

WindowsandLinuxSQLServerParallelDataWarehousePolyBaseMicrosoftHDInsightResultsetSelect…Office365雲端平臺

1in4enterprisecustomersonOffice365ShareFindQ&AMobile從APS到BigInsightMicrosoftAO365上PowerBI

1in4enterprisecustomersonOffice365分享找到Q&A行動使用Excel來分析

1BillionOfficeUsers分析視覺發(fā)現可擴充|可管理|可信賴微軟PowerBIforOffice365雲端商業(yè)智慧方案

Self-serviceBIwiththefamiliarityofOfficeandthepowerofthecloudO365上PowerBI

1in4enterprPowerPivot

–建置資料模型

PowerMap–運用BingMapPowerQuery–連結與合併各種資料PowerView

–即時互動視覺分析PowerBISiteinOffice365瀏覽報表Q&A–自然語言加上提示的查詢方式HTML5&Power

BIAPP支援各式行動裝置PowerPivot

–建置資料模型

PowerQuery–連結與合併各種資料PowerMap–運用BingMapPowerView

–即時互動視覺分析PowerBISiteinOffice365瀏覽報表Q&A–自然語言加上提示的查詢方式PowerPivot–建置資料模型PowerMap智慧工廠解決方案產線資料收集控制系統(tǒng)APAX/ADAM/EKI/WebOP產品品管資料收集主機1號生產線2號生產線3號生產線4號生產線MicrosoftStreamInsightCache快取暫存與資訊處理前端BI應用分析生產即時監(jiān)控趨勢報表資料採礦-趨勢分析情境

即時監(jiān)控作業(yè)儀表板(Ticking-Snapshot)報表儀錶板(Refreshed)1號線即時作業(yè)分析MessageBus生產資料DCS工程資料庫生產資料庫檢驗資料庫歷史生產資料庫ERP資料庫ETLELT資料來源良率預測產能預測機臺維修預測生產資料2號線即時作業(yè)分析3號線即時作業(yè)分析4號線即時作業(yè)分析Refresh(Push)MicrosoftStreamInsight生產資料生產資料生產資料生產資料生產資料生產資料生產資料自動化決策資料分析處理報表儀錶板雲端應用SitetoSiteVPN歷史多維度資料集OLAPMiningDataTrainingDataDataMining當日多維度資料集MicrosoftWindowsAzureMicrosoftHDInsightSQLServerParallelDataWarehousePolyBase智慧工廠解決方案產線資料收集控制系統(tǒng)1號生產線2號生產線3號MicrosoftAnalyticsPlatformSystem(APS)將提供給客戶

立即可用的現代化資料倉儲設備EndtoEnd解決方案及整體資料處理的方法高性能運算規(guī)格企業(yè)級巨量資料架構易用/價低/競爭力強關聯(lián)與非關聯(lián)型資料在單一設備企業(yè)就緒的Hadoop整合Hadoop和PDW