海量數(shù)據(jù)高速響應(yīng)平臺解決方案

1、D-uni 2016Backup disasterReplicationVirtulazationDB transfersoftwareProfessional service海量數(shù)據(jù)高速響應(yīng)平臺解決方案市場機遇隨著“大數(shù)據(jù)分析”的興起，每一個行業(yè)都在規(guī)劃和發(fā)展自身的大數(shù)據(jù)分析平臺，基于龐大的數(shù)據(jù)中，尋找金礦，用以勾勒用戶畫像、塑造企業(yè)品牌、尋找新的商機、戰(zhàn)略決策等。列舉某些行業(yè)大數(shù)據(jù)分析案例：保險：實時核保保費銷售額、交往圈風(fēng)險控制、渠道遷徙等電力：用戶智能用電控制、低電壓分析、短期電力預(yù)測等銀行：信用卡授信額度即時調(diào)整、客戶分群、高端客戶流失預(yù)測等電信：即時流量包推送、存量手機銷售、金融授

2、信服務(wù)等公安：刑偵即時取證、卡口即時查車等制造業(yè)、能源、電商、運輸?shù)鹊人行袠I(yè)都在進行各自的大數(shù)據(jù)分析。D-Uni的所處位置所有行業(yè)的大數(shù)據(jù)實時分析基本架構(gòu)：日志文件日志文件日志文件日志文件日志文件日志文件實時日志數(shù)據(jù)實時數(shù)據(jù)實時數(shù)據(jù)實時數(shù)據(jù)實時數(shù)據(jù)實時數(shù)據(jù)實時數(shù)據(jù)MQ/KafkaFlume/scribeFlume/scribeFlume/scribeFlume/scribeFlume/scribeFlume/scribespoutsboltsspoutsboltsspoutsboltsOracleMysqlDB2其他Storm流計算海量數(shù)據(jù)即時增量機器學(xué)習(xí)挖掘MaoutOLAP自主算法結(jié)果數(shù)

3、據(jù)OracleMysql其他數(shù)據(jù)庫展示Echart其他圖形展示報表等D-UniD-Uni統(tǒng)一的問題-結(jié)構(gòu)數(shù)據(jù)的高速處理數(shù)據(jù)處理分為結(jié)構(gòu)性數(shù)據(jù)：企業(yè)常年累積的，保存在關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)，如交易數(shù)據(jù)、訂單數(shù)據(jù)、客戶關(guān)系數(shù)據(jù)等（D-Uni）半結(jié)構(gòu)性數(shù)據(jù)：保存在Excel中的具備一定結(jié)構(gòu)化的數(shù)據(jù)（部分ETL工具可處理）非結(jié)構(gòu)性數(shù)據(jù)：網(wǎng)絡(luò)日志、用戶痕跡記錄等保存在文本中的數(shù)據(jù)（Hadoop）結(jié)構(gòu)數(shù)據(jù)高速處理高速增量提取傳輸，100%準(zhǔn)確海量數(shù)據(jù)請求秒級響應(yīng)去敏感數(shù)據(jù)開放接口結(jié)構(gòu)性半結(jié)構(gòu)性非結(jié)構(gòu)性ETL工具HadoopStormSparkD-Uni結(jié)果數(shù)據(jù)目前可用的方案Oracle Goldengate

4、IBM CDCDSG Realsync其他基于邏輯復(fù)制的產(chǎn)品基于數(shù)據(jù)庫日志獲取數(shù)據(jù)庫改變量生成目標(biāo)端執(zhí)行的SQL閉合環(huán)境，對外提供數(shù)據(jù)格式受限數(shù)據(jù)準(zhǔn)確度低，尤其是處理Chained Row時同步性能低，延遲較大對源端影響大，需要修改源端不支持準(zhǔn)確時間點切片數(shù)據(jù)提供Sqoop：SQL-to-Hadoop，一個把關(guān)系型數(shù)據(jù)轉(zhuǎn)換成非關(guān)系型的工具，Apache 開源項目。全量到入hadoop，生成key-value增量基于時間戳，百萬級以上幾乎不能使用不支持脫敏基于JDBC或者邏輯導(dǎo)入/導(dǎo)出OraOop是quest開發(fā)的增強版本，也是基于全量的導(dǎo)入導(dǎo)出性能的提升。dataX/Dbsync：阿里和DKT

5、開源項目支持在mysql/oracle/Hive等之間的數(shù)據(jù)自由轉(zhuǎn)換，通過jdbc方式提取ETL工具（infomatica等）基于時間戳和jdbc提取數(shù)據(jù)的方式，性能和速度低下基于數(shù)據(jù)庫CDC方式，還不如OGG這種產(chǎn)品的性能侵入式部署，需要修改源端只能實現(xiàn)基本的數(shù)據(jù)轉(zhuǎn)換功能，而不具備處理海量數(shù)據(jù)高速傳輸、原生增量、脫敏、數(shù)據(jù)高速響應(yīng)的能力！數(shù)據(jù)轉(zhuǎn)換 V.S 海量數(shù)據(jù)高速響應(yīng)能力D-Uni提供對海量數(shù)據(jù)請求的高速響應(yīng)能力！海量結(jié)構(gòu)性數(shù)據(jù)即時傳輸秒級響應(yīng)請求數(shù)據(jù)沙箱技術(shù)：解決大數(shù)據(jù)量數(shù)據(jù)訪問的高速響應(yīng)，是源庫或者鏡像庫性能的6倍以上。增量傳輸技術(shù)：解決每次需要處理全量數(shù)據(jù)的問題，速度提升1000倍

6、以上。沙箱校驗技術(shù)：準(zhǔn)確率100%，完美解決數(shù)據(jù)不準(zhǔn)確問題。內(nèi)置脫敏技術(shù)：解決數(shù)據(jù)泄露問題，所有敏感數(shù)據(jù)實現(xiàn)流脫敏精確時間切片技術(shù)：解決對精確時間區(qū)段內(nèi)數(shù)據(jù)提供問題即時數(shù)據(jù)發(fā)布企業(yè)業(yè)務(wù)系統(tǒng)D-Uni數(shù)據(jù)總線開放式數(shù)據(jù)總線，支持業(yè)務(wù)邏輯的整合和二次開發(fā)增量流處理核心架構(gòu)高速首次封裝，并保持實時同步，提供快速數(shù)據(jù)沙箱并行響應(yīng)技術(shù)即海量數(shù)據(jù)增量提供，非侵入式源端安裝（不需要連接源端）源數(shù)據(jù)庫OracleDB2Mysql其他D-UniDB SandBox增量處理壓縮封裝沙箱版本實時同步原生脫敏沙箱校驗數(shù)據(jù)輸出OraclePostgresqlTXTJsonKafKaHwaqHiveD-Uni的優(yōu)勢海量數(shù)

7、據(jù)高速全量/增量提供時間點數(shù)據(jù)準(zhǔn)確切片提供支持流脫敏技術(shù)可以不接觸生產(chǎn)庫實現(xiàn)部署高度穩(wěn)定的架構(gòu)對外數(shù)據(jù)接口支持到數(shù)據(jù)庫、文件、kafka、hwaq等，可定制接口提供一種對海量數(shù)據(jù)請求高速響應(yīng)的能力客戶對D-Uni的反饋華為測試驗證中心經(jīng)理謝總陽光保險CTO蘇總太平洋保險架構(gòu)師袁總上海電信研究院總工鈕總安徽移動大數(shù)據(jù)部梁博士用戶現(xiàn)場POC驗證報告與復(fù)制產(chǎn)品對比主要有Oracle Goldengate、IBM CDC、DSG Realsync復(fù)制數(shù)據(jù)庫DB logsSQL Trx設(shè)計目標(biāo)：秒級復(fù)制工作原理：日志SQL挖掘優(yōu)勢：靈活，可有選擇性復(fù)制劣勢：穩(wěn)定性，可靠性 生產(chǎn)系統(tǒng)影響10%， 無法獲取

8、完整增量數(shù)據(jù)改動數(shù)據(jù)庫配置乃至結(jié)構(gòu)，分析加載占用生產(chǎn)數(shù)據(jù)庫資源生產(chǎn)服務(wù)器與熱備產(chǎn)品對比主要有Oracle DataGuard以及Active Dataguard復(fù)制數(shù)據(jù)庫DB logs設(shè)計目標(biāo)：穩(wěn)定可靠復(fù)制工作原理：日志加載，物理恢復(fù)優(yōu)勢：穩(wěn)定性，可靠性 對生產(chǎn)數(shù)據(jù)庫影響小劣勢：全量復(fù)制，只讀生產(chǎn)數(shù)據(jù)庫基本不占用生產(chǎn)數(shù)據(jù)庫資源穩(wěn)定可靠加載日志團隊簡介 查理：創(chuàng)始人/CEO 連續(xù)創(chuàng)業(yè)者，硅谷獨角獸公司Delphix創(chuàng)始人/前 CTO兼董事，數(shù)據(jù)庫虛擬化之父，大數(shù)據(jù)虛擬化產(chǎn)品戰(zhàn)略規(guī)劃人。前美國IBM首席系統(tǒng)架構(gòu)師。參與美國國家標(biāo)準(zhǔn)X.12審閱工作。三項美國軟件專利。美國喬治亞大學(xué)博士候選人、中國科大碩士肄業(yè)。 陳和軍：聯(lián)合創(chuàng)始人/產(chǎn)品副總 中山大學(xué)工商管理碩士，前大型電商公司 CIO。先后參與查理兩次創(chuàng)業(yè)，豐富的創(chuàng)業(yè)經(jīng)驗、較強業(yè)務(wù)能力和深厚的技術(shù)基礎(chǔ)。充分了解客戶、市場和產(chǎn)品。 李強：首席戰(zhàn)略官中國科大理學(xué)碩士，有國內(nèi)創(chuàng)業(yè)及硅谷工作的經(jīng)驗，在企業(yè)管理、產(chǎn)品營銷，資本運營經(jīng)驗豐富，尤其熟悉國內(nèi)資本市場規(guī)則。國內(nèi)外發(fā)明專利若干，多次在國家、廣東省及深圳市獲獎獎。汪潔：渠道及運營副總大型電商企業(yè)運營副總 Ben Meng：研發(fā)副總Oracle 存儲管理負(fù)責(zé)人 王龍：營銷副總Vmware云平臺負(fù)責(zé)人秉承硅谷頂級團隊基因 專注 堅持 創(chuàng)新 引領(lǐng)20