高頻大數(shù)據(jù)解決方案

VoltDB高頻大數(shù)據(jù)解決方案電信領域計費和權(quán)限管理，用戶數(shù)據(jù)個性化營銷廣告優(yōu)化，觀眾分組能源與傳感器領域智能電網(wǎng)/電表，資產(chǎn)跟蹤與管理，實時交通與地理位置證券市場風控管理，市場數(shù)據(jù)管理基礎設施數(shù)據(jù)管道，批次->實時，流媒體的ETL系統(tǒng)中的的高頻數(shù)數(shù)據(jù)2SmartMeter高度切合領域更快:讀/寫負載延時/吞吐量電信呼叫數(shù)據(jù)記錄管理網(wǎng)站數(shù)據(jù)分析、欺詐偵測在線游戲小額交易支付電子廣告兌換服務基于位置的無線服務金融貿(mào)易監(jiān)控低頻率運行高頻率運行數(shù)據(jù)來源資金市場寫/索引所有交易，存儲逐筆交易資料顯示整合交易者的風險呼叫初始請求實時授權(quán)認可欺詐偵測分析入站

HTTP請求訪問者登陸、分析、警告流量圖形分析在線游戲等級分數(shù)定義的間隔執(zhí)行玩家

“最好成績”排行榜狀態(tài)查找實時廣告交易系統(tǒng)匹配形式因素，下單規(guī)范，競價/詢價報告廣告效能無線設備位置感應器位置更新，服務品質(zhì)，事物處理事物處理上的數(shù)據(jù)分析VoltDB應用案例例VoltDB應用/方案的高高吻合目目標行業(yè)業(yè)行業(yè)電信和網(wǎng)網(wǎng)絡金融服務務廣告科技技能源和應應用資本市場場電子商務務/零售業(yè)在線游戲戲以上絕不不是僅有有的行業(yè)業(yè)！其它行業(yè)業(yè)種類戰(zhàn)略性大大數(shù)據(jù)項項目早期使用用者感應器驅(qū)驅(qū)動的環(huán)環(huán)境關鍵技術術特性ACID全事務支支持靈活的擴擴展性錯誤恢復復可持久化化到硬盤盤內(nèi)嵌OLAP導出連接接器基于網(wǎng)絡絡的異步步集群復復制6關鍵特性性:線性擴展展7增加一個個新結(jié)點點到VoltDB集群可以以有限提提升集群群的最大大吞吐量量，也可可以增加加整個集集群的內(nèi)內(nèi)存容量量集群的大大小對應應用來說說是透明明的關鍵特性性:線性擴展展（續(xù)））右邊表格格源自于于獨立的的測試機機構(gòu)Percona，標示出出線性擴擴展到每每秒150萬次的運運算和最最高推斷斷值達到到30個服務器器。這個個表也表表明VoltDB線性擴展展具備K-Safety關鍵特性性:內(nèi)置異常?；謴?HA功能9分區(qū)就是是復制的的單位事務復制制操作（（不是更更改記錄錄）使用用Active//Active同步復制制方式應用只有有在所有有復制節(jié)節(jié)點都提提交（或或者回滾滾）后才才會收到到成功（（或者失失敗）的的響應關鍵特性性:基于網(wǎng)絡絡的數(shù)據(jù)據(jù)庫集群群復制10VoltDB包括一個個網(wǎng)絡復復制Agent這個Agent將事物異異步從主主集群（（可讀可可寫）復復制到備備集群（（只讀））異步的方方式最大大限度容容忍網(wǎng)絡絡可能出出現(xiàn)的問問題整合：高高性能導導出并行導出出接近最大大線速基于事先先建立的的連接HadoopCSVJDBC(PostgreSQL,MySQL,,Oracle)NetezzaVerticaVoltDB建立了一一個基于于事務的的，可持持久化的的導出框框架在VoltDB完成高質(zhì)質(zhì)量、實實時分析析、實時時響應，，并把結(jié)結(jié)果數(shù)據(jù)據(jù)通過VoltDBExport導出到OLAPVoltDB管理和監(jiān)監(jiān)控Nagios腳本LogstoLog4jJMXVoltDB企業(yè)管理理器每一個節(jié)節(jié)點都有有一個內(nèi)內(nèi)置網(wǎng)絡絡服務器器特殊的系系統(tǒng)程序序VoltDB的一個典典型架構(gòu)構(gòu)ERPCRMHROrdersCartRecom-mendationUserMgt.ClickStreamInvPersonal-izationDatawarehouseHadoopTraditionalOLTPVelocityOLTPloginssensorsimpressionsordersauthorizationsclickstradesInteractiveReal-timeAnalyticsHistoricalAnalyticsExploratory

AnalyticsAnalyticresultsenrichdecisionmaking使用方案案中會包包含VoltDB的目標客客戶理想的銷銷售機會會IdealProspectCharacteristics初期采用用者高速率-增長中的的交易處處理率尋求競爭爭差異事務處理理–需要做出出決策創(chuàng)建新的的apps數(shù)據(jù)吞吐吐量用盡盡水平分區(qū)區(qū)Sharding––目前使用用手工操操作其次尋求削減減成本-準備使用用云端ACID–不能做到到最終一一致性就就無法生生存次要銷售售機會對風險抱抱保守的的態(tài)度使用傳統(tǒng)統(tǒng)數(shù)據(jù)庫庫可以解解決問題題很少使用用到高速速決策非結(jié)構(gòu)化化數(shù)據(jù)、、文件數(shù)數(shù)據(jù)庫復雜的查查詢和分分析特別巨大大的數(shù)據(jù)據(jù)J2EE,HibernateWindows/Unix//COBOLarchitecturebias吸引用戶戶使用VoltDB的原因（（條件））公司的戰(zhàn)戰(zhàn)略同大大數(shù)據(jù)相相關新的應用用部署，，而不是是在現(xiàn)有有應用上上轉(zhuǎn)換數(shù)數(shù)據(jù)庫額外的數(shù)數(shù)據(jù)來源源于在線線數(shù)據(jù)為了獲取取性能、、分區(qū)等等使用費費自然的的技術手手段面臨來自自于創(chuàng)新新的競爭爭壓力Oracle不能滿足足性能的的需求、、授權(quán)或或者對于于降低硬硬件成本本的需求求公司需要要圍繞特特定技術術尋求發(fā)發(fā)展實時數(shù)據(jù)據(jù)分析基于內(nèi)存存的數(shù)據(jù)據(jù)庫

Datameer--從桌面到到服務器器可視化大大數(shù)據(jù)分分析平臺臺Datameer––可視化大大數(shù)據(jù)分分析平臺臺Datameer開放式結(jié)結(jié)構(gòu)Datameer可視化操操作、分分析與展展示界面面28.io海量數(shù)據(jù)據(jù)的綜合合信息查查詢分析析平臺現(xiàn)代公司司的信息息量往往往大爆炸炸種類容量速速率企業(yè)數(shù)據(jù)據(jù)被儲存存在孤立立的數(shù)據(jù)據(jù)倉庫中28io–海量數(shù)據(jù)據(jù)的綜合信息息查詢分分析平臺臺解決方案案可視化了了的查詢詢的查詢詢及處理理圖層結(jié)構(gòu)化數(shù)數(shù)據(jù)/半結(jié)構(gòu)化化數(shù)據(jù)/非結(jié)構(gòu)化化數(shù)據(jù)JSONiq查詢語言言:非關聯(lián)數(shù)數(shù)據(jù)庫的的結(jié)構(gòu)化化查詢語語言自動并行行運算RESTAPI實時NoSQL(MongoDB,CouchDB,.....)SQLthroughJDBCFileStores(S3,,GlusterFS,……)JSON,XMLRelationalText,Pdf,HTM...Otherdatastores....其它數(shù)據(jù)據(jù)格式商業(yè)應用用WebServices(Salesforce,Zendesk,……)JSON,XML連接與查查詢分析析28.ioUnifiedInformationAccessPlatformContentsourcesstoringdocuments,emails,books,articles,webpages,etc.RelationalDatabaseFilesystemThird-PartyContentFeeds(XML,HTML,ZIP,etc.)NoSQLDatabaseQueryacrossdisparatecontentrepositoriesEditors,ContentCuratorsSearch,reuse,repurposecontentWebSites,Portals,WebAppsMobileAppsDynamicallyrenderanddelivercontentinmultipleformats……CustomContentFeedsSeparateTask-SpecificRepository(e.g.,MongoDB)Optionallyimportcontentintoatask-specificrepositoryContentdestinationsCuratedcontent,Masterindices,Markup/structureforrepurposing,Migratedcontentfromretiredsources查詢語言言JSONiqHadoop同28.io架構(gòu)對比比S3ETLHDFSMapReduce結(jié)果S328.io結(jié)果Hadoop28.io運行45分鐘35秒幾個小時時數(shù)據(jù)科學學家費時時2小時開發(fā)發(fā)MapreduceCode商業(yè)用戶戶費時20分鐘建立立JSONiq查詢讓Web數(shù)據(jù)成為為你的數(shù)數(shù)據(jù)庫ConnotateConnotate––智能化的的Web數(shù)據(jù)抽取取工具WebAgent（數(shù)據(jù)抽抽取的工工具）可可自動自自主的運運行。根據(jù)您的的要求輸輸出結(jié)構(gòu)構(gòu)化數(shù)據(jù)據(jù)集（通通常是CSV格式或則則是XML格式）Connotate使網(wǎng)絡數(shù)數(shù)據(jù)變