大數(shù)據(jù)解決方案及產(chǎn)品_第1頁(yè)
大數(shù)據(jù)解決方案及產(chǎn)品_第2頁(yè)
大數(shù)據(jù)解決方案及產(chǎn)品_第3頁(yè)
大數(shù)據(jù)解決方案及產(chǎn)品_第4頁(yè)
大數(shù)據(jù)解決方案及產(chǎn)品_第5頁(yè)
已閱讀5頁(yè),還剩25頁(yè)未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

VoltDB高頻大數(shù)據(jù)解決方案電信領(lǐng)域計(jì)費(fèi)和權(quán)限管理,用戶數(shù)據(jù)個(gè)性化營(yíng)銷廣告優(yōu)化,觀眾分組能源與傳感器領(lǐng)域智能電網(wǎng)/電表,資產(chǎn)跟蹤與管理,實(shí)時(shí)交通與地理位置證券市場(chǎng)風(fēng)控管理,市場(chǎng)數(shù)據(jù)管理基礎(chǔ)設(shè)施數(shù)據(jù)管道,批次->實(shí)時(shí),流媒體的ETL系統(tǒng)中的高頻數(shù)據(jù)2SmartMeter高度切合領(lǐng)域更快:讀/寫(xiě)

負(fù)載

延時(shí)/吞吐量電信呼叫數(shù)據(jù)記錄管理網(wǎng)站數(shù)據(jù)分析、欺詐偵測(cè)在線游戲小額交易支付電子廣告兌換服務(wù)基于位置的無(wú)線服務(wù)金融貿(mào)易監(jiān)控低頻率運(yùn)行高頻率運(yùn)行數(shù)據(jù)來(lái)源資金市場(chǎng)寫(xiě)/索引所有交易,存儲(chǔ)逐筆交易資料顯示整合交易者的風(fēng)險(xiǎn)呼叫初始請(qǐng)求實(shí)時(shí)授權(quán)認(rèn)可欺詐偵測(cè)分析入站

HTTP請(qǐng)求訪問(wèn)者登陸、分析、警告流量圖形分析在線游戲等級(jí)分?jǐn)?shù)定義的間隔執(zhí)行玩家

“最好成績(jī)”排行榜狀態(tài)查找實(shí)時(shí)廣告交易系統(tǒng)匹配形式因素,下單規(guī)范,競(jìng)價(jià)/詢價(jià)報(bào)告廣告效能無(wú)線設(shè)備位置感應(yīng)器位置更新,服務(wù)品質(zhì),事物處理事物處理上的數(shù)據(jù)分析VoltDB應(yīng)用案例VoltDB應(yīng)用/方案的高吻合目標(biāo)行業(yè)行業(yè)電信和網(wǎng)絡(luò)金融服務(wù)廣告科技能源和應(yīng)用資本市場(chǎng)電子商務(wù)/零售業(yè)在線游戲以上絕不是僅有的行業(yè)!其它行業(yè)種類戰(zhàn)略性大數(shù)據(jù)項(xiàng)目早期使用者感應(yīng)器驅(qū)動(dòng)的環(huán)境關(guān)鍵技術(shù)特性ACID全事務(wù)支持靈活的擴(kuò)展性錯(cuò)誤恢復(fù)可持久化到硬盤(pán)內(nèi)嵌OLAP導(dǎo)出連接器基于網(wǎng)絡(luò)的異步集群復(fù)制6關(guān)鍵特性:線性擴(kuò)展7增加一個(gè)新結(jié)點(diǎn)到VoltDB集群可以有限提升集群的最大吞吐量,也可以增加整個(gè)集群的內(nèi)存容量集群的大小對(duì)應(yīng)用來(lái)說(shuō)是透明的關(guān)鍵特性:線性擴(kuò)展(續(xù))右邊表格源自于獨(dú)立的測(cè)試機(jī)構(gòu)Percona,標(biāo)示出線性擴(kuò)展到每秒150萬(wàn)次的運(yùn)算和最高推斷值達(dá)到30個(gè)服務(wù)器。這個(gè)表也表明VoltDB線性擴(kuò)展具備K-Safety關(guān)鍵特性:內(nèi)置異?;謴?fù)/HA功能9分區(qū)就是復(fù)制的單位事務(wù)復(fù)制操作(不是更改記錄)使用Active/Active同步復(fù)制方式應(yīng)用只有在所有復(fù)制節(jié)點(diǎn)都提交(或者回滾)后才會(huì)收到成功(或者失?。┑捻憫?yīng)關(guān)鍵特性:基于網(wǎng)絡(luò)的數(shù)據(jù)庫(kù)集群復(fù)制10VoltDB包括一個(gè)網(wǎng)絡(luò)復(fù)制Agent這個(gè)Agent將事物異步從主集群(可讀可寫(xiě))復(fù)制到備集群(只讀)異步的方式最大限度容忍網(wǎng)絡(luò)可能出現(xiàn)的問(wèn)題整合:高高性能導(dǎo)導(dǎo)出并行導(dǎo)出出接近最大大線速基于事先先建立的的連接HadoopCSVJDBC(PostgreSQL,MySQL,Oracle)NetezzaVerticaVoltDB建立了一一個(gè)基于于事務(wù)的的,可持持久化的的導(dǎo)出框框架在VoltDB完成高質(zhì)質(zhì)量、實(shí)實(shí)時(shí)分析析、實(shí)時(shí)時(shí)響應(yīng),,并把結(jié)結(jié)果數(shù)據(jù)據(jù)通過(guò)VoltDBExport導(dǎo)出到OLAPVoltDB管理和監(jiān)監(jiān)控Nagios腳本LogstoLog4jJMXVoltDB企業(yè)管理理器每一個(gè)節(jié)節(jié)點(diǎn)都有有一個(gè)內(nèi)內(nèi)置網(wǎng)絡(luò)絡(luò)服務(wù)器器特殊的系系統(tǒng)程序序VoltDB的一個(gè)典典型架構(gòu)構(gòu)ERPCRMHROrdersCartRecom-mendationUserMgt.ClickStreamInvPersonal-izationDatawarehouseHadoopTraditionalOLTPVelocityOLTPloginssensorsimpressionsordersauthorizationsclickstradesInteractiveReal-timeAnalyticsHistoricalAnalyticsExploratory

AnalyticsAnalyticresultsenrichdecisionmaking使用方案案中會(huì)包包含VoltDB的目標(biāo)客客戶理想的銷銷售機(jī)會(huì)會(huì)IdealProspectCharacteristics初期采用用者高速率-增長(zhǎng)中的的交易處處理率尋求競(jìng)爭(zhēng)爭(zhēng)差異事務(wù)處理理–需要做出出決策創(chuàng)建新的的apps數(shù)據(jù)吞吐吐量用盡盡水平分區(qū)區(qū)Sharding––目前使用用手工操操作其次尋求削減減成本-準(zhǔn)備使用用云端ACID–不能做到到最終一一致性就就無(wú)法生生存次要銷售售機(jī)會(huì)對(duì)風(fēng)險(xiǎn)抱抱保守的的態(tài)度使用傳統(tǒng)統(tǒng)數(shù)據(jù)庫(kù)庫(kù)可以解解決問(wèn)題題很少使用用到高速速?zèng)Q策非結(jié)構(gòu)化化數(shù)據(jù)、、文件數(shù)數(shù)據(jù)庫(kù)復(fù)雜的查查詢和分分析特別巨大大的數(shù)據(jù)據(jù)J2EE,HibernateWindows/Unix/COBOLarchitecturebias吸引用戶戶使用VoltDB的原因((條件))公司的戰(zhàn)戰(zhàn)略同大大數(shù)據(jù)相相關(guān)新的應(yīng)用用部署,,而不是是在現(xiàn)有有應(yīng)用上上轉(zhuǎn)換數(shù)數(shù)據(jù)庫(kù)額外的數(shù)數(shù)據(jù)來(lái)源源于在線線數(shù)據(jù)為了獲取性能能、分區(qū)等使使用費(fèi)自然的的技術(shù)手段面臨來(lái)自于創(chuàng)創(chuàng)新的競(jìng)爭(zhēng)壓壓力Oracle不能滿足性能能的需求、授授權(quán)或者對(duì)于于降低硬件成成本的需求公司需要圍繞繞特定技術(shù)尋尋求發(fā)展實(shí)時(shí)數(shù)據(jù)分析析基于內(nèi)存的數(shù)數(shù)據(jù)庫(kù)Datameer-從桌面到服務(wù)務(wù)器可視化大數(shù)據(jù)據(jù)分析平臺(tái)Datameer–可視化大數(shù)據(jù)據(jù)分析平臺(tái)Datameer開(kāi)放式結(jié)構(gòu)Datameer可視化操作、、分析與展示示界面28.io海量數(shù)據(jù)的綜綜合信息查詢?cè)兎治銎脚_(tái)現(xiàn)代公司的信信息量往往大大爆炸種類容量速率企業(yè)數(shù)據(jù)被儲(chǔ)儲(chǔ)存在孤立的的數(shù)據(jù)倉(cāng)庫(kù)中28io––海量數(shù)據(jù)的綜合信息查詢?cè)兎治銎脚_(tái)解決方案可視化了的查查詢的查詢及及處理圖層結(jié)構(gòu)化數(shù)據(jù)/半結(jié)構(gòu)化數(shù)據(jù)據(jù)/非結(jié)構(gòu)化數(shù)據(jù)據(jù)JSONiq查詢語(yǔ)言:非關(guān)聯(lián)數(shù)據(jù)庫(kù)庫(kù)的結(jié)構(gòu)化查查詢語(yǔ)言自動(dòng)并行運(yùn)算算RESTAPI實(shí)時(shí)NoSQL(MongoDB,CouchDB,...)SQLthroughJDBCFileStores(S3,GlusterFS,……)JSON,XMLRelationalText,Pdf,HTM..Otherdatastores...其它數(shù)據(jù)格式式商業(yè)應(yīng)用WebServices(Salesforce,Zendesk,…)JSON,XML連接與查詢分分析28.ioUnifiedInformationAccessPlatformContentsourcesstoringdocuments,emails,books,articles,webpages,etc.RelationalDatabaseFilesystemThird-PartyContentFeeds(XML,HTML,ZIP,etc.)NoSQLDatabaseQueryacrossdisparatecontentrepositoriesEditors,ContentCuratorsSearch,reuse,repurposecontentWebSites,Portals,WebAppsMobileAppsDynamicallyrenderanddelivercontentinmultipleformats……CustomContentFeedsSeparateTask-SpecificRepository(e.g.,MongoDB)Optionallyimportcontentintoatask-specificrepositoryContentdestinationsCuratedcontent,Masterindices,Markup/structureforrepurposing,Migratedcontentfromretiredsources查詢語(yǔ)言JSONiqHadoop同28.io架構(gòu)對(duì)比S3ETLHDFSMapReduce結(jié)果S328.io結(jié)果Hadoop28.io運(yùn)行45分鐘35秒幾個(gè)小時(shí)數(shù)據(jù)科學(xué)家費(fèi)費(fèi)時(shí)2小時(shí)開(kāi)發(fā)MapreduceCode商業(yè)用戶費(fèi)時(shí)時(shí)20分鐘建立JSONiq查詢讓W(xué)eb數(shù)據(jù)成為你的的數(shù)據(jù)庫(kù)ConnotateConnotate–智能化的Web數(shù)據(jù)抽取工工具WebAgent(數(shù)據(jù)抽取取的工具))可自動(dòng)自自主的運(yùn)行行。根據(jù)您的要要求輸出結(jié)結(jié)構(gòu)化數(shù)據(jù)據(jù)集(通常常是CSV格式或則是是XML格式)Connotate使網(wǎng)絡(luò)數(shù)據(jù)據(jù)變成了您您

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論