流式計(jì)算框架分享ppt課件

1、流式計(jì)算框架分享,PART TWO 主流流式計(jì)算框架,PART ONE 流式計(jì)算定義和特點(diǎn),PART FOUR Spark Streaming和Storm介紹,PART THREE 流式計(jì)算框架技術(shù)路線,內(nèi)容 簡介,1,PART ONE,流式計(jì)算定義和特點(diǎn),流式計(jì)算是針對(duì)連續(xù)不斷，且無法控制數(shù)據(jù)流速的計(jì)算場(chǎng)景設(shè)計(jì)出的計(jì)算模型，常見的場(chǎng)景有搜索引擎、在線廣告等,數(shù)據(jù)不止，計(jì)算不停 無穩(wěn)態(tài)數(shù)據(jù)，計(jì)算隨數(shù)據(jù)變化 不可控，計(jì)算速度隨數(shù)據(jù)速度變化,定義,特點(diǎn),2,PART ONE,主流流式計(jì)算框架,數(shù)據(jù)傳輸層 Flume：Cloudera開源項(xiàng)目 數(shù)據(jù)計(jì)算層 Spark Streaming：Apache

2、 Spark子項(xiàng)目 Storm：Apache頂級(jí)項(xiàng)目 S4：Yahoo原型產(chǎn)品，未發(fā)布 Elastic Search：Apche頂級(jí)項(xiàng)目，最流行的搜索引擎 數(shù)據(jù)應(yīng)用層 Splunk：商業(yè)軟件，機(jī)器日志分析引擎 Druid：大數(shù)據(jù)實(shí)時(shí)查詢和分析的高容錯(cuò)、高性能開源分布式系統(tǒng),主流流式計(jì)算框架,3,PART ONE,流式計(jì)算模型技術(shù)路線,技術(shù)路線,4,PART ONE,Spark Streaming和Storm,計(jì)算模型：D-Stream模型 優(yōu)勢(shì)： 編程原語豐富，編程簡單 框架封裝層級(jí)較高，封裝性好 可以共用批處理處理邏輯，兼容性好 基于Spark，可以無縫內(nèi)嵌Spark其他子項(xiàng)目，如Spark

3、 Sql，Mlib等 劣勢(shì)： 調(diào)度耗時(shí)較大，不適合做實(shí)時(shí)性要求很高的需求 穩(wěn)定性相對(duì)較差 機(jī)器性能消耗較大,計(jì)算模型：Actors模型 優(yōu)勢(shì)： 框架簡單，學(xué)習(xí)成本低 實(shí)時(shí)性很好，可以提供毫秒級(jí)延遲 穩(wěn)定性很好，框架比較成熟 劣勢(shì)： 編程成本較高 框架處理邏輯和批處理完全不一樣，無法公用代碼 框架Debug較為復(fù)雜,應(yīng)用場(chǎng)景： 日志處理 社交網(wǎng)站消息更新 推薦系統(tǒng) 運(yùn)維報(bào)警 配套框架： HBase HDFS Redis 關(guān)系型數(shù)據(jù)庫 Kafka,應(yīng)用場(chǎng)景： 金融反欺詐，反洗錢 在線廣告投放 配套框架： HBase Redis 關(guān)系型數(shù)據(jù)庫 Kafka,PPT模板： PPT素材： PPT背景： PPT圖表： PPT下載： PPT教程： 資料下載： 范文下載： 試卷下載： 教案下載： PPT論壇： PPT課件： 語文課件： 數(shù)學(xué)課件：