流式計算應(yīng)用1

計算應(yīng)用學(xué)習(xí)流式01流式數(shù)據(jù)定義02流式計算概述目錄流式數(shù)據(jù)定義1流式數(shù)據(jù)定義

大數(shù)據(jù)環(huán)境下，流式數(shù)據(jù)作為一種新型的數(shù)據(jù)類型，是實時數(shù)據(jù)處理所面向的數(shù)據(jù)類型，其相關(guān)研究發(fā)展迅速。這種實時的流式數(shù)據(jù)，存在如下幾個特征：1.實時、高速：數(shù)據(jù)能以高并發(fā)的方式迅速到達，業(yè)務(wù)計算要求快速連續(xù)相應(yīng)。數(shù)據(jù)處理的速度至少能夠匹配數(shù)據(jù)到達的速度。2.無邊界：數(shù)據(jù)到達、處理和向后傳遞均是持續(xù)不斷的。3.瞬時性和有限持久性：通常情況下，原始數(shù)據(jù)在單遍掃描，處理后丟棄，并不進行保存；只有計算結(jié)果和部分中間數(shù)據(jù)在有限時間內(nèi)被保存和向后傳遞。4.價值的時間偏倚性：隨著時間的流逝，數(shù)據(jù)中所蘊含的知識價值往往也在衰減，也即流中數(shù)據(jù)項的重要程度是不同的，最近到達的數(shù)據(jù)往往比早先到達的數(shù)據(jù)更有價值。流式計算概述2流式計算概述在傳統(tǒng)的數(shù)據(jù)處理流程中，總是先收集數(shù)據(jù)，然后將數(shù)據(jù)放到數(shù)據(jù)庫中。當(dāng)人們需要的時候通過數(shù)據(jù)庫對數(shù)據(jù)做查詢，得到答案或進行相關(guān)的處理。這樣看起來雖然非常合理，但是結(jié)果卻非常的緊湊，尤其是在一些實時搜索應(yīng)用環(huán)境中的某些具體問題，類似于MapReduce方式的離線處理并不能很好地解決問題。這就引出了一種新的數(shù)據(jù)計算結(jié)構(gòu)---流計算方式。它可以很好地對大規(guī)模流動數(shù)據(jù)在不斷變化的運動過程中實時地進行分析，捕捉到可能有用的信息，并把結(jié)果發(fā)送到下一計算節(jié)點。具體介紹流式實時計算。流式實時計算概述流式實時計算概述實時數(shù)據(jù)處理也稱實時計算或反應(yīng)計算。相應(yīng)地，針對流式數(shù)據(jù)的實時處理，稱為流式數(shù)據(jù)處理或流式計算。由定義可知，流式數(shù)據(jù)具有無邊界的特征，也即理論上是無窮的數(shù)據(jù)項序列。而流式實時計算只能使用有限的內(nèi)存資源，所以數(shù)據(jù)流的算法一定是某種程度對流的摘要化處理。摘要數(shù)據(jù)結(jié)構(gòu)和窗口都是最常用的摘要化技術(shù)。摘要數(shù)據(jù)結(jié)構(gòu)是任何比本身基礎(chǔ)數(shù)據(jù)集小得多的數(shù)據(jù)結(jié)構(gòu)：

1.可以駐留內(nèi)存，使得查詢及時響應(yīng)而避免訪問磁盤

2.遠程傳輸?shù)拇鷥r小

3.對系統(tǒng)整體的空間開銷影響小

4.當(dāng)訪問基礎(chǔ)數(shù)據(jù)集的開銷過大時，可以作為基礎(chǔ)數(shù)據(jù)集的小規(guī)模代理被處理流式計算概述窗口技術(shù)是數(shù)據(jù)流研究中另一種常用的技術(shù)。由于數(shù)據(jù)流存在實時性的需求，流中最近到達的數(shù)據(jù)比很久之前到達的數(shù)據(jù)對計算來說更有意義。如何描述流中數(shù)據(jù)的“最近”，是窗口模型的意義所在。數(shù)據(jù)流的窗口是描述數(shù)據(jù)流的最近子集組合的方法。通過設(shè)置的窗口邊界，使得流中部分?jǐn)?shù)據(jù)項位于窗口內(nèi)，而在窗口之外數(shù)據(jù)則不被處理計算考慮。窗口長度指窗口的時間跨度，窗口大小指窗口中數(shù)據(jù)項的數(shù)量。數(shù)據(jù)流處理技術(shù)可以為實時性要求高的應(yīng)用提供支撐，實現(xiàn)業(yè)務(wù)上的例行數(shù)據(jù)分析和異常監(jiān)控預(yù)警等。與傳統(tǒng)的數(shù)據(jù)處理技術(shù)相比，流式數(shù)據(jù)的實時計算存在以下幾個方面的特點：