EMQ-面向物聯(lián)網(wǎng)的數(shù)據(jù)基礎(chǔ)設(shè)施白皮書

2前言 3物聯(lián)網(wǎng)時代數(shù)字化轉(zhuǎn)型的技術(shù)趨勢 4云計算從云轉(zhuǎn)型到云原生 4從云計算到邊緣計算 5物聯(lián)網(wǎng)時代數(shù)據(jù)處理和分析的范式轉(zhuǎn)變 6生產(chǎn)主體：從人類行為到物理狀態(tài)感知與記錄 6產(chǎn)生方式：從有波峰波谷到穩(wěn)定持續(xù)產(chǎn)生 7數(shù)據(jù)類型：從交易事務(wù)型表數(shù)據(jù)到實時分析型流數(shù)據(jù) 7數(shù)據(jù)體量：從TB時代到PB/EB時代 7處理方式：從批處理到實時流式計算 7架構(gòu)模型：從SchemaonWrite到SchemaonRead 8從云原生到面向物聯(lián)網(wǎng)的架構(gòu)設(shè)計 9面向物聯(lián)網(wǎng)（IoT-Oriented）架構(gòu)設(shè)計原則 9面向物聯(lián)網(wǎng)（IoT-Oriented）架構(gòu)的功能特點 面向物聯(lián)網(wǎng)架構(gòu)的數(shù)據(jù)基礎(chǔ)設(shè)施 架構(gòu)范式 連接–彈性可靠多協(xié)議，連接海量物聯(lián)網(wǎng)設(shè)備 移動–實時消息引擎，雙向數(shù)據(jù)移動與分發(fā) 存儲–低延時、動態(tài)擴展的云原生流數(shù)據(jù)存儲 處理–云邊協(xié)同的多級數(shù)據(jù)一站式實時處理 分析–實時數(shù)據(jù)分析與業(yè)務(wù)洞察，即刻決策 DataInfrastructureforIoT架構(gòu)范式下的產(chǎn)品組合 EMQX-云原生分布式MQTT消息服務(wù)器 HStreamDB-云原生分布式實時流處理數(shù)據(jù)庫 NanoMQ-超輕量邊緣MQTT消息服務(wù)器 Neuron-物聯(lián)網(wǎng)邊緣工業(yè)協(xié)議網(wǎng)關(guān)軟件 eKuiper-輕量邊緣流式處理引擎 結(jié)語 3前言現(xiàn)在，是時候思考物聯(lián)網(wǎng)時代的企業(yè)關(guān)鍵業(yè)務(wù)挑戰(zhàn)與機遇。在過去的近十年中，EMQ一直圍繞物聯(lián)網(wǎng)的「連接」與「數(shù)據(jù)」開發(fā)開源基礎(chǔ)設(shè)施軟件。如今，EMQX中間件已解決了「海量連接」的挑戰(zhàn)，HStreamDB流數(shù)據(jù)庫則正試圖解決海量物聯(lián)網(wǎng)數(shù)據(jù)的存儲、處理與實時分析。在多年為企業(yè)交付物聯(lián)網(wǎng)基礎(chǔ)軟件過程中，我們發(fā)現(xiàn)企業(yè)大多以場景優(yōu)先的方式構(gòu)建單一物聯(lián)網(wǎng)應(yīng)用。EMQ始終認為，物聯(lián)網(wǎng)場景與應(yīng)用的核心邏輯是以「數(shù)據(jù)」為中心，從數(shù)據(jù)獲取到業(yè)務(wù)洞察，從而創(chuàng)造價值。特別是中大型企業(yè)，更應(yīng)以「數(shù)據(jù)」為中心，從「數(shù)據(jù)」出發(fā)思考物聯(lián)網(wǎng)業(yè)務(wù)，在融合物聯(lián)網(wǎng)數(shù)據(jù)與傳統(tǒng)的企業(yè)經(jīng)營數(shù)據(jù)基礎(chǔ)上，靈活構(gòu)建多樣化的創(chuàng)新型業(yè)務(wù)，以實現(xiàn)企業(yè)的數(shù)字化、實時化、智能化轉(zhuǎn)型。在本白皮書中，EMQ正式提出「面向物聯(lián)網(wǎng)的數(shù)據(jù)基礎(chǔ)設(shè)施」架構(gòu)范式，與產(chǎn)業(yè)一起迎接物聯(lián)網(wǎng)時代企業(yè)的關(guān)鍵業(yè)務(wù)挑戰(zhàn)，實現(xiàn)企業(yè)業(yè)務(wù)創(chuàng)新與價值創(chuàng)造。4物聯(lián)網(wǎng)時代數(shù)字化轉(zhuǎn)型的技術(shù)趨勢隨著物聯(lián)網(wǎng)技術(shù)的逐步成熟，海量設(shè)備產(chǎn)生的數(shù)據(jù)為企業(yè)數(shù)字化提供了更加豐富的數(shù)據(jù)基礎(chǔ)。如何將海量數(shù)據(jù)與企業(yè)生產(chǎn)管理系統(tǒng)、業(yè)務(wù)應(yīng)用系統(tǒng)以及運維監(jiān)控系統(tǒng)有機結(jié)合，是企業(yè)在未來實現(xiàn)差異化競爭與業(yè)務(wù)創(chuàng)新的關(guān)鍵。在以物聯(lián)網(wǎng)數(shù)據(jù)為基礎(chǔ)的數(shù)字化轉(zhuǎn)型過程中，云原生、分布式云等新技術(shù)成為催化劑，并呈現(xiàn)以下新的趨勢：云的本質(zhì)定義：云計算是一種模型模型主體如下：大量計算機構(gòu)成的資源池；動態(tài)伸縮的廉價計算服務(wù)理念：使用比擁有更重要云轉(zhuǎn)型在數(shù)字化轉(zhuǎn)型過程中，云計算可以為企業(yè)降低成本、提升效益，為企業(yè)業(yè)務(wù)創(chuàng)新以及AI等新興技術(shù)的應(yīng)用創(chuàng)新提供有力支撐，還能通過虛擬化技術(shù)降低其對硬件設(shè)備的要求，提升基礎(chǔ)設(shè)施的自主可控水平。云轉(zhuǎn)型強調(diào)資源優(yōu)化，即數(shù)據(jù)與應(yīng)用上云，充分享受云的虛擬化帶來的資源集約優(yōu)勢。云原生如果說企業(yè)上云是將云計算當作工具，開始利用云獲取價值，那么云原生時代的來臨，則意味著云的理念開始深入企業(yè)業(yè)務(wù)的核心邏輯，真正成為企業(yè)賴以提升效率的必需途徑。云原生強調(diào)效能提升，即基于云模型重新設(shè)計基礎(chǔ)設(shè)施軟件架構(gòu)以及應(yīng)用開發(fā)模式，從而革命性地提高數(shù)字化效能，真正享受云計算紅利。其具有極致彈性、服務(wù)自治、故障自愈、規(guī)模復(fù)制等特點。由于過去所依賴的基礎(chǔ)架構(gòu)軟件的系統(tǒng)設(shè)計的邊界被打破，可以在全新的Tradeoff下完成設(shè)計，因而誕生了從軟件產(chǎn)品到開發(fā)方式的一系列變革。如Docker與Kubernetes、DevOps理念等。5邊緣計算的出現(xiàn)傳統(tǒng)的云計算模型將所有數(shù)據(jù)通過網(wǎng)絡(luò)上傳至云計算數(shù)據(jù)中心，利用云計算中心的超強算力來集中解決應(yīng)用的計算需求。然而，在萬物互聯(lián)時代，云計算的集中處理模式有三方面的不足：.實時性需求與網(wǎng)絡(luò)覆蓋：隨著邊緣設(shè)備數(shù)量增加，設(shè)備產(chǎn)生的數(shù)據(jù)量持續(xù)激增，導(dǎo)致網(wǎng)絡(luò)帶寬和延遲逐漸成為云計算的瓶頸。保證全場景網(wǎng)絡(luò)覆蓋的高昂成本也迫使企業(yè)下放一部分計算到邊緣。.數(shù)據(jù)安全與隱私：隨著數(shù)據(jù)采集設(shè)備的普及，直接將采集的數(shù)據(jù)上傳至云計算中心會增加泄露用戶隱私數(shù)據(jù)或企業(yè)核心數(shù)據(jù)資產(chǎn)的風險。大量搜集客戶群體畫像信息上云也帶來個人隱私泄露問題，與隱私相關(guān)的數(shù)據(jù)將更多在邊緣分析。.能耗較大：隨著云服務(wù)器運行的應(yīng)用程序越來越多，未來大規(guī)模數(shù)據(jù)中心對能耗的需求將難以滿足。提高能耗使用效率本身并不解決根本問題，萬物互聯(lián)時代問題更加突出。邊緣計算模型中，邊緣設(shè)備具有執(zhí)行計算和數(shù)據(jù)分析的處理能力，將原有云計算模型執(zhí)行的部分或全部計算任務(wù)遷移到網(wǎng)絡(luò)邊緣設(shè)備上，降低云服務(wù)器的計算負載，減緩網(wǎng)絡(luò)帶寬的壓力，提高萬物互聯(lián)時代的數(shù)據(jù)處理效率。邊緣計算的挑戰(zhàn)邊緣計算解決了諸多云計算集中化處理帶來的問題，但也同時衍生了新的挑戰(zhàn)：.云邊協(xié)同難：邊緣計算在延遲和可靠性等方面的優(yōu)勢明顯，但當企業(yè)試圖全局管控所有邊緣節(jié)點時，云所擅長的地方邊緣計算大多無法滿足，且兩者協(xié)同工作的運維復(fù)雜度指數(shù)級增加。.邊緣設(shè)備互操作難：過去的云上業(yè)務(wù)可通過微服務(wù)化或者服務(wù)網(wǎng)格實現(xiàn)業(yè)務(wù)間或者API間的互操作，但IoT產(chǎn)業(yè)數(shù)據(jù)基礎(chǔ)設(shè)施大多數(shù)是縱向數(shù)據(jù)而非橫向數(shù)據(jù)連接，邊緣設(shè)備之間的互操作困難重重，極大的制約了邊緣計算的應(yīng)用開發(fā)潛力。6物聯(lián)網(wǎng)時代數(shù)據(jù)處理和分析的范式轉(zhuǎn)變互聯(lián)網(wǎng)時代，數(shù)據(jù)產(chǎn)生的源頭是人類基于PC機操作的行為和觸發(fā)的事件等相關(guān)的記錄，該類數(shù)據(jù)范式與交易型數(shù)據(jù)非常類似。移動互聯(lián)網(wǎng)時代，由于人類開始使用手機，使用時長相比PC機時代大幅增加，數(shù)據(jù)源自基于手機的操作行為和觸發(fā)的事件等相關(guān)的記錄；不僅如此，在手機上的多個傳感器開始源源不斷的產(chǎn)生時序數(shù)據(jù)，催生消費物聯(lián)網(wǎng)的第一批應(yīng)用。隨著企業(yè)數(shù)字化轉(zhuǎn)型與數(shù)據(jù)驅(qū)動轉(zhuǎn)型的深化，越來越多的企業(yè)開始基于可連接傳感器設(shè)備實現(xiàn)企業(yè)全生命周期的數(shù)據(jù)化，產(chǎn)業(yè)物聯(lián)網(wǎng)正式崛起。當數(shù)據(jù)生產(chǎn)主體從人類轉(zhuǎn)移到機器時，數(shù)據(jù)基礎(chǔ)設(shè)施的技術(shù)架構(gòu)思路也會發(fā)生相應(yīng)變化。主要變化如下：.從行存儲到列存儲到行列混排與向量化計算；.從應(yīng)對中低頻間斷產(chǎn)生型數(shù)據(jù)到應(yīng)對高頻持續(xù)產(chǎn)生型數(shù)據(jù)；.從SchemaonWrite到規(guī)則引擎到復(fù)雜函數(shù)式流計算。7移動互聯(lián)網(wǎng)時代的IT基礎(chǔ)架構(gòu)很大一部分努力是為了應(yīng)對短時間的波峰，因此誕生了一系列分布式系統(tǒng)和中間件，強調(diào)架構(gòu)的高彈性和服務(wù)自治，強調(diào)彈性。物聯(lián)網(wǎng)時代的數(shù)據(jù)絕大多數(shù)情況下不會出現(xiàn)波峰波谷，更常見的情況是以穩(wěn)定速率持續(xù)不斷的產(chǎn)生新數(shù)據(jù)，對架構(gòu)的要求與移動互聯(lián)網(wǎng)時代完全不同。過去的數(shù)據(jù)本質(zhì)上記錄的是事件，一個事件有時間、地點、人物、屬性、ID、等等，也就是事務(wù)型數(shù)據(jù)，以事務(wù)負載和聚合分析型負載為主。事務(wù)型負載強調(diào)事務(wù)支持和一致性，而聚合分析型負載的計算模型主要是批處理或向量化計算。物聯(lián)網(wǎng)的數(shù)據(jù)本質(zhì)上是對真實世界每時每刻狀態(tài)的記錄，由于時間并不會停止，因此物聯(lián)網(wǎng)時代的數(shù)據(jù)也是持續(xù)不斷地產(chǎn)生，針對每一個特定的可變狀態(tài)，都是一系列的不同時間點和地理位置坐標下的具體值。因此，物聯(lián)網(wǎng)時代的數(shù)據(jù)應(yīng)用場景以時序型事務(wù)、時序型分析和實時數(shù)據(jù)服務(wù)為主。時序型事務(wù)強調(diào)最終一致性，時序型分析強調(diào)預(yù)測能力，實時數(shù)據(jù)服務(wù)強調(diào)流計算。當占據(jù)全球數(shù)據(jù)圈的主導(dǎo)力量變?yōu)閷崟r流數(shù)據(jù)時，首先是數(shù)據(jù)體量會上升幾個數(shù)量級，隨之而來的是數(shù)據(jù)處理方式也會相應(yīng)發(fā)生變化，并且，實時數(shù)據(jù)產(chǎn)生的是穩(wěn)定的數(shù)據(jù)流。數(shù)據(jù)體量：從TB時代到PB/EB時代移動互聯(lián)網(wǎng)時代產(chǎn)生數(shù)據(jù)的本質(zhì)源頭是人類，過去20年內(nèi)，全球人口從63億增加到76億，增加了20%。在移動互聯(lián)網(wǎng)時代，絕大多數(shù)IT基礎(chǔ)架構(gòu)處理的數(shù)據(jù)規(guī)模是TB級。物聯(lián)網(wǎng)時代產(chǎn)生數(shù)據(jù)的本質(zhì)源頭是可連接設(shè)備，過去20年內(nèi)，可連接設(shè)備數(shù)從5000萬增加到500億，增加了100倍。物聯(lián)網(wǎng)時代，絕大多數(shù)基礎(chǔ)架構(gòu)面臨的是PB甚至EB級數(shù)據(jù)。過去20年來，數(shù)據(jù)處理一直在Hadoop生態(tài)圈的引領(lǐng)下強調(diào)處理數(shù)據(jù)的體量，而數(shù)據(jù)處理的方式主要是批處理。隨著以Flink、MaterializedDB、ksqlDB、HStreamDB為首的面向流式計算的新一代數(shù)據(jù)基礎(chǔ)設(shè)施陸續(xù)發(fā)布和使用，流式計算正逐漸成為數(shù)據(jù)基礎(chǔ)設(shè)施中的主導(dǎo)計算范式。8過去的大數(shù)據(jù)軟件架構(gòu)通常是預(yù)先定義好數(shù)據(jù)存儲結(jié)構(gòu)，如關(guān)系模型，然后從數(shù)據(jù)源頭經(jīng)過ETL最終到達數(shù)據(jù)庫或者數(shù)據(jù)倉庫，當數(shù)據(jù)需要讀取時便可以直接使用SQL對整理好的數(shù)據(jù)進行查詢。但這帶來一些新的問題：.當數(shù)據(jù)寫入速度非?？斓臅r候，ETL.由于ETL的過程可能會丟失原始數(shù)據(jù)，當數(shù)據(jù)模型變化時，之前的數(shù)據(jù)可能丟失；.當數(shù)據(jù)模型經(jīng)常性臨時發(fā)生變化時，如多個應(yīng)用對相同的數(shù)據(jù)源進行操作，會有三個ETL過程，此時數(shù)據(jù)會拷貝3次；過去很長一段時間，SchemaonWrite與SchemaonRead只是一對場景上的互補選擇。隨著物聯(lián)網(wǎng)時代的來臨，數(shù)據(jù)生產(chǎn)端與數(shù)據(jù)消費端都發(fā)生了范式變化，在大數(shù)據(jù)軟件的架構(gòu)設(shè)計中，SchemaonRead逐漸展露優(yōu)勢：.物聯(lián)網(wǎng)時代數(shù)據(jù)的寫入是海量、高并發(fā)且持續(xù)的，很多時候根本來不及先算Schema再寫入磁盤。SchemaonRead模式可以有效保證數(shù)據(jù)高并發(fā)、穩(wěn)定可靠地寫入磁盤；.物聯(lián)網(wǎng)時代軟件應(yīng)用生態(tài)正在快速爆發(fā)，數(shù)據(jù)的使用是一個快速迭代與變化的過程，進而導(dǎo)致Schema長期不穩(wěn)定。如果先算Schema，當應(yīng)用側(cè)發(fā)生變化需要改變Schema時就會非常棘手。SchemaonRead則可以保證Schema的靈活增刪改，符合物聯(lián)網(wǎng)時代的需求；.物聯(lián)網(wǎng)時代數(shù)據(jù)分析要求時效性，但基于以上兩個問題，帶來了一個矛盾：如何在SchemaonRead的模式下保證數(shù)據(jù)分析的時效性？隨著Materialize等流數(shù)據(jù)庫的崛起，大數(shù)據(jù)產(chǎn)業(yè)鏈正在嘗試用新技術(shù)來解決海量數(shù)據(jù)的實時分析問題，而物聯(lián)網(wǎng)數(shù)據(jù)將是最大的主戰(zhàn)場。一旦流數(shù)據(jù)庫徹底解決了SchemaonRead的分析時效性問題，那么絕大部分物聯(lián)網(wǎng)場景都將是SchemaonRead模式。9從云原生到面向物聯(lián)網(wǎng)的架構(gòu)設(shè)計數(shù)據(jù)的產(chǎn)生與處理已然來到一個新的時代。隨著云計算、邊緣計算與物聯(lián)網(wǎng)技術(shù)愈發(fā)成熟，EMQ認為數(shù)據(jù)基礎(chǔ)設(shè)施正在從云原生（Cloud-Native）向面向物聯(lián)網(wǎng)（IoT-Oriented）架構(gòu)演進?；诖?，我們總結(jié)了面向物聯(lián)網(wǎng)（IoT-Oriented）架構(gòu)的設(shè)計原則和功能特點。移動計算優(yōu)先隨著計算芯片持續(xù)分化出面向各種計算負載特征的專用協(xié)處理器，如GPU、DPU等，到蘋果公司最新設(shè)計的M1芯片的UnifiedMemory，以及大數(shù)據(jù)產(chǎn)業(yè)鏈的SchemaonWrite到SchemaonRead、ETL到ELT。其中都蘊含了相同的架構(gòu)設(shè)計思想：減少數(shù)據(jù)搬移，減少數(shù)據(jù)拷貝，優(yōu)先移動計算而非移動數(shù)據(jù)。在物聯(lián)網(wǎng)場景中，移動計算優(yōu)先設(shè)計原則的優(yōu)勢體現(xiàn)在：.在數(shù)據(jù)量持續(xù)快速攀升、計算負載相應(yīng)指數(shù)級增長的情況下，通過移動計算可以分散計算負載，提高整體計算能力；.物聯(lián)網(wǎng)時代強調(diào)決策的實時性。通過移動計算提高決策的效率，可降低端到端系統(tǒng)時延；.端到端高可用的需求日益增長，通過分布式架構(gòu)將計算移動到數(shù)據(jù)本地節(jié)點中，避免集中計算的單點故障，同時降低了數(shù)據(jù)傳輸與數(shù)據(jù)復(fù)制對整體系統(tǒng)的壓力，實現(xiàn)整體系統(tǒng)的高可用；數(shù)據(jù)流可重用數(shù)據(jù)在信息層面的復(fù)制成本極低，但數(shù)據(jù)在搬移和存儲層面的成本隨著數(shù)據(jù)量越來越大，變得愈發(fā)顯著。新一代數(shù)據(jù)基礎(chǔ)設(shè)施的重要原則已經(jīng)是：盡可能減少數(shù)據(jù)搬移、拷貝和重復(fù)計算。因此，在全球范圍內(nèi)的新一代數(shù)據(jù)基礎(chǔ)設(shè)施的設(shè)計哲學(xué)中已經(jīng)開始看到：數(shù)據(jù)可重用。EMQ則結(jié)合物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展現(xiàn)狀及未來趨勢，進一步發(fā)展出數(shù)據(jù)流可重用的原則：.DataFlowasaServ.OneDataSource,MultipleUserCases（多用戶多場景共享一個數(shù)據(jù)源）.MaterializedDataStreamingasaAPI（物化數(shù)據(jù)流作為應(yīng)用交互接口）全場景可適配隨著協(xié)處理器與專用計算芯片的寒武紀大爆發(fā)，異構(gòu)計算環(huán)境成為軟件設(shè)計中不可缺少的考慮因素之一。此外，由于歷史原因，物聯(lián)網(wǎng)產(chǎn)業(yè)中各個企業(yè)中的操作系統(tǒng)、服務(wù)器硬件設(shè)備、傳輸用網(wǎng)絡(luò)協(xié)議、工業(yè)通信協(xié)議、存儲目標和存儲設(shè)備等均有很大差異。EMQ基于全球上萬家開源用戶的反饋，提出全場景可適配原則：.云邊端各式處理器各種操作系統(tǒng)均可部署、可協(xié)同，異構(gòu)設(shè)備統(tǒng)一接入；.持久化數(shù)據(jù)可適配各類存儲介質(zhì)包括新一代的NVMe等。分布式云原生隨著全行業(yè)對低時延的要求越來越高，企業(yè)從快速上云到開始重新思考云邊協(xié)同，再到試圖用統(tǒng)一的模型來同時管理云和邊，已經(jīng)經(jīng)歷了三次對如何發(fā)揮云計算模型價值的嘗試。但業(yè)界大多只是知道分布式云的概念，對真正分布式云的開發(fā)理念的探索較少。EMQ基于產(chǎn)業(yè)發(fā)展趨勢，定義了分布式云原生的軟件開發(fā)理念與設(shè)計哲學(xué)：.去中心化的分布式系統(tǒng)，Peer-to-Peer的網(wǎng)絡(luò)拓撲；.用戶的感知應(yīng)當是更快更穩(wěn)定的云計算，分布式調(diào)度復(fù)雜度藏于基礎(chǔ)軟件中；.各類軟件的計算負載、通信負載、存儲負載均可在分布式云中自由調(diào)度。持續(xù)穩(wěn)定的海量超高并發(fā)連接傳統(tǒng)IT系統(tǒng)與移動互聯(lián)網(wǎng)主要由系統(tǒng)與系統(tǒng)，系統(tǒng)與移動終端產(chǎn)生數(shù)據(jù)連接，萬級以上并發(fā)連接系統(tǒng)比較少。面向傳統(tǒng)IT和互聯(lián)網(wǎng)場景設(shè)計的基礎(chǔ)架構(gòu)軟件在適應(yīng)大并發(fā)連接系統(tǒng)的建設(shè)與維護成本非常高。物聯(lián)網(wǎng)場景下數(shù)據(jù)源主要以智能設(shè)備、感知設(shè)備為主，終端數(shù)量遠遠大于傳統(tǒng)IT與互聯(lián)網(wǎng)場景。如智能家居、車聯(lián)網(wǎng)等場景下的平臺連接數(shù)量普遍超過十萬，大型平臺可以達到百萬級甚至千萬級水平。這就要求面向物聯(lián)網(wǎng)場景的基礎(chǔ)架構(gòu)軟件具備在相對成本較低的情況下適應(yīng)海量設(shè)備同時接入并保持穩(wěn)定連接的能力。全鏈路端到端雙向多QoS支持傳統(tǒng)IT和互聯(lián)網(wǎng)系統(tǒng)主要通過企業(yè)內(nèi)網(wǎng)、企業(yè)專網(wǎng)或?qū)拵б苿泳W(wǎng)絡(luò)連接。而物聯(lián)網(wǎng)時代為了適應(yīng)不同設(shè)備密度與連接成本，需要實現(xiàn)固網(wǎng)與移動網(wǎng)絡(luò)并存、寬帶與窄帶混合，從單一網(wǎng)絡(luò)到分布式跨地域混合網(wǎng)絡(luò)接入的演進。對于物聯(lián)網(wǎng)系統(tǒng)則需要適配各類網(wǎng)絡(luò)，實現(xiàn)端到端數(shù)據(jù)打通能力。由于接入網(wǎng)絡(luò)復(fù)雜度提高，網(wǎng)絡(luò)穩(wěn)定性下降，需要物聯(lián)網(wǎng)系統(tǒng)在傳輸層與應(yīng)用層協(xié)議中提供相關(guān)的保障。如物聯(lián)網(wǎng)長連接場景中常用的MQTT協(xié)議提供了消息質(zhì)量（QoS）的定義，包括消息最多傳遞一次、至少傳遞一次和僅傳遞一次三種級別，可以在不同業(yè)務(wù)需求與成本需求中選擇消息質(zhì)量級別。隨著業(yè)務(wù)模式的不斷豐富，物聯(lián)網(wǎng)業(yè)務(wù)從單向的設(shè)備數(shù)據(jù)采集，逐漸演化成設(shè)備與系統(tǒng)、設(shè)備與設(shè)備、設(shè)備與人的雙向交互。從ToC的智能家居場景的用戶與智能設(shè)備的互動，到產(chǎn)業(yè)互聯(lián)網(wǎng)中工業(yè)生產(chǎn)設(shè)備的數(shù)據(jù)采集與遠程控制、車路協(xié)同中的車輛駕駛系統(tǒng)與路邊感知設(shè)備的互聯(lián)互動，都需要物聯(lián)網(wǎng)基礎(chǔ)軟件有能力打通數(shù)據(jù)的雙向通道。超低延時的有狀態(tài)流式處理與分析從業(yè)務(wù)需求看：大量關(guān)鍵業(yè)務(wù)，如車路協(xié)同、工業(yè)生產(chǎn)監(jiān)控等，對數(shù)據(jù)處理與系統(tǒng)響應(yīng)的時效性要求非常高，且設(shè)備數(shù)據(jù)往往是有狀態(tài)的。從數(shù)據(jù)類型看：不同于傳統(tǒng)IT與互聯(lián)網(wǎng)系統(tǒng)中大部分數(shù)據(jù)以時間離散型的業(yè)務(wù)查詢與交易數(shù)據(jù)為主，物聯(lián)網(wǎng)數(shù)據(jù)由主要由設(shè)備產(chǎn)生，以時間連續(xù)數(shù)據(jù)流為主的數(shù)據(jù)類型占比逐漸增加。這就需要物聯(lián)網(wǎng)系統(tǒng)與軟件提供更強的流數(shù)據(jù)的處理能力。綜合以上兩點，對有狀態(tài)的流數(shù)據(jù)分析處理能力是考量物聯(lián)網(wǎng)系統(tǒng)是否能夠真正將數(shù)據(jù)轉(zhuǎn)化為價值的關(guān)鍵。數(shù)據(jù)流虛擬化與Schema級多租戶企業(yè)級物聯(lián)網(wǎng)平臺系統(tǒng)中，大量原始流數(shù)據(jù)會被不同業(yè)務(wù)系統(tǒng)實時消費與分析，為不同業(yè)務(wù)目的提供數(shù)據(jù)價值。不同業(yè)務(wù)應(yīng)用視角不同，對流數(shù)據(jù)的讀取分析方式也不同。目前大量企業(yè)采用數(shù)據(jù)復(fù)制的方式為不同業(yè)務(wù)視角提供數(shù)據(jù)模型與分析模型，造成組織內(nèi)數(shù)據(jù)激增。而且數(shù)據(jù)復(fù)制過程需要損耗大量時間，對于實時性要求高的物聯(lián)網(wǎng)場景往往無法提供有時效性的分析結(jié)果。在同時考慮原始數(shù)據(jù)重用性和時效性方面，基于數(shù)據(jù)流虛擬化以及Schema級的多租戶方案就顯得異常重要。Schema級的多租戶為不同業(yè)務(wù)視角定義流數(shù)據(jù)模型，保證了不同業(yè)務(wù)對數(shù)據(jù)需求的分離；同時采用虛擬流的方式避免了原始數(shù)據(jù)的復(fù)制，保證了業(yè)務(wù)的時效性的同時也降低了原始數(shù)據(jù)的復(fù)制存儲成本。面向物聯(lián)網(wǎng)架構(gòu)的數(shù)據(jù)基礎(chǔ)設(shè)施基于物聯(lián)網(wǎng)時代數(shù)據(jù)生產(chǎn)與數(shù)據(jù)形態(tài)的變化，以及從云原生（Cloud-Native）向面向IoT（IoT-Oriented）架構(gòu)的演進趨勢，EMQ正式提出「面向物聯(lián)網(wǎng)架構(gòu)的數(shù)據(jù)基礎(chǔ)設(shè)施」（DataInfrastructureforIoT）架構(gòu)范式。從應(yīng)用優(yōu)先到數(shù)據(jù)優(yōu)先，以數(shù)據(jù)為核心融合物聯(lián)網(wǎng)數(shù)據(jù)與傳統(tǒng)企業(yè)經(jīng)營數(shù)據(jù)，實現(xiàn)云邊端統(tǒng)一實時數(shù)據(jù)「連接、移動、存儲、處理與分析」，實現(xiàn)從數(shù)據(jù)產(chǎn)生到數(shù)據(jù)變現(xiàn)的閉環(huán)，縮短數(shù)據(jù)變現(xiàn)的周期，降低數(shù)據(jù)變現(xiàn)成本，助力企業(yè)構(gòu)建「面向未來」的物聯(lián)網(wǎng)關(guān)鍵業(yè)務(wù)應(yīng)用。連接–彈性可靠多協(xié)議，連接海量物聯(lián)網(wǎng)設(shè)備物聯(lián)網(wǎng)場景中數(shù)據(jù)生產(chǎn)者主要來自于各類設(shè)備。建立設(shè)備與設(shè)備、設(shè)備與系統(tǒng)的連接是物聯(lián)網(wǎng)數(shù)據(jù)價值實現(xiàn)的先決條件。EMQ通過一系列產(chǎn)品組合構(gòu)建的「面向物聯(lián)網(wǎng)架構(gòu)的數(shù)據(jù)基礎(chǔ)設(shè)施」提供云邊一體的一站式連接能力，將有助于打破傳統(tǒng)面向場景構(gòu)建應(yīng)用所面臨的數(shù)據(jù)孤島，實現(xiàn)面向數(shù)據(jù)構(gòu)建應(yīng)用，為挖掘數(shù)據(jù)價值提供了基礎(chǔ)保障。1.云原生物聯(lián)網(wǎng)協(xié)議大并發(fā)連接EMQ提供基于云原生架構(gòu)的彈性伸縮、安全可靠的設(shè)備接入層方案，通過在云端千萬級的物聯(lián)網(wǎng)設(shè)備并發(fā)連接能力，為海量物聯(lián)網(wǎng)設(shè)備上云提供安全穩(wěn)定的連接。2.跨行業(yè)協(xié)議云端一站式接入隨著物聯(lián)網(wǎng)技術(shù)應(yīng)用到行業(yè)中，建立行業(yè)設(shè)備與新型物聯(lián)網(wǎng)設(shè)備之間的數(shù)據(jù)連接，打通現(xiàn)有行業(yè)數(shù)據(jù)與新業(yè)務(wù)數(shù)據(jù)通道，成為了產(chǎn)業(yè)物聯(lián)網(wǎng)的發(fā)展趨勢。通過EMQ「面向物聯(lián)網(wǎng)架構(gòu)的數(shù)據(jù)基礎(chǔ)設(shè)施」，用戶可以獲得對諸如GB/T32960的行業(yè)標準協(xié)議或企業(yè)私有協(xié)議的接入能力，將連接能力擴展到各類行業(yè)設(shè)備中，實現(xiàn)新型物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)與行業(yè)設(shè)備的統(tǒng)一接入。3.深入行業(yè)末端的云邊端一體化連接隨著邊緣計算、分布式云架構(gòu)的發(fā)展，企業(yè)不僅要在云端提供強大的連接能力，同時需要能夠深入到行業(yè)終端設(shè)備，為工業(yè)與電力等行業(yè)中受限于網(wǎng)絡(luò)或連接方式無法直接上云的設(shè)備提供端到端的連接方案。EMQ可以為用戶提供設(shè)備接入的最后一站的設(shè)備觸達能力，解決傳統(tǒng)工業(yè)設(shè)備、行業(yè)設(shè)備連接問題。移動–實時消息引擎，雙向數(shù)據(jù)移動與分發(fā)在設(shè)備與系統(tǒng)連接建立之后，實時數(shù)據(jù)的雙向移動能力、移動速度以及數(shù)據(jù)的可靠性決定了系統(tǒng)對數(shù)據(jù)消費的能力，進而影響了數(shù)據(jù)能為企業(yè)產(chǎn)生的價值大小。1.云端海量數(shù)據(jù)吞吐隨著數(shù)據(jù)生產(chǎn)源變化為設(shè)備，從設(shè)備數(shù)量到數(shù)據(jù)生產(chǎn)頻率都前所未有的提高。數(shù)據(jù)吞吐量決定了物聯(lián)網(wǎng)系統(tǒng)的基礎(chǔ)能力水平。通過云端分布式高性能集群架構(gòu)，可提供每秒數(shù)百萬吞吐量的路由能力以及低時延的數(shù)據(jù)投遞能力，并且提供高吞吐的數(shù)據(jù)橋接方案對接各類業(yè)務(wù)系統(tǒng)與數(shù)據(jù)持久化系統(tǒng)，將物聯(lián)網(wǎng)數(shù)據(jù)靈活集成到Kafka、SQL、NoSQL與時序數(shù)據(jù)庫，實現(xiàn)快速的應(yīng)用集成與業(yè)務(wù)創(chuàng)新2.設(shè)備到云端穩(wěn)定可靠的雙向移動能力基于標準MQTT消息，提供多種QoS消息質(zhì)量保證。無論從設(shè)備匯聚到邊緣、從邊緣上傳到云端，亦或是控制命令從云端下發(fā)到設(shè)備，都能夠保證數(shù)據(jù)準確到達。3.云邊端數(shù)據(jù)打通與邊緣數(shù)據(jù)移動自治物聯(lián)網(wǎng)系統(tǒng)設(shè)備連接延伸到工業(yè)以及其他行業(yè)邊緣側(cè)后，既可實現(xiàn)工業(yè)和其他行業(yè)數(shù)據(jù)匯聚上云，還可以實現(xiàn)在邊緣側(cè)設(shè)備與應(yīng)用間的數(shù)據(jù)流通，形成邊緣數(shù)據(jù)自治。存儲–低延時、動態(tài)擴展的云原生流數(shù)據(jù)存儲根據(jù)第一范式變化趨勢，物聯(lián)網(wǎng)數(shù)據(jù)形式主要為實時數(shù)據(jù)流。在數(shù)據(jù)接入到云端后，高吞吐的流式數(shù)據(jù)需要有高可用、高性能且格式靈活的存儲方案提供對數(shù)據(jù)的持久化。1.云原生彈性擴展存儲采用Cloud-Native架構(gòu)，支持獨立水平擴展、集群在線擴展及動態(tài)擴展；通過優(yōu)化的存儲引擎設(shè)計通過復(fù)制數(shù)據(jù)到多個存儲節(jié)點，提供低延時、高可靠的流數(shù)據(jù)持久化存儲服務(wù)。2.靈活的數(shù)據(jù)存儲模型采用Schema-free的數(shù)據(jù)存儲方式，方便物聯(lián)網(wǎng)場景數(shù)據(jù)靈活定義存儲，滿足各類型設(shè)備數(shù)據(jù)格式類型的持久化。3.計算層與存儲層分離支持分級存儲，可以自動將歷史數(shù)據(jù)轉(zhuǎn)存到對象存儲、分布式文件存儲等低成本存儲服務(wù)上，且容量可無限擴展。保證流數(shù)據(jù)計算性能的同時也保證了數(shù)據(jù)存儲的高可用。處理–云邊協(xié)同的多級數(shù)據(jù)一站式實時處理在以實時數(shù)據(jù)傳輸?shù)奈锫?lián)網(wǎng)場景中，無論是在云端還是邊緣端，需要對數(shù)據(jù)進行快速處理、快速過濾、快速集成，保證整體系統(tǒng)的低時延特性。同時，也需要對復(fù)雜的數(shù)據(jù)處理進行高效的管理。1.云端海量數(shù)據(jù)實時處理與集成通過基于SQL語句的規(guī)則引擎和流式處理，無需編寫代碼即可實現(xiàn)一站式的物聯(lián)網(wǎng)數(shù)據(jù)提取、過濾、轉(zhuǎn)換、存儲與處理，保證實時數(shù)據(jù)快速處理。并可以將數(shù)據(jù)到對接到Kafka、SQL、NoSQL與時序數(shù)據(jù)庫中，實現(xiàn)快速的應(yīng)用集成與業(yè)務(wù)創(chuàng)新2.邊緣端本地低時延快速處理在邊緣側(cè)EMQ提供了輕量級流數(shù)據(jù)處理與規(guī)則引擎，可以在如工業(yè)網(wǎng)關(guān)、車機等小型邊緣計算節(jié)點中對實時數(shù)據(jù)本地處理分流，保證低時延場景下的系統(tǒng)反應(yīng)能力。3.云邊數(shù)據(jù)處理統(tǒng)一管理EMQ提供的云邊協(xié)同能力可以在云端為邊緣端分散的數(shù)據(jù)處理節(jié)點提供統(tǒng)一遠程規(guī)則下發(fā)、遠程算法更新等能力。方便管理人員統(tǒng)一配置管理，提高管理效率，降低本地運維成本。分析–實時數(shù)據(jù)分析與業(yè)務(wù)洞察，即刻決策規(guī)模日益增長、源源不斷高速產(chǎn)生的流式數(shù)據(jù)，對現(xiàn)有的數(shù)據(jù)系統(tǒng)和應(yīng)用提出了嚴重挑戰(zhàn)，尤其是如何在持續(xù)變化的數(shù)據(jù)流上進行低延時的分析。通過EMQ「面向物聯(lián)網(wǎng)架構(gòu)的數(shù)據(jù)基礎(chǔ)設(shè)施」通過流數(shù)據(jù)庫提供基于物化視圖的實時分析解決方案，支持在持續(xù)產(chǎn)生的物聯(lián)網(wǎng)數(shù)據(jù)流上進行復(fù)雜的查詢和分析操作，即時感知數(shù)據(jù)變化，發(fā)揮數(shù)據(jù)價值，即刻做出業(yè)務(wù)決策。1.實時數(shù)據(jù)洞察EMQ提供的實時分析能力使得數(shù)據(jù)在進入系統(tǒng)時即獲得實時分析，支持在持續(xù)產(chǎn)生的物聯(lián)網(wǎng)數(shù)據(jù)流上進行復(fù)雜的查詢和分析操作，使用戶獲取實時數(shù)據(jù)洞察，快速響應(yīng)市場變化，提高業(yè)務(wù)敏捷性并保證競爭優(yōu)勢。2.風險分析與預(yù)警風險和失敗的防控，往往要求強大的數(shù)據(jù)實時分析能力，能夠在風險發(fā)生之前進行及時預(yù)警。無論是生產(chǎn)線上可預(yù)測性維護，金融交易中的實時欺詐檢測，甚至流行疾病的防控，都能通過EMQ「面向物聯(lián)網(wǎng)架構(gòu)的數(shù)據(jù)基礎(chǔ)設(shè)施」實現(xiàn)快速數(shù)據(jù)分析與處理能力。DataInfrastructureforIoT架構(gòu)范式下的產(chǎn)品組合EMQ基于「DataInfrastructureforIoT」架構(gòu)范式的物聯(lián)網(wǎng)基礎(chǔ)設(shè)施軟件，包括全球領(lǐng)先的MQTT消息服務(wù)器和流處理數(shù)據(jù)庫，實現(xiàn)從邊緣到云的一站式物聯(lián)網(wǎng)數(shù)據(jù)「連接、移動、處理、存儲與分析」。Cloud-連接｜移動｜處理「一次連接，無限集成，隨處運行」的云原生分布式物聯(lián)網(wǎng)消息平臺，具有一體化的分布式MQTT消息中間件和基于SQL的強大的規(guī)則引擎，在云端為高性能、可靠的物聯(lián)網(wǎng)數(shù)據(jù)連接、移動、處理與集成提供動力。了解更多Cloud-存儲｜處理｜分