工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)采集技術(shù) 課件 任務(wù)3.2 工業(yè)數(shù)據(jù)處理

項(xiàng)目01工業(yè)數(shù)據(jù)采集技術(shù)概述項(xiàng)目02工業(yè)數(shù)據(jù)采集與設(shè)備安裝工業(yè)數(shù)據(jù)采集網(wǎng)絡(luò)建設(shè)項(xiàng)目04項(xiàng)目03工業(yè)數(shù)據(jù)傳輸與處理項(xiàng)目05工業(yè)數(shù)據(jù)上云項(xiàng)目06工業(yè)數(shù)據(jù)采集綜合應(yīng)用工業(yè)數(shù)據(jù)傳輸與處理03項(xiàng)目工業(yè)數(shù)據(jù)處理是智能制造等現(xiàn)代化工業(yè)生產(chǎn)模式中的重要環(huán)節(jié)，有助于提高生產(chǎn)效率、降低成本、優(yōu)化運(yùn)營管理、提高產(chǎn)品質(zhì)量和提供決策支持等。工業(yè)數(shù)據(jù)處理是一個(gè)復(fù)雜的過程，需要對各種數(shù)據(jù)處理技術(shù)和方法有一定的了解和應(yīng)用能力，同時(shí)還需要結(jié)合具體的應(yīng)用場景和需求，選擇合適的處理方法和工具，以實(shí)現(xiàn)工業(yè)生產(chǎn)的智能化和自動化。任務(wù)描述本任務(wù)主要介紹工業(yè)數(shù)據(jù)處理的相關(guān)知識，包括工業(yè)數(shù)據(jù)處理的基本概念、數(shù)據(jù)采集處理、在線實(shí)時(shí)處理、數(shù)據(jù)存儲、離線延時(shí)處理等相關(guān)內(nèi)容。工業(yè)數(shù)據(jù)在業(yè)務(wù)邏輯上大致可以分為數(shù)據(jù)采集層、數(shù)據(jù)處理層和數(shù)據(jù)展現(xiàn)層３個(gè)部分，如圖所示。根據(jù)不同的應(yīng)用場景，還可以細(xì)分為更多的層次，如數(shù)據(jù)處理可以分為元數(shù)據(jù)管理層、數(shù)據(jù)交互層、數(shù)據(jù)分析層等。工業(yè)數(shù)據(jù)處理概述1知識鏈接１.數(shù)據(jù)解析工業(yè)數(shù)據(jù)解析是在工業(yè)領(lǐng)域中，對所收集和存儲的數(shù)據(jù)進(jìn)行處理、分析和解釋的過程，其目的是提取數(shù)據(jù)中的有用信息或知識，以指導(dǎo)生產(chǎn)、優(yōu)化流程、預(yù)測故障、調(diào)整參數(shù)等。數(shù)據(jù)采集處理2知識鏈接①數(shù)據(jù)清洗；②數(shù)據(jù)整合；③數(shù)據(jù)分類；

④數(shù)據(jù)可視化；⑤數(shù)據(jù)挖掘；⑥模型構(gòu)建與優(yōu)化；⑦數(shù)據(jù)應(yīng)用工業(yè)數(shù)據(jù)解析需要結(jié)合具體的應(yīng)用場景和需求，選擇合適的分析方法和工具，以實(shí)現(xiàn)數(shù)據(jù)的深度分析和智能模型開發(fā)工作與決策可視展示，同時(shí)也可以將其提供給各類細(xì)分專業(yè)業(yè)務(wù)系統(tǒng)，對其進(jìn)行進(jìn)一步的利用。工業(yè)數(shù)據(jù)解析常見的步驟工業(yè)數(shù)據(jù)規(guī)范是對工業(yè)數(shù)據(jù)管理過程中的數(shù)據(jù)質(zhì)量、數(shù)據(jù)流程、數(shù)據(jù)安全等方面進(jìn)行規(guī)定的一套標(biāo)準(zhǔn)和規(guī)范。工業(yè)數(shù)據(jù)規(guī)范是工業(yè)數(shù)字化轉(zhuǎn)型和發(fā)展的重要基礎(chǔ)，它可以提高工業(yè)數(shù)據(jù)的質(zhì)量和可靠性，促進(jìn)工業(yè)數(shù)據(jù)的共享和利用，保障工業(yè)數(shù)據(jù)的安全和機(jī)密性，推動工業(yè)數(shù)字化轉(zhuǎn)型和發(fā)展。2.數(shù)據(jù)規(guī)范知識鏈接①統(tǒng)一數(shù)據(jù)格式；②數(shù)據(jù)命名規(guī)范；③數(shù)據(jù)采集頻率；④數(shù)據(jù)存儲規(guī)范；⑤數(shù)據(jù)訪問權(quán)限；⑥數(shù)據(jù)處理規(guī)范；⑦數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)；⑧數(shù)據(jù)可視化規(guī)范；⑨數(shù)據(jù)應(yīng)用規(guī)范

工業(yè)數(shù)據(jù)規(guī)范的要求數(shù)據(jù)清洗也稱為數(shù)據(jù)凈化，是從數(shù)據(jù)源中刪除或者更正“臟”數(shù)據(jù)的過程。數(shù)據(jù)清洗的目的是嚴(yán)格把控?cái)?shù)據(jù)質(zhì)量，防止“臟”數(shù)據(jù)流到下游，影響數(shù)據(jù)的使用。數(shù)據(jù)清洗過程一般是將數(shù)據(jù)抽取到臨時(shí)中間層，進(jìn)行數(shù)據(jù)審查、過濾和校驗(yàn)，去除噪聲數(shù)據(jù)、刪除重復(fù)信息、糾正錯(cuò)誤并維護(hù)數(shù)據(jù)的一致性，是一個(gè)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題并糾正數(shù)據(jù)的過程。3.數(shù)據(jù)清洗知識鏈接①缺失值處理；②數(shù)據(jù)過濾；③數(shù)據(jù)平滑；④異常檢測；⑤數(shù)據(jù)屬性變換；⑥數(shù)據(jù)標(biāo)準(zhǔn)化；

數(shù)據(jù)清洗的方法隨著工業(yè)互聯(lián)網(wǎng)技術(shù)的發(fā)展，各種傳感器、監(jiān)控設(shè)備等智能化設(shè)備被廣泛應(yīng)用，大量的實(shí)時(shí)數(shù)據(jù)不斷地被自動化控制系統(tǒng)獲取，這些數(shù)據(jù)包含著大量的信息和價(jià)值。實(shí)時(shí)數(shù)據(jù)處理技術(shù)可以對這些數(shù)據(jù)進(jìn)行迅速處理，實(shí)現(xiàn)對自動化控制系統(tǒng)的實(shí)時(shí)監(jiān)測和控制。例如，在自動化生產(chǎn)線的生產(chǎn)過程中，運(yùn)用實(shí)時(shí)數(shù)據(jù)處理技術(shù)可以實(shí)現(xiàn)對生產(chǎn)線的實(shí)時(shí)狀態(tài)監(jiān)測、預(yù)測與分析，從而保證整個(gè)生產(chǎn)線的高效性和穩(wěn)定性。在線實(shí)時(shí)處理3知識鏈接

在線實(shí)時(shí)處理3知識鏈接實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)處理技術(shù)的具體方法有如圖所示的幾種。

在線實(shí)時(shí)處理3知識鏈接數(shù)據(jù)實(shí)時(shí)處理在工業(yè)制造中的應(yīng)用主要包含如圖所示的幾個(gè)方面。

在線實(shí)時(shí)處理3知識鏈接實(shí)時(shí)數(shù)據(jù)處理的重要性主要體現(xiàn)在如圖所示的幾個(gè)方面。

數(shù)據(jù)存儲4知識鏈接目前，工業(yè)數(shù)據(jù)存儲方式主要有如圖所示的幾種。

常見的工業(yè)數(shù)據(jù)存儲設(shè)備知識鏈接設(shè)備名稱說明磁帶機(jī)磁帶機(jī)是一種古老的存儲設(shè)備，但在某些方面仍然非常實(shí)用。它們可以提供非常高的存儲密度，同時(shí)存儲成本相對較低。此外，磁帶機(jī)的存儲時(shí)間可以長達(dá)數(shù)十年，非常適合長期存儲大量數(shù)據(jù)。但是，磁帶機(jī)的讀寫速度較慢，且需要定期進(jìn)行數(shù)據(jù)備份。光盤塔/光盤庫/光盤網(wǎng)絡(luò)鏡像服務(wù)器光盤塔、光盤庫和光盤網(wǎng)絡(luò)鏡像服務(wù)器是目前最好的多媒體海量信息存儲載體或重要文獻(xiàn)資料備份媒體。它們的存儲容量巨大，成本低廉，體積小巧，信息保存時(shí)間可長達(dá)100年至300年。這些設(shè)備通過將保存有大量不同信息的幾十張甚至幾百張光盤組合起來使用，以實(shí)現(xiàn)海量信息的網(wǎng)絡(luò)存取。數(shù)據(jù)中心存儲設(shè)備隨著云計(jì)算和大數(shù)據(jù)的發(fā)展，數(shù)據(jù)中心存儲設(shè)備已成為不可或缺的一部分。這些設(shè)備主要包括各種類型的服務(wù)器、存儲陣列、備份設(shè)備和網(wǎng)絡(luò)設(shè)備等。它們可以提供非常高的存儲容量、讀寫速度和數(shù)據(jù)處理能力，以滿足各種復(fù)雜的數(shù)據(jù)中心需求。閃存盤/固態(tài)硬盤（SSD）閃存盤和固態(tài)硬盤是近年來逐漸普及的存儲設(shè)備。它們采用閃存技術(shù)，具有體積小、速度快、穩(wěn)定性高等優(yōu)點(diǎn)。與傳統(tǒng)的機(jī)械硬盤相比，閃存盤和固態(tài)硬盤的讀寫速度更快，更適合用于高并發(fā)訪問、持久性存儲和共享訪問。知識鏈接（１）數(shù)據(jù)備份與恢復(fù)數(shù)據(jù)備份是保障工業(yè)數(shù)據(jù)安全的重要環(huán)節(jié)，可以防止數(shù)據(jù)丟失、損壞或被篡改。因此，建立完善的數(shù)據(jù)備份和恢復(fù)機(jī)制是非常必要的。一方面，需要定期對數(shù)據(jù)進(jìn)行備份，并保證備份數(shù)據(jù)的可用性和完整性；另一方面，在數(shù)據(jù)發(fā)生故障或意外刪除后，需要能夠迅速恢復(fù)數(shù)據(jù)，以避免生產(chǎn)停頓或不良影響。如何實(shí)現(xiàn)工業(yè)數(shù)據(jù)的存儲安全知識鏈接（２）數(shù)據(jù)加密工業(yè)數(shù)據(jù)的加密是保障數(shù)據(jù)安全的重要手段之一。數(shù)據(jù)加密可以防止未經(jīng)授權(quán)的訪問和惡意攻擊，保證數(shù)據(jù)的保密性。在工業(yè)數(shù)據(jù)存儲過程中，可以采用磁盤加密、文件加密、數(shù)據(jù)庫加密等多種方式對數(shù)據(jù)進(jìn)行加密處理。如何實(shí)現(xiàn)工業(yè)數(shù)據(jù)的存儲安全（３）訪問控制訪問控制是保障工業(yè)數(shù)據(jù)存儲安全的重要措施。通過對不同用戶或組賦予不同的權(quán)限，能夠限制用戶對數(shù)據(jù)的訪問權(quán)限，防止數(shù)據(jù)泄露。訪問控制可以通過設(shè)置密碼、使用ＶＰＮ等方式實(shí)現(xiàn)。知識鏈接（４）數(shù)據(jù)脫敏工業(yè)數(shù)據(jù)處理過程中，需要對敏感數(shù)據(jù)進(jìn)行脫敏處理，以避免數(shù)據(jù)泄露和濫用。數(shù)據(jù)脫敏可以通過替換、模糊化、匿名化等方式實(shí)現(xiàn)，從而保護(hù)數(shù)據(jù)的隱私和安全。如何實(shí)現(xiàn)工業(yè)數(shù)據(jù)的存儲安全（５）數(shù)據(jù)中心安全數(shù)據(jù)中心是工業(yè)數(shù)據(jù)存儲的重要場所，因此數(shù)據(jù)中心的安全也是保障工業(yè)數(shù)據(jù)存儲安全的重要環(huán)節(jié)?？梢酝ㄟ^采用虛擬化技術(shù)、云計(jì)算技術(shù)等手段提高數(shù)據(jù)中心的使用效率，同時(shí)也可以采用多重備份等技術(shù)手段提高數(shù)據(jù)中心的安全性和可靠性。知識鏈接１.離線數(shù)據(jù)離線數(shù)據(jù)是相對在線數(shù)據(jù)而言的。所謂在線數(shù)據(jù)，就是可以通過數(shù)據(jù)采集終端直接采集到的數(shù)據(jù)，如適配器對接設(shè)備控制器后直接采集到的數(shù)據(jù)，反之，離線數(shù)據(jù)就是不能通過數(shù)據(jù)采集終端直接采集的數(shù)據(jù)。離線延時(shí)處理5知識鏈接２.數(shù)據(jù)倉庫離線數(shù)據(jù)處理流程在數(shù)據(jù)驅(qū)動的時(shí)代，數(shù)據(jù)倉庫成為企業(yè)分析和利用數(shù)據(jù)的重要手段。數(shù)據(jù)倉庫將來自各個(gè)數(shù)據(jù)源的數(shù)據(jù)整合到一起，進(jìn)行統(tǒng)一的管理和查詢。在數(shù)據(jù)倉庫中，離線數(shù)據(jù)處理流程是一個(gè)關(guān)鍵環(huán)節(jié)，它主要涉及數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)裝載等環(huán)節(jié)。①數(shù)據(jù)采集；②數(shù)據(jù)清洗；③數(shù)據(jù)轉(zhuǎn)換；④數(shù)據(jù)裝載離線延時(shí)處理5知識鏈接離線延時(shí)處理5在進(jìn)行離線數(shù)據(jù)處理時(shí)，需要注意如圖所示的幾個(gè)方面。掌握振動傳感器數(shù)據(jù)處理與分析任務(wù)實(shí)施【任務(wù)目的】掌握數(shù)據(jù)的處理方法理解工業(yè)設(shè)備各部分?jǐn)?shù)據(jù)信息了解無線振動傳感器的優(yōu)勢【步驟1】

處理工業(yè)智能網(wǎng)關(guān)所接收到的數(shù)據(jù)①在計(jì)算機(jī)中打開瀏覽器窗口，在地址欄中輸入工業(yè)智能網(wǎng)關(guān)設(shè)備的ＩＰ地址和Ｎｏｄｅ－ＲＥＤ的端口號（默認(rèn)為１８８０），如１９２.１６８.１.１：１８８０，登錄成功后顯示如圖所示的界面?！静襟E1】

處理工業(yè)智能網(wǎng)關(guān)所接收到的數(shù)據(jù)②目前，大多數(shù)智能傳感器設(shè)備都會提供相應(yīng)的數(shù)據(jù)采集程序。接下來就需要導(dǎo)入無線智能振動傳感器設(shè)備所提供的數(shù)據(jù)采集Ｎｏｄｅ－ＲＥＤ程序，如圖所示，這樣就可以根據(jù)該程序來查看和分析傳感器所采集的數(shù)據(jù)了?！静襟E1】

處理工業(yè)智能網(wǎng)關(guān)所接收到的數(shù)據(jù)③單擊界面右上角的“部署”按鈕，程序會對無線智能振動傳感器所采集的數(shù)據(jù)進(jìn)行自動分析和處理。單擊界面中“儀表板”選項(xiàng)卡中的“展開”圖標(biāo)，如圖所示?！静襟E2】

查看和分析無線智能振動傳感器所采集的數(shù)據(jù)打開無線智能振動傳感器設(shè)備的數(shù)據(jù)監(jiān)控界面，顯示傳感器設(shè)備的實(shí)時(shí)數(shù)據(jù)處理和分析結(jié)果，如圖所示。界面中各部分所顯示數(shù)據(jù)說明如下：①傳感器設(shè)備的基本信息。②傳感器設(shè)備的三軸實(shí)時(shí)速度及加速度值。③傳感器設(shè)備的實(shí)時(shí)溫度值。④傳感器設(shè)備的警告提示信息。⑤傳感器設(shè)備的速度均方根值的趨勢圖。⑥傳感器設(shè)備的濕度趨勢圖?！静襟E3】

數(shù)據(jù)趨勢圖曲線分析如圖所示為無線智能振動傳感器設(shè)備所采集到的速度均方根值的趨勢圖，Ｎｏｄｅ－Ｒｅｄ面板顯示的電動機(jī)運(yùn)行速度分別為１００ｒ／ｍｉｎ、５００ｒ／ｍｉｎ、１５００ｒ／ｍｉｎ時(shí)的Ｘ軸速度均方根值趨勢曲線。通過對上圖分析可看出，電動機(jī)速度變化時(shí)，采集到的曲線也會相應(yīng)變化。電動機(jī)短時(shí)停機(jī)，狀態(tài)可實(shí)時(shí)在曲線上顯示出來。通過分析算法，可將異常特征點(diǎn)識別出來，用于協(xié)助設(shè)備診斷、預(yù)警和維護(hù)?！静襟E4】

將設(shè)備數(shù)據(jù)上傳云端進(jìn)行分析將工業(yè)智能網(wǎng)關(guān)連接到可以上網(wǎng)的路由器或４Ｇ／５Ｇ網(wǎng)絡(luò)信號，經(jīng)過簡單的網(wǎng)絡(luò)設(shè)置，即可將無線智能振動傳感器設(shè)備所采集并傳輸?shù)焦I(yè)智能網(wǎng)關(guān)中的數(shù)據(jù)上傳到云端、數(shù)據(jù)庫或ＳＣＡＤＡ軟件，然后根據(jù)云端的算法來對數(shù)據(jù)做進(jìn)一步的分析，從而實(shí)現(xiàn)設(shè)備的診斷、趨勢分析和預(yù)測性維護(hù)?！静襟E5】

無線智能振動傳感器的優(yōu)勢①產(chǎn)品體積小巧，無需任何接線，安裝方式靈活，使用簡單。②電池供電，在每１５分鐘傳輸一次數(shù)據(jù)的情況下，續(xù)航時(shí)間可達(dá)兩年，基本免維護(hù)。③具有邊緣計(jì)算功能，直接計(jì)算出符合ＩＳＯ１０８１６的特征值，設(shè)定ｈｉｇｈ／ｈｉｇｈ－ｈｉｇｈ警戒值，并上傳至云端，方便云端進(jìn)行數(shù)據(jù)分析?！静襟E5】

無線智能振動傳感器的優(yōu)勢④監(jiān)測非常靈活，設(shè)備工作狀態(tài)稍有變化，即可通過的特征值反映出來。⑤數(shù)據(jù)采集持續(xù)穩(wěn)定，長時(shí)間監(jiān)測未發(fā)現(xiàn)通信中斷或數(shù)據(jù)丟失現(xiàn)象。⑥可實(shí)現(xiàn)對設(shè)備不間斷監(jiān)測，實(shí)時(shí)了解工作狀態(tài)，方便對設(shè)備進(jìn)行趨勢分析和預(yù)測性維護(hù)。任務(wù)測驗(yàn)選擇題

A.工業(yè)數(shù)據(jù)解析B.工業(yè)數(shù)據(jù)規(guī)范C.工業(yè)數(shù)據(jù)采集D.數(shù)據(jù)清洗

（）是在工業(yè)領(lǐng)域中，對所收集和存儲的數(shù)據(jù)進(jìn)行處理、分析和解釋的過程。A.傳統(tǒng)存儲方式B.云存儲方式C.分布式存儲方式D.實(shí)時(shí)存儲方式下列不屬于工業(yè)數(shù)據(jù)存儲方式的是（）。A.數(shù)據(jù)過濾B.異常檢測C.數(shù)據(jù)存儲D.數(shù)據(jù)屬性變化下列不屬于數(shù)據(jù)清洗方法的是（）。簡答題任務(wù)測驗(yàn)1.簡述工業(yè)數(shù)據(jù)處理以及其包含的內(nèi)容。2.簡單描述數(shù)據(jù)實(shí)時(shí)處理的實(shí)現(xiàn)方法。3.簡述如何實(shí)現(xiàn)工業(yè)數(shù)據(jù)的存儲安全。

項(xiàng)目總結(jié)

拓展閱讀工業(yè)數(shù)據(jù)采集處理與數(shù)字中國建設(shè)有著密切的關(guān)系。在數(shù)字經(jīng)濟(jì)的推動下，我國工業(yè)制造業(yè)正在進(jìn)行數(shù)字化轉(zhuǎn)型，借助于物聯(lián)網(wǎng)、人工智能和大數(shù)據(jù)等先進(jìn)技術(shù)，工業(yè)數(shù)據(jù)采集處理實(shí)現(xiàn)了設(shè)備自動化、生產(chǎn)線智能化和工藝優(yōu)化，進(jìn)一步提高了企業(yè)競爭力，滿足了消費(fèi)者對高品質(zhì)、環(huán)保和安全產(chǎn)品的需求。預(yù)計(jì)到２０２５年，我國數(shù)字經(jīng)濟(jì)規(guī)模將超過６０萬億元，較２０１６年的２２６萬億元增長了１６５％以上。這表明，數(shù)字化發(fā)展將繼續(xù)釋放巨大的潛力，為我國工業(yè)生產(chǎn)的數(shù)字化發(fā)展提供了廣闊的前景。尤其在相關(guān)政策文件等的指導(dǎo)下，數(shù)字經(jīng)濟(jì)的潛力將得到進(jìn)一步的釋放，為我國工業(yè)制造業(yè)的數(shù)字化轉(zhuǎn)型提供了重要的指導(dǎo)和支持。然而，工業(yè)制造業(yè)的數(shù)字化轉(zhuǎn)型并非一帆風(fēng)順。在轉(zhuǎn)型過程中，需求側(cè)動力不足、供給側(cè)水平不高、轉(zhuǎn)型生態(tài)不健全等突出問題仍然存在。為了解決這些問題，各企業(yè)需要從高端化、智能化、綠色化和安全化等方向發(fā)掘自身的市場潛力。例如，通過引入物聯(lián)網(wǎng)、人工智能和大數(shù)據(jù)分析等先進(jìn)技術(shù)，企業(yè)可以實(shí)現(xiàn)設(shè)備自動化