工業(yè)大數(shù)據(jù)采集處理與應(yīng)用

工業(yè)大數(shù)據(jù)采集、處理與應(yīng)用1一、了解工業(yè)大數(shù)據(jù)二、工業(yè)大數(shù)據(jù)采集三、工業(yè)大數(shù)據(jù)預(yù)處理四、工業(yè)大數(shù)據(jù)建模五、工業(yè)大數(shù)據(jù)分析六、工業(yè)大數(shù)據(jù)可視化七、工業(yè)大數(shù)據(jù)應(yīng)用課程目錄一、了解工業(yè)大數(shù)據(jù)大數(shù)據(jù)的特征工業(yè)大數(shù)據(jù)的主要來(lái)源、特點(diǎn)、分類(lèi)，數(shù)據(jù)的應(yīng)用場(chǎng)景工業(yè)大數(shù)據(jù)平臺(tái)架構(gòu)、主要技術(shù)2知識(shí)目標(biāo)技能目標(biāo)能夠分析生產(chǎn)企業(yè)的數(shù)據(jù)來(lái)源、數(shù)據(jù)類(lèi)型、數(shù)據(jù)規(guī)模能夠闡述工業(yè)大數(shù)據(jù)的主要應(yīng)用場(chǎng)景能夠闡述工業(yè)大數(shù)據(jù)平臺(tái)的基本組成掌握安裝部署大數(shù)據(jù)平臺(tái)Hadoop的方法學(xué)習(xí)目標(biāo)3一、了解工業(yè)大數(shù)據(jù)什么是大數(shù)據(jù)大數(shù)據(jù)的特征數(shù)據(jù)的類(lèi)型數(shù)據(jù)規(guī)模的度量工業(yè)大數(shù)據(jù)的來(lái)源工業(yè)大數(shù)據(jù)的特征工業(yè)大數(shù)據(jù)實(shí)例工業(yè)企業(yè)運(yùn)行流程工業(yè)大數(shù)據(jù)分類(lèi)工業(yè)大數(shù)據(jù)應(yīng)用場(chǎng)景工業(yè)大數(shù)據(jù)應(yīng)用類(lèi)型工業(yè)大數(shù)據(jù)應(yīng)用實(shí)例靜態(tài)數(shù)據(jù)和流數(shù)據(jù)批量計(jì)算和流式計(jì)算工業(yè)大數(shù)據(jù)架構(gòu)分布式計(jì)算框架Hadoop分布式文件系統(tǒng)HDFS分布式文件系統(tǒng)HDFS（一）認(rèn)識(shí)工業(yè)大數(shù)據(jù)特征（二）了解工業(yè)大數(shù)據(jù)及應(yīng)用分類(lèi)（三）認(rèn)識(shí)工業(yè)大數(shù)據(jù)系統(tǒng)架構(gòu)4什么是大數(shù)據(jù)（BigData）？麥肯錫：大數(shù)據(jù)指的是大小超出常規(guī)的數(shù)據(jù)庫(kù)工具獲取、存儲(chǔ)、管理和分析能力的數(shù)據(jù)集。維基百科:大數(shù)據(jù)指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無(wú)法通過(guò)人工在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、并整理成為人類(lèi)所能解讀的信息。研究機(jī)構(gòu)Gartner：大數(shù)據(jù)是需要新處理模式才能有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)?！瓪w納：海量數(shù)據(jù)集合，已經(jīng)無(wú)法用傳統(tǒng)的技術(shù)手段和工具進(jìn)行查詢、分析和挖掘，需要采用新計(jì)算模式和技術(shù)。一、了解工業(yè)大數(shù)據(jù)5大數(shù)據(jù)4V特征規(guī)模性（Volume）規(guī)模大增量快多樣性（Variety）來(lái)源多類(lèi)型多價(jià)值性（Value）可挖掘有價(jià)值高速性（Velocity）采集快處理快大數(shù)據(jù)的特征《大數(shù)據(jù)時(shí)代》

[英]維克托邁爾-舍恩伯格,肯尼斯克耶一、了解工業(yè)大數(shù)據(jù)VolumeVelocityVarietyValue4V6大數(shù)據(jù)的特征——規(guī)模性數(shù)據(jù)呈現(xiàn)爆發(fā)性增長(zhǎng)IDC估測(cè)，數(shù)據(jù)一直都在以每年50%的速度增長(zhǎng)，即每?jī)赡昃驮鲩L(zhǎng)一倍一、了解工業(yè)大數(shù)據(jù)7大數(shù)據(jù)的特征——規(guī)模性數(shù)據(jù)呈現(xiàn)爆發(fā)性增長(zhǎng)一、了解工業(yè)大數(shù)據(jù)8大數(shù)據(jù)的特征——高速性數(shù)據(jù)產(chǎn)生速度快微信、抖音……傳感器一、了解工業(yè)大數(shù)據(jù)9大數(shù)據(jù)的特征——多樣性一、了解工業(yè)大數(shù)據(jù)10大數(shù)據(jù)的特征——價(jià)值性一、了解工業(yè)大數(shù)據(jù)數(shù)據(jù)背后隱藏有巨大價(jià)值，可以通過(guò)數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等方法深度分析，從各種各樣看似不相關(guān)的數(shù)據(jù)中挖掘出有價(jià)值的數(shù)據(jù)，從而創(chuàng)造更大的價(jià)值。價(jià)值性比數(shù)量規(guī)模更為重要。對(duì)于很多行業(yè)而言，如何利用這些大規(guī)模數(shù)據(jù)是成為贏得競(jìng)爭(zhēng)的關(guān)鍵。11數(shù)據(jù)類(lèi)型：結(jié)構(gòu)化數(shù)據(jù)序號(hào)設(shè)備名稱計(jì)劃采購(gòu)數(shù)備注1電腦裁線機(jī)5切線設(shè)備2靜音端子機(jī)2壓線設(shè)備3拉脫力測(cè)試儀4檢驗(yàn)設(shè)備…………結(jié)構(gòu)化數(shù)據(jù)示例一、了解工業(yè)大數(shù)據(jù)12數(shù)據(jù)類(lèi)型：非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)視頻語(yǔ)音圖像圖形文本mp4,mov,asf,avi…mp3,wma,wav,ogg…jpg,png,tiff…txt……一、了解工業(yè)大數(shù)據(jù)13數(shù)據(jù)類(lèi)型：半結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)--XML示例<?xmlversion="1.0"encoding="UTF-8"?><person><name>張三</name><age>13</age><gender>男</gender></person>一、了解工業(yè)大數(shù)據(jù)14數(shù)據(jù)類(lèi)型：半結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)--JSON示例{"name":"張三","age":18,"address":{"country":"china","zip-code":"10000"}}一、了解工業(yè)大數(shù)據(jù)15數(shù)據(jù)規(guī)模的度量單位bit：位。一個(gè)二進(jìn)制位為1個(gè)bitByte：字節(jié) 1B=8bitKB（Kilobyte） 1KB=1024BMB（Megabyte） 1MB=1024KBGB（Gigabyte） 1GB=1024MBTB（Terabyte） 1TB=1024GBPB（Petabyte） 1PB=1024TBEB（Exabyte） 1EB=1024PBZB(Zettabyte) 1ZB=1024EBYB(Yottabyte) 1YB=1024ZBBB(Brontobyte)

1BB=1024YB一、了解工業(yè)大數(shù)據(jù)16數(shù)據(jù)規(guī)模的度量單位

數(shù)據(jù)規(guī)模的直觀舉例TB10的12次方1塊1TB硬盤(pán)200,000照片或MP3歌曲PB10的15次方2個(gè)數(shù)據(jù)中心機(jī)柜16個(gè)blackblaepods存儲(chǔ)單元EB10的18次方2000個(gè)機(jī)柜占據(jù)1個(gè)街區(qū)的4層數(shù)據(jù)中心ZB10的21次方1000個(gè)數(shù)據(jù)中心紐約曼哈頓思維1/5區(qū)域YB10的24次方一百萬(wàn)個(gè)數(shù)據(jù)中心特拉華州和羅德島州一、了解工業(yè)大數(shù)據(jù)17工業(yè)大數(shù)據(jù)的來(lái)源（1）企業(yè)內(nèi)部信息化數(shù)據(jù)企業(yè)產(chǎn)品數(shù)據(jù)管理系統(tǒng)（PDM）企業(yè)資源計(jì)劃系統(tǒng)（ERP）制造執(zhí)行系統(tǒng)（MES）產(chǎn)品生命周期管理系統(tǒng)（PLM）供應(yīng)鏈管理系統(tǒng)（SCM）客戶關(guān)系管理系統(tǒng)（CRM）質(zhì)量檢驗(yàn)系統(tǒng)（QC）辦公自動(dòng)化系統(tǒng)（OA）……一、了解工業(yè)大數(shù)據(jù)18工業(yè)大數(shù)據(jù)的來(lái)源（2）工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)一、了解工業(yè)大數(shù)據(jù)19工業(yè)大數(shù)據(jù)的來(lái)源（3）外部數(shù)據(jù)行業(yè)信息市場(chǎng)變化合作伙伴、競(jìng)爭(zhēng)對(duì)手氣候變化、生態(tài)約束政治事件、自然災(zāi)害一、了解工業(yè)大數(shù)據(jù)20分類(lèi)系統(tǒng)類(lèi)型典型數(shù)據(jù)文件/系統(tǒng)數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)特點(diǎn)實(shí)時(shí)性

企業(yè)管理信息產(chǎn)品設(shè)計(jì)資料產(chǎn)品模型、圖紙文檔半結(jié)構(gòu)化非結(jié)構(gòu)化類(lèi)型各異、更新不頻繁非實(shí)時(shí)生產(chǎn)流程管理制造執(zhí)行系統(tǒng)的排程、工單、質(zhì)檢資料結(jié)構(gòu)化半結(jié)構(gòu)化

沒(méi)有嚴(yán)格的時(shí)效性要求、需要定期同步非實(shí)時(shí)價(jià)值鏈管理供應(yīng)鏈管理、客戶關(guān)系管理的供應(yīng)商、客戶、合作伙伴、客服等資料半結(jié)構(gòu)化非結(jié)構(gòu)化沒(méi)有嚴(yán)格的時(shí)效性要求、需要定期同步非實(shí)時(shí)資源管理企業(yè)資源計(jì)劃、倉(cāng)庫(kù)管理、能源管理系統(tǒng)的生產(chǎn)計(jì)劃、庫(kù)存等結(jié)構(gòu)化沒(méi)有嚴(yán)格的時(shí)效性要求、需要定期同步非實(shí)時(shí)企業(yè)辦公管理自動(dòng)化辦公系統(tǒng)的辦公文檔、人力資源等資料結(jié)構(gòu)化半結(jié)構(gòu)化非結(jié)構(gòu)化沒(méi)有嚴(yán)格的時(shí)效性要求、需要定期同步非實(shí)時(shí)

企業(yè)生產(chǎn)信息工業(yè)控制系統(tǒng)分散控制系統(tǒng)、可編程控制器PLC結(jié)構(gòu)化需要實(shí)時(shí)監(jiān)控、實(shí)時(shí)反饋控制實(shí)時(shí)生產(chǎn)監(jiān)控系統(tǒng)數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)結(jié)構(gòu)化需要實(shí)時(shí)監(jiān)控、實(shí)時(shí)反饋控制實(shí)時(shí)各類(lèi)傳感器外掛式傳感器、條碼、射頻識(shí)別結(jié)構(gòu)化包含實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)實(shí)時(shí)其他外部裝置視頻攝像頭非結(jié)構(gòu)化數(shù)據(jù)量大、低延時(shí)、要求網(wǎng)絡(luò)帶寬和時(shí)延實(shí)時(shí)外部信息外部數(shù)據(jù)（互聯(lián)網(wǎng)、外部系統(tǒng)等）相關(guān)行業(yè)、法律法規(guī)、市場(chǎng)數(shù)據(jù)等半結(jié)構(gòu)化非結(jié)構(gòu)化數(shù)據(jù)相對(duì)靜止，變化較小、定期更新非實(shí)時(shí)工業(yè)大數(shù)據(jù)的來(lái)源常見(jiàn)工業(yè)數(shù)據(jù)源一、了解工業(yè)大數(shù)據(jù)21工業(yè)大數(shù)據(jù)的特征時(shí)序性

來(lái)自控制器、傳感器和其他智能感知設(shè)備，采樣得到的這些數(shù)據(jù)通常都是有時(shí)間順序的，是一組時(shí)間序列數(shù)據(jù)。實(shí)時(shí)性實(shí)時(shí)監(jiān)測(cè)、實(shí)時(shí)預(yù)警、實(shí)時(shí)控制。采集的數(shù)據(jù)具有實(shí)時(shí)性的要求。高通量數(shù)據(jù)吞吐量大，產(chǎn)生的頻度高。高緯度

一個(gè)事務(wù)有大量不同描述角度的數(shù)據(jù)。多尺度

同一對(duì)象有多種不同的描述尺度。高噪性

存在漏讀數(shù)據(jù)、誤差數(shù)據(jù)。除了具有大數(shù)據(jù)的4V特征外，工業(yè)大數(shù)據(jù)還具有以下特征：一、了解工業(yè)大數(shù)據(jù)22數(shù)據(jù)規(guī)模計(jì)算舉例某機(jī)床制造企業(yè)

應(yīng)力、表面溫度、傳輸壓力、傳輸流量等數(shù)據(jù)

以單車(chē)間1,000個(gè)采集傳感器來(lái)計(jì)算，平均每20秒上報(bào)一次數(shù)據(jù)，數(shù)據(jù)包大小以200KB為平均量，那么單個(gè)車(chē)間每天產(chǎn)生的數(shù)據(jù)量是多少？數(shù)據(jù)量/天=1,000個(gè)傳感器*200KB/個(gè)傳感器*24*60分鐘*3次/分鐘一、了解工業(yè)大數(shù)據(jù)23數(shù)據(jù)規(guī)模計(jì)算舉例某煉鐵企業(yè)PLC生產(chǎn)操作數(shù)據(jù)、工業(yè)傳感器產(chǎn)生的檢測(cè)數(shù)據(jù)、現(xiàn)場(chǎng)的各類(lèi)就地儀表的數(shù)據(jù)等。整個(gè)煉鐵大數(shù)據(jù)平臺(tái)接入約200座高爐的數(shù)據(jù)。以單座高爐為例，每個(gè)高爐約有2,000個(gè)數(shù)據(jù)點(diǎn)，數(shù)據(jù)采集頻率為1分鐘一次，每座高爐產(chǎn)生的采集的數(shù)據(jù)點(diǎn)約為288萬(wàn)點(diǎn)/天、數(shù)據(jù)大小約為200MB/天。每天產(chǎn)生的數(shù)據(jù)量是多少？采集的數(shù)據(jù)點(diǎn)量/天·座=24*60分鐘*2000點(diǎn)/座·分鐘數(shù)據(jù)量/天=200座*200MB/座·天一、了解工業(yè)大數(shù)據(jù)24一、了解工業(yè)大數(shù)據(jù)工業(yè)企業(yè)運(yùn)行流程25一、了解工業(yè)大數(shù)據(jù)制造企業(yè)活動(dòng)示例26一、了解工業(yè)大數(shù)據(jù)工業(yè)大數(shù)據(jù)應(yīng)用場(chǎng)景27一、了解工業(yè)大數(shù)據(jù)什么是批量計(jì)算和流式計(jì)算？流式計(jì)算批量計(jì)算28一、了解工業(yè)大數(shù)據(jù)工業(yè)大數(shù)據(jù)體系架構(gòu)29一、了解工業(yè)大數(shù)據(jù)分布式計(jì)算框架：HadoopMapReduce分布式計(jì)算Yarn資源調(diào)度HDFS數(shù)據(jù)存儲(chǔ)ApacheHadoop組成30一、了解工業(yè)大數(shù)據(jù)分布式文件系統(tǒng)：HDFS31一、了解工業(yè)大數(shù)據(jù)分布式計(jì)算框架：MapReduce32一、了解工業(yè)大數(shù)據(jù)分布式計(jì)算舉例--排序33一、了解工業(yè)大數(shù)據(jù)拓展知識(shí)：大數(shù)據(jù)技術(shù)框架模型34一、了解工業(yè)大數(shù)據(jù)拓展知識(shí)：大數(shù)據(jù)技術(shù)框架35一、二、工業(yè)大數(shù)據(jù)采集三、四、五、六、36學(xué)習(xí)目標(biāo)二、工業(yè)大數(shù)據(jù)采集1．認(rèn)識(shí)工業(yè)現(xiàn)場(chǎng)網(wǎng)絡(luò)，了解工業(yè)數(shù)據(jù)的采集方式；2．掌握工業(yè)數(shù)據(jù)采集系統(tǒng)的部署方法；3．能夠闡述工業(yè)數(shù)據(jù)的采集方式；4．能夠根據(jù)業(yè)務(wù)要求完成PLC數(shù)據(jù)的采集與存儲(chǔ)；5．能夠根據(jù)業(yè)務(wù)要求完成PTL數(shù)據(jù)的采集與存儲(chǔ)。37機(jī)器設(shè)備數(shù)據(jù)工業(yè)大數(shù)據(jù)采集產(chǎn)品設(shè)計(jì)數(shù)據(jù)生產(chǎn)流程管理數(shù)據(jù)資源管理數(shù)據(jù)……結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)工業(yè)數(shù)據(jù)釆集又稱數(shù)據(jù)獲取，是將工業(yè)數(shù)據(jù)自動(dòng)及主動(dòng)采集的過(guò)程，其目標(biāo)是從企業(yè)內(nèi)部和外部數(shù)據(jù)源中獲取各種類(lèi)型的數(shù)據(jù)，獲取的有效數(shù)據(jù)信息是工業(yè)大數(shù)據(jù)處理、分析和應(yīng)用的基礎(chǔ)?；靖拍疃⒐I(yè)大數(shù)據(jù)采集38工業(yè)大數(shù)據(jù)囊括了整個(gè)產(chǎn)品全生命周期各個(gè)環(huán)節(jié)所產(chǎn)生的各類(lèi)數(shù)據(jù)，包括產(chǎn)品設(shè)計(jì)資料、產(chǎn)品生產(chǎn)流程管理數(shù)據(jù)、資源管理數(shù)據(jù)、生產(chǎn)過(guò)程數(shù)據(jù)等，其產(chǎn)生的主體是人和工業(yè)設(shè)備，相比于其他大數(shù)據(jù)，工業(yè)大數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)更多，相關(guān)性和實(shí)時(shí)性也更強(qiáng)。相關(guān)知識(shí)二、工業(yè)大數(shù)據(jù)采集產(chǎn)品設(shè)計(jì)資料生產(chǎn)過(guò)程數(shù)據(jù)資源管理數(shù)據(jù)產(chǎn)品生產(chǎn)流程管理數(shù)據(jù)工業(yè)大數(shù)據(jù)39設(shè)備層控制層車(chē)間層企業(yè)層協(xié)同層上海產(chǎn)業(yè)技術(shù)研究院工程大數(shù)據(jù)服務(wù)創(chuàng)新中心提出的工業(yè)大數(shù)據(jù)參考架構(gòu)從物理域的角度，工業(yè)大數(shù)據(jù)架構(gòu)將企業(yè)自下而上劃分為5層：工業(yè)大數(shù)據(jù)架構(gòu)二、工業(yè)大數(shù)據(jù)采集40生產(chǎn)制造過(guò)程中產(chǎn)生的主要數(shù)據(jù)設(shè)備層控制層車(chē)間層企業(yè)層協(xié)同層現(xiàn)場(chǎng)傳感器儀表工業(yè)機(jī)器人……PLCCNCDCS……MES（作業(yè)過(guò)程管理、數(shù)據(jù)管理、工藝管理、質(zhì)量管理）等產(chǎn)品設(shè)計(jì)數(shù)據(jù)企業(yè)管理數(shù)據(jù)客戶關(guān)系管理……網(wǎng)絡(luò)化協(xié)同制造生產(chǎn)資源共享客戶關(guān)系管理……相關(guān)知識(shí)二、工業(yè)大數(shù)據(jù)采集41工業(yè)現(xiàn)場(chǎng)網(wǎng)絡(luò)現(xiàn)場(chǎng)總線網(wǎng)絡(luò)如果將現(xiàn)場(chǎng)總線看作一種局域網(wǎng)，工業(yè)現(xiàn)場(chǎng)設(shè)備或高級(jí)控制系統(tǒng)即為網(wǎng)絡(luò)節(jié)點(diǎn)，通過(guò)雙絞線或光纖等傳輸介質(zhì)建立連接后，可實(shí)現(xiàn)工業(yè)現(xiàn)場(chǎng)設(shè)備（智能化儀器儀表、控制器、執(zhí)行機(jī)構(gòu)等）間的數(shù)字通信，以及現(xiàn)場(chǎng)控制設(shè)備與高級(jí)控制系統(tǒng)之間的通信，為實(shí)現(xiàn)企業(yè)信息集成和企業(yè)綜合自動(dòng)化打下了基礎(chǔ)。ControlNetProfibus控制層設(shè)備層現(xiàn)場(chǎng)總線是一種工業(yè)數(shù)據(jù)總線，屬于自動(dòng)化領(lǐng)域中的底層數(shù)據(jù)通信網(wǎng)絡(luò)，能夠?qū)F(xiàn)場(chǎng)傳感器、控制器等的模擬量或數(shù)字量信號(hào)，轉(zhuǎn)換成雙向數(shù)字通信的現(xiàn)場(chǎng)總線信號(hào)，具有簡(jiǎn)單、可靠、經(jīng)濟(jì)實(shí)用等優(yōu)點(diǎn)。二、工業(yè)大數(shù)據(jù)采集42現(xiàn)場(chǎng)總線符合IEC61158標(biāo)準(zhǔn)，與計(jì)算機(jī)網(wǎng)絡(luò)普遍采用的IOS/OSI參考模型相比較，現(xiàn)場(chǎng)總線網(wǎng)絡(luò)模型只規(guī)定了應(yīng)用層、數(shù)據(jù)鏈路層和物理層。現(xiàn)場(chǎng)總線網(wǎng)絡(luò)模型工業(yè)現(xiàn)場(chǎng)網(wǎng)絡(luò)二、工業(yè)大數(shù)據(jù)采集43工業(yè)以太網(wǎng)以太網(wǎng)技術(shù)引入工廠設(shè)備底層，并將特殊工業(yè)協(xié)議封裝在以太網(wǎng)協(xié)議中，自此就產(chǎn)生了工業(yè)以太網(wǎng)。EtherCAT,Profinet,Modbus等工業(yè)現(xiàn)場(chǎng)網(wǎng)絡(luò)二、工業(yè)大數(shù)據(jù)采集44工業(yè)以太網(wǎng)的優(yōu)點(diǎn)01020304兼容性好以太網(wǎng)是一種標(biāo)準(zhǔn)的開(kāi)放式網(wǎng)絡(luò)，方便不同廠商的設(shè)備的互聯(lián)互通，實(shí)現(xiàn)控制系統(tǒng)中不同廠商設(shè)備的兼容和互操作的問(wèn)題，也能實(shí)現(xiàn)辦公自動(dòng)化網(wǎng)絡(luò)與工業(yè)控制網(wǎng)絡(luò)的信息無(wú)縫集成。通信速率高目前以太網(wǎng)的通信速率為10M或100M，1000M、10G的快速以太網(wǎng)也開(kāi)始應(yīng)用，其速率比目前的現(xiàn)場(chǎng)總線快得多，可有效滿足對(duì)帶寬的更高要求。通信速率高目前以太網(wǎng)的通信速率為10M或100M，1000M、10G的快速以太網(wǎng)也開(kāi)始應(yīng)用，其速率比目前的現(xiàn)場(chǎng)總線快得多，可有效滿足對(duì)帶寬的更高要求。易于共享資源隨著Internet/Intranet的快速發(fā)展，以太網(wǎng)已滲透到各個(gè)角落，網(wǎng)絡(luò)上的用戶能夠在任何地方實(shí)現(xiàn)對(duì)企業(yè)控制現(xiàn)場(chǎng)數(shù)據(jù)的監(jiān)控，便捷地訪問(wèn)遠(yuǎn)程系統(tǒng)。工業(yè)現(xiàn)場(chǎng)網(wǎng)絡(luò)二、工業(yè)大數(shù)據(jù)采集45工業(yè)以太網(wǎng)協(xié)議在物理層和數(shù)據(jù)鏈路層均采用有線以太網(wǎng)標(biāo)準(zhǔn)IEEE802.3在網(wǎng)絡(luò)層和傳輸層采用了標(biāo)準(zhǔn)的TCP/IP協(xié)議簇(包括UDP、TCP、IP、ARP、ICMP、IGMP等)。在高層協(xié)議中，有的工業(yè)以太網(wǎng)協(xié)議只定義應(yīng)用層，有的工業(yè)以太網(wǎng)協(xié)議還定義了用戶層工業(yè)以太網(wǎng)網(wǎng)絡(luò)模型工業(yè)現(xiàn)場(chǎng)網(wǎng)絡(luò)二、工業(yè)大數(shù)據(jù)采集46目前比較有影響力的實(shí)時(shí)工業(yè)以太網(wǎng)有：西門(mén)子的PROFINET、倍福的EtherCAT、貝加萊的Powerlink、橫河的VNET／IP、東芝的TCnet、施耐德的Modbus、浙大中控的EPA等。PROFINET系統(tǒng)架構(gòu)EtherCAT系統(tǒng)架構(gòu)主流工業(yè)以太網(wǎng)工業(yè)現(xiàn)場(chǎng)網(wǎng)絡(luò)二、工業(yè)大數(shù)據(jù)采集47截至目前已有40多種現(xiàn)場(chǎng)總線運(yùn)用到現(xiàn)場(chǎng)工業(yè)網(wǎng)絡(luò)中，多種工業(yè)網(wǎng)絡(luò)協(xié)議支持不同層次的設(shè)備應(yīng)用：（1）傳感器級(jí)總線用于處理傳感器、行程開(kāi)關(guān)、繼電器、接觸器等設(shè)備的數(shù)據(jù)傳輸，一般有快速、高精確度的通信要求，如Ethercat。（2）設(shè)備級(jí)總線用于建立PLC、DCS等控制系統(tǒng)之間或與分散的I/O設(shè)備之間的通信，如Modbus、Fieldbus等。（3）車(chē)間生產(chǎn)管理級(jí)總線用于大范圍、多系統(tǒng)的復(fù)雜通信，建立工業(yè)數(shù)據(jù)向上層傳輸?shù)耐ǖ?，將現(xiàn)場(chǎng)設(shè)備和生產(chǎn)管理系統(tǒng)連接起來(lái)，如OPCUA、MTConnect、MQTT等。Ethercat、DeviceNet、Profibus等Modbus、Fieldbus等OPCUA、MTConnect、MQTT等現(xiàn)場(chǎng)總線協(xié)議二、工業(yè)大數(shù)據(jù)采集48OPC是自動(dòng)化應(yīng)用中使用的一整套接口、屬性和方法的標(biāo)準(zhǔn)集，實(shí)現(xiàn)了工業(yè)自動(dòng)化系統(tǒng)中獨(dú)立單元之間標(biāo)準(zhǔn)化的互聯(lián)互通。主要包括三個(gè)規(guī)范：OPCDA（OPCDataAccess）用于定義數(shù)據(jù)交換，包括值、時(shí)間和質(zhì)量信息；OPCAE（OPCAlarms&Events）用于定義報(bào)警和事件類(lèi)型消息信息的交換，以及變量狀態(tài)和狀態(tài)管理；OPCHDA（OPCHistoricalDataAccess）用于定義可應(yīng)用于歷史數(shù)據(jù)、時(shí)間數(shù)據(jù)的查詢和分析的方法。OPC協(xié)議二、工業(yè)大數(shù)據(jù)采集49OPCUA即OPC統(tǒng)一架構(gòu)（UnifiedArchitecture），支持多種操作系統(tǒng)（如MicrosoftWindows、AppleOSX、Android、Linux），可實(shí)現(xiàn)從傳感器和現(xiàn)場(chǎng)層讀取原始數(shù)據(jù)和預(yù)處理的信息傳輸給控制系統(tǒng)和生產(chǎn)規(guī)劃系統(tǒng)的功能?，F(xiàn)場(chǎng)層控制層操作層管理層企業(yè)資源規(guī)劃OPCUA協(xié)議二、工業(yè)大數(shù)據(jù)采集50OPCUA系統(tǒng)結(jié)構(gòu)包括OPC服務(wù)器和客戶端兩部分，其中OPCUA服務(wù)器負(fù)責(zé)采集數(shù)據(jù)并處理邏輯，然后通過(guò)OPCUA通訊協(xié)議對(duì)OPCUA客戶端程序提供相應(yīng)的數(shù)據(jù)與服務(wù)。OPCClientOPCServerOPCUA協(xié)議二、工業(yè)大數(shù)據(jù)采集51每個(gè)系統(tǒng)可以包含多個(gè)服務(wù)器和客戶端。OPCServerOPCServerOPCServerOPCClientOPCClientOPCClientOPCClientOPCUA協(xié)議二、工業(yè)大數(shù)據(jù)采集52OPCUA服務(wù)器與客戶端之間有兩種交互方式：（1）請(qǐng)求方式OPCUA客戶端向OPCUA服務(wù)器發(fā)送請(qǐng)求，OPCUA服務(wù)器執(zhí)行指定任務(wù)后，立即向OPCUA客戶端返回一個(gè)響應(yīng)。該方式可完成OPCUA客戶端與服務(wù)器的讀和寫(xiě)操作。OPCUAClientOPCUAServerClientrequestsServerresponsesPublishedNotificationsOPCUA協(xié)議二、工業(yè)大數(shù)據(jù)采集53（2）訂閱方式當(dāng)OPCUA服務(wù)器的數(shù)據(jù)發(fā)生變化時(shí)，OPCUA客戶端可自動(dòng)獲取到OPCUA服務(wù)器發(fā)送的數(shù)據(jù)，同時(shí)OPCUA服務(wù)器周期性的更新CACHE。該方式只能讀取OPCUA服務(wù)器的數(shù)據(jù)。Publisher(server)Publisher(server)Publisher(server)Subscriber(client)Subscriber(client)Subscriber(client)OPCUA協(xié)議二、工業(yè)大數(shù)據(jù)采集54MQTT是IBM開(kāi)發(fā)的一種輕量級(jí)的machine-to-machine通信協(xié)議，運(yùn)行在TCP/IP協(xié)議棧之上，是基于客戶端向服務(wù)器發(fā)布/訂閱的消息傳輸協(xié)議，因其開(kāi)放、簡(jiǎn)單、功耗低、易實(shí)現(xiàn)，現(xiàn)已發(fā)展成為物聯(lián)網(wǎng)的重要組成部分。應(yīng)用層傳輸層網(wǎng)絡(luò)層鏈路層應(yīng)用層傳輸層網(wǎng)絡(luò)層鏈路層MQTTTCPIPMQTT協(xié)議MQTT協(xié)議二、工業(yè)大數(shù)據(jù)采集55MQTT協(xié)議的特點(diǎn)

（1）低功耗、低帶寬、低成本。（2）傳輸可靠。（3）采用發(fā)布/訂閱消息模式，提供一對(duì)多的消息發(fā)布和應(yīng)用程序之間的解耦，支持?jǐn)?shù)千個(gè)并發(fā)連接的客戶端。（4）消息傳輸不需要知道負(fù)載內(nèi)容，不強(qiáng)求傳輸數(shù)據(jù)的類(lèi)型與格式。MQTT服務(wù)器MQTT客戶端MQTT客戶端MQTT協(xié)議二、工業(yè)大數(shù)據(jù)采集56MQTT采用的發(fā)布/訂閱模式，將信息的發(fā)布者（負(fù)責(zé)發(fā)送特定消息）和訂閱者（訂閱特定消息的客戶端）分離出來(lái)，二者保持互相獨(dú)立，利用代理（即第三方）進(jìn)行信息的收集和過(guò)濾后，將相應(yīng)的信息分發(fā)給他們，即不需要接觸即可保證消息的傳送。發(fā)布者代理訂閱者訂閱發(fā)布發(fā)布MQTT協(xié)議MQTT發(fā)布/訂閱模式二、工業(yè)大數(shù)據(jù)采集57工業(yè)數(shù)據(jù)采集方式工業(yè)數(shù)據(jù)采集處于工業(yè)大數(shù)據(jù)技術(shù)架構(gòu)的最底層，主要以傳感器為采集工具，并結(jié)合RFID、掃碼槍、人機(jī)交互界面、智能終端等手段，通過(guò)直接的方式或通過(guò)PLC設(shè)備，與工業(yè)數(shù)據(jù)采集系統(tǒng)建立連接，再通過(guò)互聯(lián)網(wǎng)或現(xiàn)場(chǎng)總線等技術(shù)實(shí)現(xiàn)原始數(shù)據(jù)的實(shí)時(shí)準(zhǔn)確傳輸。DataCollector工業(yè)設(shè)備數(shù)據(jù)采集大數(shù)據(jù)基礎(chǔ)技術(shù)平臺(tái)數(shù)據(jù)處理數(shù)據(jù)存儲(chǔ)PLC工業(yè)機(jī)器人CNC…工業(yè)級(jí)算法分析引擎通用搜索引擎…內(nèi)存存儲(chǔ)全文搜索TSDB…數(shù)據(jù)管理/服務(wù)資產(chǎn)管理/服務(wù)數(shù)據(jù)安全數(shù)據(jù)分析應(yīng)用層二、工業(yè)大數(shù)據(jù)采集58傳感器是工業(yè)現(xiàn)場(chǎng)常用的物理環(huán)境測(cè)量工具，涵蓋了聲音、溫度、濕度、距離、振動(dòng)、電流等多種類(lèi)型，并可將環(huán)境變量轉(zhuǎn)化為可讀的數(shù)字信號(hào)，是物理世界信息化數(shù)字采集的重要途徑。工業(yè)數(shù)據(jù)采集方式1.傳感器二、工業(yè)大數(shù)據(jù)采集59（1）有線傳感器有線傳感網(wǎng)絡(luò)是通過(guò)網(wǎng)線實(shí)現(xiàn)傳感器信息的收集，在便于部署的現(xiàn)場(chǎng)環(huán)境中，這種方式具有更好的抗干擾能力。料庫(kù)揀選系統(tǒng)結(jié)構(gòu)工業(yè)數(shù)據(jù)采集方式現(xiàn)場(chǎng)傳感器分為有線傳感器和無(wú)線傳感器。1.傳感器二、工業(yè)大數(shù)據(jù)采集60（2）無(wú)線傳感器無(wú)線傳感網(wǎng)絡(luò)利用無(wú)線網(wǎng)絡(luò)進(jìn)行信息傳輸，這種部署方式靈活簡(jiǎn)單，且價(jià)格便宜，因此在現(xiàn)場(chǎng)的應(yīng)用越來(lái)越普遍。工業(yè)數(shù)據(jù)采集方式1.傳感器二、工業(yè)大數(shù)據(jù)采集61RFID（RadioFrequencyIdentification，射頻識(shí)別）是一種非接觸式的自動(dòng)識(shí)別技術(shù)，其原理為RFID讀寫(xiě)器與標(biāo)簽通過(guò)射頻方式進(jìn)行非接觸雙向通信，達(dá)到識(shí)別目的并交換數(shù)據(jù)。2.RFID工業(yè)數(shù)據(jù)采集方式二、工業(yè)大數(shù)據(jù)采集62當(dāng)安裝有RFID標(biāo)簽的物體進(jìn)入RFID讀寫(xiě)頭的工作區(qū)域時(shí)，讀寫(xiě)頭采用超高頻射頻技術(shù)與讀寫(xiě)標(biāo)簽進(jìn)行雙向數(shù)據(jù)交換，將數(shù)據(jù)采集到網(wǎng)關(guān)控制器中，再經(jīng)PLC控制器完成邏輯運(yùn)算和處理，實(shí)現(xiàn)物體的識(shí)別與跟蹤，同時(shí)該數(shù)據(jù)信息將通過(guò)標(biāo)準(zhǔn)的工業(yè)總線協(xié)議傳輸至數(shù)據(jù)采集系統(tǒng)（IoTHub）。工業(yè)數(shù)據(jù)采集方式2.RFID二、工業(yè)大數(shù)據(jù)采集63條碼是指通過(guò)一組規(guī)則排列的條、空及其對(duì)應(yīng)字符組成的標(biāo)記，來(lái)表達(dá)一組信息的圖形標(biāo)識(shí)符，是一種圖形化的信息代碼。條形碼可以標(biāo)出物品的生產(chǎn)廠家、生產(chǎn)日期、商品名稱、類(lèi)別等眾多信息，具有簡(jiǎn)單、可靠、靈活、實(shí)用的特點(diǎn)，應(yīng)用先進(jìn)的條碼技術(shù)對(duì)工業(yè)現(xiàn)場(chǎng)需要采集的數(shù)據(jù)進(jìn)行全面標(biāo)識(shí)，可實(shí)現(xiàn)對(duì)生產(chǎn)過(guò)程中產(chǎn)生的大量的實(shí)時(shí)數(shù)據(jù)的自動(dòng)化快速收集，確保了基層數(shù)據(jù)統(tǒng)計(jì)時(shí)第一手?jǐn)?shù)據(jù)資料的完全真實(shí)和可靠性。工業(yè)數(shù)據(jù)采集方式3.條碼技術(shù)二、工業(yè)大數(shù)據(jù)采集64(1)利用人機(jī)交互的形式直接讀取的數(shù)據(jù)；(2)通過(guò)攝像頭采集的圖片或錄像數(shù)據(jù)；(3)從各類(lèi)業(yè)務(wù)應(yīng)用信息系統(tǒng)中獲取的數(shù)據(jù)，如庫(kù)存系統(tǒng)數(shù)據(jù)、銷(xiāo)售系統(tǒng)數(shù)據(jù)等。工業(yè)數(shù)據(jù)采集方式4.其他采集方式二、工業(yè)大數(shù)據(jù)采集IoTHub

平臺(tái)…65隨著工業(yè)互聯(lián)網(wǎng)和企業(yè)信息化的不斷推進(jìn)，工業(yè)領(lǐng)域不斷產(chǎn)生大量的數(shù)據(jù)，為有效規(guī)整多種信息系統(tǒng)匯聚而來(lái)的工業(yè)數(shù)據(jù)，便于后續(xù)的工業(yè)大數(shù)據(jù)處理和分析，可以將任務(wù)采集到的數(shù)據(jù)保存到數(shù)據(jù)庫(kù)中。010101011010100010101011010010101010101010101010101101數(shù)據(jù)存儲(chǔ)二、工業(yè)大數(shù)據(jù)采集66本教材以MySQL為數(shù)據(jù)存儲(chǔ)的工具，它采用的是標(biāo)準(zhǔn)化的SQL語(yǔ)言，使得數(shù)據(jù)的存取和更新更加容易，對(duì)于復(fù)雜的查詢也非常方便。MySQL的體積小、速度快、成本低，能夠及時(shí)處理上千萬(wàn)條記錄，初步滿足和支持大數(shù)據(jù)存儲(chǔ)所需的高并發(fā)讀寫(xiě)和高效率讀寫(xiě)需求。隨著其分庫(kù)與分布、業(yè)務(wù)拆分、主從復(fù)制等性能的擴(kuò)展，以及讀寫(xiě)性能的提高，MySQL在大數(shù)據(jù)應(yīng)用中發(fā)揮了極大的作用。IoTHub平臺(tái)數(shù)據(jù)存儲(chǔ)二、工業(yè)大數(shù)據(jù)采集67PLC即可編程邏輯控制器，全稱為ProgrammableLogicController，是一種具有微處理器的數(shù)字電子設(shè)備，主要用于自動(dòng)化數(shù)字邏輯控制。自1969年美國(guó)數(shù)字設(shè)備公司研制出第一臺(tái)設(shè)備以來(lái)，作為一款專為工業(yè)環(huán)境應(yīng)用而設(shè)計(jì)的產(chǎn)品，經(jīng)過(guò)幾十年的不斷發(fā)展，其功能已遠(yuǎn)超邏輯控制，有效促進(jìn)了工業(yè)生產(chǎn)效率的提高。什么是PLC？采集PLC數(shù)據(jù)二、工業(yè)大數(shù)據(jù)采集68PLC主要由CPU（中央處理器）、存儲(chǔ)器、通信接口和輸入/輸出單元組成。存儲(chǔ)器CPU通信接口輸入輸出電源下裝上載編程電腦PLC的組成采集PLC數(shù)據(jù)二、工業(yè)大數(shù)據(jù)采集存儲(chǔ)器CPU模塊輸入/輸出單元通信接口69功能性強(qiáng)PLC的數(shù)據(jù)存儲(chǔ)區(qū)容量巨大，可存儲(chǔ)大量輸入/輸出、中間變量信號(hào)，同時(shí)多達(dá)幾百條的控制指令可實(shí)現(xiàn)各種邏輯問(wèn)題的處理。維修方便PLC各模塊上均有運(yùn)行和故障指示裝置，用戶通過(guò)指示信息可快速了解運(yùn)行情況，并方便查找故障。模塊化的設(shè)計(jì)更方便用戶通過(guò)更換模塊的方法使系統(tǒng)快速恢復(fù)運(yùn)行?？煽啃愿逷LC各模塊均采用屏蔽措施，抗干擾能力強(qiáng)，同時(shí)還具備良好的自診斷功能，一旦出現(xiàn)異常情況，CPU將立即采取有效措施。編程簡(jiǎn)單PLC通常采用梯形圖為編程語(yǔ)言，梯形圖形象直觀，簡(jiǎn)單易學(xué)，使用者不需要具備計(jì)算機(jī)的專門(mén)知識(shí)也可快速學(xué)會(huì)，并用來(lái)進(jìn)行編程。01020304PLC的特點(diǎn)采集PLC數(shù)據(jù)二、工業(yè)大數(shù)據(jù)采集數(shù)字量模擬量70PLC連接的信號(hào)類(lèi)型數(shù)字量是離散的物理量，由“0”和“1”組成，經(jīng)過(guò)編碼后即成為有規(guī)律的信號(hào)。例如可以將電機(jī)的啟動(dòng)狀態(tài)認(rèn)為是“1”，停止?fàn)顟B(tài)是“0”，或指示燈點(diǎn)亮狀態(tài)為“1”，熄滅狀態(tài)為“0”。模擬量與數(shù)字量相對(duì)應(yīng)，是一些連續(xù)變化的物理量，如壓力、速度、流量、溫度、濕度等。PLC的模擬量模塊采集現(xiàn)場(chǎng)傳感器信號(hào)（4~20mA的電流信號(hào)或1~5V、0~10V的電壓信號(hào)）后，將其量化轉(zhuǎn)換為對(duì)應(yīng)的數(shù)值（如0~100℃的溫度值）。采集PLC數(shù)據(jù)二、工業(yè)大數(shù)據(jù)采集71PLC的通信西門(mén)子S7-1200的控制器上集成了PROFENET以太網(wǎng)接口，支持TCP/IP、ISO-on-TCP、UDP和S7協(xié)議，可以滿足S7-1200與編程計(jì)算機(jī)、HMI和其他S7PLC的通信，同時(shí)還可以在CPU模塊左側(cè)插入通信模塊，支持PROFIBUS、Modbus-TCP、AS-i協(xié)議，滿足控制器與現(xiàn)場(chǎng)自動(dòng)化設(shè)備的雙向數(shù)據(jù)通信。PROFINETPROFIBUSDPAS-Interface采集PLC數(shù)據(jù)二、工業(yè)大數(shù)據(jù)采集72請(qǐng)參考教材完成以下任務(wù)：運(yùn)用IoTHub工具完成對(duì)PLC中數(shù)字量信號(hào)“電容傳感器”和模擬量信號(hào)“電機(jī)轉(zhuǎn)速”的實(shí)時(shí)數(shù)據(jù)采集，并將數(shù)據(jù)保存到MySQL數(shù)據(jù)庫(kù)中。保存IoTHub

平臺(tái)采集PLC數(shù)據(jù)二、工業(yè)大數(shù)據(jù)采集73采集PTL數(shù)據(jù)PTL（PickToLight）智能揀選系統(tǒng)，通過(guò)用燈光、數(shù)顯等方式實(shí)現(xiàn)物料出入庫(kù)、盤(pán)點(diǎn)庫(kù)存等操作功能，能完整采集揀選人員的行為數(shù)據(jù)做大數(shù)據(jù)分析，為精細(xì)化管理做優(yōu)化決策的支持。二、工業(yè)大數(shù)據(jù)采集74PTL系統(tǒng)構(gòu)成電子標(biāo)簽安裝附件PTL網(wǎng)關(guān)采集PTL數(shù)據(jù)二、工業(yè)大數(shù)據(jù)采集75PTL系統(tǒng)組件電子標(biāo)簽：PTL系統(tǒng)的顯示和交互組件，分4位數(shù)碼管顯示屏、6位數(shù)碼管顯示屏兩類(lèi)標(biāo)簽。電子標(biāo)簽連接口2電子標(biāo)簽連接口1電源連接口固件升級(jí)窗以太網(wǎng)通訊口2以太網(wǎng)通訊口1PTL網(wǎng)關(guān)：電子標(biāo)簽與上位機(jī)的通訊接口，也是系統(tǒng)供電的接入模塊。①電源指示燈②通訊指示燈③報(bào)警指示燈④返回⑤菜單⑥查詢⑦操作任務(wù)指示燈⑧6段位數(shù)碼管顯示屏，顯示內(nèi)容：訂單號(hào)操作員，操作數(shù)量⑨上翻⑩確定鍵?下翻?揀選確認(rèn)鍵/揀選指示燈/報(bào)警指示燈采集PTL數(shù)據(jù)二、工業(yè)大數(shù)據(jù)采集76PTL的特點(diǎn)1采用工業(yè)總線技術(shù)，通訊速度快，響應(yīng)時(shí)間短；快速2具有多任務(wù)排隊(duì)模式，可滿足多任務(wù)訂單同時(shí)下達(dá)處理需求；高效3刺破式接線技術(shù)易于安裝、免維護(hù)，節(jié)省產(chǎn)品安裝調(diào)試時(shí)間；便捷4標(biāo)簽通訊狀態(tài)、揀選執(zhí)行情況、誤操作報(bào)警燈信息可實(shí)時(shí)上傳；智能5為用戶開(kāi)放按鍵和指示燈DLL標(biāo)準(zhǔn)函數(shù)庫(kù)，方便系統(tǒng)開(kāi)發(fā)集成。易用采集PTL數(shù)據(jù)二、工業(yè)大數(shù)據(jù)采集77PTL系統(tǒng)功能01-出貨下發(fā)02-盤(pán)點(diǎn)下發(fā)03-響應(yīng)訂單04-LED燈控制05-報(bào)警信息06-報(bào)警及復(fù)位系統(tǒng)通過(guò)網(wǎng)關(guān)與上位機(jī)實(shí)現(xiàn)數(shù)據(jù)和指令的上行下發(fā)，通過(guò)電子標(biāo)簽的數(shù)顯數(shù)據(jù)、指示燈顯示和按鈕功能，可實(shí)現(xiàn)如下功能：向?qū)?yīng)料位下發(fā)操作員號(hào)、物料號(hào)、揀選數(shù)量；向所有標(biāo)簽下發(fā)當(dāng)前對(duì)應(yīng)料位的物料數(shù)量，由數(shù)據(jù)庫(kù)庫(kù)存信息提供；顯示上位機(jī)下發(fā)的操作員號(hào)、物料號(hào)、揀選數(shù)量，根據(jù)上位機(jī)命令亮指示燈并向上位機(jī)反饋執(zhí)行情況對(duì)標(biāo)簽面板所有的LED燈的通斷情況進(jìn)行置1或置0操作，以配合相應(yīng)指令顯示操作結(jié)果上位機(jī)根據(jù)操作員的訂單處理錯(cuò)誤等情況向指定料位標(biāo)簽下發(fā)報(bào)警信息，可以是指示燈或錯(cuò)誤代碼操作員誤操作標(biāo)簽時(shí)向上位上傳對(duì)應(yīng)的誤操作標(biāo)簽信息，并鳴響蜂鳴器；按復(fù)位鍵后報(bào)警消除采集PTL數(shù)據(jù)二、工業(yè)大數(shù)據(jù)采集78請(qǐng)參考教材完成以下任務(wù)：通過(guò)相關(guān)知識(shí)的學(xué)習(xí)，結(jié)合料庫(kù)揀選系統(tǒng)，完成數(shù)據(jù)采集系統(tǒng)的部署，通過(guò)配置實(shí)現(xiàn)PTL系統(tǒng)數(shù)據(jù)的采集，并將其存儲(chǔ)至大數(shù)據(jù)平臺(tái)的基礎(chǔ)庫(kù)中，可用于監(jiān)控料庫(kù)操作人員的操作以及庫(kù)存數(shù)量的變化。IoTHub

平臺(tái)保存采集PTL數(shù)據(jù)二、工業(yè)大數(shù)據(jù)采集79一、了解工業(yè)大數(shù)據(jù)二、工業(yè)大數(shù)據(jù)采集三、工業(yè)大數(shù)據(jù)預(yù)處理四、工業(yè)大數(shù)據(jù)建模五、工業(yè)大數(shù)據(jù)分析六、工業(yè)大數(shù)據(jù)可視化七、工業(yè)大數(shù)據(jù)應(yīng)用課程目錄三、工業(yè)大數(shù)據(jù)預(yù)處理理解數(shù)據(jù)清洗、轉(zhuǎn)換和加載（ETL）的作用與過(guò)程理解數(shù)據(jù)倉(cāng)庫(kù)的基本概念和構(gòu)建方法80知識(shí)目標(biāo)技能目標(biāo)掌握ETL工具Kettle的應(yīng)用，能夠?qū)?shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換處理掌握數(shù)據(jù)倉(cāng)庫(kù)工具Hive的使用，能夠創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)、加載數(shù)據(jù)掌握Hive查詢操作學(xué)習(xí)目標(biāo)81三、工業(yè)大數(shù)據(jù)預(yù)處理什么是ETL認(rèn)識(shí)ETL工具Kettle啟動(dòng)運(yùn)行用戶界面基本要素常用功能使用方法創(chuàng)建“轉(zhuǎn)換”創(chuàng)建“步驟”創(chuàng)建“跳”連接數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別認(rèn)識(shí)數(shù)據(jù)倉(cāng)庫(kù)工具h(yuǎn)ive創(chuàng)建數(shù)據(jù)庫(kù)創(chuàng)建數(shù)據(jù)表分區(qū)分桶加載數(shù)據(jù)使用Hive查詢數(shù)據(jù)使用Hive統(tǒng)計(jì)數(shù)據(jù)使用Hive排序數(shù)據(jù)（一）數(shù)據(jù)ETL（二）建立數(shù)據(jù)倉(cāng)庫(kù)（三）查詢大數(shù)據(jù)82什么是ETL？三、工業(yè)大數(shù)據(jù)預(yù)處理E：Extract，抽取T：Transform，轉(zhuǎn)換L：Load，加載83三、工業(yè)大數(shù)據(jù)預(yù)處理將分散的、異構(gòu)的數(shù)據(jù)源中的數(shù)據(jù)，從各種原始業(yè)務(wù)系統(tǒng)抽取到目標(biāo)庫(kù)增量抽取只抽取自上次抽取以來(lái)新增或修改的數(shù)據(jù)。全量抽取將數(shù)據(jù)源中的表或視圖的數(shù)據(jù)原封不動(dòng)的從數(shù)據(jù)庫(kù)中抽取出來(lái)。數(shù)據(jù)抽取84三、工業(yè)大數(shù)據(jù)預(yù)處理數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)清洗數(shù)據(jù)值缺失數(shù)據(jù)值重復(fù)數(shù)據(jù)值有噪音、異常數(shù)據(jù)值不規(guī)范數(shù)據(jù)量級(jí)不同替換（補(bǔ)缺失）過(guò)濾（去重）平滑（去噪）標(biāo)準(zhǔn)化（規(guī)范化）異常檢測(cè)（去異常）數(shù)據(jù)校驗(yàn)清洗：刪除或者更正臟數(shù)據(jù)的過(guò)程轉(zhuǎn)換：數(shù)據(jù)格式轉(zhuǎn)換數(shù)據(jù)粒度轉(zhuǎn)換數(shù)據(jù)降維業(yè)務(wù)規(guī)則計(jì)算85三、工業(yè)大數(shù)據(jù)預(yù)處理數(shù)據(jù)加載1選定數(shù)據(jù)來(lái)源，即源數(shù)據(jù)位置2選定數(shù)據(jù)去向，即目標(biāo)數(shù)據(jù)位置3配置源數(shù)據(jù)和目標(biāo)數(shù)據(jù)的映射關(guān)系4配置兩邊源數(shù)據(jù)的同步方式，如增量同步或全量同步，同步時(shí)間等。86三、工業(yè)大數(shù)據(jù)預(yù)處理啟動(dòng)：Windows環(huán)境下，運(yùn)行spoon.batETL工具Kettle87三、工業(yè)大數(shù)據(jù)預(yù)處理認(rèn)識(shí)kettle的界面核心對(duì)象視圖88三、工業(yè)大數(shù)據(jù)預(yù)處理認(rèn)識(shí)Kettle的界面主對(duì)象視圖89三、工業(yè)大數(shù)據(jù)預(yù)處理執(zhí)行按鈕執(zhí)行結(jié)果認(rèn)識(shí)Kettle的界面90三、工業(yè)大數(shù)據(jù)預(yù)處理認(rèn)識(shí)Kettle的要素步驟（Step）轉(zhuǎn)換（Tranformation）數(shù)據(jù)流（Stream）步驟轉(zhuǎn)換數(shù)據(jù)流跳跳（Hop）91核心對(duì)象功能數(shù)據(jù)庫(kù)連接建立與數(shù)據(jù)庫(kù)的連接。表輸入從數(shù)據(jù)庫(kù)表中讀取數(shù)據(jù)。表輸出將處理結(jié)果輸出到數(shù)據(jù)庫(kù)表。CSV文件輸入從CSV文件讀取數(shù)據(jù)。Excel輸出將處理結(jié)果輸出到電子表格。過(guò)濾記錄根據(jù)條件對(duì)數(shù)據(jù)流劃分為若干部分。流查找在數(shù)據(jù)流里查找符合條件的數(shù)據(jù)。值映射把某個(gè)數(shù)值映射為另一個(gè)數(shù)值。值替換把一列數(shù)據(jù)值替換為另一列數(shù)據(jù)值。排序記錄按條件排序數(shù)據(jù)。插入\更新根據(jù)處理結(jié)果對(duì)數(shù)據(jù)庫(kù)表進(jìn)行插入更新。如果數(shù)據(jù)庫(kù)中不存在相關(guān)記錄則插入，否則為更新。根據(jù)查詢條件中字段進(jìn)行判斷。數(shù)據(jù)庫(kù)查詢根據(jù)設(shè)定的查詢條件，對(duì)目標(biāo)表進(jìn)行查詢，返回需要的結(jié)果字段。三、工業(yè)大數(shù)據(jù)預(yù)處理認(rèn)識(shí)Kettle的常用功能92三、工業(yè)大數(shù)據(jù)預(yù)處理認(rèn)識(shí)Kettle的使用方法新建一個(gè)轉(zhuǎn)換，保存。如操作數(shù)據(jù)庫(kù)，則需建立數(shù)據(jù)庫(kù)連接創(chuàng)建步驟在步驟之間建立跳轉(zhuǎn)設(shè)置步驟、跳轉(zhuǎn)參數(shù)運(yùn)行93三、工業(yè)大數(shù)據(jù)預(yù)處理如何新建“轉(zhuǎn)換“94三、工業(yè)大數(shù)據(jù)預(yù)處理如何創(chuàng)建“步驟“95如何創(chuàng)建步驟之間的“跳“三、工業(yè)大數(shù)據(jù)預(yù)處理96如何連接數(shù)據(jù)庫(kù)三、工業(yè)大數(shù)據(jù)預(yù)處理測(cè)試連接是否成功97訂單號(hào)產(chǎn)品名稱產(chǎn)品型號(hào)購(gòu)買(mǎi)數(shù)量單價(jià)金額訂購(gòu)日期10107MotorcyclesS10_16783095.728712/24/200310121ClassicS10_19493481.352765.95/7/200310134MotorcyclesS10_20164194.743884.347/1/2003……

三、工業(yè)大數(shù)據(jù)預(yù)處理認(rèn)識(shí)數(shù)據(jù)庫(kù)1.關(guān)系數(shù)據(jù)庫(kù)2.非關(guān)系數(shù)據(jù)庫(kù)關(guān)系數(shù)據(jù)庫(kù)，由行、列組成，可以簡(jiǎn)單理解為二維表格行：記錄列：字段98三、工業(yè)大數(shù)據(jù)預(yù)處理認(rèn)識(shí)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)：面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合。用于支持管理決策。數(shù)據(jù)庫(kù)主題舉例：商品客戶99功能數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)數(shù)據(jù)范圍存儲(chǔ)歷史的、完整的、反應(yīng)歷史變化的數(shù)據(jù)當(dāng)前數(shù)據(jù)狀態(tài)數(shù)據(jù)變化可添加，無(wú)刪除、無(wú)變更頻繁的增加、刪除應(yīng)用場(chǎng)景面向分析、決策支持面向日常的事務(wù)處理設(shè)計(jì)理論適當(dāng)冗余，不遵循范式遵循范式，避免冗余處理量非頻繁，大批量，高吞吐，有延時(shí)頻繁，小批量，高并發(fā)，低延時(shí)三、工業(yè)大數(shù)據(jù)預(yù)處理數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)100三、工業(yè)大數(shù)據(jù)預(yù)處理大數(shù)據(jù)查詢分析工具HiveHive的存儲(chǔ)單元：數(shù)據(jù)庫(kù)（Database）表（內(nèi)部表Table、外部表ExternalTable）分區(qū)（Partition）分桶（Bucket）Hive是一個(gè)基于Hadoop的大數(shù)據(jù)查詢分析工具，能對(duì)存儲(chǔ)在文件系統(tǒng)HDFS中的數(shù)據(jù)進(jìn)行操作、查詢和分析，可以用于創(chuàng)建基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)。101三、工業(yè)大數(shù)據(jù)預(yù)處理創(chuàng)建數(shù)據(jù)庫(kù)hive>createdatabase[ifnotexists]

數(shù)據(jù)庫(kù)名[comment注釋][location

文件路徑][with

dbproperties

(屬性名=屬性值,...)];

例：創(chuàng)建1個(gè)數(shù)據(jù)庫(kù)，庫(kù)名為：targethive>createdatabasetarget;語(yǔ)句中的方括號(hào)表示該項(xiàng)是可選項(xiàng)，斜體字表示是關(guān)鍵字。comment，表示注釋行l(wèi)ocation，表示數(shù)據(jù)庫(kù)所在的實(shí)際文件路徑。withdbproperties，表示設(shè)定該數(shù)據(jù)庫(kù)的某些屬性。語(yǔ)句結(jié)束符號(hào)102三、工業(yè)大數(shù)據(jù)預(yù)處理創(chuàng)建數(shù)據(jù)表hive>create[external]

table[ifnotexists]

數(shù)據(jù)表名

[(列名

數(shù)據(jù)類(lèi)型

[comment

列注釋],...)][comment

表注釋][partitionedby (列名

數(shù)據(jù)類(lèi)型,...)][clusteredby

(列名,列名,

...)][storedby

(列名

[ASC|DESC],...)]into

分桶數(shù)量

buckets][rowfromat

row_format][storedas

file_format][location

文件路徑];語(yǔ)句中的方括號(hào)表示該項(xiàng)是可選項(xiàng)，藍(lán)色斜體字表示是關(guān)鍵字。ifnotexists，表示如果相同名字的表已經(jīng)存在，則拋出異常。external，表示創(chuàng)建一個(gè)外部表。partitionedby，表示數(shù)據(jù)按某些屬性分區(qū)存放。clusteredby，表示數(shù)據(jù)按某些屬性分桶存放。storedby，表示分桶時(shí)的排序順序。rowformat，表示數(shù)據(jù)行間隔方式。storedas，表示數(shù)據(jù)存儲(chǔ)格式，比如txtfile。comment，注釋。語(yǔ)句結(jié)束符號(hào)103三、工業(yè)大數(shù)據(jù)預(yù)處理創(chuàng)建數(shù)據(jù)表——例子1例：創(chuàng)建一個(gè)用戶瀏覽網(wǎng)頁(yè)的記錄表，表名為：par_table。數(shù)據(jù)按用戶瀏覽日期和所在地分區(qū)存放。hive>createtablepar_table( viewTime

int,

comment'瀏覽時(shí)間' userid

bgint,comment'用戶ID' page_url

string,comment'頁(yè)面URL地址' referrer_url

string,comment'來(lái)源URL地址' ip

stringcomment

'IP地址') comment

'瀏覽記錄表' partitionedby(datestring,posstring)'按日期和地區(qū)分區(qū)存放

rowformatdelimited‘\t’ fieldsterminatedby'\n' storedasSEQUENCEFILE;數(shù)據(jù)類(lèi)型列名注釋104三、工業(yè)大數(shù)據(jù)預(yù)處理創(chuàng)建數(shù)據(jù)表——例子2

例：創(chuàng)建1個(gè)名為sales的表。序號(hào)列名列類(lèi)型描述1ordernumberstring訂單號(hào)2orderlinenumstring訂單明細(xì)號(hào)3quantityorderedint訂購(gòu)數(shù)量4priceeachdouble單價(jià)5salesdouble金額6qtr_idstring季度7month_idstring月8year_idstring年9productlinestring產(chǎn)品名稱10productcodestring產(chǎn)品型號(hào)11statusstring訂單狀態(tài)12countrystring國(guó)家hive>createtableifnotexixtssales(

ordernumber

string,

orderlinenumber

string,

quantityordered

int,

priceeach

double,

sales

double,

qtr_id

string, month_id

string,

year_id string,

productline string,

productcode string,

status

string, country

string);rowformatdelimited,fieldsterminatedby‘\t’;105三、工業(yè)大數(shù)據(jù)預(yù)處理加載數(shù)據(jù)進(jìn)表hive>loaddata[local]inpath

‘filepath’[overwrite]

intotable表名

[partition(partcol1=val1,partcol2=val2...)];local，表示源數(shù)據(jù)文件在本地文件系統(tǒng)。filepath，表示目標(biāo)數(shù)據(jù)存放的文件路徑。overwrite，表示如果有同名的數(shù)據(jù)表，則覆蓋原有數(shù)據(jù)。partition，表示分區(qū)。hive>loaddatalocalinpath'/home/hadoop/products.txt'overwriteintotableproTable;例：把/home/hadoo目錄下的產(chǎn)品數(shù)據(jù)文件products.txt的據(jù)裝進(jìn)表proTable。106三、工業(yè)大數(shù)據(jù)預(yù)處理Hive創(chuàng)建分區(qū)

——例子數(shù)據(jù)能夠按照分區(qū)（Partition）來(lái)管理，即按照數(shù)據(jù)的某列或某些列分為多個(gè)區(qū)存放，例如，按日期存放監(jiān)控?cái)?shù)據(jù)。分區(qū)可以極大地提高數(shù)據(jù)查詢效率。hive>createtabledeviceLog(idint,statusint)partitioinedby(datestring)rowformatdelemitedfieldsterminatedby‘\t’;hive>loaddatalocalinpath‘/home/hadoop/data/device.txt’intotabledeviceLogpartition（date=‘20200801’）;hive>selectid,statusfromdeviceLogwherename=’20200801’;創(chuàng)建一個(gè)表，按日期分區(qū)存放數(shù)據(jù)把device.txt里的數(shù)據(jù)加載到日期為20200801的分區(qū)查詢?nèi)掌跒?0200801的監(jiān)控?cái)?shù)據(jù)例：把監(jiān)控日志數(shù)據(jù)device.txt保存到分區(qū)表107三、工業(yè)大數(shù)據(jù)預(yù)處理Hive創(chuàng)建桶——例子分桶是相對(duì)分區(qū)進(jìn)行更細(xì)粒度的劃分，就是把大表化成了“小表”。將數(shù)據(jù)按照某列屬性值的哈希值進(jìn)行區(qū)分。hive>hive.enforce.bucketing=true;

hive>createtable

partLog(idint,statusint)clusteredby(id)

into3bucktesrowformatdelemitedfieldsterminatedby‘\t’;hive>insert overwrite tablepartLogselect*fromtable1;hive>select*frompartLogtablesample

(bucket1outof3onid);

例：把零部件的檢測(cè)日志數(shù)據(jù)分桶存放創(chuàng)建桶表，按桶方式存放數(shù)據(jù)查第1個(gè)桶的數(shù)據(jù)把table1的數(shù)據(jù)存放到桶表108三、工業(yè)大數(shù)據(jù)預(yù)處理使用Hive查詢數(shù)據(jù)hive>select[all|distinct]select_expr,select_expr,...from

table_reference[where

where_condition][groupby

col_list[havingcondition]][clusterby

col_list[distributeby

col_list][sortby|orderby

col_list]][limit

number];語(yǔ)句中的方括號(hào)表示該項(xiàng)是可選項(xiàng)，斜體字表示是關(guān)鍵字。all，表示查詢所有數(shù)據(jù)。默認(rèn)是all。distinct，表示去掉重復(fù)的數(shù)據(jù)行。from，表示查詢的數(shù)據(jù)表。where，表示查詢條件。groupby，表示查詢的分組條件。orderby，表示全局排序。sortby，表示局部排序。clusterby，控制Map的輸出在Reducer是如何劃分的。與sortby一起使用。例如，可以將同一臺(tái)設(shè)備的數(shù)據(jù)送到同一個(gè)Reduce去處理。limit，限制查詢結(jié)果數(shù)據(jù)行。109三、工業(yè)大數(shù)據(jù)預(yù)處理使用Hive查詢數(shù)據(jù)例：查詢銷(xiāo)售表sales中所有國(guó)家的銷(xiāo)售情況。hive>selectcountry,salesfromsales;hive>selectcountry,sales

from saleswhere year_id=2004;例：查詢2004年的銷(xiāo)售情況。查詢條件110三、工業(yè)大數(shù)據(jù)預(yù)處理使用Hive統(tǒng)計(jì)數(shù)據(jù)例：統(tǒng)計(jì)每個(gè)國(guó)家的銷(xiāo)售總額。hive>select

country,sum(sales)

astotalfrom

salesgroupby

country;111三、工業(yè)大數(shù)據(jù)預(yù)處理使用Hive排序數(shù)據(jù)例：按國(guó)家的銷(xiāo)售總額排序。hive>selectcountry,sum(sales)astotalfrom salesgroupby

countryorderby

total;hive>selectcountry,sum(sales)astotalfrom salesgroupby

countryorderby

totaldesc;例：按國(guó)家的銷(xiāo)售總額的降序排序。112一、了解工業(yè)大數(shù)據(jù)二、工業(yè)大數(shù)據(jù)采集三、工業(yè)大數(shù)據(jù)預(yù)處理四、工業(yè)大數(shù)據(jù)建模五、工業(yè)大數(shù)據(jù)分析六、工業(yè)大數(shù)據(jù)可視化七、工業(yè)大數(shù)據(jù)應(yīng)用課程目錄三、工業(yè)大數(shù)據(jù)建模理解統(tǒng)一建模語(yǔ)言UML類(lèi)圖的表示方法掌握UML描述信息模型的基本方法113知識(shí)目標(biāo)技能目標(biāo)掌握UML工具StarUML的使用能夠繪制車(chē)間設(shè)備的信息模型能夠繪制生產(chǎn)過(guò)程的信息模型學(xué)習(xí)目標(biāo)114三、工業(yè)大數(shù)據(jù)預(yù)處理統(tǒng)一建模語(yǔ)言UML什么是類(lèi)？如何表示類(lèi)？如何表示對(duì)象關(guān)系？如何轉(zhuǎn)化為二維表？使用工具繪制類(lèi)圖信息模型設(shè)備信息構(gòu)成設(shè)備運(yùn)行信息模擬數(shù)字化車(chē)間的設(shè)備信息模型構(gòu)建生產(chǎn)過(guò)程信息構(gòu)成生產(chǎn)線、工序、工位、工藝、設(shè)備的關(guān)系生產(chǎn)線信息工序信息零部件信息（一）認(rèn)識(shí)建模語(yǔ)言UML（二）建立設(shè)備信息模型（三）建立生產(chǎn)過(guò)程信息模型115三、工業(yè)大數(shù)據(jù)建模什么是數(shù)據(jù)模型？數(shù)據(jù)模型：數(shù)據(jù)模型是對(duì)現(xiàn)實(shí)世界的抽象。

數(shù)據(jù)建模的目的是為了管理和分析數(shù)據(jù)，從海量數(shù)據(jù)中發(fā)現(xiàn)新知識(shí)。數(shù)據(jù)模型：物理對(duì)象的信息模型

（項(xiàng)目4）數(shù)據(jù)分析的算法模型

（項(xiàng)目5）數(shù)據(jù)模型工廠物理對(duì)象信息模型數(shù)據(jù)分析算法模型116三、工業(yè)大數(shù)據(jù)建模建立工廠信息模型從現(xiàn)實(shí)世界到數(shù)據(jù)庫(kù)現(xiàn)實(shí)世界信息模型數(shù)據(jù)庫(kù)關(guān)系模式抽象轉(zhuǎn)化117三、工業(yè)大數(shù)據(jù)建模UML（UnifiedModelingLanguage，統(tǒng)一建模語(yǔ)言）

UML是一種面向?qū)ο蠓治雠c設(shè)計(jì)的建模工具，獨(dú)立于任何具體程序設(shè)計(jì)語(yǔ)言，可用于描述軟件的需求、設(shè)計(jì)等。UML采用一組圖形符號(hào)來(lái)描述軟件模型，包括：類(lèi)圖、用例圖、順序圖、狀態(tài)圖等。不同類(lèi)型的圖應(yīng)用在不同場(chǎng)景。認(rèn)識(shí)統(tǒng)一建模語(yǔ)言——UML用面向?qū)ο蟮姆椒枋銎髽I(yè)的信息需求，作為企業(yè)信息應(yīng)用的依據(jù)。118三、工業(yè)大數(shù)據(jù)建模類(lèi)：UML中，把具有相同屬性和方法的對(duì)象的集合稱為類(lèi)。類(lèi)名

屬性

方法

UML類(lèi)圖

認(rèn)識(shí)建模語(yǔ)言UML什么是類(lèi)？UML如何表示類(lèi)？119三、工業(yè)大數(shù)據(jù)建模對(duì)象間關(guān)系泛化聚合組合關(guān)聯(lián)依賴接口認(rèn)識(shí)對(duì)象間主要的6種關(guān)系120三、工業(yè)大數(shù)據(jù)建模泛化：表示對(duì)象間一般與特殊的關(guān)系。例:帶三角箭頭的實(shí)線，箭頭指向父類(lèi)如何表示對(duì)象之間的關(guān)系？121三、工業(yè)大數(shù)據(jù)建模關(guān)聯(lián)：表示對(duì)象之間的擁有關(guān)系。例：

雙向關(guān)聯(lián)：無(wú)箭頭，或雙向箭頭單向關(guān)聯(lián)：帶普通箭頭的實(shí)心線，指向被擁有者0..1表示可以有0個(gè)或者1個(gè)實(shí)例；0..*表示實(shí)例的數(shù)目沒(méi)有限制；1

表示只能有一個(gè)實(shí)例；1..*表示至少有一個(gè)實(shí)例。對(duì)象間的關(guān)系——關(guān)聯(lián)122三、工業(yè)大數(shù)據(jù)建模聚合：表示對(duì)象之間的部分與整體的關(guān)系。例：

帶空心菱形的實(shí)心線，菱形指向整體對(duì)象間的關(guān)系——聚合123三、工業(yè)大數(shù)據(jù)建模組合：表示對(duì)象之間的部分與整體的關(guān)系，但部分不能離開(kāi)整體而單獨(dú)存在例：

帶實(shí)心菱形的實(shí)心線，菱形指向整體對(duì)象間的關(guān)系——組合124三、工業(yè)大數(shù)據(jù)建模依賴：依賴關(guān)系是一種使用的關(guān)系,

即一個(gè)類(lèi)的實(shí)現(xiàn)需要另一個(gè)類(lèi)的協(xié)助例：

對(duì)象間的關(guān)系——依賴125三、工業(yè)大數(shù)據(jù)建模把UML類(lèi)圖里的類(lèi)，轉(zhuǎn)換為二維表操作人員（工號(hào)，姓名，所屬車(chē)間）設(shè)備（設(shè)備編號(hào)，設(shè)備名稱，設(shè)備類(lèi)型，設(shè)備狀態(tài)）如何表示為二維表（關(guān)系數(shù)據(jù)庫(kù)）126三、工業(yè)大數(shù)據(jù)建模如何表示為二維表（關(guān)系數(shù)據(jù)庫(kù)）把UML類(lèi)圖里的關(guān)系，轉(zhuǎn)換為二維表里的外鍵進(jìn)行關(guān)聯(lián)操作人員（工號(hào)，姓名，所屬車(chē)間，設(shè)備編號(hào)）設(shè)備（設(shè)備編號(hào)，設(shè)備名稱，設(shè)備類(lèi)型，設(shè)備狀態(tài)）外鍵127三、工業(yè)大數(shù)據(jù)建模把UML類(lèi)圖里的關(guān)系，轉(zhuǎn)換二維表生產(chǎn)線（生產(chǎn)線標(biāo)識(shí)，生產(chǎn)線名稱，類(lèi)型，所屬位置，生產(chǎn)線狀態(tài)）工位（工位標(biāo)識(shí)，工位名稱，類(lèi)型，所屬位置，工位狀態(tài)）產(chǎn)線工位關(guān)系表（生產(chǎn)線標(biāo)識(shí)，工位標(biāo)識(shí)）如何表示為二維表（關(guān)系數(shù)據(jù)庫(kù)）128三、工業(yè)大數(shù)據(jù)建模

畫(huà)布工具箱模型管理器使用類(lèi)圖繪制工具——starUML129三、工業(yè)大數(shù)據(jù)建模信息模型的構(gòu)成信息模型的三要素：對(duì)象

對(duì)象屬性對(duì)象關(guān)系建立信息模型時(shí)主要考慮的4個(gè)問(wèn)題：定義哪些對(duì)象？對(duì)象有哪些屬性？對(duì)象之間的有何種關(guān)系？用什么形式描述信息模型？信息模型對(duì)象對(duì)象屬性對(duì)象關(guān)系UML130三、工業(yè)大數(shù)據(jù)建模設(shè)備信息構(gòu)成機(jī)械加工設(shè)備信息構(gòu)成131三、工業(yè)大數(shù)據(jù)建模設(shè)備信息示例設(shè)備管理信息設(shè)備編號(hào)D_0301設(shè)備名稱1號(hào)擰緊機(jī)設(shè)備類(lèi)型擰緊機(jī)

設(shè)備功能特性

特性名稱度量單位標(biāo)準(zhǔn)值最大值最小值扭矩牛米1.82.41角度度453555轉(zhuǎn)速轉(zhuǎn)/分鐘300250340噪音分貝10515設(shè)備構(gòu)成信息

伺服電機(jī)，型號(hào)xxx減速器扭矩傳感器擰緊機(jī)設(shè)備信息：設(shè)備管理信息設(shè)備功能特性設(shè)備構(gòu)成信息132三、工業(yè)大數(shù)據(jù)建模設(shè)備運(yùn)行信息示例擰緊機(jī)運(yùn)行信息：扭矩角度轉(zhuǎn)速噪音擰緊時(shí)間狀態(tài)采集時(shí)間（時(shí)間字段）扭矩角度轉(zhuǎn)速噪音擰緊時(shí)間狀態(tài)00：00：001.242301900：00：00

00：10：001.3403211000：10：00

00：20：001.239322800：20：00

00：30：001.9353101000：30：00

…………………133三、工業(yè)大數(shù)據(jù)建模認(rèn)識(shí)生產(chǎn)過(guò)程信息構(gòu)成生產(chǎn)過(guò)程信息包括：生產(chǎn)線、工序、工位、工藝、零部件、設(shè)備。生產(chǎn)線：指生產(chǎn)某種產(chǎn)品的物理產(chǎn)線。工序：指一個(gè)(或一組)工人在一個(gè)工作地對(duì)一個(gè)(或幾個(gè))勞動(dòng)對(duì)象連續(xù)進(jìn)行生產(chǎn)活動(dòng)的綜合。工步：是工序的組成部分。一道工序可按工藝特點(diǎn)進(jìn)一步細(xì)分為若干工步。工位：安排人員、設(shè)備、原材料和工具進(jìn)行生產(chǎn)裝配的地方。工藝：規(guī)定工藝路線、每道工序、工步的技術(shù)參數(shù)。工藝路線通常被畫(huà)成一張工序順序圖，也就是生產(chǎn)工藝流程圖。工序A工序B工序C工序D工序E工序F工序工序A工序B工序C工藝流程A工序D工序A工序E工序F工藝流程B工位工位1工位2工位3工位4工位5工位6工位7工位8產(chǎn)線1工位1工位2工位4產(chǎn)線2工位1工位3工位4產(chǎn)線3工位5工位7工位8工位1A1B23C4工序工位規(guī)則135三、工業(yè)大數(shù)據(jù)建模生產(chǎn)過(guò)程信息——生成線信息構(gòu)成生產(chǎn)線信息一個(gè)工廠往往由多個(gè)車(chē)間所組成，而一個(gè)車(chē)間里可以配有多條生產(chǎn)線，每一條生產(chǎn)線有多臺(tái)設(shè)備有序構(gòu)成。生產(chǎn)線信息主要包括：生產(chǎn)線編號(hào)生產(chǎn)線名稱所屬車(chē)間工位加工零部件類(lèi)型設(shè)備設(shè)備狀態(tài)（如故障、維修、停機(jī)）136三、工業(yè)大數(shù)據(jù)建模生產(chǎn)過(guò)程信息——生產(chǎn)線與工序、工藝、設(shè)備的關(guān)系生產(chǎn)線與工序、工藝、設(shè)備的關(guān)系工序設(shè)備、工裝工位信息工藝信息生產(chǎn)線137三、工業(yè)大數(shù)據(jù)建模生產(chǎn)過(guò)程信息——工序信息構(gòu)成例：機(jī)械加工的工序信息

一道工序的信息由工序編號(hào)、工序名稱、工序內(nèi)容、工裝（設(shè)備），以及若干工步所組成。

每一個(gè)工步中的信息包含工步編號(hào)、刀具編號(hào)、切削參數(shù)、NC程序等內(nèi)容。138三、工業(yè)大數(shù)據(jù)建模生產(chǎn)過(guò)程信息——零部件零部件信息構(gòu)成139三、工業(yè)大數(shù)據(jù)建模生產(chǎn)過(guò)程信息例：

一個(gè)小批量的齒輪加工過(guò)程包含6道工序，分別是：車(chē)、鉆、插、磨平面、滾齒、齒面淬火。其中某些工序分為多個(gè)工步工序號(hào)工序內(nèi)容工步工藝工裝/設(shè)備1車(chē)1.粗車(chē)外圓2.鉆孔3.粗鏜孔4.精鏜孔5.精車(chē)外圓6.倒角1.走刀2次2.走刀2次4.走刀2次

車(chē)床3鉆鉆Φ12孔

鉆床3插插鍵槽若干次刨床4磨平面

磨床5滾齒1.粗滾2.精滾

滾齒機(jī)6齒面高淬火

140三、工業(yè)大數(shù)據(jù)建模分析：一個(gè)模擬數(shù)字化車(chē)間的設(shè)備構(gòu)成，以及五彩棒的生產(chǎn)加工過(guò)程建立生產(chǎn)過(guò)程信息模型141三、工業(yè)大數(shù)據(jù)建模拓展知識(shí)——數(shù)字孿生數(shù)字孿生將現(xiàn)實(shí)世界中復(fù)雜的產(chǎn)品研發(fā)、生產(chǎn)制造和產(chǎn)線維護(hù)映射到了虛擬世界中一個(gè)個(gè)數(shù)字化模型，通過(guò)虛實(shí)連接，數(shù)據(jù)的不斷迭代，模型的不斷優(yōu)化，進(jìn)而不斷提升制造業(yè)的生產(chǎn)效率。142一、了解工業(yè)大數(shù)據(jù)二、工業(yè)大數(shù)據(jù)采集三、工業(yè)大數(shù)據(jù)預(yù)處理四、工業(yè)大數(shù)據(jù)建模五、工業(yè)大數(shù)據(jù)分析六、工業(yè)大數(shù)據(jù)可視化七、工業(yè)大數(shù)據(jù)應(yīng)用課程目錄五、工業(yè)大數(shù)據(jù)分析認(rèn)識(shí)大數(shù)據(jù)分析過(guò)程理解機(jī)器學(xué)習(xí)的相關(guān)概念理解兩種不同預(yù)測(cè)算法的應(yīng)用場(chǎng)景143知識(shí)目標(biāo)技能目標(biāo)掌握數(shù)據(jù)分析工具的安裝和使用方法掌握兩類(lèi)常見(jiàn)的回歸和分類(lèi)預(yù)測(cè)方法能夠使用數(shù)據(jù)分析工具進(jìn)行分類(lèi)預(yù)測(cè)分析學(xué)習(xí)目標(biāo)144五、工業(yè)大數(shù)據(jù)建模大數(shù)據(jù)分析過(guò)程建立算法模型的關(guān)鍵機(jī)器學(xué)習(xí)及應(yīng)用場(chǎng)景機(jī)器學(xué)習(xí)類(lèi)型認(rèn)識(shí)算法建模工具WekaWeka界面Weka數(shù)據(jù)Weka文件格式回歸分析算法思想如何評(píng)估歸回分析模型的優(yōu)劣建立歸回分析模型的步驟使用回歸分析進(jìn)行預(yù)測(cè)Weka：導(dǎo)入數(shù)據(jù)集利用散點(diǎn)圖觀察數(shù)據(jù)的變化趨勢(shì)選擇線性回歸算法設(shè)置訓(xùn)練集、驗(yàn)證集數(shù)據(jù)執(zhí)行訓(xùn)練分析誤差分類(lèi)分析算法思想如何評(píng)估分類(lèi)模型的優(yōu)劣查準(zhǔn)率、查全率、ROC與AUC使用分類(lèi)分析進(jìn)行預(yù)測(cè)Weka導(dǎo)入數(shù)據(jù)選擇分類(lèi)算法設(shè)置訓(xùn)練集、驗(yàn)證集數(shù)據(jù)分析誤差、可視化拓展知識(shí)集成學(xué)習(xí)、聚類(lèi)分析、關(guān)聯(lián)規(guī)則、時(shí)間序列（一）使用大數(shù)據(jù)分析工具（二）使用回歸分析預(yù)測(cè)（三）使用分類(lèi)分析預(yù)測(cè)內(nèi)容組成145大數(shù)據(jù)分析過(guò)程五、工業(yè)大數(shù)據(jù)分析大數(shù)據(jù)分析

對(duì)海量數(shù)據(jù)進(jìn)行探索和分析，揭示隱藏的、未知的或驗(yàn)證已知的規(guī)律性，并進(jìn)一步將其模型化的過(guò)程，也就是建立經(jīng)驗(yàn)?zāi)Ｐ汀?46五、工業(yè)大數(shù)據(jù)分析算法選擇

根據(jù)要解決的具體業(yè)務(wù)問(wèn)題來(lái)構(gòu)建或選擇算法。模型訓(xùn)練

模型開(kāi)發(fā)過(guò)程是一個(gè)從數(shù)據(jù)中學(xué)習(xí)得到模型的過(guò)程，稱為“訓(xùn)練”或“學(xué)習(xí)”。模型中可以適當(dāng)變化的部分，一般叫做參數(shù)。應(yīng)基于實(shí)際的業(yè)務(wù)數(shù)據(jù)來(lái)確定最合適的模型參數(shù)。數(shù)據(jù)集劃分

算法建模所用的數(shù)據(jù)集一般分為兩個(gè)部分。一部分用于訓(xùn)練模型的，叫“訓(xùn)練集”；另一部分用于評(píng)估模型的，叫“驗(yàn)證集”。原則上不用訓(xùn)練集作為驗(yàn)證集。模型評(píng)估

用驗(yàn)證集來(lái)判斷訓(xùn)練得到的模型是否適用。如果在訓(xùn)練集和驗(yàn)證集上的預(yù)測(cè)效果差不多，就表示模型質(zhì)量尚好，可直接使用。如果發(fā)現(xiàn)訓(xùn)練集和驗(yàn)證集上的預(yù)測(cè)效果相差太遠(yuǎn)，說(shuō)明模型還有優(yōu)化的余地。建立算法模型的關(guān)鍵環(huán)節(jié)147三、工業(yè)大數(shù)據(jù)建模機(jī)器學(xué)習(xí)

通過(guò)算法使得機(jī)器能從歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，從而對(duì)新的樣本能做出智能識(shí)別或預(yù)測(cè)。。機(jī)器學(xué)習(xí)的應(yīng)用場(chǎng)景常見(jiàn)應(yīng)用預(yù)測(cè)：設(shè)備故障預(yù)測(cè)、降雨預(yù)測(cè)、產(chǎn)品質(zhì)量預(yù)測(cè)……營(yíng)銷(xiāo)：商品推薦、用戶群體畫(huà)像、廣告精準(zhǔn)投放金融：貸款發(fā)放預(yù)測(cè)、金融風(fēng)險(xiǎn)控制、股票走勢(shì)預(yù)測(cè)、黃金價(jià)格預(yù)測(cè)社交關(guān)系挖掘：社交關(guān)系鏈分析、微博粉絲領(lǐng)袖分析自然語(yǔ)言處理：翻譯、關(guān)鍵詞提取、文章摘要、文本內(nèi)容分析圖片分類(lèi)、圖片文本內(nèi)容提取、文字識(shí)別148三、工業(yè)大數(shù)據(jù)分析有監(jiān)督學(xué)習(xí)在給定一系列輸入/輸出樣本（實(shí)例）構(gòu)成的數(shù)據(jù)集的條件下，學(xué)習(xí)輸入x到輸出y的映射關(guān)系。有監(jiān)督學(xué)習(xí)的樣本數(shù)據(jù)是帶有標(biāo)簽的，每一個(gè)樣本數(shù)據(jù)都含有已知結(jié)論，其主要做法是使用有標(biāo)簽的樣本數(shù)據(jù)來(lái)訓(xùn)練得到模型。無(wú)監(jiān)督學(xué)習(xí)在給定一系列僅由輸入樣本（實(shí)例）構(gòu)成的數(shù)據(jù)集的條件下，發(fā)現(xiàn)數(shù)據(jù)中的模式。無(wú)監(jiān)督學(xué)習(xí)有時(shí)候也稱為知識(shí)發(fā)現(xiàn)。無(wú)監(jiān)督學(xué)習(xí)的樣本數(shù)據(jù)沒(méi)有任何標(biāo)簽，而是直接從數(shù)據(jù)本身發(fā)現(xiàn)一些潛在的規(guī)律。強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)是指一個(gè)系統(tǒng)和外界環(huán)境不斷地交互，獲得外界反饋，然后決定自身的行為，達(dá)到長(zhǎng)期目標(biāo)的最優(yōu)化。其中典型的案例就是阿爾法狗下圍棋，或者汽車(chē)無(wú)人駕駛。機(jī)器學(xué)習(xí)類(lèi)型149三、工業(yè)大數(shù)據(jù)分析分類(lèi)預(yù)測(cè)

利用算法，從樣本數(shù)據(jù)中學(xué)習(xí)并推導(dǎo)出判斷模型，從而對(duì)未知的數(shù)據(jù)進(jìn)行識(shí)別。

包括以下兩類(lèi)：回歸分析：輸入變量（特征）與輸出變量（結(jié)果）均為連續(xù)變量的預(yù)測(cè)問(wèn)題。例如，預(yù)測(cè)明天的氣溫是多少度（定量），這是一個(gè)回歸任務(wù)。分類(lèi)分析：輸出變量（結(jié)果）為有限個(gè)離散變量的預(yù)測(cè)問(wèn)題。例如，預(yù)測(cè)明天是陰、晴還是雨（定性），這是一個(gè)分類(lèi)任務(wù)。

什么是分類(lèi)預(yù)測(cè)？150三、工業(yè)大數(shù)據(jù)建模認(rèn)識(shí)Weka151三、工業(yè)大數(shù)據(jù)建模認(rèn)識(shí)Weka的數(shù)據(jù)實(shí)例屬性152五、工業(yè)大數(shù)據(jù)分析認(rèn)識(shí)Weka的數(shù)據(jù)文件格式——arff%ARFFweather@relationweather@attributetemperaturereal@attributehumidityreal@attributewindy{TRUE,FALSE}@attributeplay{yes,no}@data29,85,FALSE,no26,90,TRUE,no28,86,FALSE,yes21,96,FALSE,yes注釋行數(shù)據(jù)集名稱數(shù)據(jù)屬性數(shù)據(jù)行起始153三、工業(yè)大數(shù)據(jù)建模分類(lèi)預(yù)測(cè)

利用算法，從樣本數(shù)據(jù)中學(xué)習(xí)并推導(dǎo)出判斷模型，從而對(duì)未知的數(shù)據(jù)進(jìn)行識(shí)別。

包括兩類(lèi)：回歸分析：輸入變量（特征）與輸出變量（結(jié)果）均為連續(xù)變量的預(yù)測(cè)問(wèn)題。例如，預(yù)測(cè)明天的氣溫是多少度（定量），這是一個(gè)回歸任務(wù)。分類(lèi)分析：輸出變量（結(jié)果）為有限個(gè)離散變量的預(yù)測(cè)問(wèn)題。例如，預(yù)測(cè)明天是陰、晴還是雨（定性），這是一個(gè)分類(lèi)任務(wù)。分類(lèi)預(yù)測(cè)回歸得到的結(jié)果是連續(xù)值，分類(lèi)的得到的結(jié)果是離散值。154三、工業(yè)大數(shù)據(jù)建?；貧w分析思想：給定一個(gè)自變量

x，以及一個(gè)因變量y，用歷史數(shù)據(jù)樣本，擬合得到一條直線或曲線。

歸回分析算法思想因變量：通常是實(shí)際問(wèn)題中所關(guān)心的一類(lèi)指標(biāo)，常用y表示。例如，研究能源消耗與某些因素關(guān)系中，那么，能源消耗就是因變量。自變量：影響因變量取值的變量稱為自變量，常用x來(lái)表示。如研究能