《工業(yè)互聯(lián)網(wǎng)技術(shù)導(dǎo)論》 課件 第5、6章 工業(yè)大數(shù)據(jù)、工業(yè)人工智能

第5章

工業(yè)大數(shù)據(jù)大數(shù)據(jù)（bigdata），指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合大數(shù)據(jù)人類(lèi)利用數(shù)據(jù)的歷史非常悠久，最早可以追溯到數(shù)字發(fā)明時(shí)期，不同文明均掌握了利用數(shù)字記錄和管理生產(chǎn)生活的能力數(shù)據(jù)作為一種經(jīng)濟(jì)資源和生產(chǎn)要素，是人工智能等新興技術(shù)發(fā)展的動(dòng)力，沒(méi)有海量的數(shù)據(jù)積累和應(yīng)用場(chǎng)景，人工智能很難沖破瓶頸快速發(fā)展在制度、技術(shù)和經(jīng)濟(jì)發(fā)展的交織作用下，數(shù)據(jù)完成了從數(shù)字到資產(chǎn)的轉(zhuǎn)變，在這個(gè)過(guò)程中數(shù)據(jù)的規(guī)模、價(jià)值和影響不斷擴(kuò)大大數(shù)據(jù)傳輸挖掘應(yīng)用相比于傳統(tǒng)的小數(shù)據(jù)，大數(shù)據(jù)最大的價(jià)值在于通過(guò)從大量不相關(guān)的各種類(lèi)型的數(shù)據(jù)中，挖掘出對(duì)未來(lái)趨勢(shì)與模式預(yù)測(cè)分析有價(jià)值的數(shù)據(jù)大數(shù)據(jù)處理技術(shù)在具體的應(yīng)用方面，可以為國(guó)家支柱企業(yè)的數(shù)據(jù)分析和處理提供技術(shù)和平臺(tái)支持，為企業(yè)進(jìn)行數(shù)據(jù)分析、處理、挖掘，提取出重要的信息和知識(shí)大數(shù)據(jù)技術(shù)

數(shù)據(jù)采集區(qū)別于小數(shù)據(jù)采集，大數(shù)據(jù)采集不再僅僅使用問(wèn)卷調(diào)查、信息系統(tǒng)的數(shù)據(jù)庫(kù)取得結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)的來(lái)源有很多，主要包括使用網(wǎng)絡(luò)爬蟲(chóng)獲取的網(wǎng)頁(yè)文本數(shù)據(jù)、使用日志收集器收集的日志數(shù)據(jù)、從關(guān)系型數(shù)據(jù)庫(kù)中獲得的數(shù)據(jù)和由傳感器收集到的時(shí)空數(shù)據(jù)數(shù)據(jù)存儲(chǔ)如今大數(shù)據(jù)的火熱，帶來(lái)的第一道障礙就是關(guān)于大數(shù)據(jù)存儲(chǔ)的問(wèn)題。大數(shù)據(jù)因?yàn)橐?guī)模大、類(lèi)型多樣、新增速度快，所以在存儲(chǔ)和計(jì)算上，都需要技術(shù)支持目前常見(jiàn)的大數(shù)據(jù)存儲(chǔ)方式主要有分布式存儲(chǔ)、NoSQL數(shù)據(jù)庫(kù)和云數(shù)據(jù)庫(kù)三種。數(shù)據(jù)清洗在大數(shù)據(jù)時(shí)代，數(shù)據(jù)清洗通常是指把“臟數(shù)據(jù)”徹底洗掉，所謂“臟數(shù)據(jù)”是指不完整、不規(guī)范、不準(zhǔn)確的數(shù)據(jù)，只有通過(guò)數(shù)據(jù)清洗才能從根本上提高數(shù)據(jù)質(zhì)量。在數(shù)據(jù)清洗定義中包含兩個(gè)重要的概念：原始數(shù)據(jù)和干凈數(shù)據(jù)。（1）原始數(shù)據(jù)是來(lái)自數(shù)據(jù)源的數(shù)據(jù)，一般作為數(shù)據(jù)清洗的輸入數(shù)據(jù)。由于原始數(shù)據(jù)的來(lái)源紛雜，因此不適合直接進(jìn)行分析。值得注意的是：對(duì)于未清洗的數(shù)據(jù)集，無(wú)論嘗試什么類(lèi)型的算法，都無(wú)法獲得準(zhǔn)確的結(jié)果。（2）干凈數(shù)據(jù)也稱目標(biāo)數(shù)據(jù)，即為符合數(shù)據(jù)倉(cāng)庫(kù)或上層應(yīng)用邏輯規(guī)格的數(shù)據(jù)，也是數(shù)據(jù)清洗過(guò)程的結(jié)果數(shù)據(jù)。數(shù)據(jù)計(jì)算面向大數(shù)據(jù)處理的數(shù)據(jù)查詢、統(tǒng)計(jì)、分析、挖掘等需求，促生了大數(shù)據(jù)計(jì)算的不同計(jì)算模式，整體上人們把大數(shù)據(jù)計(jì)算分為離線批處理計(jì)算、實(shí)時(shí)交互計(jì)算和流計(jì)算三種。數(shù)據(jù)分析與挖掘大數(shù)據(jù)分析是通常是指對(duì)規(guī)模巨大的數(shù)據(jù)進(jìn)行分析，其目的是提取海量數(shù)據(jù)中的有價(jià)值的內(nèi)容，找出內(nèi)在的規(guī)律，從而幫助人們做出最正確的決策。數(shù)據(jù)可視化由于對(duì)海量的數(shù)據(jù)做出有意義的理解非常困難，而許多大數(shù)據(jù)集中又包含了有價(jià)值的數(shù)據(jù)，因此數(shù)據(jù)可視化已成為決策者的重要方法數(shù)據(jù)治理數(shù)據(jù)治理是指從使用零散數(shù)據(jù)變?yōu)槭褂媒y(tǒng)一數(shù)據(jù)、從具有很少或沒(méi)有組織流程到企業(yè)范圍內(nèi)的綜合數(shù)據(jù)管控、從數(shù)據(jù)混亂狀況到數(shù)據(jù)井井有條的一個(gè)過(guò)程。數(shù)據(jù)治理能夠有效幫助企業(yè)利用數(shù)據(jù)建立全面的評(píng)估體系，實(shí)現(xiàn)業(yè)務(wù)增長(zhǎng)；通過(guò)數(shù)據(jù)優(yōu)化產(chǎn)品，提升運(yùn)營(yíng)效率，真正實(shí)現(xiàn)數(shù)據(jù)系統(tǒng)賦能業(yè)務(wù)系統(tǒng)，提升以客戶為中心的數(shù)字化體驗(yàn)?zāi)芰?，?shí)現(xiàn)生意的增長(zhǎng)。國(guó)家標(biāo)準(zhǔn)GB/T34960的數(shù)據(jù)治理框架。該數(shù)據(jù)治理框架比較符合我國(guó)企業(yè)和政府的組織現(xiàn)狀，更加全面地和精煉地描述了數(shù)據(jù)治理的工作內(nèi)容，包含頂層設(shè)計(jì)、數(shù)據(jù)治理環(huán)境、數(shù)據(jù)治理域和數(shù)據(jù)治理過(guò)程。工業(yè)大數(shù)據(jù)

工業(yè)大數(shù)據(jù)即難以通過(guò)傳統(tǒng)的分析工具進(jìn)行有效分析的工業(yè)數(shù)據(jù)的集合，具備明顯的大數(shù)據(jù)的容量大、數(shù)據(jù)類(lèi)型多、數(shù)據(jù)價(jià)值高、數(shù)據(jù)更新快的特性工業(yè)大數(shù)據(jù)推動(dòng)互聯(lián)網(wǎng)由以服務(wù)個(gè)人用戶消費(fèi)為主向服務(wù)生產(chǎn)性應(yīng)用為主，由此導(dǎo)致產(chǎn)業(yè)模式、制造模式和商業(yè)模式的重塑工業(yè)大數(shù)據(jù)與大數(shù)據(jù)的關(guān)系工業(yè)大數(shù)據(jù)應(yīng)用是基于工業(yè)數(shù)據(jù)，運(yùn)用先進(jìn)的大數(shù)據(jù)相關(guān)思維、工具、方法，貫穿于工業(yè)的設(shè)計(jì)、工藝、生產(chǎn)、管理、服務(wù)等各個(gè)環(huán)節(jié)，使工業(yè)系統(tǒng)、工業(yè)產(chǎn)品具備描述、診斷、預(yù)測(cè)、決策、控制等智能化功能模式和結(jié)果使用大數(shù)據(jù)技術(shù)對(duì)工業(yè)生產(chǎn)進(jìn)行優(yōu)化工業(yè)大數(shù)據(jù)在智能制造中有著廣泛的應(yīng)用前景，在產(chǎn)品市場(chǎng)需求獲取、產(chǎn)品研發(fā)、制造、運(yùn)行、服務(wù)直至報(bào)廢回收的產(chǎn)品全生命周期過(guò)程中，工業(yè)大數(shù)據(jù)在智能化設(shè)計(jì)、智能化生產(chǎn)、網(wǎng)絡(luò)化協(xié)同制造、智能化服務(wù)、個(gè)性化定制等場(chǎng)景都發(fā)揮出巨大的作用工業(yè)大數(shù)據(jù)與工業(yè)互聯(lián)網(wǎng)1）基于數(shù)字孿生的智慧研發(fā)場(chǎng)景應(yīng)用2）基于柔性生產(chǎn)的大規(guī)模個(gè)性化定制場(chǎng)景3）基于產(chǎn)品全生命周期管理的設(shè)備預(yù)測(cè)管理工業(yè)大數(shù)據(jù)參考架構(gòu)工業(yè)大數(shù)據(jù)參考架構(gòu)以工業(yè)過(guò)程的業(yè)務(wù)需求為導(dǎo)向，基于工業(yè)系統(tǒng)的業(yè)務(wù)架構(gòu)，規(guī)劃工業(yè)大數(shù)據(jù)的數(shù)據(jù)、技術(shù)和應(yīng)用（平臺(tái)）架構(gòu)，以搭建面向多業(yè)務(wù)領(lǐng)域、貫通多組織和應(yīng)用層次的工業(yè)大數(shù)據(jù)IT架構(gòu)工業(yè)大數(shù)據(jù)的應(yīng)用工業(yè)大數(shù)據(jù)是提升工業(yè)生產(chǎn)效率，降低能耗，轉(zhuǎn)變高耗能、低效率、勞動(dòng)密集的粗放型生產(chǎn)面貌的必要手段大數(shù)據(jù)也是實(shí)現(xiàn)工業(yè)企業(yè)從制造向服務(wù)轉(zhuǎn)型的關(guān)鍵支撐技術(shù)工業(yè)大數(shù)據(jù)處理過(guò)程工業(yè)大數(shù)據(jù)采集不論智能制造發(fā)展到何種程度，數(shù)據(jù)采集都是生產(chǎn)中最實(shí)際最高頻的需求，也是工業(yè)4.0的先決條件工業(yè)大數(shù)據(jù)的現(xiàn)場(chǎng)數(shù)據(jù)采集。該方式屬于物聯(lián)網(wǎng)終端傳感器系統(tǒng)的一種，通過(guò)裝在機(jī)器上的無(wú)線模塊，采集指定機(jī)器PLC工作信息，上傳到主機(jī)，主機(jī)處理數(shù)據(jù)后上傳到云服務(wù)器。用戶可在手機(jī)、平板、電腦上查看機(jī)器工作信息，并可以有限度地設(shè)置機(jī)器工作參數(shù)。工業(yè)大數(shù)據(jù)預(yù)處理在工業(yè)數(shù)據(jù)分析之前，需要采用一定的數(shù)據(jù)預(yù)處理技術(shù)，如消除數(shù)據(jù)中的噪聲、糾正數(shù)據(jù)的不一致、刪除異常值等，來(lái)提高模型魯棒性數(shù)據(jù)異常處理異常值也叫作離群值，通常是指采集數(shù)據(jù)時(shí)可能因?yàn)榧夹g(shù)或物理原因，數(shù)據(jù)取值超過(guò)數(shù)據(jù)值域范圍。處理離群值，首先要識(shí)別離群值。目前對(duì)于異常值的檢測(cè)可以通過(guò)分析統(tǒng)計(jì)數(shù)據(jù)的散度情況，即數(shù)據(jù)變異指標(biāo)，來(lái)對(duì)數(shù)據(jù)的總體特征有更進(jìn)一步的了解數(shù)據(jù)缺失處理現(xiàn)實(shí)世界的數(shù)據(jù)大多都是不完整的，工業(yè)大數(shù)據(jù)更是如此缺失數(shù)據(jù)在機(jī)器學(xué)習(xí)應(yīng)用中是比較棘手的問(wèn)題。首先，不能簡(jiǎn)單地忽略數(shù)據(jù)集中缺失的數(shù)據(jù)值，而是必須以合理的理由處理這類(lèi)數(shù)據(jù)工業(yè)大數(shù)據(jù)建模DIKW模型DIKW模型是一個(gè)關(guān)于數(shù)據(jù)（Data）、信息（Information）、知識(shí)（Knowledge）、智慧（Wisdom）的模型DIKW模型中提及的數(shù)據(jù)、信息、知識(shí)及智慧，它們之間的轉(zhuǎn)化依賴于人們個(gè)人的經(jīng)驗(yàn)、創(chuàng)造力和對(duì)內(nèi)容的理解程度。數(shù)據(jù)：某個(gè)觀測(cè)站觀測(cè)到某日的最高氣溫是35℃，這就是一個(gè)數(shù)據(jù)。信息：綜合整月、全年乃至更長(zhǎng)時(shí)段的氣溫?cái)?shù)據(jù)，便能得到這個(gè)站點(diǎn)的氣溫序列，這就是信息。知識(shí)：基于某城市多個(gè)觀測(cè)站的常年觀測(cè)資料，人們就能夠判斷當(dāng)?shù)氐臍夂驐l件如何，就形成了知識(shí)。智慧：如果人們能夠?qū)χR(shí)進(jìn)行進(jìn)一步挖掘分析，利用它提煉出正確的決策，就進(jìn)一步提升到了智慧。系統(tǒng)通過(guò)傳感器采集到實(shí)時(shí)的溫度，再把該數(shù)據(jù)與其他數(shù)據(jù)關(guān)聯(lián)(比如批次、條碼、機(jī)臺(tái)、原料、產(chǎn)品質(zhì)量等級(jí)等)，同時(shí)可以計(jì)算生產(chǎn)過(guò)程中溫度點(diǎn)的各種統(tǒng)計(jì)值，這些信息既可以根據(jù)已知的知識(shí)（工藝要求）進(jìn)行過(guò)程控制，也可以進(jìn)行相關(guān)性分析歸納出模型。知識(shí)工程知識(shí)是指人類(lèi)認(rèn)識(shí)的成果或結(jié)晶。知識(shí)工程的研究方向是專(zhuān)家知識(shí)的獲取、表達(dá)和推理過(guò)程的系統(tǒng)方法。工業(yè)領(lǐng)域的知識(shí)按照其屬性可以分為隱性知識(shí)、顯性知以及工業(yè)大數(shù)據(jù)三大類(lèi)，并通過(guò)知識(shí)之間互相作用、互相轉(zhuǎn)化，應(yīng)用到企業(yè)創(chuàng)新業(yè)務(wù)活動(dòng)中。工業(yè)建模數(shù)據(jù)建模的本質(zhì)，是根據(jù)一部分能夠獲得的數(shù)據(jù)獲得另一部分不統(tǒng)一直接獲得的數(shù)據(jù)。對(duì)于復(fù)雜的工業(yè)建模過(guò)程，充分利用知識(shí)領(lǐng)域是成功的前提。不過(guò)需要注意的是：在工業(yè)領(lǐng)域，由于應(yīng)用場(chǎng)景的不同以及數(shù)據(jù)采集條件的不斷變化，模型的誤差可能會(huì)變得很大，而這些變化會(huì)對(duì)人們的建模過(guò)程產(chǎn)生深刻的影響。工業(yè)大數(shù)據(jù)的參考模型CRISP-DMCRISP-DM模型是歐盟起草的跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程(Cross-IndustryStandardProcessforDataMining)的簡(jiǎn)稱。這個(gè)標(biāo)準(zhǔn)以數(shù)據(jù)為中心，將相關(guān)工作分成業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、建模、驗(yàn)證與評(píng)估、實(shí)施與運(yùn)行等六個(gè)基本的步驟工業(yè)大數(shù)據(jù)建模應(yīng)用由于工業(yè)生產(chǎn)過(guò)程中本身受到各種機(jī)理約束條件的限制，利用歷史過(guò)程數(shù)據(jù)定義問(wèn)題邊界往往達(dá)不到工業(yè)的生產(chǎn)要求因此，人們往往需要采用數(shù)據(jù)驅(qū)動(dòng)+模型驅(qū)動(dòng)+場(chǎng)景部署的多輪驅(qū)動(dòng)方式，實(shí)現(xiàn)數(shù)據(jù)和機(jī)理的深度融合，去解決實(shí)際的工業(yè)問(wèn)題。圖顯示了數(shù)控車(chē)床壽命預(yù)測(cè)模型，該模型設(shè)備部件為主軸，設(shè)備名稱為數(shù)控車(chē)床，通過(guò)建立模型來(lái)預(yù)測(cè)其壽命，并通過(guò)可視化圖表來(lái)顯示工業(yè)大數(shù)據(jù)分析工業(yè)大數(shù)據(jù)分析是利用統(tǒng)計(jì)學(xué)分析技術(shù)、機(jī)器學(xué)習(xí)技術(shù)、信號(hào)處理技術(shù)等技術(shù)手段，結(jié)合業(yè)務(wù)知識(shí)對(duì)工業(yè)過(guò)程中產(chǎn)生的數(shù)據(jù)進(jìn)行處理、計(jì)算、分析并提取其中有價(jià)值的信息、規(guī)律的過(guò)程。作為智能制造的核心環(huán)節(jié)，工業(yè)大數(shù)據(jù)分析已經(jīng)被多數(shù)的制造企業(yè)所認(rèn)知并接受。工業(yè)大數(shù)據(jù)分析常見(jiàn)的類(lèi)型可分為描述類(lèi)、診斷類(lèi)、預(yù)測(cè)類(lèi)、決策類(lèi)以及控制類(lèi)等。機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)，通俗地講就是讓機(jī)器來(lái)實(shí)現(xiàn)學(xué)習(xí)的過(guò)程，讓機(jī)器擁有學(xué)習(xí)的能力，從而改善系統(tǒng)自身的性能。在機(jī)器學(xué)習(xí)中，首先要輸入大量數(shù)據(jù)，并根據(jù)需要來(lái)訓(xùn)練模型，再對(duì)訓(xùn)練后的模型進(jìn)行應(yīng)用，以判斷其算法的準(zhǔn)確性在當(dāng)前的大數(shù)據(jù)時(shí)代，數(shù)據(jù)分析和機(jī)器學(xué)習(xí)在流程工業(yè)中得到了越來(lái)越廣泛的應(yīng)用，這些方法滲透到流程工業(yè)的各個(gè)層次，這既包括在過(guò)程監(jiān)控和軟測(cè)量等底層控制回路中的應(yīng)用，也包括最優(yōu)控制和頂層決策等應(yīng)用。特征工程特征是建立在原始數(shù)據(jù)基礎(chǔ)之上的特定表示，是一個(gè)單獨(dú)的可測(cè)量的屬性，通常由數(shù)據(jù)集中的列表述。圖顯示了特征工程的重要性，在工業(yè)大數(shù)據(jù)中一個(gè)好的解決方案來(lái)源于對(duì)業(yè)務(wù)的深入理解和對(duì)數(shù)據(jù)的細(xì)致分析。工業(yè)大數(shù)據(jù)分析的常見(jiàn)算法1）聚類(lèi)分析聚類(lèi)分析是指對(duì)一批沒(méi)有標(biāo)出類(lèi)別的樣本(可以看作是數(shù)據(jù)框其中的一行數(shù)據(jù))，按照樣本之間的相似程度進(jìn)行分類(lèi)，將相似的歸為一類(lèi)，不相似的歸為另一類(lèi)的過(guò)程。在工業(yè)生產(chǎn)中，聚類(lèi)算法往往應(yīng)用于工藝優(yōu)化，比如對(duì)車(chē)間生產(chǎn)歷史數(shù)據(jù)的聚類(lèi)分析，得到工藝參數(shù)與產(chǎn)品質(zhì)量、能耗水平的影響關(guān)系，從而提升制造水平。2）降維算法在互聯(lián)網(wǎng)大數(shù)據(jù)場(chǎng)景下，人們經(jīng)常需要面對(duì)高維數(shù)據(jù)，在對(duì)這些數(shù)據(jù)做分析和可視化的時(shí)候，人們通常會(huì)面對(duì)高維這個(gè)障礙。數(shù)據(jù)降維，一方面可以解決“維數(shù)災(zāi)難”，緩解“信息豐富、知識(shí)貧乏”現(xiàn)狀，降低復(fù)雜度；另一方面可以更好地認(rèn)識(shí)和理解數(shù)據(jù)。3）SVM支持向量機(jī)（SupportVectorMachine，SVM）是一種支持線性分類(lèi)和非線性分類(lèi)的二元分類(lèi)算法。在工業(yè)生產(chǎn)中，可以通過(guò)訓(xùn)練和操作支持向量機(jī)，分析產(chǎn)品內(nèi)部缺陷檢測(cè)的性能。4）決策樹(shù)算法決策樹(shù)學(xué)習(xí)是應(yīng)用最廣的歸納推理算法之一，它是一種逼近離散值函數(shù)的方法，對(duì)噪聲數(shù)據(jù)有很好的健壯性且能夠?qū)W習(xí)析取表達(dá)式一個(gè)典型的決策樹(shù)實(shí)例如圖所示。決策樹(shù)算法可以應(yīng)用在很多領(lǐng)域內(nèi)，如根據(jù)地理位置預(yù)測(cè)產(chǎn)品的需求量、根據(jù)疾病分類(lèi)患者、根據(jù)起因分類(lèi)設(shè)備故障、根據(jù)拖欠支付的可能性分類(lèi)貸款申請(qǐng)。對(duì)于這些問(wèn)題，核心任務(wù)都是要把樣例分類(lèi)到各可能的離散值對(duì)應(yīng)的類(lèi)別中，因此這些問(wèn)題經(jīng)常被稱為分類(lèi)問(wèn)題。5）關(guān)聯(lián)規(guī)則算法關(guān)聯(lián)規(guī)則算法常用來(lái)描述數(shù)據(jù)之間的相關(guān)關(guān)系的描述型模式，挖掘關(guān)聯(lián)規(guī)則的算法和聚類(lèi)算法類(lèi)似，屬于無(wú)監(jiān)督學(xué)習(xí)的方法。關(guān)聯(lián)規(guī)則的定義是：兩個(gè)不相交的非空集合X、Y，如果由X->Y，就說(shuō)X->Y是一條關(guān)聯(lián)規(guī)則。其中X表示的是兩個(gè)互斥事件，X稱為前因(antecedent)，Y稱為后果(consequent)，上述關(guān)聯(lián)規(guī)則表示X會(huì)導(dǎo)致Y。隨著關(guān)聯(lián)規(guī)則挖掘技術(shù)的不斷進(jìn)步，關(guān)聯(lián)規(guī)則已經(jīng)在各行各業(yè)中廣泛應(yīng)用，例如國(guó)內(nèi)外的知名電商、銀行的理財(cái)服務(wù)都從關(guān)聯(lián)規(guī)則算法中受益。6）樸素貝葉斯算法貝葉斯算法是統(tǒng)計(jì)模型決策中的一個(gè)基本方法，其基本思想是已知條件概率密度參數(shù)表達(dá)式和先驗(yàn)概率，利用貝葉斯公式轉(zhuǎn)換成后驗(yàn)概率，再根據(jù)后驗(yàn)概率大小進(jìn)行決策分類(lèi)。樸素貝葉斯主要用于分類(lèi)問(wèn)題，比如新聞分類(lèi)、文本分類(lèi)、病人分類(lèi)、郵件分類(lèi)等。例如在企業(yè)中如果已經(jīng)收集了大量垃圾郵件和非垃圾郵件，則可以使用樸素貝葉斯算法來(lái)過(guò)濾垃圾郵件。此外，在工廠生產(chǎn)中還可以使用并行高斯分布樸素貝葉斯分類(lèi)算法來(lái)處理大規(guī)模連續(xù)型數(shù)據(jù)。工業(yè)大數(shù)據(jù)可視化通過(guò)增加數(shù)據(jù)可視化使用，企業(yè)能夠發(fā)現(xiàn)他們追求的價(jià)值。例如，通過(guò)三維可視化技術(shù)將整個(gè)工廠環(huán)境和生產(chǎn)設(shè)備進(jìn)行三維呈現(xiàn)，對(duì)整個(gè)生產(chǎn)過(guò)程進(jìn)行虛擬仿真工業(yè)大數(shù)據(jù)治理

大數(shù)據(jù)治理可以為業(yè)務(wù)提供持續(xù)的、可度量的價(jià)值。工業(yè)界IBM數(shù)據(jù)治理委員會(huì)給數(shù)據(jù)治理的定義如下：數(shù)據(jù)治理是一組流程，用來(lái)改變組織行為，利用和保護(hù)企業(yè)數(shù)據(jù)，將其作為一種戰(zhàn)略資產(chǎn)。數(shù)據(jù)治理是專(zhuān)注于將數(shù)據(jù)作為企業(yè)的商業(yè)資產(chǎn)進(jìn)行應(yīng)用和管理的一套管理機(jī)制，它能夠消除數(shù)據(jù)的不一致性，建立規(guī)范的數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)，提高組織的數(shù)據(jù)質(zhì)量，實(shí)現(xiàn)數(shù)據(jù)廣泛共享工業(yè)大數(shù)據(jù)戰(zhàn)略工業(yè)大數(shù)據(jù)治理工業(yè)大數(shù)據(jù)治理架構(gòu)工業(yè)大數(shù)據(jù)治理核心內(nèi)容1）主數(shù)據(jù)主數(shù)據(jù)是用來(lái)描述企業(yè)核心業(yè)務(wù)實(shí)體的數(shù)據(jù)，它是具有高業(yè)務(wù)價(jià)值的、可以在企業(yè)內(nèi)跨越各個(gè)業(yè)務(wù)部門(mén)被重復(fù)使用的數(shù)據(jù)，并且存在于多個(gè)異構(gòu)的應(yīng)用系統(tǒng)中2）元數(shù)據(jù)元數(shù)據(jù)是描述企業(yè)數(shù)據(jù)的相關(guān)數(shù)據(jù)（包括對(duì)數(shù)據(jù)的業(yè)務(wù)、結(jié)構(gòu)、定義、存儲(chǔ)、安全等各方面對(duì)數(shù)據(jù)的描述），一般是指在IT系統(tǒng)建設(shè)過(guò)程中所產(chǎn)生的有關(guān)數(shù)據(jù)定義、目標(biāo)定義、轉(zhuǎn)換規(guī)則等相關(guān)的關(guān)鍵數(shù)據(jù)，在數(shù)據(jù)治理中具有重要的地位數(shù)據(jù)質(zhì)量與數(shù)據(jù)管理1）ISO8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)ISO8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)是針對(duì)數(shù)據(jù)質(zhì)量制定的國(guó)際標(biāo)準(zhǔn)化組織標(biāo)準(zhǔn)，標(biāo)準(zhǔn)致力于管理數(shù)據(jù)質(zhì)量，具體來(lái)說(shuō)，包括規(guī)范和管理數(shù)據(jù)質(zhì)量活動(dòng)、數(shù)據(jù)質(zhì)量原則、數(shù)據(jù)質(zhì)量術(shù)語(yǔ)、數(shù)據(jù)質(zhì)量特征（標(biāo)準(zhǔn)）和數(shù)據(jù)質(zhì)量測(cè)試。2）數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)價(jià)值的成功發(fā)掘必須依托于高質(zhì)量的數(shù)據(jù)，唯有準(zhǔn)確、完整、一致的數(shù)據(jù)才有使用價(jià)值。3）數(shù)據(jù)周期管理數(shù)據(jù)生命周期從數(shù)據(jù)規(guī)劃開(kāi)始，中間是一個(gè)包括設(shè)計(jì)、創(chuàng)建、處理、部署、應(yīng)用、監(jiān)控、存檔、銷(xiāo)毀這幾個(gè)階段并不斷循環(huán)的過(guò)程。數(shù)據(jù)標(biāo)準(zhǔn)標(biāo)準(zhǔn)是指為了在一定的范圍內(nèi)獲得最佳秩序，經(jīng)協(xié)商一致制定并由公認(rèn)機(jī)構(gòu)批準(zhǔn)，共同使用的和重復(fù)使用的一種規(guī)范性文件。數(shù)據(jù)標(biāo)準(zhǔn)是指對(duì)數(shù)據(jù)的表達(dá)、格式及定義的一致約定，包括數(shù)據(jù)業(yè)務(wù)屬性、技術(shù)屬性和管理屬性的統(tǒng)一定義。數(shù)據(jù)治理框架目前國(guó)際、國(guó)內(nèi)上常見(jiàn)的數(shù)據(jù)治理框架有：國(guó)際標(biāo)準(zhǔn)組織ISO38500治理框架、國(guó)際數(shù)據(jù)管理協(xié)會(huì)數(shù)據(jù)治理框架、國(guó)際數(shù)據(jù)治理研究所數(shù)據(jù)治理框架、IBM數(shù)據(jù)治理框架、DCMM數(shù)據(jù)治理框架以及ISACA數(shù)據(jù)治理框架等。第6章

工業(yè)人工智能人工智能（ArtificialIntelligence，AI），它是研究、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門(mén)新的技術(shù)科學(xué)人工智能人工智能是有關(guān)“智能主體（Intelligentagent）的研究與設(shè)計(jì)”的學(xué)問(wèn)，而“智能主體是指一個(gè)可以觀察周遭環(huán)境并做出行動(dòng)以達(dá)致目標(biāo)的系統(tǒng)”人工智能還涉及到計(jì)算機(jī)科學(xué)、心理學(xué)、哲學(xué)和語(yǔ)言學(xué)等學(xué)科，幾乎是自然科學(xué)和社會(huì)科學(xué)的所有學(xué)科，其范圍已遠(yuǎn)遠(yuǎn)超出了計(jì)算機(jī)科學(xué)的范疇從根本上講，人工智能是研究使計(jì)算機(jī)來(lái)模擬人的某些思維過(guò)程和智能行為（如學(xué)習(xí)、推理、思考、規(guī)劃等）的學(xué)科人工智能的分類(lèi)強(qiáng)人工智能弱人工智能超人工智能弱人工智能就是利用現(xiàn)有智能化技術(shù)，來(lái)改善我們經(jīng)濟(jì)社會(huì)發(fā)展所需要的一些技術(shù)條件和發(fā)展功能，也指單一做一項(xiàng)任務(wù)的智能強(qiáng)人工智能是綜合的，在各方面都能和人類(lèi)比肩的人工智能，人類(lèi)能干的腦力活它都能干，例如能干很多事情的機(jī)器人超人工智能是“在幾乎所有領(lǐng)域都大大超過(guò)人類(lèi)認(rèn)知表現(xiàn)的任何智力”人工智能研究的主要流派人工智能研究影響較大的主要有符號(hào)主義、連接主義和行為主義三大學(xué)派。三大流派符號(hào)主義行為主義連接主義符號(hào)主義（Symbolism）是一種基于邏輯推理的智能模擬方法，又稱為邏輯主義(Logicism)、心理學(xué)派(Psychlogism)或計(jì)算機(jī)學(xué)派(Computerism)，其原理主要為物理符號(hào)系統(tǒng)假設(shè)和有限合理性原理行為主義又稱進(jìn)化主義(Evolutionism)或控制論學(xué)派(Cyberneticsism)，是一種基于“感知——行動(dòng)”的行為智能模擬方法。行為主義最早來(lái)源于20世紀(jì)初的一個(gè)心理學(xué)流派，認(rèn)為行為是有機(jī)體用以適應(yīng)環(huán)境變化的各種身體反應(yīng)的組合，它的理論目標(biāo)在于預(yù)見(jiàn)和控制行為。連接主義（Connectionism）又稱為仿生學(xué)派(Bionicsism)或生理學(xué)派(Physiologism)。是一種基于神經(jīng)網(wǎng)絡(luò)及網(wǎng)絡(luò)間的連接機(jī)制與學(xué)習(xí)算法的智能模擬方法。其原理主要為神經(jīng)網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)間的連接機(jī)制和學(xué)習(xí)算法人工智能研究的應(yīng)用1）專(zhuān)家系統(tǒng)與傳統(tǒng)的計(jì)算機(jī)程序相比，專(zhuān)家系統(tǒng)是以知識(shí)為中心，注重知識(shí)本身而不是確定的算法．專(zhuān)家系統(tǒng)所要解決的是復(fù)雜而專(zhuān)門(mén)的問(wèn)題2）模式識(shí)別模式識(shí)別就是通過(guò)計(jì)算機(jī)用數(shù)學(xué)技術(shù)方法來(lái)研究模式的自動(dòng)處理和判讀，這里把環(huán)境與客體統(tǒng)稱為“模式”。3）自然語(yǔ)言處理自然語(yǔ)言處理是人工智能早期的研究領(lǐng)域之一，也是一個(gè)極為重要的領(lǐng)域，主要包括人機(jī)對(duì)話和機(jī)器翻譯兩大任務(wù)，是一門(mén)融語(yǔ)言學(xué)、計(jì)算機(jī)科學(xué)、數(shù)學(xué)于一體的科學(xué)。4）機(jī)器人學(xué)機(jī)器人和機(jī)器人學(xué)是人工智能研究的另一個(gè)重要的應(yīng)用領(lǐng)域，促進(jìn)了許多人工智能思想的發(fā)展，由它衍生而來(lái)的一些技術(shù)可用來(lái)模擬現(xiàn)實(shí)世界的狀態(tài)5）智能操縱人工智能的進(jìn)展促進(jìn)自動(dòng)操縱向智能操縱進(jìn)展。智能操縱是一類(lèi)無(wú)需(或需要盡可能少的)人的干預(yù)就能夠獨(dú)立地驅(qū)動(dòng)智能機(jī)器實(shí)現(xiàn)其目標(biāo)的自動(dòng)操縱。或者講，智能操縱是驅(qū)動(dòng)智能機(jī)器自主地實(shí)現(xiàn)其目標(biāo)的過(guò)程。

6）感知問(wèn)題感知問(wèn)題是人工智能的一個(gè)經(jīng)典研究課題，涉及神經(jīng)生理學(xué)、視覺(jué)心理學(xué)、物理學(xué)、化學(xué)等學(xué)科領(lǐng)域，具體包括計(jì)算機(jī)視覺(jué)和聲音處理等。人工智能核心技術(shù)與理論模型

深度學(xué)習(xí)深度學(xué)習(xí)的本質(zhì)就是人工神經(jīng)網(wǎng)絡(luò)，人工神經(jīng)網(wǎng)絡(luò)就是通過(guò)模擬生物神經(jīng)網(wǎng)，而使得機(jī)器能夠具備學(xué)習(xí)能力，從而具備智能。深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)系統(tǒng)的不同之處在于，它能夠在分析大型數(shù)據(jù)集時(shí)進(jìn)行自我學(xué)習(xí)和改進(jìn)，因此能應(yīng)用在許多不同的領(lǐng)域。深度學(xué)習(xí)的應(yīng)用1）圖像識(shí)別

圖像識(shí)別是最早深度學(xué)習(xí)的應(yīng)用領(lǐng)域之一，其本質(zhì)是一個(gè)圖像分類(lèi)問(wèn)題2）機(jī)器翻譯傳統(tǒng)的機(jī)器翻譯模型采用是基于統(tǒng)計(jì)分析的算法模型，可想而知，對(duì)于復(fù)雜的語(yǔ)言表達(dá)邏輯，效果并不佳。而基于深度學(xué)習(xí)的機(jī)器翻譯，讓機(jī)器翻譯出來(lái)的結(jié)果更加接近人類(lèi)的表達(dá)邏輯，正確率得到了大大的提高3）自動(dòng)駕駛現(xiàn)在很多互聯(lián)網(wǎng)大公司都在自動(dòng)駕駛上投入了大量的資源，如國(guó)內(nèi)的百度、美國(guó)的Google公司、Uber公司等。深度學(xué)習(xí)技術(shù)感知機(jī)感知機(jī)被稱為深度學(xué)習(xí)領(lǐng)域最為基礎(chǔ)的模型。雖然感知機(jī)是最為基礎(chǔ)的模型，但是它在深度學(xué)習(xí)的領(lǐng)域中有著舉足輕重的地位，它是神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)學(xué)習(xí)的基礎(chǔ)，可以說(shuō)它是最古老的分類(lèi)方法之一。感知機(jī)接收多個(gè)輸入信號(hào)，輸出一個(gè)信號(hào)。這里所說(shuō)的“信號(hào)”可以想象成電流或河流那樣具備“流動(dòng)性”的東西。感知機(jī)的多個(gè)輸入信號(hào)都有各自固有的權(quán)重，這些權(quán)重發(fā)揮著控制各個(gè)信號(hào)的重要性的作用。也就是說(shuō)，權(quán)重越大，對(duì)應(yīng)該權(quán)重的信號(hào)的重要性就越高。事實(shí)上，感知器不僅僅能實(shí)現(xiàn)簡(jiǎn)單的布爾運(yùn)算。它可以擬合任何的線性函數(shù)，任何線性分類(lèi)或線性回歸問(wèn)題都可以用感知器來(lái)解決。使用感知機(jī)來(lái)劃分二維平面。神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)（NeuralNetwork，NN）亦稱為人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN），是由大量神經(jīng)元（Neurons）廣泛互連而成的網(wǎng)絡(luò)，是對(duì)人腦的抽象、簡(jiǎn)化和模擬，應(yīng)用了一些人腦的基本特性。神經(jīng)網(wǎng)絡(luò)的信息處理是由神經(jīng)元之間的相互作用實(shí)現(xiàn)的，知識(shí)與信息的存儲(chǔ)主要表現(xiàn)為網(wǎng)絡(luò)元件互相連接的分布式物理聯(lián)系。前饋神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中最基本的網(wǎng)絡(luò)結(jié)構(gòu)，它通常由3部分組成，包括輸入層、隱藏層和輸出層。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也稱為訓(xùn)練，指的是通過(guò)神經(jīng)網(wǎng)絡(luò)所在環(huán)境的刺激作用調(diào)整神經(jīng)網(wǎng)絡(luò)的自由參數(shù)，使神經(jīng)網(wǎng)絡(luò)以一種新的方式對(duì)外部環(huán)境做出反應(yīng)的一個(gè)過(guò)程。激活函數(shù)激活函數(shù)（ActivationFunctions）對(duì)于人工神經(jīng)網(wǎng)絡(luò)模型以及卷積神經(jīng)網(wǎng)絡(luò)模型去學(xué)習(xí)理解非常復(fù)雜和非線性的函數(shù)來(lái)說(shuō)具有十分重要的作用。常見(jiàn)的激活函數(shù)有Sigmoid、tanh和ReLU損失函數(shù)損失函數(shù)是模型對(duì)數(shù)據(jù)擬合程度的反映，擬合得越差、損失函數(shù)的值就越大。與此同時(shí)，當(dāng)損失函數(shù)比較大時(shí)，其對(duì)應(yīng)的梯度也會(huì)隨之增大，這樣就可以加快變量的更新速度。卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)顧名思義是在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入了卷積運(yùn)算，通過(guò)卷積核局部感知圖像信息提取其特征，多層卷積之后能夠提取出圖像的深層抽象特征，憑借這些特征來(lái)達(dá)到更準(zhǔn)確的分類(lèi)或預(yù)測(cè)的目標(biāo)。卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN）由輸入層、輸出層以及多個(gè)隱藏層組成，隱藏層可分為卷積層、池化層、ReLU層和全連接層，其中卷積層與池化層相配合可組成多個(gè)卷積組，逐層提取特征。卷積層。卷積是一種線性計(jì)算過(guò)程，卷積運(yùn)算實(shí)際是分析數(shù)學(xué)中的一種運(yùn)算方式，在卷積神經(jīng)網(wǎng)絡(luò)中通常是僅涉及離散卷積的情形。池化層。池化層又稱為下采樣層，主要是通過(guò)對(duì)卷積形成的圖像特征進(jìn)行特征統(tǒng)計(jì)全連接層。圖像經(jīng)過(guò)卷積操作后，其關(guān)鍵特征被提取出來(lái)，全連接層的作用就是將圖像的特征進(jìn)行組合拼接生成對(duì)抗網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)（GenerativeAdversarialNetworks，GAN）獨(dú)特的對(duì)抗性思想使得它在眾多生成網(wǎng)絡(luò)模型中脫穎而出，被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)和語(yǔ)音處理等領(lǐng)域。GAN的網(wǎng)絡(luò)結(jié)構(gòu)由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)共同構(gòu)成。自然語(yǔ)言處理自然語(yǔ)言處理（NaturalLanguageProcessing，NLP）是指利用計(jì)算機(jī)對(duì)自然語(yǔ)言的形、音、義等信息進(jìn)行處理，即對(duì)字、詞、句、篇章的輸入、輸出、識(shí)別、分析、理解、生成等的操作和加工。計(jì)算機(jī)處理自然語(yǔ)言的整個(gè)過(guò)程一般可以概括為4部分：語(yǔ)料預(yù)處理、特征工程、模型訓(xùn)練和指標(biāo)評(píng)價(jià)。機(jī)器視覺(jué)機(jī)器視覺(jué)是用機(jī)器代替人眼來(lái)做測(cè)量和判斷，機(jī)器視覺(jué)的最終目標(biāo)就是讓機(jī)器像人一樣，通過(guò)視覺(jué)觀察和理解世界，具有自主適應(yīng)環(huán)境能力。機(jī)器視覺(jué)應(yīng)用——視覺(jué)定位，視覺(jué)定位能夠準(zhǔn)確地檢測(cè)到產(chǎn)品并且確認(rèn)它的位置。機(jī)器視覺(jué)作為工業(yè)傳感的核心，是機(jī)器人和自動(dòng)化設(shè)備的眼睛，是構(gòu)建工業(yè)互聯(lián)網(wǎng)，建設(shè)數(shù)字化工廠感知網(wǎng)絡(luò)的關(guān)鍵技術(shù)，同時(shí)也是實(shí)現(xiàn)柔性化智能生產(chǎn)的重要組成部分。知識(shí)圖譜知識(shí)圖譜（KnowledgeGraph）本質(zhì)上，是一種揭示實(shí)體之間關(guān)系的語(yǔ)義網(wǎng)絡(luò)。一個(gè)簡(jiǎn)單的語(yǔ)義網(wǎng)絡(luò)，用A、B分別表示節(jié)點(diǎn)1、節(jié)點(diǎn)2，用R表示A與B之間的語(yǔ)義聯(lián)系。知識(shí)圖譜與大數(shù)據(jù)、深度學(xué)習(xí)一起成為了推動(dòng)互聯(lián)網(wǎng)和人工智能發(fā)展的核心驅(qū)動(dòng)力。通過(guò)知識(shí)增強(qiáng)機(jī)器學(xué)習(xí)的過(guò)程來(lái)不斷豐富知識(shí)圖譜的內(nèi)容，最終使應(yīng)用更加智能。最優(yōu)化理論優(yōu)化理論是關(guān)于系統(tǒng)的最優(yōu)設(shè)計(jì)、最優(yōu)控制、最優(yōu)管理問(wèn)題的理論與

方法。最優(yōu)化，就是在一定的約束條件下，使