機(jī)器視覺技術(shù)與應(yīng)用-課件 第10章 深度學(xué)習(xí)技術(shù)與應(yīng)用

機(jī)器視覺技術(shù)與應(yīng)用德創(chuàng)，讓機(jī)器視覺更簡(jiǎn)單08機(jī)器視覺二次開發(fā)應(yīng)用10093D視覺技術(shù)與應(yīng)用深度學(xué)習(xí)技術(shù)與應(yīng)用07機(jī)器視覺測(cè)量應(yīng)用機(jī)器視覺引導(dǎo)應(yīng)用CHAPTER章06Section節(jié)10.1深度學(xué)習(xí)技術(shù)10.2

深度學(xué)習(xí)技術(shù)應(yīng)用TASK任務(wù)10.1

深度學(xué)習(xí)技術(shù)一、深度學(xué)習(xí)概念二、深度學(xué)習(xí)模型三、深度學(xué)習(xí)框架四、深度學(xué)習(xí)應(yīng)用案例常用3D相機(jī)品牌有哪些？V+中，和3D相關(guān)的工具有哪些？課前回顧1、深度學(xué)習(xí)概念人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的關(guān)系

概括來(lái)說(shuō)，人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)覆蓋的技術(shù)范疇是逐層遞減的，三者的關(guān)系如下圖所示。一、深度學(xué)習(xí)技術(shù)人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的關(guān)系1、深度學(xué)習(xí)概念人工智能（ArtificialIntelligence，AI）

是最寬泛的概念，是研究、開發(fā)用于模擬、延伸、擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門技術(shù)科學(xué)，通過(guò)了解智能的實(shí)質(zhì)，產(chǎn)生一種新的能以人類智能相似的方式做出反應(yīng)的智能機(jī)器。機(jī)器學(xué)習(xí)（MachineLearning，ML）是當(dāng)前比較有效的一種實(shí)現(xiàn)人工智能的方式，是研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。深度學(xué)習(xí)（DeepLearning）是一種新的機(jī)器學(xué)習(xí)方法，它基于神經(jīng)網(wǎng)絡(luò)（NeuralNetworks）來(lái)處理和分析大量數(shù)據(jù)，是通過(guò)建立能模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型，計(jì)算觀測(cè)數(shù)據(jù)的多層特征或表示。與傳統(tǒng)的機(jī)器學(xué)習(xí)算法相比，深度學(xué)習(xí)具有更強(qiáng)的表達(dá)能力和更高的準(zhǔn)確性，其在許多領(lǐng)域都有廣泛的應(yīng)用，如機(jī)器視覺、自然語(yǔ)言處理、語(yǔ)音識(shí)別、推薦系統(tǒng)、游戲AI等。隨著計(jì)算能力的提高和大數(shù)據(jù)的普及，深度學(xué)習(xí)將進(jìn)一步推動(dòng)人工智能技術(shù)的發(fā)展。一、深度學(xué)習(xí)技術(shù)2、深度學(xué)習(xí)模型深度學(xué)習(xí)模型有很多種，常見的深度學(xué)習(xí)模型有卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短記憶網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)模型等。其中，卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，簡(jiǎn)稱CNN）主要用于模式分類、物體檢測(cè)等計(jì)算機(jī)視覺任務(wù)。該網(wǎng)絡(luò)避免了對(duì)圖像的復(fù)雜前期預(yù)處理，可以直接輸入原始圖像，因而得到了更為廣泛的應(yīng)用。CNN的核心思想是利用局部連接權(quán)值共享的方式來(lái)減少網(wǎng)絡(luò)參數(shù)和計(jì)算量。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，CNN可以更好地處理高維數(shù)據(jù)，并且具有平移不變性和局部相關(guān)性等特點(diǎn)。在傳統(tǒng)的工業(yè)視覺任務(wù)中，算法的性能好壞很大程度上取決于是否能選擇合適的特征，而這恰恰是最耗費(fèi)時(shí)間和人力的，所以在圖像、語(yǔ)言、視頻處理中就顯得更加困難。CNN可以做到從原始數(shù)據(jù)出發(fā)，避免前期的特征提取，在數(shù)據(jù)中找出規(guī)律，進(jìn)而完成任務(wù)。一、深度學(xué)習(xí)技術(shù)2、深度學(xué)習(xí)模型卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)一般由輸入層、隱含層、全連接層以及輸出層組成，如下圖所示。卷積神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)一、深度學(xué)習(xí)技術(shù)2、深度學(xué)習(xí)模型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)及作用

其中，輸入層用于接受對(duì)應(yīng)的輸入圖像數(shù)據(jù)；隱含層通常由若干卷積層和池化層連接而成，負(fù)責(zé)特征的提取和組合；提取的特征送入全連接層，并通過(guò)激活函數(shù)得到最終的輸出層判別結(jié)果。值得注意的是，整個(gè)網(wǎng)絡(luò)中每一層均由不同權(quán)重值的神經(jīng)元構(gòu)成，連接著前后層網(wǎng)絡(luò)，起到正向傳輸預(yù)測(cè)值和反向調(diào)整權(quán)重參數(shù)的作用。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)及作用如圖所示。卷積神經(jīng)網(wǎng)絡(luò)作用及特點(diǎn)一、深度學(xué)習(xí)技術(shù)2、深度學(xué)習(xí)模型卷積層

在卷積層中，輸入數(shù)據(jù)被滑動(dòng)到一定大小的窗口內(nèi)，然后與每個(gè)窗口內(nèi)的所有卷積核進(jìn)行卷積運(yùn)算。由于卷積核的大小和數(shù)量可以根據(jù)具體任務(wù)進(jìn)行調(diào)整，因此可以提取不同大小、不同形狀的特征。這一層的主要目的就是將數(shù)據(jù)與權(quán)重矩陣（濾波器）進(jìn)行線性乘積并輸出特征圖。池化層

在卷積神經(jīng)網(wǎng)絡(luò)中，池化層對(duì)輸入的特征圖進(jìn)行壓縮，一方面使特征圖變小，簡(jiǎn)化網(wǎng)絡(luò)計(jì)算復(fù)雜度。另一方面進(jìn)行特征壓縮，提取主要特征。采用池化層可以忽略目標(biāo)的傾斜、旋轉(zhuǎn)之類的相對(duì)位置的變化，以提高精度，同時(shí)降低了特征圖的維度，并且在一定程度上可以避免過(guò)擬合。池化層通常非常簡(jiǎn)單，通常取最大值或平均值來(lái)創(chuàng)建自己的特征圖，如右圖所示。全連接層

在全連接層中，前面的卷積層和池化層提取出的特征圖被展開成一維向量，并通過(guò)一系列全連接層進(jìn)行分類或回歸等任務(wù)。由于全連接層的參數(shù)數(shù)量非常大，因此可以使用反向傳播算法進(jìn)行訓(xùn)練。池化層一、深度學(xué)習(xí)技術(shù)3、深度學(xué)習(xí)框架深度學(xué)習(xí)框架是指通過(guò)高級(jí)編程接口為深度神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)、訓(xùn)練、驗(yàn)證提供的組件和構(gòu)建模塊。常用的深度學(xué)習(xí)框架有TensorFlow、PyTorch、Keras、Caffe、MXNet等。一、深度學(xué)習(xí)技術(shù)4、深度學(xué)習(xí)在工業(yè)視覺領(lǐng)域的應(yīng)用案例工件顏色分類

在實(shí)際生產(chǎn)快速上下料分類的過(guò)程中，產(chǎn)品常常不能保持固定的位姿和角度，加之產(chǎn)品顏色的多樣化，使其在同種同角度光源下，常存在不同視覺效果。傳統(tǒng)的視覺方案常通過(guò)多種光源、多種角度進(jìn)行拍攝，獲取穩(wěn)定的圖片效果，但生產(chǎn)效率較低，且仍然存在一定幾率的產(chǎn)品超出視野范圍、圖像模糊、過(guò)曝等情況，如下圖所示。工件顏色分類圖像一、深度學(xué)習(xí)技術(shù)4、深度學(xué)習(xí)在工業(yè)視覺領(lǐng)域的應(yīng)用案例訓(xùn)練多姿態(tài)、多顏色、多種打光效果的圖片，使用深度學(xué)習(xí)分類工具，即可正確區(qū)分顏色，并將顏色名稱和得分情況顯示在圖片當(dāng)中。工件顏色分類深度學(xué)習(xí)結(jié)果一、深度學(xué)習(xí)技術(shù)4、深度學(xué)習(xí)在工業(yè)視覺領(lǐng)域的應(yīng)用案例柱狀塞芯外觀缺陷檢測(cè)

柱狀塞芯一般為柱狀體，相機(jī)架設(shè)于產(chǎn)品柱狀側(cè)面，機(jī)構(gòu)帶動(dòng)產(chǎn)品旋轉(zhuǎn)一周取圖，如下圖所示。柱狀塞芯外觀缺陷檢測(cè)圖像一、深度學(xué)習(xí)技術(shù)（a）劃傷1（b）劃傷2（c）白斑1（d）白斑2（e）黑斑1（f）黑斑24、深度學(xué)習(xí)在工業(yè)視覺領(lǐng)域的應(yīng)用案例產(chǎn)品本身體積較小，出現(xiàn)缺陷的位置、種類、圖像效果都不一致，且有些缺陷并不明顯，用傳統(tǒng)視覺較難實(shí)現(xiàn)找出外觀缺陷，此時(shí)需要用深度學(xué)習(xí)缺陷檢測(cè)工具實(shí)現(xiàn)該項(xiàng)目功能，如下圖所示。一、深度學(xué)習(xí)技術(shù)4、深度學(xué)習(xí)在工業(yè)視覺領(lǐng)域的應(yīng)用案例模穴號(hào)字符識(shí)別

產(chǎn)品表面雕刻模穴號(hào)時(shí)，常常存在字體不同、凹凸?fàn)顟B(tài)不同、金屬材質(zhì)不同導(dǎo)致的圖像效果差異大的問題。使用傳統(tǒng)OCR工具進(jìn)行識(shí)別時(shí)，需要人工訓(xùn)練大量的字符；而導(dǎo)入通用的OCR字符識(shí)別深度學(xué)習(xí)模型，即可快速識(shí)別不同場(chǎng)景不同字符，配置簡(jiǎn)單，準(zhǔn)確性更高，如下圖所示。（a）模穴號(hào)1（b）模穴號(hào)2（c）模穴號(hào)3（d）模穴號(hào)4一、深度學(xué)習(xí)技術(shù)TASK任務(wù)10.2深度學(xué)習(xí)技術(shù)應(yīng)用一、深度學(xué)習(xí)工具二、深度學(xué)習(xí)應(yīng)用一、深度學(xué)習(xí)工具一、深度學(xué)習(xí)工具1、DCCKDeepLearning工具包DCCKDeepLearning工具包

DCCKDeepLearning工具包，是專為工廠自動(dòng)化設(shè)計(jì)的深度學(xué)習(xí)視覺軟件，其包含了用于對(duì)象和場(chǎng)景分類的Classify工具；用于缺陷探測(cè)和分割的Detection工具；用于文本和字符讀取的OCR工具，如下圖所示。本章節(jié)僅介紹DCCKOCRTool及其應(yīng)用。DCCKDeepLearning工具包一、深度學(xué)習(xí)工具2、DCCKOCRToolDCCKClassifyTool提供了圖形用戶界面，該工具可通過(guò)加載分類模型的方式，快速對(duì)產(chǎn)品進(jìn)行分類，并將識(shí)別出的產(chǎn)品類型和分?jǐn)?shù)顯示在圖像中。其默認(rèn)界面，如下圖所示。DCCKClassifyTool默認(rèn)界面一、深度學(xué)習(xí)工具3、DCCKDetectionToolDCCKDetectionTool提供了圖形用戶界面，該工具可通過(guò)加載檢測(cè)模型的方式，快速檢測(cè)圖像中缺陷、污損等目標(biāo)的位置和類別，并顯示在圖像中。其默認(rèn)界面，如下圖所示。DCCKDetectionTool默認(rèn)選項(xiàng)卡界面一、深度學(xué)習(xí)工具4、DCCKOCRToolDCCKOCRTool提供了圖形用戶界面，該工具可通過(guò)加載訓(xùn)練后模型的方式，快速識(shí)別字符文本并顯示在圖像中。OCR模型較為成熟，無(wú)需外部軟件多次訓(xùn)練不同場(chǎng)景下的字符，基本支持包含英文、數(shù)字和標(biāo)點(diǎn)符號(hào)的全部場(chǎng)景的字符識(shí)別，如卷曲、折頁(yè)、污損、亮度不同、凹凸不同等多種場(chǎng)景，無(wú)需多次訓(xùn)練不同的字體格式。其默認(rèn)界面，如下圖所示。DCCKOCRTool默認(rèn)選項(xiàng)卡界面二、深度學(xué)習(xí)應(yīng)用（1）-顏色分類1、新建解決方案，添加信號(hào)和取像二、深度學(xué)習(xí)應(yīng)用（1）-顏色分類新建解決方案，保存并命名為“10.2.2-1.顏色分類深度學(xué)習(xí)-XXX”。添加“內(nèi)部觸發(fā)”和“Cog取像”工具，并相互鏈接。打開“Cog取像”工具，選擇本地文件夾“顏色分類圖片”2、添加DCCKClassifyTool二、深度學(xué)習(xí)應(yīng)用（1）-顏色分類添加“ToolBlock”工具，進(jìn)行鏈接，并輸入圖像。打開“ToolBlock”工具欄，選擇“DCCK”→“DeepLearning”，添加DCCKClassifyTool，并鏈接輸入圖像“Input1”3、配置DCCKClassifyTool二、深度學(xué)習(xí)應(yīng)用（1）-顏色分類打開并配置DCCKClassifyTool1。在“Current.InputImage”圖像緩沖區(qū)中框選左側(cè)工件，點(diǎn)擊【分類模型未加載】，在彈窗中選擇本地“顏色分類模型”并確定4、運(yùn)行DCCKClassifyTool查看結(jié)果二、深度學(xué)習(xí)應(yīng)用（1）-顏色分類運(yùn)行該工具，切換至“LastRun.InputImage”圖像緩沖區(qū)，切換至“結(jié)果統(tǒng)計(jì)”選項(xiàng)卡界面，即可查看分類結(jié)果即分?jǐn)?shù)5、再添加一個(gè)DCCKClassifyTool二、深度學(xué)習(xí)應(yīng)用（1）-顏色分類再添加并配置一個(gè)DCCKClassifyTool，選擇相同的分類模型，區(qū)域?yàn)橛覀?cè)工件6、配置并查看第二個(gè)DCCKClassifyTool二、深度學(xué)習(xí)應(yīng)用（1）-顏色分類運(yùn)行并查看DCCKClassifyTool2的結(jié)果7、輸出DCCKClassifyTool終端二、深度學(xué)習(xí)應(yīng)用（1）-顏色分類分別給2個(gè)顏色分類工具添加分?jǐn)?shù)的終端，并分別將2個(gè)顏色分類工具的結(jié)果名稱、分?jǐn)?shù)拖至“[Outputs]”和重命名8、添加并配置“邏輯運(yùn)算”工具二、深度學(xué)習(xí)應(yīng)用（1）-顏色分類添加“邏輯運(yùn)算”工具并配置。添加“字符串比較”，添加比較方法為“ToolBlock.Result1==ToolBlock.Result2”9、添加并配置“Cog結(jié)果圖像”工