人工智能應用基礎(chǔ) 課件 項目4 計算機視覺

人工智能應用基礎(chǔ)授課人：周老師

技術(shù)篇項目4?計算機視覺01項目描述05項目拓展02項目分析06項目小結(jié)03相關(guān)知識07項目練習04項目實施目錄項目描述01小明的手機相冊中不僅有許多小貓、小狗的照片，也有大量人物、汽車、飛機等照片，它們有些同時出現(xiàn)在一張照片里面。雖然小明已經(jīng)知道，識別照片是什么類別屬于一個圖像分類任務，但是當照片里面有多個物體時，比如即有小貓又有小狗，那么神經(jīng)網(wǎng)絡要怎么對這張照片進行分類呢？小明非常想了解這背后的技術(shù)。4.1項目描述02項目分析我們經(jīng)常拍攝或者看到的圖像往往都是具有多個類別的物體，當一張圖像中包含多個類別的很多物體時問題就變得復雜了，小明的任務可以看作是目標檢測，找出圖像中不同物體的位置并判斷其類別。要掌握以上各種圖像識別的知識，需要學習以下內(nèi)容：1.

卷積神經(jīng)網(wǎng)絡2.

圖像分類3.目標檢測4.2項目分析03相關(guān)知識識別動物類別假設有一個做好標記的動物圖像數(shù)據(jù)集，目的是要訓練一個神經(jīng)網(wǎng)絡來識別出不同動物的類別。經(jīng)過前面的學習，我們可以設計一個深層神經(jīng)網(wǎng)絡。數(shù)據(jù)集中圖片的像素是100×100，為了能輸入到神經(jīng)網(wǎng)絡中，將圖片中的每列像素依次頭尾拼接成一個1×10000的一維數(shù)組，剛好對應輸入層的10000個神經(jīng)元。4.3相關(guān)知識模式檢測對于這個模型中的神經(jīng)元而言，它要做的就是檢測圖像里面有沒有出現(xiàn)一些特別重要的模式（特征），這些模式代表了某種動物的特征。4.3相關(guān)知識特征提取人類在判斷一個物體的時候，往往也是抓最重要的特征，看到這些特征以后，就會直覺地看到了某種物體。對于機器而言，這是一個有效的判斷圖像中物體的方法，這個過程就是前面章節(jié)所說的特征提取。4.3相關(guān)知識深層特征提取各個層檢測的特征并不是一次就能識別出鳥嘴這樣具有抽象意義的高級特征的，而是隨著網(wǎng)絡的深度逐漸從簡單的邊緣和顏色信息過渡到更復雜的形狀和物體特征。4.3相關(guān)知識人工神經(jīng)網(wǎng)絡的缺陷在神經(jīng)網(wǎng)絡中，我們用每一層的一個神經(jīng)元來判斷某種特定模式是否出現(xiàn)，也許并不需要每個神經(jīng)元都去看一張完整的圖像。4.3相關(guān)知識人工神經(jīng)網(wǎng)絡的缺陷神經(jīng)元接受的輸入是整個圖像，但它自己的感受范圍是有限的，只能檢測出一定區(qū)域的鳥嘴。因此，出現(xiàn)在不同區(qū)域的同一個模式，可能需要多個神經(jīng)元。而且，圖像輸入到神經(jīng)網(wǎng)絡中卻需要被拉成一條直線，這也破壞了圖像本身的平面結(jié)構(gòu)，可能會造成信息損失。4.3相關(guān)知識卷積神經(jīng)網(wǎng)絡一個新的神經(jīng)網(wǎng)絡結(jié)構(gòu)，叫做卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetwork，CNN），是一種現(xiàn)在非常典型的網(wǎng)絡架構(gòu)，常用于圖像識別任務中。4.3相關(guān)知識卷積神經(jīng)網(wǎng)絡整個網(wǎng)絡分為兩部分，前面由多個卷積層組成，用于接收輸入的圖像，并對圖像中的特征進行提取與轉(zhuǎn)換，后面一部分是由全連接層組成，跟我們前文介紹的神經(jīng)網(wǎng)絡結(jié)構(gòu)相同，用于接收卷積層提取的特征，并輸出分類的結(jié)果4.3相關(guān)知識卷積神經(jīng)網(wǎng)絡內(nèi)部組成在輸入層，神經(jīng)元組成的平面必須與輸入的圖像大小保持一致才能完整的接收圖像的每個像素。在層與層的連接部分，神經(jīng)元沒有與上一層的所有神經(jīng)元保持連接，而是采用了部分連接，這就是我們分析的，圖像中并不是所有區(qū)域都存在我們要提取的特征，不需要將所有神經(jīng)元都進行連接，這樣可以減少模型的參數(shù)。4.3相關(guān)知識卷積操作輸入一張彩色圖片，在卷積層，由于只有部分連接，因此該層上的一個神經(jīng)元只能檢測到輸入圖片的一個有限區(qū)域，并通過一個叫做卷積的操作來計算這個區(qū)域有沒有相關(guān)的特征，如果有的話這個神經(jīng)元就會被激活，并傳遞到下一層的神經(jīng)元繼續(xù)檢測4.3相關(guān)知識滑動掃描神經(jīng)元會按從左到右、從上到下的順序依次檢測對應的區(qū)域，直到圖片中所有區(qū)域都檢測完畢，這種檢測的方式叫做滑動掃描。掃描過程中，如果某個神經(jīng)元的掃描區(qū)域內(nèi)存在待檢測的特征，該神經(jīng)元就會被激活。4.3相關(guān)知識垃圾分類我們的生活垃圾種類繁多，自己在分類時經(jīng)常遇到不易分類的垃圾，很多人會產(chǎn)生選擇困難，于是可以讓卷積神經(jīng)網(wǎng)絡來對垃圾圖片自動分類。數(shù)據(jù)集總共5萬張圖片的垃圾分類數(shù)據(jù)集，給這些圖片標記出5個類別，分別是硬紙、玻璃、金屬、報紙和塑料，每個類別有1萬張圖片。4.3相關(guān)知識垃圾分類模型首先用訓練集進行訓練，訓練完成后利用測試集評價模型效果。整體結(jié)構(gòu)依然是先用卷積層提取特征，然后將提取的特征輸入到全連接神經(jīng)網(wǎng)絡進行分類，最后的輸出層有5個神經(jīng)元，分別對應垃圾的5個類別。4.3相關(guān)知識螺母對比除了對單張圖片分類，我們還可以使用孿生網(wǎng)絡，同時對兩張圖片進行對比。孿生網(wǎng)絡包含了兩個在結(jié)構(gòu)上一模一樣的卷積模塊，它們是卷積神經(jīng)網(wǎng)絡去掉最后的全連接層后留下的卷積層4.3相關(guān)知識目標檢測利用卷積神經(jīng)網(wǎng)絡的分類能力，將輸入的圖像劃分出多個窗口，針對每個窗口進行特征提取，識別出窗口中內(nèi)容的類別。在輸出端增加一個全連接層分類器，用于輸出目標的位置信息，位置可以表示為框住物體的矩形窗口的坐標，這樣我們的模型就能同時找出圖像中某一區(qū)域物體的類別和位置了。4.3相關(guān)知識目標檢測我們不知道圖像中哪些位置會有物體，也不知道物體的大小，所以必須在圖像中用不同大小、不同長寬比的候選框在整幅圖像上進行窮盡式的掃描，有時候多個窗口會重疊找出同一個物體，每個窗口都會被卷積神經(jīng)網(wǎng)絡進行分類并輸出坐標，這種情況需要將輸出的多個窗口根據(jù)坐標合并成一個窗口。4.3相關(guān)知識缺陷檢測在工業(yè)自動化和質(zhì)量控制領(lǐng)域，物體表面缺陷檢測技術(shù)扮演著至關(guān)重要的角色。我們可以利用卷積神經(jīng)網(wǎng)絡分類和定位各種器件的表面缺陷，如劃痕、凹陷、裂紋等。4.3相關(guān)知識缺陷檢測先是收集數(shù)據(jù)并做標記，目標檢測的數(shù)據(jù)需要做兩個標記，一個是將圖像中待檢測的物體用矩形窗口框出來，并記錄坐標值。另一個是要標記該窗口內(nèi)的物體類別，圖中共標記了缺色、凹陷、污漬、劃痕、裂紋5個類別。4.3相關(guān)知識缺陷檢測訓練模型時，輸入層接收標記好的表面缺陷數(shù)據(jù)，卷積層通過滑動窗口在數(shù)上掃描各種大小長寬不同的區(qū)域，對其進行特征提取，然后在全連接層預測類別與位置坐標，并與標記值進行比較，根據(jù)誤差修正模型參數(shù)，直到訓練完成。4.3相關(guān)知識車牌識別用神經(jīng)網(wǎng)絡來進行車牌識別，需要將這個任務看作兩個階段的目標檢測，第一個階段檢測出車牌，第二階段在已檢測出的車牌上，再次檢測出車牌號。4.3相關(guān)知識具體有以下幾個步驟：1）收集車輛照片并標記出其中的車牌和車牌號信息；2）利用標記的數(shù)據(jù)訓練兩個神經(jīng)網(wǎng)絡，分別用來檢測車牌與車牌上的號碼；3）將訓練好的模型進行車牌識別任務。車牌識別因為有兩個目標檢測任務，所以數(shù)據(jù)的標記也有兩類，首先要在汽車圖片中標記出車牌，包括類別和定位信息，這類數(shù)據(jù)只針對整個車牌，不包括車牌上的字符。然后對車牌圖片中的字符進行標記，同樣包括字符的類別和定位信息。4.3相關(guān)知識車牌識別得到標記數(shù)據(jù)后，先用車牌數(shù)據(jù)訓練第一個模型A，使其學會從汽車圖像中檢測出車牌，然后用車牌號數(shù)據(jù)訓練第二個模型B，使其學會從車牌圖像中檢測出車牌號碼。4.3相關(guān)知識車牌識別訓練完成后即可用測試樣本對其進行測試，將汽車圖片輸入第一個模型檢測出車牌，根據(jù)預測車牌位置坐標從原始輸入圖片中截取出車牌部分，輸入到第二個模型進行車牌號的檢測。4.3相關(guān)知識04項目實施打開EasyDL平臺進入百度智能云平臺的動物識別頁面：/product/imagerecognition/animal，里面有一個動物識別的體驗功能。——“動物識別”4.4項目實施上傳圖片數(shù)據(jù)準備一些動物圖片進行識別，測試一下能不能正確識別?！皠游镒R別”4.4項目實施查看結(jié)果可以看到各個圖片的識別效果，無論是一張圖里有多個動物還是有人類，模型都能準備的預測出正確的類別，但對于卡通類型的動物圖片卻不能很好的識別，大家想一想這是為什么呢？——“動物識別”4.4項目實施進入百度智能云平臺進入百度智能云平臺的人體關(guān)鍵點檢測頁面：/product/body/pose，里面同樣有一個人體關(guān)鍵點檢測的體驗功能。不僅能檢測出圖像中的所有人體，還能精準定位人體的21個主要關(guān)鍵點，包含頭頂、五官、頸部、四肢主要關(guān)節(jié)部位等?？梢赃M入這個頁面，點擊本地上傳按鈕，試著上傳一張自己和朋友的照片，查看一下能否檢測出人體的各個關(guān)鍵部位。——“人臉關(guān)鍵點檢測”4.4項目實施05項目拓展目標檢測任務中，在尋找圖像中的目標是，采用的是滑動窗口的方法，滑動窗口是一個個大小不一的矩形框，用這個框去遍歷所有的位置以及所有可能的大小。遍歷得越精確，檢測器的精度就越高。但這也就帶來一個問題就是：檢測的耗時非常大。比如輸入圖片大小是800×1000，也就意味著有800000個位置。窗口大小最小是1×1,最大800×1000，所以這個遍歷的次數(shù)幾乎是無限次的。我們還有一種方法就是，將輸入圖像分為S×S個網(wǎng)格，每個網(wǎng)格檢測自己范圍內(nèi)的一個物體和他們的邊界框，這樣可以節(jié)省很掃描時間。你還能想出其它檢測掃描時間的方法嗎？4.5項目拓展06項目小結(jié)在卷積神經(jīng)網(wǎng)絡中，卷積操作是指將一個可移動的小窗口在圖像上進行滑動尋找特征，然后一層層傳遞下去，直到全連接層進行分類。利用卷積神經(jīng)網(wǎng)絡，我們最終完成了目標檢測任務，可以在一張圖像中找出多個物體并預測該物體的坐標。在進行目標檢測任務之前，我們首先得學會圖像分類任務，這個任務的特點是輸入一張圖片，輸出是它的類別。因為目標檢測本質(zhì)上就是對多個物體的分類，另外多了一個預測邊界框的任務。最后我們了解了利用卷積神經(jīng)網(wǎng)絡進行車牌識別的案例。4.6項目小結(jié)07項目練習一、選擇題

1.?在圖像識別任務中，卷積神經(jīng)網(wǎng)絡的哪一層主要負責特征提?。浚?/p>

）

A.?輸入層B.?卷積層C.?輸出層D.?全連接層

2.?圖像識別任務中，哪個步驟通常涉及將圖像調(diào)整為固定大小？（

）A.?數(shù)據(jù)預處理B.?特征提取C.?分類D.?測試3.?哪種神經(jīng)網(wǎng)絡結(jié)構(gòu)特別適用于處理具有矩形結(jié)構(gòu)的圖像數(shù)據(jù)？（

）A.?感知機B.?全連接神經(jīng)網(wǎng)絡C.?卷積神經(jīng)網(wǎng)絡D.?神經(jīng)元4.7項目練習一、選擇題

4.?識別一張圖像中有多少個物體及其所處位置，稱為什么任務？（

）

A.?圖像識別B.?圖像分類

C.?目標定位D.?目標檢測

5.?在用CNN進行圖像分類時，全連接層的主要作用是什么？（

）A.?特征提取