卷積神經(jīng)網(wǎng)絡(luò)和圖像識別的問題研究7600字【論文】

目錄第一章緒論 2第二章預(yù)備知識 3 42.1.1一神經(jīng)元 42.1.2前饋神經(jīng)網(wǎng)絡(luò)模型 4 2.2.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 5 6 63.2網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)設(shè)置 73.2.1網(wǎng)絡(luò)模型結(jié)構(gòu) 73.2.2參數(shù)設(shè)置 83.2.3手寫數(shù)字識別代碼及注釋 83.3實驗結(jié)果及分析 8 94.1人臉數(shù)據(jù)集介紹 4.2網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)設(shè)置 4.2.1網(wǎng)絡(luò)結(jié)構(gòu) 4.2.2參數(shù)設(shè)置 14.2.3人臉識別代碼及注釋 14.3實驗結(jié)果及分析 4.3.1卷積核數(shù)量對識別率的影響 4.3.2特征維度對識別率的影響 第五章LBP和神經(jīng)網(wǎng)絡(luò)卷積的人臉識別 5.1LBP算子 5.2結(jié)合方式 5.3人臉識別LBP代碼及注釋 5.4實驗探究 本文中利用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)圖像的分類問題，實踐使用的是谷歌的深度學(xué)習(xí)框架第一章緒論圖像識別是模式識別的重要領(lǐng)域之一，它涉及到手寫數(shù)字識別、人臉識別、物體識別等多項識別技術(shù)。圖像識別是指利用數(shù)字圖像處理技術(shù)和人工智能技術(shù)，使計算機能夠自動提取圖像特征并對其進行識別。圖像識別因其重要的商業(yè)應(yīng)用價值而得到廣泛研究和迅速發(fā)展，如信封上的郵政編碼識別4、車牌識別、門禁中的人臉識別等。目前，圖像識別技術(shù)逐漸成熟，并在日常生活中普及，給人類生活帶來了巨大的便利。圖像識別技術(shù)這一研究具有著重要的意義。深度學(xué)習(xí)是人工智能領(lǐng)域的重要研究方向之一。它可以通過模擬人腦的思維方式來處理人們現(xiàn)實生活中的問題。實際上，深度學(xué)習(xí)就是通過利用計算機技術(shù)的機器學(xué)習(xí)算法，從大量數(shù)據(jù)中，學(xué)習(xí)數(shù)據(jù)的潛在規(guī)律和特征，進而對新樣本進行分類或識別。卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一個非常重要的分支領(lǐng)域。它是模式識別和人工智能領(lǐng)域不可或缺的機器學(xué)習(xí)算法。受到研究人員和學(xué)者的追捧，相應(yīng)的科研論文和報告不斷大量出現(xiàn)。為解決神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問題，Hinton在一九八六年給出了反向傳播算法15(BackPropagation,BP)。反向傳播算法能夠在網(wǎng)絡(luò)訓(xùn)練過程中通過自動調(diào)整網(wǎng)絡(luò)參數(shù)，使網(wǎng)絡(luò)模型的參數(shù)正確與最大程度地獲取數(shù)據(jù)信息，進而利用訓(xùn)練中大量樣本信息來掌握數(shù)據(jù)的內(nèi)部計算規(guī)1989年，LeCun在多層神經(jīng)網(wǎng)絡(luò)中使用它來識概念的最早提出。直到1998年，LeCun提出了LeNet-5模型，并完成了神經(jīng)網(wǎng)深度學(xué)習(xí)推動了機器學(xué)習(xí)的積極發(fā)展，并受到和技術(shù)公司的審查。廣泛使用的主題包括了圖像識別、語言理解以及自然語言自愿神經(jīng)網(wǎng)絡(luò)可以被重要因素取代：大量的數(shù)據(jù)集和強大GPU加速的大數(shù)據(jù)和硬件條件下，快速連接的神經(jīng)網(wǎng)絡(luò)已經(jīng)發(fā)展起來2012年在ImageNet大賽中獲得神經(jīng)網(wǎng)絡(luò)卷積冠軍，把神經(jīng)網(wǎng)絡(luò)卷積在圖像識別的地位放在了首要位置。因此，由于應(yīng)用空間不再局限于手簿識識別已成為最重要的應(yīng)用領(lǐng)域之一。2014年，F(xiàn)acebook提出了一種名為DeepFacel101的卷積8層神經(jīng)網(wǎng)絡(luò)，在LFW認(rèn)證數(shù)據(jù)庫中取得了非常好的識別率。香港大學(xué)唐曉鷗教授的一項調(diào)查提出了最和額外的認(rèn)證監(jiān)控，LFW識別率超過了人眼的識別率。2015年，深度學(xué)習(xí)的三大巨頭LeCun、Bengioo和Hinton聯(lián)合在Nature上發(fā)表了評論，傳播高水平教學(xué)。2016年3月，AlphaGo擊敗李世石。第二章預(yù)備知識然后是神經(jīng)網(wǎng)絡(luò)的旋轉(zhuǎn)，特別介紹了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、體Rosenblatt122在生物神經(jīng)系統(tǒng)中的神經(jīng)元系統(tǒng)基礎(chǔ)上，于一九五八年提出了一個人工神經(jīng)元操作方法，并引進了"感知器"技術(shù)來處理在字符識別領(lǐng)域的若干問題。其中感知器系統(tǒng)是一個人工神經(jīng)網(wǎng)絡(luò)。感知器是一種具有神經(jīng)元數(shù)量和功能激活閾值的前饋網(wǎng)絡(luò)。作為學(xué)習(xí)網(wǎng)絡(luò)參數(shù)，認(rèn)知效果能夠經(jīng)由零或一響應(yīng)給定的輸入數(shù)據(jù)而產(chǎn)生，因此也實現(xiàn)了目標(biāo)對象的所有輸入輸出數(shù)據(jù)神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本處理單元。通常有多個輸入和一個輸出?；窘Y(jié)構(gòu)示例如圖所示。圖1神經(jīng)元結(jié)構(gòu)圖2.1.2前饋神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)是具有多個數(shù)據(jù)單元的網(wǎng)絡(luò)。該網(wǎng)絡(luò)包括輸入層、輸出層和可變層。每個隱藏層的神經(jīng)元只與上層神經(jīng)元或后層神經(jīng)元相連，每層神經(jīng)元不相連。圖1是只有一個隱藏層的令人厭惡的中央神經(jīng)網(wǎng)絡(luò)圖的示例。輸入層有三個神經(jīng)元ar、r_和xs。隱藏層也有3個神經(jīng)元a2',ax和ag,這里代表第1個網(wǎng)絡(luò)中第一個神經(jīng)元的活躍值。輸出層只有一個神經(jīng)元hwo(z)輸出層是計算層，增加了隱藏的利益沖突限制。如果將激活函數(shù)f(●被定義)定義為w作為第1層第j個神經(jīng)元和1+1層第i個神經(jīng)元之間的鏈接參數(shù)，而b"是第1+1層神經(jīng)元Bias邊界，神經(jīng)元隱藏層的值計算如下：a2一f(W?f"xr+W?22x2+Was2一f(Ws"x+W?22x2+WS“x3+by")圖2神經(jīng)元計算圖圖3各值之間的聯(lián)系圖2.2卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)(CNN)是深度學(xué)習(xí)方法中最常用的網(wǎng)絡(luò)結(jié)構(gòu)。專門設(shè)計了一隱藏。每層由若干個神經(jīng)元組成，最近的神經(jīng)元的每一層都與第一層的兩個相鄰神經(jīng)元之間的每一層相連。在圖像問題的分析或分類中，將給定圖像的輸出繪制成向量結(jié)構(gòu)，其中的每個神經(jīng)元代表像素值。然而所以圖像的精度非常有限；其次，在相鄰的兩的輸入數(shù)據(jù)是三維空間圖像的主要輸入結(jié)構(gòu)，保證了圖像的空間完整性。同時，互聯(lián)性的傳播和連接神經(jīng)網(wǎng)絡(luò)通信的重要性大第三章基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別本章內(nèi)容是對一組數(shù)字中的連通神經(jīng)網(wǎng)絡(luò)的實驗研究。MNIST首先引入了液滴和網(wǎng)絡(luò)深度的影響，分別在LeNet-5網(wǎng)絡(luò)上設(shè)計了各種網(wǎng)絡(luò)結(jié)構(gòu)。當(dāng)完全MNIST數(shù)據(jù)存儲是一個5英寸的簽名數(shù)據(jù)集，內(nèi)容是一張0到9阿拉伯?dāng)?shù)字的灰度圖。MNIST數(shù)據(jù)存儲在6萬到1萬張測試圖片之間。學(xué)科和考試是相MNIST數(shù)據(jù)中放置的所有圖像都經(jīng)過尺寸標(biāo)準(zhǔn)化和中心化，每張圖像組合成28×28灰度圖像，像素值范圍為0到255。部分?jǐn)?shù)字圖像如下圖所示。從圖中可以看出，不同的數(shù)字非常相似，相同的數(shù)字差異B3734P5在手寫審查任務(wù)中，LeNet-5網(wǎng)絡(luò)是已知的網(wǎng)絡(luò)結(jié)構(gòu)，示。網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層、三連接層、二連接層、全連接和輸出層。輸入數(shù)據(jù)輸入層為32×32,第一層101為旋轉(zhuǎn)層。它使用6卷積核5-5。輸入數(shù)據(jù)經(jīng)過卷積C1層的運算后，得到28×286個特征。圖片。然后，將S2的第一層放在一起，將前一層的電影框內(nèi)為6×14幀。C3層為第二個卷積層，使用了16個5-5卷積核，從S2層得到的特征圖對16個10×10圖再次進行卷積運算。屏幕S4是收集的第二層，面板5-5和16是在下降采樣后獲得的。C5第三層旋轉(zhuǎn)。120寸5×5的核心后，得到120的1×1的幀數(shù)。卷積層本質(zhì)上是一個全連接的次通過全連接將84維乘客復(fù)制到輸出維向量。其中10維是因為分類類別數(shù)為絡(luò)。例如，向量“1000000000”表示屬于第一個類別的模型，即類別號“2”;。圖5LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)我們使用CAFé2庫來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，所有網(wǎng)絡(luò)結(jié)構(gòu)如表所示。我們使用隨機梯度下降(SGD)在單個GPU上安裝網(wǎng)絡(luò)模型。訓(xùn)練批量大小設(shè)置為64,測試質(zhì)量設(shè)置為100,動量設(shè)置為0.9,并設(shè)置失真權(quán)重。是0.0005。一開始的學(xué)習(xí)器率設(shè)置為0.01,數(shù)據(jù)設(shè)計逐漸遞減。該模型總共重復(fù)10,000次，在500次迭代中每一次測試一次，最后與最終測試一起被選為網(wǎng)絡(luò)確認(rèn)。functionnet=cnnbp(net,y)n=numel(net.layers);%網(wǎng)絡(luò)層數(shù)%53.3實驗結(jié)果及分析根據(jù)上面的設(shè)置，在一個GPU下訓(xùn)練了五個網(wǎng)絡(luò)結(jié)構(gòu)，每個網(wǎng)絡(luò)的平均訓(xùn)練時間約為4分鐘。確認(rèn)率可以從他們的網(wǎng)絡(luò)獲得，如下表所示。結(jié)果發(fā)現(xiàn)，使用更寬的網(wǎng)絡(luò)結(jié)構(gòu)和更高的整體網(wǎng)絡(luò)能力，使用5-5核比使用3×3核更好，在全連接設(shè)備后增加一個dropout層也好過沒有。使用輟學(xué)。下面討論個別培訓(xùn)問題。每個網(wǎng)絡(luò)訓(xùn)練過程的價值損失與迭代次數(shù)的關(guān)系以及見證人準(zhǔn)確率與網(wǎng)絡(luò)類型準(zhǔn)確率檢查準(zhǔn)確率和迭代次數(shù)之間的關(guān)系，如圖所示。可以發(fā)現(xiàn)，LeNet-D和LeNet-E網(wǎng)絡(luò)的識別率高于其他三個網(wǎng)絡(luò)，說明網(wǎng)絡(luò)深度和dropout策略對識別率的影響更大。較高的網(wǎng)絡(luò)積累和輟學(xué)率有助于策略識別。前進。從LeNet-A曲線可以看出，隨著迭代次數(shù)的增加，識別準(zhǔn)確率有下降的趨勢。這種情況會導(dǎo)致過擬合。由于網(wǎng)絡(luò)寬度不足以表示數(shù)據(jù)輸入，隨著網(wǎng)絡(luò)迭代次數(shù)的增第四章基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識別本章探討了卷積神經(jīng)網(wǎng)絡(luò)在面對圖像時的實驗。我們首先介紹了部分?jǐn)?shù)據(jù)集，然后介紹了用于測試的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。本次測試使用的網(wǎng)絡(luò)結(jié)構(gòu)是文章所有層都轉(zhuǎn)換為卷積的層，減少了網(wǎng)絡(luò)參數(shù)，提高了訓(xùn)練速度。我們安排了不同內(nèi)核和連接內(nèi)核的網(wǎng)絡(luò)結(jié)構(gòu)以及不同羽毛維度的網(wǎng)絡(luò)結(jié)構(gòu)，并檢查了卷積核在大量數(shù)據(jù)和深度神經(jīng)網(wǎng)絡(luò)的推動下，面部識別的效果逐漸壓倒人們。許臉認(rèn)證集中進行訓(xùn)練并實現(xiàn)深度驗證。雖然很多開源是神經(jīng)網(wǎng)絡(luò)的代碼，但是數(shù)據(jù)訓(xùn)練的大規(guī)模特征并沒有公開發(fā)表。人臉識別領(lǐng)域的現(xiàn)狀比數(shù)據(jù)算法更強它是來自Internet的圖像集合，生成了包含10557個人的廣泛數(shù)據(jù)庫，其中包圖6人臉數(shù)據(jù)圖見證數(shù)據(jù)集使用LFW數(shù)據(jù)集，其中包括5749位名人的13,233張照片，例接層。i該網(wǎng)絡(luò)包括3個卷積層、3個局部卷積、4個堆疊層和1個全連接層。損失中心將在下一節(jié)介紹。卷積核和層的局部卷積的卷積大小統(tǒng)一固定為3×3,度數(shù)大小為1,然后將閾值PReLU1連接到非線性單元。卷積maple和局部卷積層的數(shù)量分別為128和256。將樣本大小為2的2×2核全部開火。比較的第四層和旋轉(zhuǎn)的第三層的輸出是同時的，這樣第一層的輸入是全連接的，輸出維度是完全連接的。層數(shù)為512。為了通過實驗研究參數(shù)對網(wǎng)絡(luò)結(jié)構(gòu)的影響，我們設(shè)計了三種不同的網(wǎng)絡(luò)結(jié)構(gòu)，如表所示。為了減少網(wǎng)絡(luò)環(huán)境，提高網(wǎng)絡(luò)性能，網(wǎng)絡(luò)層不使用局部卷積，只使用包裹層。這三個結(jié)構(gòu)的網(wǎng)絡(luò)高度與地圖上的網(wǎng)中心深度相同。它們都包含6層織物，4層和1層全連接。每層網(wǎng)絡(luò)連接內(nèi)核數(shù)設(shè)置為32-32-64-128-192-256,網(wǎng)絡(luò)網(wǎng)絡(luò)每層連接內(nèi)核數(shù)設(shè)置為32-32-64-128-192-256,每層網(wǎng)絡(luò)的連接網(wǎng)絡(luò)數(shù)為-2,網(wǎng)絡(luò)卷積。它的銘文編號為64-64-128-256-384-512。全連接網(wǎng)絡(luò)的特征維度設(shè)置為512個網(wǎng)絡(luò)，全連接網(wǎng)絡(luò)的特征維度設(shè)置為1024。卷積操作后羽毛的表面保持不變，因為我們沒有使用自由卷積操作。與核心配合使用的構(gòu)造網(wǎng)絡(luò)選擇2×2的長度級別，使刺繡層的表面尺寸一層一層地縮小到原來的四分之一。在推出每一幀后使用PReLU激活函數(shù)。我們使用caffe的副本。詳細的模式結(jié)構(gòu)見表4-1。模型在單GPU上訓(xùn)練，batchsize達到256。首字母設(shè)置為0.1。隨著訓(xùn)練迭代16,000次和24,000次，學(xué)習(xí)率已降低到十個原始研究。最后，當(dāng)有28,000次迭代時，保存訓(xùn)練限制和模型訓(xùn)練模塊。NET-1、NET-1、NET-2的訓(xùn)練時長分別為2小時、5.5小時和6小時。4.2.3人臉識別代碼及注釋部分主要代碼及注釋：加載olivettifaces后，劃分為train_data,valid_data,test_data三個數(shù)據(jù)集defload_data(dataset_path):img_ndarray=numpy.asarray(img,dtype='float64')/faces[row*20+column]=numpy.ndarray.flatt[row*57:(row+1)*57,col參數(shù)設(shè)置相同的三個網(wǎng)絡(luò)的訓(xùn)練結(jié)果如表2所示。分別顯示迭代次數(shù)與損失值的關(guān)系以及迭代次數(shù)與識別的關(guān)系。最后，建立在LFW人臉認(rèn)證數(shù)據(jù)上的三個網(wǎng)絡(luò)的識別率如表所示。表2為各網(wǎng)絡(luò)的識別率比較網(wǎng)絡(luò)類型準(zhǔn)確率4.3.1卷積核數(shù)量對識別率的影響為了研究多個隱藏卷積核對實驗結(jié)果的影響，我們構(gòu)建了相同深度和不同寬度的神經(jīng)網(wǎng)狀網(wǎng)狀結(jié)構(gòu)。每個網(wǎng)絡(luò)網(wǎng)絡(luò)層的連接核數(shù)為雙NET-1,其他設(shè)置相同。從實驗結(jié)果可以發(fā)現(xiàn)，網(wǎng)絡(luò)訓(xùn)練的性能比較差，網(wǎng)絡(luò)參與困難。訓(xùn)練性能NET-2不錯，訓(xùn)練集的損失值可以降的很低，訓(xùn)練集的知識率也很高。最后，LFW測試的認(rèn)證精度高于網(wǎng)絡(luò)1。為了研究特征維度對NETs估計的影響，我們對比了netting和nettingnetting。它們的網(wǎng)絡(luò)結(jié)構(gòu)完全相同。唯一的區(qū)別是全連接層(即羽毛的維度不同。網(wǎng)絡(luò)網(wǎng)絡(luò)的一個特征是512,而網(wǎng)絡(luò)維數(shù)是1024。在實驗中發(fā)現(xiàn)，兩個網(wǎng)絡(luò)在訓(xùn)練時間內(nèi)的效果差別不大。從表2可以看出，網(wǎng)絡(luò)沖突在訓(xùn)練團隊中表現(xiàn)良好，差異不大，并且每個訓(xùn)練網(wǎng)絡(luò)的準(zhǔn)確率是不同的第五章LBP和神經(jīng)網(wǎng)絡(luò)卷積的人臉識別本章內(nèi)容是在上一章主題中提出的一種新的人在人臉識別方面獲得了優(yōu)勢，而且還克服了從神經(jīng)網(wǎng)絡(luò)中的問題。缺乏人臉局部結(jié)構(gòu)特征。因此，我們懷疑，通過結(jié)合二元空間先介紹了空間二元算子，然后介紹了LBP和RGB圖像的組成，最后是實驗部5.1LBP算子LBP是對網(wǎng)絡(luò)運營商的描述。它的主要出發(fā)點是選擇平均圖像像素作為閾值。通過比較字段串中的像素值得到二進制碼。此代碼二進制文件中描述了圖像的局部紋理。具體計算方法是將大于等于閾值的元素記為1;否則為0。將二進制碼一—讀取，轉(zhuǎn)換成十進制數(shù)，如中心點LBP的值。為方便計算，極值像素LBP的值為原圖的值。為了糾正準(zhǔn)確的人臉識別，我們提出了一種方法，不僅可以學(xué)習(xí)原始圖片信息，還可以從原始圖片中學(xué)習(xí)二進制模式信息。但mode的數(shù)據(jù)卷積表。輸入信息集中在神經(jīng)網(wǎng)絡(luò)上。鏈接特定格式如圖所示。原提取局部信息，然后執(zhí)行該過程。另一方面，輸入圖片經(jīng)卷積層。最后，一層互連的信息將這兩種類型的信息連接起來作為卷積神經(jīng)網(wǎng)正則化圖9鏈接特定格式圖5.3人臉識別LBP代碼及注釋%%導(dǎo)入原始圖像(640*480).其中srcPath路徑下有若干個文件夾，%每個文件夾下為同一個人的圖片(至少15張，越多越好),文件夾名字為該人的姓名imds=imageDatastore(srcPath,...為驗證本文提出的方法的有效性，選擇測試公共人臉代碼WebFace集為傳統(tǒng)數(shù)組，并在自由條件下選擇您的LFW庫進行人臉識別測試。測試中，訓(xùn)練網(wǎng)絡(luò)使用6G顯存NVIDIATitanGPU進行，每次網(wǎng)絡(luò)訓(xùn)練大約需要24小時。進行了三個實驗：(1)比較了不同輸入數(shù)據(jù)類型對實驗結(jié)果的影響。通過經(jīng)驗比較增加結(jié)構(gòu)數(shù)量的效果。(3)本文提出的方法與其他方法的比較。實驗1:探索不同輸入數(shù)據(jù)類型對實驗事件的影響。讓我們輸入原始RGB然后使用獲得的模型參數(shù)對LFW測試集進行認(rèn)證。結(jié)果如表5-1所示?？?/p>