計(jì)算機(jī)視覺實(shí)驗(yàn)

計(jì)算機(jī)視覺實(shí)驗(yàn)報(bào)告學(xué)校:班級(jí):實(shí)驗(yàn)名稱:小組成員:任課教師:華僑大學(xué)10級(jí)計(jì)算機(jī)科學(xué)與技術(shù)（2）班基于opencv的人臉識(shí)別姓名：王佳麗學(xué)號(hào)：1019213017姓名：郭丹萍學(xué)號(hào)：姓名：陳嘉學(xué)號(hào)：鐘必能Opencv簡(jiǎn)介OpenCV于1999年由Intel建立，如今由WillowGarage提供支持。OpenCV是一個(gè)基于(開源)發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺庫(kù)，可以運(yùn)行在Linux、Windows和MacOS操作系統(tǒng)上。它輕量級(jí)而且高效一由一系列C函數(shù)和少量C++類構(gòu)成，同時(shí)提供了Python、Ruby、MATLAB等語(yǔ)言的接口，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法。最新版本是2.4.7。OpenCV擁有包括500多個(gè)C函數(shù)的跨平臺(tái)的中、高層API。它不依賴于其它的外部庫(kù)一盡管也可以使用某些外部庫(kù)。OpenCV為Intel?IntegratedPerformancePrimitives(IPP)提供了透明接口。這意味著如果有為特定處理器優(yōu)化的的IPP庫(kù)，OpenCV將在運(yùn)行時(shí)自動(dòng)加載這些庫(kù)。OpenCV提供的視覺處理算法非常豐富，并且它部分以C語(yǔ)言編寫，加上其開源的特性，處理得當(dāng)，不需要添加新的外部支持也可以完整的編譯鏈接生成執(zhí)行程序，所以很多人用它來(lái)做算法的移植，OpenCV的代碼經(jīng)過適當(dāng)改寫可以正常的運(yùn)行在DSP系統(tǒng)和單片機(jī)系統(tǒng)中，這種移植在大學(xué)中經(jīng)常作為相關(guān)專業(yè)本科生畢業(yè)設(shè)計(jì)或者研究生課題的選題。Opencv具有其自身優(yōu)勢(shì)，主要體現(xiàn)在：OpenCV致力于真實(shí)世界的實(shí)時(shí)應(yīng)用，通過優(yōu)化的C代碼的編寫對(duì)其執(zhí)行速度帶來(lái)了可觀的提升，并且可以通過購(gòu)買Intel的IPP高性能多媒體函數(shù)庫(kù)(IntegratedPerformancePrimitives)得到更快的處理速度。右圖為OpenCV與當(dāng)前其他主流視覺函數(shù)庫(kù)的性能比較。Opencv的應(yīng)用領(lǐng)域很廣，包括、人機(jī)互動(dòng)、物體識(shí)別、圖象分割、人臉識(shí)別、動(dòng)作識(shí)別、運(yùn)動(dòng)跟蹤、機(jī)器人、運(yùn)動(dòng)分析、機(jī)器視覺、結(jié)構(gòu)分析二.人臉識(shí)別簡(jiǎn)介人臉識(shí)別，是北京中研眾力科技有限公司基于人的臉部特征信息進(jìn)行身份識(shí)別的一種生物識(shí)別技術(shù)。用攝像機(jī)或攝像頭采集含有人臉的圖像或視頻流，并自動(dòng)在圖像中檢測(cè)和跟蹤人臉，進(jìn)而對(duì)檢測(cè)到的人臉進(jìn)行臉部的一系列相關(guān)技術(shù)，通常也叫做人像識(shí)別、面部識(shí)別。人臉與人體的其它生物特征(指紋、虹膜等)一樣與生俱來(lái)，它的唯一性和不易被復(fù)制的良好特性為身份鑒別提供了必要的前提，與其它類型的生物識(shí)別比較人臉識(shí)別具有如下特點(diǎn).八、、：非強(qiáng)制性：用戶不需要專門配合人臉采集設(shè)備，幾乎可以在無(wú)意識(shí)的狀態(tài)下就可獲取人臉圖像，這樣的取樣方式?jīng)]有“強(qiáng)制性”；非接觸性：用戶不需要和設(shè)備直接接觸就能獲取人臉圖像；并發(fā)性：在實(shí)際應(yīng)用場(chǎng)景下可以進(jìn)行多個(gè)人臉的分揀、判斷及識(shí)別；除此之外，還符合視覺特性：“以貌識(shí)人”的特性，以及操作簡(jiǎn)單、結(jié)果直觀、隱蔽性好等特點(diǎn)。人臉識(shí)別系統(tǒng)主要包括四個(gè)組成部分，分別為：人臉圖像采集及檢測(cè)、人臉圖像預(yù)處理、人臉圖像特征提取以及匹配與識(shí)別。人臉識(shí)別主要用于身份識(shí)別。由于視頻監(jiān)控正在快速普及，眾多的視頻監(jiān)控應(yīng)用迫切需要一種遠(yuǎn)距離、用戶非配合狀態(tài)下的快速身份識(shí)別技術(shù)，以求遠(yuǎn)距離快速確認(rèn)人員身份，實(shí)現(xiàn)智能預(yù)警。人臉識(shí)別技術(shù)無(wú)疑是最佳的選擇，采用快速人臉檢測(cè)技術(shù)可以從監(jiān)控視頻圖象中實(shí)時(shí)查找人臉，并與人臉數(shù)據(jù)庫(kù)進(jìn)行實(shí)時(shí)比對(duì)，從而實(shí)現(xiàn)快速身份識(shí)別。人臉識(shí)別的主要產(chǎn)品有人臉識(shí)別門禁是基于先進(jìn)的人臉識(shí)別技術(shù)，結(jié)合成熟的ID卡和指紋識(shí)別技術(shù)而推出的安全實(shí)用的門禁產(chǎn)品。產(chǎn)品采用分體式設(shè)計(jì)，人臉、指紋和ID卡信息的采集和生物信息識(shí)別及門禁控制內(nèi)外分離，實(shí)用性高、安全可靠。系統(tǒng)采用網(wǎng)絡(luò)信息加密傳輸，支持遠(yuǎn)程進(jìn)行控制和管理，可廣泛應(yīng)用于銀行、軍隊(duì)、公檢法、智能樓宇等重點(diǎn)區(qū)域的門禁安全控制。一般來(lái)說(shuō)，人臉識(shí)別系統(tǒng)包括圖像攝取、人臉定位、圖像預(yù)處理、以及人臉識(shí)別(身份確認(rèn)或者身份查找)。系統(tǒng)輸入一般是一張或者一系列含有未確定身份的人臉圖像，以及人臉數(shù)據(jù)庫(kù)中的若干已知身份的人臉圖象或者相應(yīng)的編碼，而其輸出則是一系列相似度得分，表明待識(shí)別的人臉的身份。人臉識(shí)別算法分類基于人臉特征點(diǎn)的識(shí)別算法(Feature-basedrecognitionalgorithms)?；谡四槇D像的識(shí)別算法(Appearance-basedrecognitionalgorithms)?；谀０宓淖R(shí)別算法(Template-basedrecognitionalgorithms)。利用神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別的算法(Recognitionalgorithmsusingneuralnetwork)?；诠庹展烙?jì)模型理論提出了基于Gamma灰度矯正的光照預(yù)處理方法，并且在光照估計(jì)模型的基礎(chǔ)上，進(jìn)行相應(yīng)的光照補(bǔ)償和光照平衡策略。優(yōu)化的形變統(tǒng)計(jì)校正理論基于統(tǒng)計(jì)形變的校正理論，優(yōu)化人臉姿態(tài)；強(qiáng)化迭代理論強(qiáng)化迭代理論是對(duì)DLFA人臉檢測(cè)算法的有效擴(kuò)展；獨(dú)創(chuàng)的實(shí)時(shí)特征識(shí)別理論該理論側(cè)重于人臉實(shí)時(shí)數(shù)據(jù)的中間值處理，從而可以在識(shí)別速率和識(shí)別效能之間，達(dá)到最佳的匹配效果人臉識(shí)別的優(yōu)勢(shì)在于其自然性和不被被測(cè)個(gè)體察覺的特點(diǎn)。所謂自然性，是指該識(shí)別方式同人類（甚至其他生物）進(jìn)行個(gè)體識(shí)別時(shí)所利用的生物特征相同。例如人臉識(shí)別，人類也是通過觀察比較人臉區(qū)分和確認(rèn)身份的，另外具有自然性的識(shí)別還有語(yǔ)音識(shí)別、體形識(shí)別等，而指紋識(shí)別、虹膜識(shí)別等都不具有自然性，因?yàn)槿祟惢蛘咂渌锊⒉煌ㄟ^此類生物特征區(qū)別個(gè)體。不被察覺的特點(diǎn)對(duì)于一種識(shí)別方法也很重要，這會(huì)使該識(shí)別方法不令人反感，并且因?yàn)椴蝗菀滓鹑说淖⒁舛蝗菀妆黄垓_。人臉識(shí)別具有這方面的特點(diǎn)，它完全利用可見光獲取人臉圖像信息，而不同于指紋識(shí)別或者虹膜識(shí)別，需要利用電子壓力傳感器采集指紋，或者利用紅外線采集虹膜圖像，這些特殊的采集方式很容易被人察覺，從而更有可能被偽裝欺騙。人臉識(shí)別被認(rèn)為是生物特征識(shí)別領(lǐng)域甚至人工智能領(lǐng)域最困難的研究課題之一。人臉識(shí)別的困難主要是人臉作為生物特征的特點(diǎn)所帶來(lái)的。比如相似性：不同個(gè)體之間的區(qū)別不大，所有的人臉的結(jié)構(gòu)都相似，甚至人臉器官的結(jié)構(gòu)外形都很相似。這樣的特點(diǎn)對(duì)于利用人臉進(jìn)行定位是有利的，但是對(duì)于利用人臉區(qū)分人類個(gè)體是不利的。易變性：人臉的外形很不穩(wěn)定，人可以通過臉部的變化產(chǎn)生很多表情，而在不同觀察角度，人臉的視覺圖像也相差很大，另外，人臉識(shí)別還受光照條件（例如白天和夜晚，室內(nèi)和室外等）、人臉的很多遮蓋物（例如口罩、墨鏡、頭發(fā)、胡須等）、年齡等多方面因素的影響。在人臉識(shí)別中，第一類的變化是應(yīng)該放大而作為區(qū)分個(gè)體的標(biāo)準(zhǔn)的，而第二類的變化應(yīng)該消除，因?yàn)樗鼈兛梢源硗粋€(gè)個(gè)體。通常稱第一類變化為類間變化（inter-classdifference），而稱第二類變化為類內(nèi)變化（intra-classdifference）。對(duì)于人臉，類內(nèi)變化往往大于類間變化，從而使在受類內(nèi)變化干擾的情況下利用類間變化區(qū)分個(gè)體變得異常困難。隨著技術(shù)的進(jìn)一步成熟和社會(huì)認(rèn)同度的提高，人臉識(shí)別技術(shù)將應(yīng)用在更多的領(lǐng)域。包括刑偵破案、門禁系統(tǒng)、攝像監(jiān)視、網(wǎng)絡(luò)應(yīng)用、身份識(shí)別、信息安全、娛樂應(yīng)用等。

三.Opencv實(shí)現(xiàn)人臉識(shí)別實(shí)驗(yàn)過程1.opencv環(huán)境配置(win7+vs2010+opencv2.3.1)①下載OpenCV2.3.11.從/index.php/Download下載OpenCVforWindows(也即OpenCV-2.3.1-2.將OpenCV-231-win-superpack.exe解壓并放到某個(gè)路徑目錄下，例如D:\OpenCV2.3.1。其目錄結(jié)構(gòu)*計(jì)算"?Program(D:)?OpenCV2.3.1>點(diǎn)*新Jfct快密*所3rdparty20：android20：方問的位置build20：data20：doc20：include20：modules20：samples20：cmake_uninsta1Lcmake.in20：CMakeList5.txt20：_cvconfig.h,cmake20：I\index.rst20：OpenCV,mk.in20:奎?ope-n.cv.pt,cmake.in20：ram(Dr)0penCVAndroidProjectxmake20.i(E：).OpenCVConfig.cmake.in20：VCnrifin-w*rs;iriH.rfTiij?LF.in②配置環(huán)境變量右擊“我的電腦”選“屬性”，點(diǎn)“高級(jí)系統(tǒng)屬性”，點(diǎn)“環(huán)境變量”，在用戶變量中新建兩個(gè)用戶變量，PATHD:\OpenCV2.3.1\buildOPENCVD:\OpenCV231\build\x86\vc10\bin如下圖所示。

③配置VS2010“其在“工具”-〉“選項(xiàng)”-〉“項(xiàng)目與解決方案”->“VC++目錄”中選擇“視圖”他窗口”——“屬性管理器”，如下圖所示“其雙擊Debug|Win32下的“Microsoft.Cpp.Win32.user”，如下圖所示。融典^M；crcrsofLCpp.』哩也|H-3CaichVidtoaDebugjWin32￡2^Mkrp5Qf^.Cpp.</ir^2.usgrjr!Appiicationf.jUnicodeSupportDynamicLiiMitoMFC■Release1Win32jMicDtt.Cpp.^u1；r2^er|*,Whole^rcgrainOptimsution土jUnicodeSupportf-iDynamicLnktoMFC在彈出的配置框中配置，選擇“VC++目錄”。1、在“包含目錄”中的結(jié)尾處(若結(jié)尾處無(wú)英文狀態(tài)下的“;”則需自行添加“;”，下同)加入以下內(nèi)容$(opencv)\include\opencv;$(opencv)\include\opencv2;$(opencv)\include;2、在庫(kù)目錄中的結(jié)尾處加入以下內(nèi)容添加：$(opencv)\x86\vc10\lib;注：$(opencv)\include\opencv是告訴VC去“opencv”這個(gè)變量中的文件夾下的\include\opencv路徑中如下圖所示。在“鏈接器”-“輸入”-“附加依賴選項(xiàng)”中的結(jié)尾處加入以下內(nèi)容：$(opencv)\x86\vc10\lib\opencv_core231d.lib;$(opencv)\x86\vc10\lib\opencv_highgui231d.lib;$(opencv如下圖所示

點(diǎn)擊確定，至此OpenCV的配置完成四.Opencv人臉識(shí)別步驟1、訓(xùn)練分類器目前人臉檢測(cè)分類器大都是基于haar特征利用Adaboost學(xué)習(xí)算法訓(xùn)練的。目標(biāo)檢測(cè)方法最初由PaulViola[Viola01]提出，并由RainerLienhart[Lienhart02]對(duì)這一方法進(jìn)行了改善.首先，利用樣本（大約幾百幅樣本圖片）的harr特征進(jìn)行分類器訓(xùn)練，得到一個(gè)級(jí)聯(lián)的boosted分類器。訓(xùn)練樣本分為正例樣本和反例樣本，其中正例樣本是指待檢目標(biāo)樣本（例如人臉或汽車等），反例樣本指其它任意圖片，所有的樣本圖片都被歸一化為同樣的尺寸大?。ɡ?，20x20）。分類器訓(xùn)練完以后，就可以應(yīng)用于輸入圖像中的感興趣區(qū)域（與訓(xùn)練樣本相同的尺寸）的檢測(cè)。檢測(cè)到目標(biāo)區(qū)域汽車或人臉）分類器輸出為1,否則輸出為0。為了檢測(cè)整副圖像，可以在圖像中移動(dòng)搜索窗口，檢測(cè)每一個(gè)位置來(lái)確定可能的目標(biāo)。為了搜索不同大小的目標(biāo)物體，分類器被設(shè)計(jì)為可以進(jìn)行尺寸改變，這樣比改變待檢圖像的尺寸大小更為有效。所以，為了在圖像中檢測(cè)未知大小的目標(biāo)物體，掃描程序通常需要用不同比例大小的搜索窗口對(duì)圖片進(jìn)行幾次掃描。分類器中的“級(jí)聯(lián)”是指最終的分類器是由幾個(gè)簡(jiǎn)單分類器級(jí)聯(lián)組成。在圖像檢測(cè)中，被檢窗口依次通過每一級(jí)分類器，這樣在前面幾層的檢測(cè)中大部分的候選區(qū)域就被排除了，全部通過每一級(jí)分類器檢測(cè)的區(qū)域即為目標(biāo)區(qū)域。目前支持這種分類器的boosting技術(shù)有四種：DiscreteAdaboost,RealAdaboost,GentleAdaboostandLogitboost"boosted"即指級(jí)聯(lián)分類器的每一層都可以從中選取一個(gè)boosting算法（權(quán)重投票），并利用基礎(chǔ)分類器的自我訓(xùn)練得到?；A(chǔ)分類器是至少有兩個(gè)葉結(jié)點(diǎn)的決策樹分類器。Haar特征是基礎(chǔ)分類器的輸入，主要描述如下。目前的算法主要利用下面的Harr特征。2、利用分類器進(jìn)行檢測(cè)對(duì)于分類器的使用大致要經(jīng)過三個(gè)階段，從文件中加載分類器、利用分類器進(jìn)行檢測(cè)、檢測(cè)完成后釋放分類器。這三個(gè)階段對(duì)應(yīng)三個(gè)函數(shù)，cvLoadHaarClassifierCascade、cvHaarDetectObjects、cvReleaseHaarClassifierCascade。這三個(gè)函數(shù)包含在庫(kù)文件opencv_objdetect231d.lib中，級(jí)聯(lián)分類器訓(xùn)練中采用的檢測(cè)目標(biāo)的尺寸。這個(gè)信息在分類器中沒有存儲(chǔ)，因此要單獨(dú)指出。函數(shù)cvLoadHaarClassifierCascade用于從文件中裝載訓(xùn)練好的利用哈爾特征的級(jí)聯(lián)分類器，或者從OpenCV中嵌入的分類器數(shù)據(jù)庫(kù)中導(dǎo)入。分類器的訓(xùn)練可以應(yīng)用函數(shù)haartraining（詳細(xì)察看opencv/apps/haartraining）這個(gè)數(shù)值是在訓(xùn)練分類器時(shí)就確定好的，修改它并不能改變檢測(cè)的范圍或精度。從文件中導(dǎo)入分類器，可以使用函數(shù)cvLoad。b、CvSeq*cvHaarDetectObjects（constCvArr*image,CvHaarClassifierCascade*cascade,CvMemStorage*storage,doublescale_factor=1.1,intmin_neighbors=3,intflags=0,CvSizemin_size=cvSize（0,0））;image被檢圖像cascadeharr分類器級(jí)聯(lián)的內(nèi)部標(biāo)識(shí)形式storage用來(lái)存儲(chǔ)檢測(cè)到的一序列候選目標(biāo)矩形框的內(nèi)存區(qū)域。scale_factor在前后兩次相繼的掃描中，搜索窗口的比例系數(shù)。例如1.1指將搜索窗口依次擴(kuò)大10%。min_neighbors構(gòu)成檢測(cè)目標(biāo)的相鄰矩形的最小個(gè)數(shù)（缺省一1）。如果組成檢測(cè)目標(biāo)的小矩形的個(gè)數(shù)和小于min_neighbors-1都會(huì)被排除。如果min_neighbors為0,則函數(shù)不做任何操作就返回所有的被檢候選矩形框，這種設(shè)定值一般用在用戶自定義對(duì)檢測(cè)結(jié)果的組合程序上。操作方式。當(dāng)前唯一可以定義的操作方式是CV_HAAR_DO_CANNY_PRUNING。如果被設(shè)定，函數(shù)利用Canny邊緣檢測(cè)器排除一些邊緣很少或者很多的圖像區(qū)域，因?yàn)檫@樣的區(qū)域一般不含被檢目標(biāo)。人臉檢測(cè)中通過設(shè)定閾值使用了這種方法，并因此提高了檢測(cè)速度。檢測(cè)窗口的最小尺寸。缺省的情況下被設(shè)為分類器訓(xùn)練時(shí)采用的樣本尺寸（人臉檢測(cè)中缺省大小是~20x20）。函數(shù)cvHaarDetectObjects使用針對(duì)某目標(biāo)物體訓(xùn)練的級(jí)聯(lián)分類器在圖像中找到包含目標(biāo)物體的矩形區(qū)域，并且將這些區(qū)域作為一序列的矩形框返回。函數(shù)以不同比例大小的掃描窗口對(duì)圖像進(jìn)行幾次搜索（察看cvSetImagesForHaarClassifierCascade）。每次都要對(duì)圖像中的這些重疊區(qū)域利用cvRunHaarClassifierCascade進(jìn)行檢測(cè)。有時(shí)候也會(huì)利用某些繼承（heuristics）技術(shù)以減少分析的候選區(qū)域，例如利用Canny裁減（prunning）方法。函數(shù)在處理和收集到候選的方框（全部通過級(jí)聯(lián)分類器各層的區(qū)域）之后，接著對(duì)這些區(qū)域進(jìn)行組合并且返回一系列各個(gè)足夠大的組合中的平均矩形。調(diào)節(jié)程序中的缺省參數(shù)（scale_factor=1.1,min_neighbors=3,flags=0）用于對(duì)目標(biāo)進(jìn)行更精確同時(shí)也是耗時(shí)較長(zhǎng)的進(jìn)一步檢測(cè)。為了能對(duì)視頻圖像進(jìn)行更快的實(shí)時(shí)檢測(cè)，參數(shù)設(shè)置通常是：scale_factor=1.2,min_neighbors=2,flags=CV_HAAR_DO_CANNY_PRUNING,min_size=<minimumpossiblefacesize>五.代碼#include"opencv2/objdetect/objdetect.hpp#include"opencv2/highgui/highgui.hpp"#include"opencv2/imgproc/imgproc.hpp"#include<iostream>#include<stdio.h>usingnamespacestd;usingnamespacecv;/**函數(shù)聲明*voiddetectAndDisplay(Matframe);/**全局變量*stringface_cascade_name="haarcascade_frontalface_alt.xml";stringeyes_cascade_name="haarcascade_eye_tree_eyeglasses.xml";CascadeClassifierface_cascade;CascadeClassifiereyes_cascade;stringwindow_name="Capture-Facedetection";RNGrng(12345);/**@主函數(shù)*intmain(intargc,constchar**argv){CvCapture*capture;Matframe;//--1.加載級(jí)聯(lián)分類器文件if(!face_cascade.load(face_cascade_name)){printf("--(!)Errorloading\n");return-1;};if(!eyes_cascade.load(eyes_cascade_name)){printf("--(!)Errorloading\n");return-1;};〃--2.打開內(nèi)置攝像頭視頻流capture=cvCaptureFromCAM(-1);if(capture){while(true){frame=cvQueryFrame(capture);〃--3.對(duì)當(dāng)前幀使用分類器進(jìn)行檢測(cè)if(!frame.empty()){detectAndDisplay(frame);}Else{printf("--(!)Nocapturedframe--Break!");break;}intc=waitKey(10);if((char)c=='c')(break;}}}return0;}/**@函數(shù)detectAndDisplay*/voiddetectAn