小熊貓識(shí)別技術(shù)規(guī)范

1小熊貓識(shí)別技術(shù)規(guī)范本文件規(guī)定了小熊貓識(shí)別有關(guān)術(shù)語(yǔ)定義、數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)分析的技術(shù)。本文件適用于基于圖像的小熊貓個(gè)體識(shí)別。2規(guī)范性引用文件下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。CJJ/T263-2017動(dòng)物園動(dòng)物管理技術(shù)規(guī)程GB/T26238-2010信息技術(shù)生物特征識(shí)別術(shù)語(yǔ)3術(shù)語(yǔ)、定義下列術(shù)語(yǔ)和定義適用于本文件。3.1生物特征識(shí)別biometrics基于動(dòng)物個(gè)體的行為特征和生物學(xué)特征，對(duì)個(gè)體身份進(jìn)行識(shí)別。3.2目標(biāo)檢測(cè)與識(shí)別objectdetectionandrecognition從圖像中找出目標(biāo)的位置坐標(biāo),用矩形框框出目標(biāo)，并對(duì)該目標(biāo)進(jìn)行分類。3.3語(yǔ)義分割semanticsegmentation對(duì)圖像進(jìn)行像素級(jí)別分類，即預(yù)測(cè)出像素點(diǎn)的類別。3.4卷積神經(jīng)網(wǎng)絡(luò)convolutionalneuralnetworks以卷積計(jì)算為主的神經(jīng)網(wǎng)絡(luò)，通常包含卷積層、批歸一化層、激活層、池化層、全連接層、損失函數(shù)層等基礎(chǔ)結(jié)構(gòu)。3.52特征提取featureextraction使用計(jì)算機(jī)提取小熊貓圖像中屬于特征性的特征序列的方法及過程。3.6特征比對(duì)featurematching計(jì)算兩個(gè)特征向量之間的相似度。特征比對(duì)包括1：1比對(duì)驗(yàn)證和1：N比對(duì)識(shí)別兩種方式。3.7相似度similarity衡量?jī)蓚€(gè)特征的相似程度，數(shù)值越大說明它們?cè)较嗨啤?.8閾值threshold做出判定所依據(jù)的邊界值。3.9錯(cuò)誤接受率falseacceptrate在驗(yàn)證過程中，將新個(gè)體識(shí)別為數(shù)據(jù)庫(kù)中個(gè)體的比率，用百分比表示。錯(cuò)誤接受率也稱認(rèn)假率。3.10錯(cuò)誤拒絕率falserejectrate在驗(yàn)證過程中，將數(shù)據(jù)庫(kù)中個(gè)體識(shí)別錯(cuò)誤的比率，用百分比表示。錯(cuò)誤拒絕率也稱拒真率。3.11FPSFramesPerSecond每秒處理圖像的數(shù)量。3.12mAPMeanAveragePrecision平均精度。3.13SSIMstructuralsimilarityindex結(jié)構(gòu)相似性。34數(shù)據(jù)采集4.1圖像采集小熊貓圖像采集時(shí)，對(duì)圈養(yǎng)小熊貓的影像和視頻數(shù)據(jù)采集，每次確定到具體的個(gè)體。在拍攝小熊貓圖像和視頻的過程中，掃描個(gè)體體內(nèi)植入的芯片編號(hào)，指導(dǎo)拍攝人員多角度跟蹤拍攝對(duì)應(yīng)編號(hào)的小熊貓，記錄小熊貓顯著的外貌特征、拍攝的開始時(shí)間和結(jié)束時(shí)間。在確保數(shù)據(jù)和身份信息準(zhǔn)確的前提下，對(duì)相關(guān)個(gè)體所采集的數(shù)據(jù)進(jìn)行一一建檔；對(duì)于未能進(jìn)行芯片植入的小熊貓個(gè)體和在野外通過紅外相機(jī)等拍攝工具獲取野外小熊貓個(gè)體的影像和視頻數(shù)據(jù)，應(yīng)以明確的生物個(gè)體差異特征進(jìn)行個(gè)體初始數(shù)據(jù)建檔。4.2面部圖像采集要求采集的小熊貓面部圖像需滿足以下要求：a)小熊貓面部圖像光照均勻，無(wú)過度曝光，清晰完整；b)小熊貓面部的水平面方向和垂直面方向內(nèi)的旋轉(zhuǎn)角度±10°;c)小熊貓的兩只眼睛、鼻子和耳朵可見；d)不存在遮擋；e)小熊貓面部圖像的分辨率不低于256×256像素。4.3全身圖像采集要求采集的小熊貓全身圖像需滿足以下要求：a)小熊貓全身圖像光線自然，無(wú)過度曝光，清晰完整；b)保證拍攝的畫面里只有一只目標(biāo)小熊貓或者目標(biāo)在畫面中所占的面積最大；c)對(duì)小熊貓進(jìn)行多角度、多方位拍攝，確保每一只小熊貓的正面姿態(tài)、左側(cè)面姿態(tài)、右側(cè)面姿態(tài)和背面姿態(tài)至少都有一張圖像和一段視頻。d)小熊貓全身圖像的分辨率不低于512×512像素。5數(shù)據(jù)處理5.1面部圖像檢測(cè)給定一張圖像，從這張圖像中通過矩形框框出小熊貓面部區(qū)域。如果在一幅圖像中檢測(cè)到超過一個(gè)小熊貓面部，則只返回面積最大的那一個(gè)。得到檢測(cè)框后，根據(jù)該邊界框裁剪小熊貓的面部圖像。小熊貓面部圖像檢測(cè)算法需滿足以下要求：a)算法推理的實(shí)時(shí)性應(yīng)達(dá)到20FPS；b)平均檢測(cè)的精度mAP應(yīng)達(dá)到80%。5.2面部關(guān)鍵點(diǎn)檢測(cè)給定一張小熊貓面部圖像，確定小熊貓眼睛和鼻子的位置坐標(biāo)。以采用U-Net網(wǎng)絡(luò)分割雙眼所在區(qū)域和鼻子區(qū)域?yàn)槔?，該網(wǎng)絡(luò)的輸出是一個(gè)三通道圖像，其大小與輸入圖像相同，并且它的三個(gè)通道中的每一個(gè)都分別代表三個(gè)區(qū)域之一，分別是左眼區(qū)域、右眼區(qū)域和鼻子區(qū)域。接著，將這三個(gè)通道與對(duì)應(yīng)的分割標(biāo)簽通過L2損失函數(shù)引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)分割任務(wù)。制作分割標(biāo)簽的過程：4a)人工標(biāo)注眼睛和鼻子的關(guān)鍵點(diǎn)坐標(biāo)；b)以這些關(guān)鍵點(diǎn)的坐標(biāo)為圓心，設(shè)定一個(gè)半徑（眼睛區(qū)域的半徑設(shè)置為7個(gè)像素，鼻子區(qū)域的半徑設(shè)置為13個(gè)像素），繪制出圓形區(qū)域，每個(gè)關(guān)鍵點(diǎn)對(duì)應(yīng)于一個(gè)通道；c)在這些區(qū)域內(nèi)的像素值設(shè)置為255，其余區(qū)域設(shè)置為0，得到一張三通道的圖像標(biāo)簽，即關(guān)鍵區(qū)域分割標(biāo)簽。在測(cè)試階段，輸入一張小熊貓面部圖像，輸出為與之大小相等的圖像，即三通道的分割結(jié)果。每個(gè)通道代表一個(gè)關(guān)鍵區(qū)域，分別過濾掉每個(gè)通道較小的響應(yīng)值，剩下的響應(yīng)值較高的點(diǎn)的質(zhì)心即為該通道所對(duì)應(yīng)關(guān)鍵區(qū)域的中心坐標(biāo)，即關(guān)鍵點(diǎn)坐標(biāo)。小熊貓面部關(guān)鍵點(diǎn)檢測(cè)算法需滿足以下要求：a)算法推理的實(shí)時(shí)性應(yīng)達(dá)到20FPS；b)關(guān)鍵點(diǎn)預(yù)測(cè)誤差應(yīng)不大于5像素。5.3面部對(duì)齊基于兩只眼睛的中心來對(duì)齊小熊貓的面部圖像，使得連接兩眼中心的直線是水平的。首先，基于U-Net的小熊貓臉關(guān)鍵點(diǎn)檢測(cè)算法得到雙眼和鼻子中心的坐標(biāo)；接著，基于雙眼中心的坐標(biāo)，旋轉(zhuǎn)小熊貓面部圖像，使雙眼中心處于同一水平線上；最后，通過如下方式裁剪出小熊貓面部圖像，設(shè)兩眼中心之間的距離為d，眼睛中心到裁剪后的面部圖像的頂部和底部之間的距離分別為a×d和b×d，左右眼中心相對(duì)于裁剪后的面部圖像的左右邊緣的距離均為c×d。其中a=1.3，b=1.7和c=1.2。經(jīng)過對(duì)齊步驟后的小熊貓面部圖像幾乎沒有平面內(nèi)的旋轉(zhuǎn)，而且絕大部分背景都被消除了，減少了對(duì)后續(xù)小熊貓臉部識(shí)別步驟的干擾。5.4全身圖像檢測(cè)給定一張圖像，需從這張圖像中通過矩形框框出小熊貓全身區(qū)域。如果在一幅圖像中檢測(cè)到超過一個(gè)小熊貓，則只返回面積最大的那一個(gè)。得到檢測(cè)框后，根據(jù)該邊界框裁剪小熊貓全身圖像。小熊貓全身圖像檢測(cè)算法需滿足以下要求：a)算法推理的實(shí)時(shí)性應(yīng)達(dá)到20FPS；b)平均檢測(cè)的精度mAP應(yīng)達(dá)到80%。5.5軀體語(yǔ)義分割由于小熊貓非剛性運(yùn)動(dòng)也會(huì)導(dǎo)致其姿態(tài)變化較大，為了方便對(duì)小熊貓姿態(tài)進(jìn)行建模，本標(biāo)準(zhǔn)共定義了小熊貓的頭部、小熊貓的軀干、小熊貓的尾巴、小熊貓的四肢以及背景5種類別。以基于HRNet模型為例，其核心思想即按照像素點(diǎn)進(jìn)行分類。給定一張小熊貓圖像I∈R3×h×w和其標(biāo)注好的語(yǔ)義分割圖像標(biāo)簽y∈Rh×w，語(yǔ)義分割圖像標(biāo)簽中有背景區(qū)域、頭部區(qū)域、軀干區(qū)域、尾巴區(qū)域和四肢區(qū)域，其中h、w分別表示圖像的高和寬。語(yǔ)義分割模型的基礎(chǔ)網(wǎng)絡(luò)采用HRNet，它能很好地融合不同尺度的特征得到高分辨率特征圖。小熊貓圖像I輸入HRNet，將最后一層所有特征圖進(jìn)行上采樣到原圖大??；接著，將它們?cè)谕ǖ谰S度上進(jìn)行拼接；然后，通過5個(gè)1×1的卷積核進(jìn)行特征融合，輸出得到通道的特征圖F∈R5×h×w；最后，將特征圖F通過softmax層預(yù)測(cè)出每個(gè)像素點(diǎn)的類別概率。在訓(xùn)練階段，將預(yù)測(cè)的結(jié)果和語(yǔ)義分割圖像標(biāo)簽y通過交叉熵?fù)p失函數(shù)進(jìn)行監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。在測(cè)試階段，直接將測(cè)試圖像輸入語(yǔ)義分割網(wǎng)絡(luò)，輸出特征圖F，預(yù)測(cè)出每個(gè)像素點(diǎn)最大概率的類別。小熊貓軀體分割語(yǔ)義算法需滿足以下要求：像素點(diǎn)類別預(yù)測(cè)平均錯(cuò)誤率應(yīng)不大于15%。55.6面部數(shù)據(jù)庫(kù)通過智能成像設(shè)備采集，批量導(dǎo)入實(shí)現(xiàn)小熊貓面部圖像數(shù)據(jù)注冊(cè)。在小熊貓面部圖像登記過程中，實(shí)現(xiàn)小熊貓面部圖像與小熊貓標(biāo)識(shí)之間綁定關(guān)系的建立。小熊貓面部數(shù)據(jù)庫(kù)需滿足以下要求：a)對(duì)所有圖像標(biāo)注小熊貓面部目標(biāo)框區(qū)域的左上角和右下角坐標(biāo)；b)對(duì)小熊貓面部圖像標(biāo)注3個(gè)關(guān)鍵點(diǎn)信息，分別為左眼中心、右眼中心和鼻子中心坐標(biāo)；c)使用SSIM方法測(cè)量圖像間的像素級(jí)相似度，進(jìn)行圖像去重操作。5.7全身數(shù)據(jù)庫(kù)數(shù)據(jù)分析通過智能成像設(shè)備采集，批量導(dǎo)入實(shí)現(xiàn)小熊貓全身圖像數(shù)據(jù)注冊(cè)。在小熊貓全身圖像登記過程中，實(shí)現(xiàn)小熊貓全身圖像與小熊貓標(biāo)識(shí)之間綁定關(guān)系的建立。小熊貓臉部數(shù)據(jù)庫(kù)需滿足以下要求：a)對(duì)所有圖像標(biāo)注小熊貓全身目標(biāo)框區(qū)域的左上角和右下角坐標(biāo)；b)對(duì)小熊貓全身圖像標(biāo)注像素點(diǎn)類別，分別為頭部區(qū)域、軀干區(qū)域、尾巴區(qū)域、四肢區(qū)域和背景c)對(duì)小熊貓全身圖像標(biāo)注姿態(tài)類別，分別為左側(cè)面姿態(tài)、右側(cè)面姿態(tài)、正面姿態(tài)和背面姿態(tài)；d)根據(jù)臉部和尾部的可見性進(jìn)行標(biāo)注姿態(tài)類別，分別為臉部可見、臉部不可見、尾部可見和尾部不可見。5.8面部圖像識(shí)別給定一張對(duì)齊并裁剪好的小熊貓面部圖像，使用卷積神經(jīng)網(wǎng)絡(luò)來提取特征并用于身份識(shí)別，常用的卷積神經(jīng)網(wǎng)絡(luò)有VGG，ResNet,SENet等。小熊貓面部圖像識(shí)別算法首先使用VGG-16卷積神經(jīng)網(wǎng)絡(luò)在ILSVRC數(shù)據(jù)集上預(yù)訓(xùn)練；接著，用處理好的小熊貓面部圖像對(duì)該模型進(jìn)行微調(diào)；最后，將微調(diào)得到的VGG-16模型用于從輸入的小熊貓面部圖像中提取特征?,并根據(jù)特征間的余弦距離計(jì)算兩幅小熊貓面部圖像的相似度。為了確定輸入小熊貓臉部圖像的身份，先提取其面部特征，然后將其與注冊(cè)集中登記的所有小熊貓面部圖像特征進(jìn)行比較。它的身份最終被確定為與它最相似的特征所屬的小熊貓身份。如果指定了相似度閾值，且最高相似度低于該閾值，則輸入的小熊貓面部圖像被判定為不是注冊(cè)集中的任何一只小熊貓；判定為它是未知的小熊貓新個(gè)體。小熊貓面部圖像識(shí)別算法需滿足以下要求：當(dāng)錯(cuò)誤接受率為0.1%時(shí)，錯(cuò)誤拒絕率應(yīng)不大于10%。5.9全身圖像識(shí)別由于小熊貓屬于瀕危物種，個(gè)體數(shù)量不多，采集帶身份信息的小熊貓圖像十分不易，每一只小熊貓都存在面部和尾部都可見、尾部不可見面部可見、面部不可見尾部可見、面部和尾部都不可見這四個(gè)實(shí)例類別，因此，對(duì)其設(shè)計(jì)了相應(yīng)的數(shù)據(jù)增強(qiáng)策略彌補(bǔ)圖像數(shù)據(jù)不足的缺陷。采用分別將尾巴區(qū)域用零值填充、面部區(qū)域用零值填充以及面部區(qū)域和尾巴區(qū)域同時(shí)用零值填充的方式，這些區(qū)域可以通過小熊貓軀體語(yǔ)義分割模型預(yù)測(cè)。小熊貓全身圖像識(shí)別算法由四個(gè)模塊組成，分別為基礎(chǔ)模塊、圖像擦除模塊、互補(bǔ)模塊和融合模塊。通過基礎(chǔ)模塊主干網(wǎng)絡(luò)最后一層特征圖生成激活圖，然后根據(jù)激活圖從原始小熊貓圖像中擦除被激活對(duì)1h督網(wǎng)絡(luò)的學(xué)習(xí)。訓(xùn)練完RedPanda-PGCFL模型后，將其應(yīng)用于小熊貓圖像，對(duì)小熊貓圖像提取特征。具體做法如下：給定一張小熊貓圖像，將它同時(shí)輸入基礎(chǔ)模塊和互補(bǔ)模塊得到基礎(chǔ)特征?11和互補(bǔ)特征?21，與訓(xùn)練階段不同，在訓(xùn)練階段中互補(bǔ)模塊使用的是擦除后的圖像作為輸入；然后將基礎(chǔ)特征?11和互補(bǔ)特征?21進(jìn)行拼接送入融合模塊獲取融合特征?32進(jìn)行表征小熊貓個(gè)體的身份；最后，根據(jù)特征間的余弦距離計(jì)算兩幅小熊貓全身圖像的