DB54T 0308-2023西藏特有魚類智能識別技術(shù)規(guī)范

ICS67.120.30CCSB5054IDB54/T0308—2023前言 2規(guī)范性引用文件 3術(shù)語和定義 4魚類智能識別技術(shù)的構(gòu)成 24.1硬件設(shè)備 24.2軟件系統(tǒng) 25硬件配置要求 26軟件要求 37實(shí)現(xiàn)步驟 38圖像采集設(shè)備部署 39訓(xùn)練數(shù)據(jù)集制作 310算法訓(xùn)練 411評價(jià)指標(biāo)獲取與計(jì)算方法 4附錄A（資料性）目標(biāo)魚類標(biāo)注 6附錄B（資料性）XML標(biāo)簽文件 7附錄C（資料性）西藏區(qū)域水域里特有魚類種類識別結(jié)果 8DB54/T0308—2023本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由中國水利水電科學(xué)研究院提出。本文件由西藏自治區(qū)農(nóng)牧業(yè)標(biāo)準(zhǔn)化技術(shù)委員會歸口。本文件起草單位：中國水利水電科學(xué)研究院、華能雅魯藏布江水電開發(fā)投資有限公司、華電西藏能源有限公司、華電金沙江上游水電開發(fā)有限公司、華能雅魯藏布江水電開發(fā)投資有限公司加查水電廠。本文件主要起草人：柳春娜、楊佐斌、余凌、趙晉兵、邢偉、李銳、申劍、廖華杰、李健源、朱蒙恩、胡江軍、焦虎、吳必朗、韓志強(qiáng)、劉軼、周榮攀、周艷華、王魯海、嚴(yán)子鈞、盧佳。本文件屬首次制定。1DB54/T0308—2023西藏特有魚類智能識別技術(shù)規(guī)范本文件規(guī)定了西藏區(qū)域水域里特有魚類數(shù)據(jù)集制作和目標(biāo)檢測的方法。本文件適用于在濁度測量值在100NTU及以下的水體中，智能識別西藏區(qū)域水域里特有魚類的稚魚和成魚。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。HJ1075水質(zhì)濁度的測定濁度計(jì)法HJ710.7生物多樣性觀測技術(shù)導(dǎo)則內(nèi)陸水域魚類3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1智能識別通過人工智能技術(shù)，實(shí)現(xiàn)魚類種類識別和數(shù)量自動統(tǒng)計(jì)。3.2圖像采集采用成像設(shè)備獲取魚類水下圖像信號的過程。3.3動態(tài)圖像魚類游動通過成像設(shè)備時(shí)的實(shí)時(shí)圖像。3.4數(shù)據(jù)集深度學(xué)習(xí)目標(biāo)檢測算法訓(xùn)練時(shí)所用的主流數(shù)據(jù)格式。3.5識別圖片或者視頻中目標(biāo)以及目標(biāo)的坐標(biāo)位置。3.6交并比衡量預(yù)測框和真實(shí)框的重合程度指標(biāo)。3.7準(zhǔn)確率真實(shí)正樣本占分類器判斷正樣本的比例。2DB54/T0308—20233.8召回率真實(shí)正樣本占測試集正樣本的比例。3.9F1分?jǐn)?shù)精確度與召回率的調(diào)和平均數(shù)。3.10平均精確度以Recall作為橫軸，Precision作為縱軸，P-R曲線下的面積。4魚類智能識別技術(shù)的構(gòu)成4.1硬件設(shè)備魚類智能識別技術(shù)的實(shí)施的硬件設(shè)備部署包含以下要素：——圖像采集設(shè)備：水下相機(jī)、高清視頻攝像頭、超聲成像聲吶等圖像（含聲學(xué)）采集設(shè)備，用于捕獲魚類圖像和視頻資料?！鎯υO(shè)備：帶有大容量硬盤的計(jì)算機(jī)、硬盤錄像機(jī)、網(wǎng)絡(luò)附屬存儲服務(wù)器（NAS）等實(shí)現(xiàn)存儲功能硬件設(shè)備。——處理單元：具備圖像識別和目標(biāo)檢測算法所需計(jì)算資源的服務(wù)器、GPU加速器等計(jì)算終端，用于處理復(fù)雜的計(jì)算任務(wù)?！ㄓ嵠骷簶?gòu)建通訊網(wǎng)絡(luò)所需的交換機(jī)、路由器、光纖轉(zhuǎn)換器、網(wǎng)線、光纖等通訊設(shè)備或元器件，實(shí)現(xiàn)圖像采集設(shè)備、存儲設(shè)備、處理單元之間的數(shù)據(jù)通訊傳輸功能。4.2軟件系統(tǒng)構(gòu)成智能識別技術(shù)的軟件系統(tǒng)主要包括以下幾個(gè)部分：——圖像處理軟件：對采集到的圖像和視頻流進(jìn)行預(yù)處理的軟件或軟件模塊?！R別軟件：使用機(jī)器學(xué)習(xí)或深度學(xué)習(xí)算法，根據(jù)西藏特有魚類的形態(tài)特征，進(jìn)行圖像的分析和識別，獲得的所需目標(biāo)位置和尺寸等信息的團(tuán)建或軟件模塊?！獢?shù)據(jù)庫系統(tǒng)：包含西藏特有魚類的形態(tài)特征數(shù)據(jù)庫、實(shí)現(xiàn)對識別所得信息分類存儲的軟件或軟件模塊?！脩艚涌冢禾峁┖啙嵜髁说牟僮鹘缑?，使研究人員和工作人員能夠輕松地查看識別結(jié)果和進(jìn)行數(shù)據(jù)管理的軟件模塊。5硬件配置要求5.1應(yīng)用場景水體濁度不高于50NTU時(shí)，圖像采集設(shè)備宜采用水下攝像機(jī)；濁度高于50NTU時(shí)，宜采用水下攝像機(jī)和超聲成像聲吶同步進(jìn)行圖像采集。采用水下攝像機(jī)有效像素?cái)?shù)應(yīng)不低于200萬。在需要使用聲吶配合進(jìn)行圖像采集時(shí)，宜采用空間分辨力強(qiáng)于5mm的多波束超聲成像聲吶。5.2應(yīng)將所有圖像采集設(shè)備的輸出轉(zhuǎn)化為統(tǒng)一格式的視頻流，幀頻不低于25fps。5.3采用人工智能工作站作為計(jì)算平臺實(shí)施對目標(biāo)圖像識別的計(jì)算。工作站配置宜滿足以下要求：a)中央處理器（CPU）主頻高于2.8GHz，核心數(shù)量不低于8個(gè)，線程數(shù)不低于16，緩存空間不小于16MB。3DB54/T0308—2023b)顯卡CUDA核心頻率超過1300MHz，顯存空間不低于8GB，顯存位寬不低于256bit。c)內(nèi)存不小于32GB，規(guī)格不低于DDR4。d)配置固態(tài)硬盤，空間不小于1TB。5.4存儲設(shè)備應(yīng)自動持續(xù)存儲采集設(shè)備輸出的視頻流，存儲設(shè)備容量支持的連續(xù)存儲視頻流時(shí)間應(yīng)高5.5宜采用有線通訊模式組建局域網(wǎng)絡(luò)，實(shí)現(xiàn)采集設(shè)備、存儲設(shè)備、計(jì)算單元之間的穩(wěn)定連接，采用的通訊協(xié)議應(yīng)支持25fps的視頻流穩(wěn)定傳輸。在不具備架設(shè)通訊線纜的場景下，可采用無線通訊方式，傳輸帶寬應(yīng)滿足采集所得視頻流實(shí)時(shí)傳輸?shù)男枨螅W(wǎng)絡(luò)延遲不應(yīng)高于100ms，丟包率不應(yīng)超過1%。5.6所有硬件設(shè)備應(yīng)在-20℃~35℃環(huán)境中穩(wěn)定工作，能應(yīng)對24小時(shí)內(nèi)20℃的溫度變化。6軟件要求6.1圖像處理軟件宜具備圖像增強(qiáng)功能，可對圖像或視頻流進(jìn)行降噪、對比度增強(qiáng)、分辨率調(diào)整，應(yīng)保證處理速度滿足25fps幀率的實(shí)時(shí)性要求。6.2用于對采集圖像進(jìn)行標(biāo)注的軟件應(yīng)具備圖像標(biāo)注功能。6.3識別軟件應(yīng)具備魚類科屬識別能力，同時(shí)識別的魚種數(shù)量應(yīng)多于2種。6.4識別軟件的整體準(zhǔn)確率不應(yīng)低于85%，各魚種準(zhǔn)確率不應(yīng)低于80%，召回率不應(yīng)低于80%，F(xiàn)1分?jǐn)?shù)不應(yīng)低于85%，平均精確度不應(yīng)低于80%。6.5識別軟件應(yīng)具備對采集設(shè)備所得視頻流實(shí)時(shí)識別分析的能力，處理速度應(yīng)高于每秒25幀圖像7實(shí)現(xiàn)步驟智能識別技術(shù)的實(shí)現(xiàn)過程包括以下關(guān)鍵步驟：a)圖像采集設(shè)備部署：在適當(dāng)位置部署圖像采集設(shè)備，并確保其與存儲設(shè)備和計(jì)算單元連接良好。b)軟件安裝與配置：在計(jì)算處理單元上安裝圖像處理程序和識別算法程序，并進(jìn)行軟件環(huán)境配置，保障可實(shí)現(xiàn)長期穩(wěn)定運(yùn)行。c)數(shù)據(jù)收集：通過圖像采集設(shè)備收集西藏特有魚類的圖像和視頻數(shù)據(jù)。d)訓(xùn)練數(shù)據(jù)集制作：對采集的數(shù)據(jù)進(jìn)行種類標(biāo)注，制成格式統(tǒng)一的訓(xùn)練數(shù)據(jù)集。e)算法訓(xùn)練：使用標(biāo)注的數(shù)據(jù)集使用識別算法進(jìn)行訓(xùn)練。f)系統(tǒng)集成測試：將硬件與軟件系統(tǒng)進(jìn)行集成，并進(jìn)行全面的測試，包括識別精度、系統(tǒng)響應(yīng)速度和穩(wěn)定性測試。g)運(yùn)行監(jiān)測：系統(tǒng)投入使用后，持續(xù)監(jiān)測其性能，并根據(jù)反饋進(jìn)行優(yōu)化。8圖像采集設(shè)備部署8.1參考HJ1075-2019，測定環(huán)境水體濁度不高于100NTU，盡量避免水體波動。8.2當(dāng)測量環(huán)境照度低于10lx時(shí)，宜采用補(bǔ)光設(shè)備，并根據(jù)西藏區(qū)域水域里特有魚類對光照的行為習(xí)性適當(dāng)調(diào)節(jié)光照強(qiáng)度、顏色。補(bǔ)光設(shè)備光源的入射角度與拍攝角度的夾角宜低于60°。8.3選擇稚魚和成魚進(jìn)行拍攝，分類標(biāo)準(zhǔn)見HJ710.7。9訓(xùn)練數(shù)據(jù)集制作4DB54/T0308—20239.1識別軟件應(yīng)采用經(jīng)過標(biāo)注后的圖片數(shù)據(jù)集進(jìn)行模型訓(xùn)練，圖片宜采用魚類識別應(yīng)用場景下的采集設(shè)備實(shí)際拍攝的照片或視頻截圖。9.2用于訓(xùn)練的圖片數(shù)據(jù)集應(yīng)分魚種分別進(jìn)行標(biāo)注，每種魚類的數(shù)據(jù)集均應(yīng)包含以下內(nèi)容：a)不少于1000張魚類靜態(tài)整體特征圖像，參考HJ710.7術(shù)語和定義，提取全長和體長信息。b)不少于1000張魚類扭動（游動，扭頭，轉(zhuǎn)身等）等形態(tài)下的動態(tài)圖像。c)不少于1000張魚類局部特征圖片。9.3在對圖像進(jìn)行標(biāo)注前可采用圖像增強(qiáng)方法對原圖像附加信息或變換數(shù)據(jù)，突出圖像有效信息，消除噪聲干擾。9.4采用標(biāo)注軟件分別標(biāo)注，生成對應(yīng)的類，真實(shí)框的坐標(biāo)信息等。相關(guān)示例見附錄A。9.5標(biāo)注后應(yīng)生成統(tǒng)一格式的XML文件，主要包括魚類圖像的長寬以及通道數(shù)量、錄標(biāo)注目標(biāo)魚類的類別信息和所在圖像上的坐標(biāo)信息。相關(guān)示例見附錄B。9.6宜采用PASCALVOC2007格式來制作數(shù)據(jù)集，數(shù)據(jù)集中80%數(shù)據(jù)組成訓(xùn)練集、10%數(shù)據(jù)組成驗(yàn)證集，10%數(shù)據(jù)組成測試集。9.7當(dāng)采用超聲成像聲吶進(jìn)行圖像采集時(shí)，應(yīng)采用所得超聲圖片標(biāo)注形成獨(dú)立的數(shù)據(jù)集，與水下攝像機(jī)所得圖片數(shù)據(jù)集分開使用。10算法訓(xùn)練10.1將制作好的數(shù)據(jù)集輸入到目標(biāo)檢測框架進(jìn)行訓(xùn)練，構(gòu)建神經(jīng)網(wǎng)絡(luò)模型。10.2將待識別的魚類圖像輸入到神經(jīng)網(wǎng)絡(luò)模型中，待模型檢測完畢后，能自動輸出魚類的種類，西藏特有魚類種類識別結(jié)果示例見附錄C。10.3應(yīng)采用整體準(zhǔn)確率、各魚種準(zhǔn)確率、召回率、F1分?jǐn)?shù)、平均精確度評估算法性能。11評價(jià)指標(biāo)獲取與計(jì)算方法11.1為確保西藏特有魚類智能識別技術(shù)的準(zhǔn)確性，應(yīng)進(jìn)行識別算法的準(zhǔn)確率驗(yàn)證。11.2驗(yàn)證數(shù)據(jù)集應(yīng)包含所有需要檢測的魚種和充足的樣本數(shù)量，且每個(gè)樣本都有準(zhǔn)確的標(biāo)注。11.3將數(shù)據(jù)集按8：2隨機(jī)劃分為訓(xùn)練集和驗(yàn)證集，以便獨(dú)立評估模型性能。訓(xùn)練集用于識別技術(shù)模型訓(xùn)練，驗(yàn)證集在訓(xùn)練過程中用于測試神經(jīng)網(wǎng)絡(luò)對訓(xùn)練集中未出現(xiàn)數(shù)據(jù)的分類性能，根據(jù)神經(jīng)網(wǎng)絡(luò)在驗(yàn)證集的性能情況，得到各評價(jià)指標(biāo)大小。11.4采用Positive和Negative表示預(yù)測得到的結(jié)果，若IoU值大于設(shè)定的閾值，則預(yù)測為正類Positive，若IoU值小于設(shè)定的閾值，則預(yù)測為負(fù)類Negative。閾值宜設(shè)定為0.3。采用True和False則表示預(yù)測的結(jié)果和真實(shí)結(jié)果是否相同，相同則是True，不同則為False。依據(jù)預(yù)測值和真實(shí)值的屬性對目標(biāo)分別歸類計(jì)算數(shù)量。分類方法見表1。表1正負(fù)樣本劃分TruePositive，計(jì)入正確識別FalsePositive，計(jì)入錯(cuò)誤識11.5準(zhǔn)確率即分類器認(rèn)為是正樣本并且確實(shí)是正樣本的部分占所有分類器判斷為是正樣本比例。 +5DB54/T0308—2023式中：P——樣本準(zhǔn)確率（%）；NTP——樣本中正確識別的魚類數(shù)量；NFP——樣本中錯(cuò)誤識別的魚類數(shù)量。11.6對樣本中所有魚類進(jìn)行檢測，所有結(jié)果進(jìn)行統(tǒng)一計(jì)算所得的準(zhǔn)確率為整體準(zhǔn)確率。篩選單一魚種的識別結(jié)果進(jìn)行分析計(jì)算，所得準(zhǔn)確率為該魚種準(zhǔn)確率。11.7召回率即分類器認(rèn)為是正樣本并且確實(shí)是正類的部分占所有測試集中正樣本的比例。式中：R——樣本召回率（%）；NFN——樣本中漏檢的魚類數(shù)量。11.8F1分?jǐn)?shù)為兼顧分類模型的準(zhǔn)確率和召回率指標(biāo)。式中：F1——樣本的F1分?jǐn)?shù)。11.9平均精確度用來度量模型預(yù)測框類別和位置是否準(zhǔn)確。AP（AveragePrecision）是以召回率作為橫軸，準(zhǔn)確率作為縱軸，把P-R曲線下的面積當(dāng)做衡量模型的尺度。