特征判別增強(qiáng)的高效圖像語義分割方法

特征判別增強(qiáng)的高效圖像語義分割方法高常鑫華中科技大學(xué)圖像語義分割對圖像中每個(gè)像素進(jìn)行分類，是圖像深度理解的基礎(chǔ)，方法應(yīng)用于自動駕駛、無人智能系統(tǒng)等領(lǐng)域?，F(xiàn)有圖像語義分割方法還面臨兩個(gè)問題：1）準(zhǔn)確的語義分割即需要高層語義特征和低層細(xì)節(jié)特征，也需要同類特征和異類特征，但是他們兩兩之間都存在一定程度的沖突，但是現(xiàn)有方法忽略了這種耦合，導(dǎo)致特征判別性有限；2）語義分割很大程度上依賴于上下文信息，但是現(xiàn)有方法通常傾向于采用所有的上下文信息，一方面部分上下文信息對語義分割沒有幫助甚至導(dǎo)致特征區(qū)分能力下降，另一方面還增加了運(yùn)算量。如何解決耦合特征之間的沖突和選擇有效的上下文信息對語義理解至關(guān)重要，因此特征判別增強(qiáng)的高效圖像理解框架是圖像語義理解的關(guān)鍵科學(xué)問題。針對高層-低層、同類-異類特征耦合問題，研究特征解耦的語義理解框架，實(shí)現(xiàn)了準(zhǔn)確高效的語義分割。主要工作如下：（1）提出了雙通路的場景圖像的實(shí)時(shí)像素級語義分割方法，為高精度的實(shí)時(shí)語義分割提供了基準(zhǔn)算法基于深度學(xué)習(xí)的圖像語義分割方法已經(jīng)取得了不錯的效果，但是受限于網(wǎng)絡(luò)的規(guī)模，其速度遠(yuǎn)不能達(dá)到實(shí)時(shí)的要求。同時(shí)，語義分割需要定位精度和語義兩個(gè)方面的信息，網(wǎng)絡(luò)越深提取語義越準(zhǔn)確，但定位精度越差。因此，在目前的深度網(wǎng)絡(luò)模型中定位精度和語義對于網(wǎng)絡(luò)的需求是有沖突的。針對上述難點(diǎn)，深入研究了不同網(wǎng)絡(luò)深度對于定位精度和分類兩個(gè)方面的影響，提出一種雙通路的場景圖像語義分割方法。通過網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)為雙通路，將定位和分類兩個(gè)任務(wù)解耦，分別解決定位精度和分類的問題，利用一個(gè)較淺且通道數(shù)多的通路來獲取高精度的定位信息，并利用一個(gè)較深且通道數(shù)少的通路來獲取準(zhǔn)確的語義信息，有效解決了兩者之間的矛盾，并大幅提高運(yùn)算速度，實(shí)現(xiàn)了實(shí)時(shí)語義分割。在單張NVIDIAGeForceGTX1080Ti的GPU卡上，速度達(dá)到了156FPS，提升了算法適應(yīng)性，成為了不同領(lǐng)域的基準(zhǔn)算法。圖8雙通路的場景圖像的實(shí)時(shí)像素級語義分割方法及性能（2）提出了基于自主特征選擇的圖像分割方法，提升算法性能的同時(shí)大幅減少了計(jì)算量目前主流的圖像語義分割方法依賴于大范圍的上下文關(guān)系建模，有利于推理分割場景要素，當(dāng)前場景分割方法往往利用自注意力機(jī)制建模遠(yuǎn)距離關(guān)系。但是自注意力機(jī)制中存在大量冗余計(jì)算，導(dǎo)致復(fù)雜度較高，限制了它的應(yīng)用；同時(shí)，大量冗余信息也降低了特征的判別性。針對上述難點(diǎn)，通過學(xué)習(xí)的方式選擇少量“重要”上下文信息，提出基于自主特征選擇的圖像分割方法。采用基于相似性關(guān)系引導(dǎo)特征選擇的思路，提出了代表圖分割算法，通過學(xué)習(xí)特征相似性關(guān)系，引導(dǎo)特征選擇過程，使其選擇有代表性的特征，進(jìn)而有效建模遠(yuǎn)距離關(guān)系，提高特征判別性。該方法提出了一種高效的上下文建模策略，大幅減少自注意力機(jī)制的冗余計(jì)算，提升分割性能與效率。實(shí)驗(yàn)表明，性能提高的同時(shí)，該方法GLOPS和推理速度約分別為自注意力機(jī)制的1/17和1/6。在“特征判別增強(qiáng)的高效圖像理解框架”方面取得了一些理論成果，論文發(fā)表于計(jì)算機(jī)視覺頂級期刊IJCV、頂級會議CVPR、ECCV等。成果取得了廣泛的關(guān)注。提出的BiSeNet入選ECCV2018最具影響力20篇論文，入選ESI熱點(diǎn)論文、ESI高被引論文，谷歌學(xué)術(shù)引用1200余次。BiSeNet已經(jīng)被集成到百度paddlepaddle、商湯mmseg等知名深度學(xué)習(xí)平臺，廣泛應(yīng)用于人臉屬性編輯、3D人臉合成、非接觸心率估計(jì)等領(lǐng)域。發(fā)布的圖像語義理解工具torchseg在Github點(diǎn)贊1400余次。該成果發(fā)表學(xué)術(shù)論文5篇、授權(quán)發(fā)明專利2項(xiàng)：[1]ChangqianYu,ChangxinGao*,JingboWang,GangYu,ChunhuaShen,NongSang,"BiSeNetV2:BilateralNetworkwithGuidedAggregationforReal-timeSemanticSegmentation,"InternationalJournalofComputerVision(IJCV),vol.129,pp.3051-3068,2021.[2]BeibeiYang,ChangqianYu,Jin-GangYu,ChangxinGao*,NongSang,"Pose-GuidedHierarchicalSemanticDecompositionandCompositionforHumanParsing,"IEEETransactionsonCybernetics(TCYB),2021.[3]ChangqianYu,JingboWang,ChangxinGao*,GangYu,ChunhuaShen,NongSang,"ContextPriorforSceneSegmentation,"CVPR,2020.[4]ChangqianYu,JingboWang,ChaoPeng,ChangxinGao*,GangYu,NongSang,"LearningaDiscriminativeFeatureNetworkforSemanticSegmentation,"CVPR,2018.[5]ChangqianYu#,JingboWang#,ChaoPeng,ChangxinGao*,GangYu,NongSang,"BiSeNet:BilateralSegmentationNetworkforReal-timeSemanticSegmentation,"ECCV,2018.[6]高常鑫，何兆華，余昌黔，桑農(nóng)。一種基于雙邊分割網(wǎng)絡(luò)的車載圖像語義分割系統(tǒng)，發(fā)明專利，專利號：ZL2018108496573，授權(quán)公告日：2020-10-30[7]劉佳惠，高常鑫，桑農(nóng)。一種弱監(jiān)督語義分割方法及其應(yīng)用，發(fā)明專利，專利號：ZL2020100046015，專利授權(quán)日：2022-10-14[8]余昌黔，高常鑫，桑農(nóng)。一種基于上下文先驗(yàn)的