特征判別增強的高效圖像語義分割方法

特征判別增強的高效圖像語義分割方法高常鑫華中科技大學圖像語義分割對圖像中每個像素進行分類，是圖像深度理解的基礎，方法應用于自動駕駛、無人智能系統(tǒng)等領域?，F(xiàn)有圖像語義分割方法還面臨兩個問題：1）準確的語義分割即需要高層語義特征和低層細節(jié)特征，也需要同類特征和異類特征，但是他們兩兩之間都存在一定程度的沖突，但是現(xiàn)有方法忽略了這種耦合，導致特征判別性有限；2）語義分割很大程度上依賴于上下文信息，但是現(xiàn)有方法通常傾向于采用所有的上下文信息，一方面部分上下文信息對語義分割沒有幫助甚至導致特征區(qū)分能力下降，另一方面還增加了運算量。如何解決耦合特征之間的沖突和選擇有效的上下文信息對語義理解至關重要，因此特征判別增強的高效圖像理解框架是圖像語義理解的關鍵科學問題。針對高層-低層、同類-異類特征耦合問題，研究特征解耦的語義理解框架，實現(xiàn)了準確高效的語義分割。主要工作如下：（1）提出了雙通路的場景圖像的實時像素級語義分割方法，為高精度的實時語義分割提供了基準算法基于深度學習的圖像語義分割方法已經(jīng)取得了不錯的效果，但是受限于網(wǎng)絡的規(guī)模，其速度遠不能達到實時的要求。同時，語義分割需要定位精度和語義兩個方面的信息，網(wǎng)絡越深提取語義越準確，但定位精度越差。因此，在目前的深度網(wǎng)絡模型中定位精度和語義對于網(wǎng)絡的需求是有沖突的。針對上述難點，深入研究了不同網(wǎng)絡深度對于定位精度和分類兩個方面的影響，提出一種雙通路的場景圖像語義分割方法。通過網(wǎng)絡結構設計為雙通路，將定位和分類兩個任務解耦，分別解決定位精度和分類的問題，利用一個較淺且通道數(shù)多的通路來獲取高精度的定位信息，并利用一個較深且通道數(shù)少的通路來獲取準確的語義信息，有效解決了兩者之間的矛盾，并大幅提高運算速度，實現(xiàn)了實時語義分割。在單張NVIDIAGeForceGTX1080Ti的GPU卡上，速度達到了156FPS，提升了算法適應性，成為了不同領域的基準算法。圖8雙通路的場景圖像的實時像素級語義分割方法及性能（2）提出了基于自主特征選擇的圖像分割方法，提升算法性能的同時大幅減少了計算量目前主流的圖像語義分割方法依賴于大范圍的上下文關系建模，有利于推理分割場景要素，當前場景分割方法往往利用自注意力機制建模遠距離關系。但是自注意力機制中存在大量冗余計算，導致復雜度較高，限制了它的應用；同時，大量冗余信息也降低了特征的判別性。針對上述難點，通過學習的方式選擇少量“重要”上下文信息，提出基于自主特征選擇的圖像分割方法。采用基于相似性關系引導特征選擇的思路，提出了代表圖分割算法，通過學習特征相似性關系，引導特征選擇過程，使其選擇有代表性的特征，進而有效建模遠距離關系，提高特征判別性。該方法提出了一種高效的上下文建模策略，大幅減少自注意力機制的冗余計算，提升分割性能與效率。實驗表明，性能提高的同時，該方法GLOPS和推理速度約分別為自注意力機制的1/17和1/6。在“特征判別增強的高效圖像理解框架”方面取得了一些理論成果，論文發(fā)表于計算機視覺頂級期刊IJCV、頂級會議CVPR、ECCV等。成果取得了廣泛的關注。提出的BiSeNet入選ECCV2018最具影響力20篇論文，入選ESI熱點論文、ESI高被引論文，谷歌學術引用1200余次。BiSeNet已經(jīng)被集成到百度paddlepaddle、商湯mmseg等知名深度學習平臺，廣泛應用于人臉屬性編輯、3D人臉合成、非接觸心率估計等領域。發(fā)布的圖像語義理解工具torchseg在Github點贊1400余次。該成果發(fā)表學術論文5篇、授權發(fā)明專利2項：[1]ChangqianYu,ChangxinGao*,JingboWang,GangYu,ChunhuaShen,NongSang,"BiSeNetV2:BilateralNetworkwithGuidedAggregationforReal-timeSemanticSegmentation,"InternationalJournalofComputerVision(IJCV),vol.129,pp.3051-3068,2021.[2]BeibeiYang,ChangqianYu,Jin-GangYu,ChangxinGao*,NongSang,"Pose-GuidedHierarchicalSemanticDecompositionandCompositionforHumanParsing,"IEEETransactionsonCybernetics(TCYB),2021.[3]ChangqianYu,JingboWang,ChangxinGao*,GangYu,ChunhuaShen,NongSang,"ContextPriorforSceneSegmentation,"CVPR,2020.[4]ChangqianYu,JingboWang,ChaoPeng,ChangxinGao*,GangYu,NongSang,"LearningaDiscriminativeFeatureNetworkforSemanticSegmentation,"CVPR,2018.[5]ChangqianYu#,JingboWang#,ChaoPeng,ChangxinGao*,GangYu,NongSang,"BiSeNet:BilateralSegmentationNetworkforReal-timeSemanticSegmentation,"ECCV,2018.[6]高常鑫，何兆華，余昌黔，桑農(nóng)。一種基于雙邊分割網(wǎng)絡的車載圖像語義分割系統(tǒng)，發(fā)明專利，專利號：ZL2018108496573，授權公告日：2020-10-30[7]劉佳惠，高常鑫，桑農(nóng)。一種弱監(jiān)督語義分割方法及其應用，發(fā)明專利，專利號：ZL2020100046015，專利授權日：2022-10-14[8]余昌黔，高常鑫，桑農(nóng)。一種基于上下文先驗的