計(jì)算機(jī)視覺應(yīng)用開發(fā)課件：語義分割網(wǎng)絡(luò)

語義分割網(wǎng)絡(luò)常見的語義分割網(wǎng)絡(luò)01任務(wù)編碼器-解碼器02任務(wù)U-Net結(jié)構(gòu)解析03任務(wù)學(xué)習(xí)目標(biāo)了解常見的語義分割網(wǎng)絡(luò)掌握編碼器-解碼器的網(wǎng)絡(luò)結(jié)構(gòu)掌握U-Net語義分割網(wǎng)絡(luò)結(jié)構(gòu)1常見的語義分割網(wǎng)絡(luò)1常見的語義分割網(wǎng)絡(luò)目前，在語義分割任務(wù)中，絕大多數(shù)的主流算法都是基于深度學(xué)習(xí)，尤其是卷積神經(jīng)網(wǎng)絡(luò)。2015年，加州大學(xué)伯克萊分校的jonathanlong等人提出了用于語義分割的全卷積神經(jīng)網(wǎng)絡(luò)(fullyconvolutionalnetworks，F(xiàn)CN)，在語義分割方面進(jìn)行了開創(chuàng)性的工作，解決了像素分割的問題。全卷積神經(jīng)網(wǎng)絡(luò)提出將傳統(tǒng)神經(jīng)網(wǎng)絡(luò)后面的全連接層全部替換為卷積層，這也是全卷積名字的由來?；诰矸e神經(jīng)網(wǎng)絡(luò)的語義分割技術(shù)也由此快速發(fā)展起來。同年，U-Net網(wǎng)絡(luò)也別提出，U-Net網(wǎng)絡(luò)是一種典型的“編碼器-解碼器”結(jié)構(gòu)，這種結(jié)構(gòu)也是目前一種比較主流的語義分割結(jié)構(gòu)。采用相似結(jié)構(gòu)的還有segnet，基于“編碼器-解碼器”結(jié)構(gòu)的語義分割網(wǎng)絡(luò)U-Net和segnet都有著很好的性能，在分割任務(wù)中有著較好的表現(xiàn)。2編碼器-解碼器2編碼器-解碼器編碼器（encoder）：編碼器本身就是一連串的卷積神經(jīng)網(wǎng)絡(luò)，由卷積層，池化層組成。卷積層負(fù)責(zé)提取圖像的特征，池化層對(duì)圖像進(jìn)行下采樣并且將尺度不變特征傳送到下一層。概括地說，encoder對(duì)圖像的低級(jí)局域像素值進(jìn)行歸類與分析，從而獲得高階語義信息。解碼器（decoder）：既然encoder已經(jīng)獲取了所有的物體信息與大致的位置信息，那么下一步就需要將這些物體對(duì)應(yīng)到具體的像素點(diǎn)上。decoder對(duì)縮小后的特征圖像進(jìn)行上采樣，然后對(duì)上采樣后的圖像進(jìn)行卷積處理，目的是完善物體的幾何形狀，從而彌補(bǔ)encoder中池化層將物體縮小造成的細(xì)節(jié)損失。2編碼器-解碼器在CNN中在卷積神經(jīng)網(wǎng)絡(luò)中，圖片先經(jīng)過卷積層，然后再經(jīng)過線性層，最終輸出分類結(jié)果。其中卷積層用于特征提取，而線性層用于結(jié)果預(yù)測(cè)。從另一個(gè)角度來看，可以把特征提取看成一個(gè)編碼器，將原始的圖片編碼成有利于機(jī)器學(xué)習(xí)的中間表達(dá)形式，而解碼器就是把中間表示轉(zhuǎn)換成另一種表達(dá)形式。編碼器：將輸入編程成中間表達(dá)特征。解碼器：將中間表示解碼成輸出。在RNN中RNN同樣也可以看成一個(gè)編碼器-解碼器結(jié)構(gòu)，編碼器將文本編碼成向量，而解碼器將向量解碼成我們想要的輸出。編碼器：將文本表示成向量。解碼器：將向量表示成輸出。3U-Net結(jié)構(gòu)解析3U-Net結(jié)構(gòu)解析U-Net是在ISBIChallenge比賽上提出的一種分割網(wǎng)絡(luò)，能夠適應(yīng)很小的訓(xùn)練集（大約30張圖）。3U-Net結(jié)構(gòu)解析將輸入進(jìn)行2次3×3的卷積操作之后，再進(jìn)行一次2×2的最大池化，同時(shí)卷積核數(shù)目翻倍（1-64-128-256-512-1024），進(jìn)行四次這樣的down（下采樣）操作。然后進(jìn)行2次3×3卷積，取一半的卷積核進(jìn)行上采樣（轉(zhuǎn)置卷積），再剪切對(duì)應(yīng)down層的featuremap和上采樣得到的featuremap拼接在一起，然后重復(fù)這樣的過程。最后輸出是深度為n_classes個(gè)featuremap，進(jìn)行分類。

這個(gè)featuremap拼接的操作，就是上一節(jié)中所講的特征融合。U-Net的特征融合方式采用的是concat，可以恢復(fù)部分的語義信息，從而保證分割的精度。相似的，在FCN中（語義分割開山之作），是通過featuremap相加（add）的方式來恢復(fù)語義信息的。3U-Net結(jié)構(gòu)解析U-Net還有以下幾個(gè)優(yōu)點(diǎn)：（1）5個(gè)poolinglayer實(shí)現(xiàn)了網(wǎng)絡(luò)對(duì)圖像特征的多尺度特征識(shí)別。（2）上采樣部分會(huì)融合特征提取部分的輸出，這樣做實(shí)際上是將多尺度特征融合在了一起，以最后一個(gè)上采樣為例，它的特征既來自第一個(gè)卷積block的輸出(同尺度特征