非結(jié)構(gòu)化道路環(huán)境理解.ppt

1、非結(jié)構(gòu)化道路圖像理解,一.道路圖像理解綜述,道路檢測 連續(xù)幀道路檢測 道路偏離檢測 道路識別與跟蹤,1.道路檢測,1.1 基于特征的方法 1.1.1 道路區(qū)域檢測 1.1.2 道路邊緣檢測 1.2 基于模型的方法 1.2.1 建立道路模型 1.2.2 提取車道線像素 1.2.3 擬合車道模型,1.1 基于特征的方法,基于特征的方法不需要道路的幾何結(jié)構(gòu)信息, 主要利用圖像中道路區(qū)域的顏色、紋理、邊緣等低級特征從圖像中檢測出路區(qū)域或路邊緣。,1.1.1 道路區(qū)域檢測,灰度直方圖 聚類的方法 用顏色特征檢測道路 紋理特征 概率,道路區(qū)域檢測可以看成是一個圖像分割問題。,圖像預(yù)處理： 選定感興趣區(qū)域,

2、 消除噪聲，邊緣增強(qiáng) 邊緣抽?。?常用的邊緣算子包括Canny、Roberts、Laplace、Prewitt、Sobel等算子 二值化: 閾值的選取 Hough變換可以得到連續(xù)的道路直線,1.1.2 道路邊緣檢測,1.2 基于模型的方法,1)建立道路模型 對道路形狀的假設(shè) 2)提取車道線像素 邊緣檢測、哈夫變換、模板匹配 3)擬合車道模型 直接擬合、哈夫變換和似然函數(shù)方法。,2.連續(xù)幀道路檢測,將圖像處理限制在上一幀圖像的結(jié)果的鄰域可以顯著提高道路檢測的速度, 降低對硬件的要求, 滿足實(shí)時性要求。,感興趣區(qū)域 上幀邊緣k鄰域作為下次邊緣檢測的區(qū)域 在感興趣區(qū)域進(jìn)行邊緣檢測,3.道路偏離檢測,

3、道路偏離檢測是在道路檢測的基礎(chǔ)上, 不僅給出道路信息, 還要給出車輛偏離道路中心的信息。,基于偏移距離的方法： 車體中心與道路中心的準(zhǔn)確偏移距離 基于偏移角度的方法： 車輛行進(jìn)的方向偏離車道線方向,4.道路識別與跟蹤,道路識別與跟蹤系統(tǒng)建立在道路模型、運(yùn)動學(xué)模型和動力學(xué)模型的基礎(chǔ)上, 系統(tǒng)不僅要給出道路參數(shù), 還要給出車輛相對于道路的位置信息和運(yùn)動信息。,道路識別與跟蹤常用的方法： 卡爾曼濾波、粒子濾波,二.非結(jié)構(gòu)化道路圖像理解,結(jié)構(gòu)化：高速公路、城市道路 非結(jié)構(gòu)化：越野環(huán)境、鄉(xiāng)村道路,非結(jié)構(gòu)化環(huán)境理解更具挑戰(zhàn)性：,道路形狀不規(guī)則 沒有明確的邊緣 光照、景物、天氣復(fù)雜多變,形狀的不規(guī)則，邊緣的

4、模糊，決定了非結(jié)構(gòu)化環(huán)境理解只能采用-基于特征的區(qū)域檢測方法,非結(jié)構(gòu)化環(huán)境地形分類,基于顏色特征的地形分類 基于紋理特征的地形分類 顏色紋理特征融合 主動學(xué)習(xí),1.基于顏色特征的地形分類,Manduchi提出一種方法，采用大量且多樣化的特征數(shù)據(jù)來訓(xùn)練，以消除光照所產(chǎn)生的影響。使用高斯混合模型進(jìn)行分類。,該算法可以消除光照陰影的影響 但是對50米以外的場景，會有錯誤的分類,Buluswar等人提出使用多變量決策樹來學(xué)習(xí)不同的地形所占據(jù)的RGB顏色空間區(qū)域。 隨后，Manduchi又提出了一種僅用一個典型光源下的地形圖像來訓(xùn)練模型的方法。使用典型光源下的每一類顏色統(tǒng)計的知識來預(yù)測在新場景下的光照類

5、型。 已有人證明，錯誤分類不能僅僅依靠顏色特征而被去掉。,2.基于紋理特征的地形分類,Castano提出了一種基于紋理特征的地形分類方法，使用基于多尺度-多方向的Gabor濾波器組提取的特征,基于Garbor紋理特征的分類效果一般，但是涉及到大量的濾波，對于計算具有較高的要求。,a.原圖 b.手動標(biāo)記 c.混合高斯模型 d.直方圖模型,另外，還有其它的基于紋理特征的道路圖像理解算法：,基于小波變換 基于離散余弦變換(DCT) 基于灰度共生矩陣,3.顏色紋理特征融合,由于使用單一的特征對地形分類無法取得令人滿意的結(jié)果。Shi等人提出顏色特征與紋理特征結(jié)合的方法。,基于高斯混合模型的非結(jié)構(gòu)復(fù)雜環(huán)境

6、地形分類,3.1 特征提取,顏色特征：采用YIQ顏色空間 計算每個特征窗口的顏色平均值及協(xié)方差，得到9維顏色特征向量,每幅圖像分割成無重疊的16*16 大小的子圖像，稱為特征窗口,紋理特征： 對特征窗口先進(jìn)行離散余弦變換。 在每個區(qū)域內(nèi)按下式計算能量值，選擇N=4可得到 13維的特征向量，對于一個2N*2N的特征窗口,將顏色特征與紋理特征合并，可得到22維的顏色紋理特征。,GMM： 類條件似然密度,模型的參數(shù)是由高斯分布的均值向量和協(xié)方差矩陣決定的。 一般采用迭代方法，建立訓(xùn)練數(shù)據(jù)的最大似然方程，然后采用EM算法對類參數(shù)進(jìn)行評估,一種分類策略,選定任一特征窗口，與周圍鄰域的8個特征窗口可以形成

7、一個33的小矩形。 設(shè)每個小窗口屬于最大類條件似然概率這一類。,通過GMM求出每個特征窗口屬于某一地形類別的最大類條件概率密度。,對于9個特征窗口，選擇屬于類別k (k=1,2,.T)的個數(shù)Jk及類條件似然概率Pj，j=1,2, Jk。 其中J1 + J2 + Jk =9。 然后計算屬于各個類別k的平均類條件概率,如果,那么，當(dāng)前中心窗口就歸為k類。,除了GMM+顏色紋理特征算法，還有SVM+顏色紋理特征等方法，也能得到較為滿意的結(jié)果。,4. 面向可通行區(qū)域分類的主動學(xué)習(xí)算法,有監(jiān)督學(xué)習(xí)的方法，需要大量有標(biāo)記的樣本作為訓(xùn)練樣本。 然而在實(shí)際情況中，對大量樣本進(jìn)行人工標(biāo)記是極其繁瑣和費(fèi)時的。,主

8、動學(xué)習(xí)正是為有大量未標(biāo)記樣本服務(wù)的，它能自動決定哪些樣本需要標(biāo)記，以用較少的標(biāo)記樣本達(dá)到良好的學(xué)習(xí)效果。,Dima首先將主動學(xué)習(xí)用于可通行區(qū)域分類中，篩選最有“興趣”的1020幅圖像交由專家標(biāo)記。,Tong提出交互式SVM主動學(xué)習(xí)算法，即SVMactive。,L是空集，U包含所有未標(biāo)記樣本,SVMactive的原理圖,KSVMactive:,為了解決樣本數(shù)不平衡問題，采用SVM超平面位置校正算法，根據(jù)上次迭代中專家標(biāo)記與當(dāng)前SVM分類結(jié)果的差值，調(diào)整本次迭代過程中超平面的位置。,在超平面附近，聚集大量相似程度很高的樣本，SVMactive的方法是：按距離超平面最近的樣本交由專家標(biāo)記的方法，效率較低。 KSVMactive采用非監(jiān)督的K均值聚類選取最有代表性的樣本。,聚類中選擇的樣本需要滿足三個條件： 1.樣本與SVM超平面距離要近 2.樣本間的相似程度要高 3.與已標(biāo)記樣本的相似性程序要低,具有最小得分值的樣本被認(rèn)為最有代表性的樣本，選出交由專家標(biāo)記。,KSVMactive的原理圖,L是空集，U包含所有未標(biāo)記樣本,使用三種不同方法的平均分類正確率,三.總結(jié)與