【畢業(yè)學(xué)位論文】汽車前方可行區(qū)域計算機(jī)視覺感知系統(tǒng)的研究-車輛工程

提 要 1論文分類號 單位代碼 10183 密級 內(nèi) 部 研究生學(xué)號 2201207 吉 林 大 學(xué) 碩 士 學(xué) 位 論 文 汽車前方可行區(qū)域計算機(jī)視覺感知系統(tǒng)的研究 者姓名： 曹國 專業(yè)： 車輛工程 導(dǎo)師姓名： 管欣 及職稱： 教 授 論文起止年月：2001年10月至2003年2月 吉林大學(xué)碩士學(xué)位論文 2提 要 如何給智能輔助駕駛車輛提供準(zhǔn)確的外界環(huán)境信息，使其決策控制建立在實時準(zhǔn)確的道路環(huán)境信息之上是智能輔助駕駛車輛研究的關(guān)鍵問題。 本文對車輛可行區(qū)域的感知環(huán)節(jié)進(jìn)行了研究，通過分析攝像頭采集的道路圖像，提出了道路邊緣曲線點生長搜索算法，并對其進(jìn)行了聚類直線擬合，同時對攝像機(jī)建立了鏡頭畸變模型并確定其內(nèi)部參數(shù)，運(yùn)用道路平坦假設(shè)將圖像平面內(nèi)的車輛可行區(qū)域轉(zhuǎn)換到車體坐標(biāo)系下，從而為智能輔助駕駛車輛提供最基本的外界環(huán)境信息。最后將可行區(qū)域感知系統(tǒng)在實驗車上進(jìn)行集成實現(xiàn)，并進(jìn)行了相應(yīng)的道路實驗，取得了良好的道路感知效果。該論文的研究對于智能輔助駕駛車輛的視覺系統(tǒng)研究提供了一條可行的研究途徑。 目 錄 錄 第一章 緒論 1 .二章 可行區(qū)域感知系統(tǒng)的整體設(shè)計 10 能車輛的整體結(jié)構(gòu)分析.課題感知系統(tǒng)的體系結(jié)構(gòu).知系統(tǒng)各功能模塊的設(shè)計分析.三章 可行區(qū)域感知系統(tǒng)的算法研究 16 . 圖像噪聲的去除.道路邊緣的增強(qiáng).道路邊緣與圖像背景的分割.道路邊緣矢量點的提取.道路邊緣矢量點聚類擬合.從序列圖像中提取可行區(qū)域的算法.四章 可行區(qū)域感知系統(tǒng)的實現(xiàn) 37 .圖像的捕捉設(shè)備：.林大學(xué)碩士學(xué)位論文 知系統(tǒng)處理設(shè)備.其他輔助設(shè)備.圖像的捕捉.可行區(qū)域建立的算法實現(xiàn).處理結(jié)果的存儲實現(xiàn).其他相關(guān)問題的解決實現(xiàn).章小結(jié).五章 感知系統(tǒng)的試驗 50 .文總結(jié) 57 參考文獻(xiàn) 58 致 謝 要 I 第一章 緒論 1第一章 緒論 著城市化的發(fā)展和汽車的普及，交通運(yùn)輸問題日益嚴(yán)重。近年來，車輛增長的速度也已遠(yuǎn)遠(yuǎn)高于道路和其他交通設(shè)施的增長速度，交通事故頻繁、人員傷亡于日增多及財產(chǎn)損失巨大這都要求車輛必須具有良好的主動安全性，隨之智能車輛（概念應(yīng)運(yùn)而生。作為汽車主動安全方面最新的發(fā)展方向，因其在公路交通運(yùn)輸中廣闊的應(yīng)用前景而受到世界各發(fā)達(dá)國家的普遍關(guān)注。車輛的智能自動駕駛不僅可以大大減少交通事故，提高汽車的主動安全性，還可降低車輛的燃料消耗，減少排氣污染，提高公路的運(yùn)輸效率，同時，也減輕了駕駛員的負(fù)擔(dān)，提高了乘坐的舒適性。 視覺感知系統(tǒng)作為智能車輛最基本的外界信息感知環(huán)節(jié)有著舉足輕重的作用，智能車輛的決策控制也主要建立在視覺系統(tǒng)之上，因此，智能車輛也對其有著近乎苛刻的要求。 能車輛是一個集環(huán)境感知、規(guī)劃決策、自動駕駛等多種功能于一體的綜合系統(tǒng)。它的自動駕駛就是指完全脫離駕駛員的操作，依靠汽車控制系統(tǒng)駕駛汽車，自動分析和處理汽車運(yùn)行過程中遇到的各種情況，并根據(jù)現(xiàn)從一個地點向另一個地點的移動。簡單的說，就是車輛本身具有“頭腦”,能夠運(yùn)用它的“眼睛”對外界環(huán)境進(jìn)行辨識，然后自我決策運(yùn)行軌跡并控制車輛的行駛。 視覺系統(tǒng)就充當(dāng)著“眼睛”的角色，智能車輛要求其必須具備實時性、魯棒性、實用性這三方面技術(shù)特點：實時性是指視覺系統(tǒng)的數(shù)據(jù)處理必須與車輛的高速行駛同步進(jìn)行;魯棒性是指智能車輛對不同的道路環(huán)境，如高速公路、市區(qū)標(biāo)準(zhǔn)公路、普通公路等，復(fù)雜的路面環(huán)境，如路面及車道線的寬度、顏色、紋理、動態(tài)隨機(jī)障礙與車流等，以及變化的氣候條件，吉林大學(xué)碩士學(xué)位論文 2如日照及景物陰影、黃昏與夜晚、陰天與雨雪等均具有良好的適應(yīng)；實用性是指要求智能車輛在體積與成本等方面能夠為普通汽車用戶所接受14。 善的視覺系統(tǒng)在車輛的自動駕駛以及輔助駕駛中所扮演的角色正如人的眼睛與人一樣，它從圖像中檢測出道路信息和障礙物信息即道路的形狀與車輛的相對關(guān)系。根據(jù)這些信息，車輛會發(fā)出車線偏離警告，以及前方障礙物警告，進(jìn)一步運(yùn)用控制系統(tǒng)的決策來改變車輛的行駛行為。 可行區(qū)域 車道跑偏報警障礙物檢測圖11 車輛輔助駕駛報警系統(tǒng) 障礙物檢測智能車輛本身作為一個大的系統(tǒng)包含著許多子系統(tǒng)：認(rèn)知模塊、決策模塊和控制模塊。認(rèn)知模塊，實際上是指駕駛員的“感覺器官”，是用以獲取外界環(huán)境信息，并通過一定的處理從這一系列信息中提煉出駕駛員駕駛所需的內(nèi)容。而決策模塊好比駕駛員的“大腦”，是以認(rèn)知模塊提供的道路狀況、車輛姿態(tài)、位置等信息為基礎(chǔ)，對汽車安全、高效行駛所應(yīng)采取的運(yùn)行狀態(tài)進(jìn)行分析，決策出汽車運(yùn)動狀態(tài)應(yīng)發(fā)生的改變。控制模塊是駕駛員的“肌肉”，控制系統(tǒng)對汽車的實際操作，包括踏油門，轉(zhuǎn)方向盤等，都是通過駕駛員“肌肉”運(yùn)動，以實現(xiàn)決策模塊所決策的汽車運(yùn)動狀態(tài)的改變。視覺系統(tǒng)作為認(rèn)知模塊的主要部分，它的豐富與完善會使“大腦”做出準(zhǔn)確而又明智的選擇，使“肌肉”達(dá)到和諧與輕松的境界。 第一章 緒論 3能車輛不僅具有廣闊的應(yīng)用前景，而且被認(rèn)為交通工具發(fā)展歷史的必然趨勢，吸引著越來越多的研究機(jī)構(gòu)和汽車廠商的興趣。智能車輛的研究涉及到計算機(jī)測量與控制、計算機(jī)視覺、傳感器數(shù)據(jù)融合、車輛工程等諸多領(lǐng)域，可以說，智能車輛的研究是計算機(jī)視覺與計算機(jī)控制研究在車輛工程上的綜合，下面以整車系統(tǒng)以及視覺系統(tǒng)的性能為線索，介紹智能車輛研究現(xiàn)狀。 一. 非基于視覺的智能車輛研究 在智能車輛研究早期，最初計劃采用地下埋電纜的方式，通過電磁感應(yīng)進(jìn)行導(dǎo)航，此種方法不能提供車輛需要的方位信息及障礙物信息，在80年代美國的洲的本的此種方案的造價過于高昂，據(jù)美國資料報道，為采用此種導(dǎo)航方案所鋪設(shè)的公路大約是10K$/m。 二基于視覺的智能車輛的發(fā)展歷程 基于視覺的智能車輛是在汽車上安裝攝像鏡頭，利用計算機(jī)視覺技術(shù)，模仿人眼視覺機(jī)理，通過處理攝像鏡頭捕捉的圖像，獲得引導(dǎo)信息，與以上引導(dǎo)技術(shù)相比，視覺引導(dǎo)有許多優(yōu)勢，它不必在道路上增加設(shè)施，能適合來往車輛、行人、臨時設(shè)施等不可預(yù)先建模確定的隨機(jī)障礙物，與以滿足智能車輛全天候的絕大部分需求。90年代以來，視覺引導(dǎo)技術(shù)與大加速了智能車輛的研究。 在歐洲，早在1987年奔馳公司和德國國防軍大學(xué)聯(lián)合研制7公里。在隨后幾年不斷創(chuàng)造新的時速記錄并且具備了超車換道功能和對多種氣象條件的適應(yīng)能力，其核心是運(yùn)行于制的 系吉林大學(xué)碩士學(xué)位論文 4統(tǒng)也已在高速公路和普通標(biāo)準(zhǔn)公路上進(jìn)行了大量實驗，實驗內(nèi)容包括跟蹤車道線，躲避障礙，以及自動超車等。利用自適應(yīng)控制進(jìn)行縱向及橫向自主方式行為實驗，該系統(tǒng) 1995年公布的最高時速可達(dá) 1 3 0 1996年已提高到 1 60 h 。法國帕斯卡大學(xué)自動化與電子材料科學(xué)實驗室與法國 D. R. A. 術(shù)中心合作研制 視覺系統(tǒng)使用單攝像機(jī)實時檢測并跟蹤道路白線，采用高斯濾波和平均值計算確定灰度標(biāo)準(zhǔn)方差，利用梯度計算確定車道線的右 (或左)邊緣，同時選擇多項式函數(shù)建立軌跡模型，利用時空光滑方法降低噪聲和提高魯棒性。當(dāng)車體前方或駕駛參數(shù)出現(xiàn)非正常狀況時，系統(tǒng)以語音信號的方式向駕駛員發(fā)出警告性提示，以避免或降低因駕駛員疏忽所引發(fā)的行車事故，提高車輛在道路行駛中的安全性，可見該系統(tǒng)完成的是相對簡單的安全警告與輔助導(dǎo)航功能。意大利帕爾馬大學(xué)研制的核心是基于道路平坦假設(shè)，采用單攝像機(jī)重投影完成平行的道路標(biāo)志線檢測，雙攝像機(jī)重投影完成車輛檢測功能，根據(jù)現(xiàn)道路跟蹤，此外還能夠?qū)崿F(xiàn)人觸發(fā)的換道操作。 在美國，卡內(nèi)基米倫大學(xué)（多家汽車公司研制995年建立了智能實驗車 ，運(yùn)動跑車。上開發(fā)了 及快速自適應(yīng)車體定位處理器 實驗車的功能：1* 車道保持運(yùn)用道路平坦假設(shè)，檢測和追蹤道路標(biāo)記，控制車輛橫向位置；2* 障礙物檢測利用激光雷達(dá)測量距離信息；3* 油門和剎車由駕駛員控制。 裝備：1* 一臺便攜式計算機(jī)，一臺分辨率為 1 0 2 4 768的液晶顯示器 2*一臺 * 差分 * 具有數(shù)字輸出的光纖阻尼陀螺儀。 圖像處理和道路識別策略：采用視覺窗口技術(shù)，僅處理感興趣區(qū)域的局部信息， 梯形窗口中每一行所對應(yīng)的實際水平寬度約7約為典型車道寬度的兩倍，然后對梯形窗口的內(nèi)容進(jìn)行幾何變換，建立一個 3 0 3 2象素的低分辨率圖像，滿足實時性要求。道路檢測使用道路平坦假設(shè)和平行于道路的特征如車道線、道路邊界等識別道路。 第一章 緒論 5自主駕駛的平均速度為 88. 5 h，還首次進(jìn)行了橫穿美國大陸的長途自主駕駛實驗，距離長達(dá) 4586計結(jié)果表明，自主駕駛的行程 44968. 1 %。在1997年研制了，小型商務(wù)車，能夠進(jìn)行方向速度控制，依然是在日本，也成立類似專門機(jī)構(gòu)，每年展示智能車輛取得的新成就，并在高級安全車輛上安裝了這些成果，提供車道跑偏警告，車距保持及障礙檢測功能。 在中國，國防科技大學(xué)由常文森、賀漢根教授領(lǐng)導(dǎo)研制了自動駕駛汽車，是小型廂式客車，進(jìn)行方向、速度控制，完成校園環(huán)境的低速無人駕駛試驗，其特色是視覺系統(tǒng)采用行開發(fā)的圖像處理系統(tǒng)。2001年研制的完成了高速公路上與其他普通車輛一起行駛的試驗，效果較好，華大學(xué)研制小型商務(wù)車，能夠進(jìn)行方向、速度控制，完成高速公路場景錄象仿真。吉林大學(xué)王榮本教授研制度較慢，主要用于柔性加工中的貨物運(yùn)輸。 右圖為一智能車輛的外圍獲取信息設(shè)備簡圖。 圖1德國大眾公司的智能車輛系統(tǒng) （上:車輛原型 下:系統(tǒng)布置） （1. 雷達(dá) 24. 激光掃描器 吉林大學(xué)碩士學(xué)位論文 6三視覺研究的歷史與現(xiàn)狀 人類通過視覺識別文字圖片和周圍的環(huán)境，從信息處理的角度來搞清楚視覺形成的機(jī)理，研究其計算理論與算法，以使計算機(jī)實現(xiàn)人的視覺識別能力，是人類在基礎(chǔ)研究與應(yīng)用中面臨的最重大的挑戰(zhàn)之一。如果機(jī)器不能自動感知與識別周圍環(huán)境，機(jī)器智能也就無從談起，因此，用計算機(jī)實現(xiàn)模式的自動識別是開發(fā)智能機(jī)器的一個最關(guān)鍵的突破口。人們通過眼睛與大腦來獲取、處理與理解視覺信息的，外界環(huán)境的物體在可見光的照射下在人眼的視網(wǎng)膜上形成二維圖像，這是圖像的形成過程即成像過程。視覺過程作為成像過程的逆過程，其目的是要從帶噪聲、畸變的二維圖像中恢復(fù)三維場景的有關(guān)信息，如形狀、位置、運(yùn)動等物理特性（對本課題而言是恢復(fù)有關(guān)道路形狀、位置的信息）。 計算機(jī)視覺的歷史不長，至今也就是三十幾年，它是伴隨著計算機(jī)科學(xué)與技術(shù)產(chǎn)生和發(fā)展起來的，大致可以分為兩個階段，早期（1965近期（1976 早期的計算機(jī)視覺研究集中在積木世界（線條圖（圍，這通常是指那些以平面為表面的多面體的世界。那時的計算機(jī)視覺系統(tǒng)都是自底向上結(jié)構(gòu)的，直接取決于低層次視覺的處理，因而研究工作集中在線條和邊界的抽取和區(qū)域劃分上。當(dāng)時出現(xiàn)了大量的算法，如s s s 木世界的研究反映了視覺早期研究中的一些特點，即從簡化的世界出發(fā)進(jìn)行研究，這些工作對視覺研究的發(fā)展起到了促進(jìn)作用，但對于稍微復(fù)雜的景物便難以奏效。 近期的計算機(jī)視覺研究開始于20世紀(jì)70年代中期，迄今為止最系統(tǒng)化的視覺理論，要表 現(xiàn)在研究內(nèi)容和方向集中在與人類視覺系統(tǒng)中的感知獨立模塊相對應(yīng)的課題上，也就是根 據(jù)影調(diào)、運(yùn)動、立體、 輪廓、紋理等線索恢復(fù)物體表面的形狀。這些研究極大地深化了計算機(jī)視覺的研究。計算理論層次，表達(dá)與算法層次和硬件實現(xiàn)層次： 第一章 緒論 71、計算理論層次指的是視覺系統(tǒng)基本的輸入、輸出關(guān)系，輸入為二維圖像，輸出是則由二維圖像重建出來的三維物體的位置和形狀。 2、對于表達(dá)和算法層次則是指系統(tǒng)內(nèi)各個模塊的輸入、輸出和內(nèi)部的信息表達(dá)，以及實現(xiàn)計算理論所規(guī)定的算法。 3、硬件實現(xiàn)層次是如何用硬件實現(xiàn)以上算法的問題。 計算機(jī)視覺作為一門新興的學(xué)科，眾多學(xué)者都在努力完善視覺理論，提出并改進(jìn)各種算法如光流方法、能量態(tài)估計器等等以使得該學(xué)科更加經(jīng)濟(jì)實用。 題將使用環(huán)境限定為具有良好標(biāo)志的結(jié)構(gòu)化高速公路上或者是規(guī)范化道路結(jié)構(gòu)的普通公路上，主要完成道路標(biāo)志線跟蹤，給車道跑偏報警提供依據(jù)，本體車輛定位等功能。相應(yīng)的研究把精力集中在簡單結(jié)構(gòu)化環(huán)境中的輔助駕駛上，目標(biāo)是提高汽車駕駛的安全性，盡管該課題定位有很大的局限性，但是，若它成功實現(xiàn)將會部分解決汽車駕駛中最為常見也最易出危險的操作問題。 課題研究的目的是：建立可行區(qū)域感知系統(tǒng)，實現(xiàn)車輛在行駛過程中對道路邊緣、標(biāo)志線的自動檢測與識別，確定車輛與道路的相對位置關(guān)系，實時的給出車輛行駛的可行區(qū)域，為整個智能輔助駕駛系統(tǒng)提供道路 場景 信息 環(huán)境 參量 決策得到的路線或速度 實際輸入的控制信號車輛實際狀態(tài) 道路、運(yùn)動和交通感知模塊控制模塊決策模塊車輛模型駕駛員模型 汽車模型 本課題的位置 圖13 吉林大學(xué)碩士學(xué)位論文 8外界環(huán)境信息輸入。 這里所指的可行區(qū)域是指當(dāng)車輛行駛在道路上時，由道路的寬度、方向、曲率以及其他車輛位置和交通法規(guī)所決定的能夠行駛的區(qū)域。也就是本課題所重點研究的內(nèi)容。（如圖15中黑色折線所圍成的閉區(qū)域即為圖像平面可行區(qū)域） 如圖14所示，實際道路或為直線或圓形彎道或純過渡彎道，當(dāng)車輛在行駛時，根據(jù)駕駛員預(yù)瞄距離，我們僅就車輛前方至百米左右的區(qū)域感興趣，在感興趣的區(qū)域區(qū)間段內(nèi)可以認(rèn)為道路是由直線組成的（21, 就整條道路看則分成了一系列線段組成的，障礙物所在的區(qū)域現(xiàn)在不予考慮，也就是在課題建立的大的可行區(qū)域之中去除障礙物所在區(qū)域。 本課題研究的主要工作： 1* 圖像捕捉與前期處理： 首先選擇圖像采集設(shè)備，對設(shè)備的原理、性能有大致的了解。采用 取道路圖像，通過采集卡進(jìn)行A/圖像數(shù)據(jù)送入計算機(jī)后，由于采集的圖像含有噪聲需要對圖像進(jìn)行去除噪聲圖15 真實道路圖像中可行區(qū)域 道路左邊界輪廓線 &,&,中心虛線 中心雙實線 障礙物 路信息的簡化處理示意圖 第一章 緒論 9處理，之后根據(jù)要求再進(jìn)行可行區(qū)域輪廓增強(qiáng)等處理，目的是獲得比較理想的可行區(qū)域輪廓圖像。要選擇設(shè)計檢測模板，進(jìn)一步優(yōu)化圖像前期處理結(jié)果，使得后續(xù)處理建立在較為準(zhǔn)確的基礎(chǔ)之上。 2*道路邊緣提取過程： 車輛在道路上行駛時，道路邊緣位置時刻在變，邊緣提取易受光線、車體振動等干擾，使得搜索結(jié)果不可靠。我們提出了點搜索算法提取道路邊緣，運(yùn)用聚類直線擬合減少噪聲影響。在車輛在行駛過程中，采集的序列圖像道路邊緣是連續(xù)漸進(jìn)變化的，不會發(fā)生突變，根據(jù)此特點限定了搜索道路邊緣的范圍，保證可行區(qū)域矢量點的提取的準(zhǔn)確及可靠性。 3* 車體坐標(biāo)系下攝像機(jī)標(biāo)定： 在車體坐標(biāo)系下，攝像機(jī)參數(shù)可以分為兩類，外部的六自由度參數(shù)和內(nèi)部參數(shù)，外部參數(shù)是指攝像機(jī)坐標(biāo)系與選定的車體坐標(biāo)系之間的空間位置關(guān)系，而內(nèi)部參數(shù)則是由攝像機(jī)系統(tǒng)采用的于攝像機(jī)參數(shù)眾多，且是時變的，我們建立了合適的攝像機(jī)模型，對各參數(shù)進(jìn)行合理的假設(shè)以及取舍，確定標(biāo)定方法，得到攝像機(jī)的參數(shù)。 4* 車體坐標(biāo)系下可行區(qū)域的建立： 攝像機(jī)的參數(shù)確定后，就成為二維圖像向三維世界坐標(biāo)轉(zhuǎn)換的橋梁。將圖像處理得到的二維可行區(qū)域邊緣矢量轉(zhuǎn)化為車體坐標(biāo)系中的結(jié)構(gòu)參數(shù)，得到車輛在空間道路中的實際位置，同時也建立了車輛的可行區(qū)域。通過硬件以及編寫算法使此感知系統(tǒng)能夠真正的在車輛上得以實現(xiàn)，實時的運(yùn)轉(zhuǎn)起來。 吉林大學(xué)碩士學(xué)位論文 10第二章 可行區(qū)域感知系統(tǒng)的整體設(shè)計 能車輛的整體結(jié)構(gòu)分析 智能車輛集多種傳感器數(shù)據(jù)融合、視覺信息處理、導(dǎo)航、避障等功能于一體，為完成如此復(fù)雜、如此眾多的功能，歷史上曾有幾種體系結(jié)構(gòu)，如水平型結(jié)構(gòu)、垂直型結(jié)構(gòu)和綜合型結(jié)構(gòu)。下圖為一 典型的智能車輛的體系結(jié)構(gòu)。 如下圖22，管欣教授提出的駕駛員操縱行為模型結(jié)構(gòu)框圖，框圖詳細(xì)描述了駕駛員的行為特性，將其分為三大部分：道路、運(yùn)動和交通感知環(huán)節(jié)、預(yù)瞄決策環(huán)節(jié)和控制校正環(huán)節(jié)。該模型從總體上對汽車動態(tài)模擬國家重點實驗室研究的智能輔助駕駛車輛各功能模塊進(jìn)行了界定，對于該課題的總體設(shè)計產(chǎn)生很大的指導(dǎo)作用。 課題感知系統(tǒng)的體系結(jié)構(gòu) 在可行區(qū)域感知系統(tǒng)中，采用下圖)，攝像機(jī)安裝在車輛的頂部，或者安裝在車輛駕駛室內(nèi)的上部。為獲取汽車在道路上的位置以及道路本身的情況，在此對應(yīng)用條件視覺系統(tǒng) 激光掃描器 激光測距雷達(dá). 制中心 駕駛機(jī)器人 電子副駕駛 車輛導(dǎo)航&控制 車輛診斷系統(tǒng)數(shù)據(jù)采集&記錄 感器數(shù)據(jù) 車輛動作命令 型的智能車輛體系結(jié)構(gòu)第二章 可行區(qū)域感知系統(tǒng)的整體設(shè)計 11做一些必要的假設(shè)以簡化系統(tǒng)及處理的難度。 駕駛員操縱行為道路、運(yùn)動和交通感知控制校正預(yù)瞄決策受控車輛車道邊界識別交通標(biāo)志識別道路、交通環(huán)境障礙/車輛檢測車輛最優(yōu)預(yù)瞄加速度決策車輛未來運(yùn)動預(yù)瞄控制動態(tài)校正操作行為車輛特性學(xué)習(xí)交通法規(guī)、法律合法性評估易操縱評估安全性評估可行區(qū)域判斷車輛當(dāng)前運(yùn)動感知1光照良好假設(shè) 汽車在室外公路上行駛，周圍光線強(qiáng)度隨著汽車的位置以及時間的變化而變化，一方面要求日照條件良好，另一方面要求我們采用的攝像頭能夠自動暴光，以適應(yīng)日照光線強(qiáng)度的變化，從而滿足攝取的圖像有清晰的道路輪廓。 2. 針對的道路是結(jié)構(gòu)化道路，一般指高速公路和部分結(jié)構(gòu)化較好的公路，它們具有清晰的車道線和道路邊界，車道線一般是連續(xù)的白(黃)線或短劃線，在這種情況下，道路檢測問題可以簡化為車道線或道路邊界的檢測問題。 另外車道上的積水及陰影先不予考慮。 在早期的智能車輛研究中，由于早期的計算機(jī)的處理能力十分有限，視覺導(dǎo)航系統(tǒng)的實時性成為其可用性的瓶頸，因此各國的研究者們通常都采用大規(guī)模的并行處理技術(shù)，在這一階段，研究者的精力過多的耗費(fèi)在硬件平臺的設(shè)計、實現(xiàn)和測試上，但隨著計算機(jī)技術(shù)的飛躍發(fā)展，其處理能力爆炸似圖22 駕駛員操縱行為結(jié)構(gòu)框圖吉林大學(xué)碩士學(xué)位論文 12的提高，該種體系結(jié)構(gòu)已經(jīng)不是研究的重點了。在本課題中，從圖像以及計算機(jī)視覺算法的實現(xiàn)處理方式分析，采用串行處理方式，即整個視覺系統(tǒng)的數(shù)據(jù)操作由一臺功能較強(qiáng)的計算機(jī)實現(xiàn)全部控制處理功能，這是由本課題的定位目標(biāo)所決定的。 下面分析視覺系統(tǒng)的圖像采集方式，采集方式主要是指采用的攝像機(jī)個數(shù)，根據(jù)圖像采集方式的選取，目前世界上視覺系統(tǒng)一般分為三類：單攝像頭式，雙攝像頭式和多攝像頭式。而大多數(shù)采用單鏡頭或是雙鏡頭方式 多攝像頭式（a）各攝像頭之間有著不同的焦距，視角從小到大，可以獲取車輛前方到百米左右各處清晰的路面圖像，現(xiàn)在視覺系統(tǒng)采集圖像遇到的問題是：采用大焦距攝像頭時，轉(zhuǎn)彎時視角過窄，無法觀察到車輛兩旁的景物；選用廣角鏡頭捕捉車輛前方場景圖像時，拍攝遠(yuǎn)處則存在圖像分辨率較低，非線性畸變大等問題，采用多攝像頭方式就可解決這些問題15。例如，德國用此種方式，需要同時處理多幀圖像，計算量巨大,運(yùn)用此種方式的系統(tǒng)比較少。 雙攝像頭式（b） 采集區(qū)域如圖所示，對不同視角的攝像機(jī)獲取的兩幅圖像進(jìn)行區(qū)域匹配，實現(xiàn)立體視覺，可以得到相對較多的信息，例如車輛及障礙物的檢測等，但涉及的計算復(fù)雜，運(yùn)算量較大，也不容易實現(xiàn)。 單攝像頭式（c）采用一個面陣型攝像機(jī)，在精度要求不很高的情況下，圖23 車輛及攝像機(jī)位置關(guān)系圖第二章 可行區(qū)域感知系統(tǒng)的整體設(shè)計 13其采集區(qū)域同上，可以獲得足夠的信息，進(jìn)行道路標(biāo)志線跟蹤，利用道路平坦假設(shè)，能將道路特征從圖像坐標(biāo)系轉(zhuǎn)換到車體坐標(biāo)系。由于其僅處理單幀圖像，計算量小可以實時處理。 b c a 圖24 各種圖象采集方式以及對應(yīng)的采集區(qū)域 其中表示攝象機(jī)，表示攝象機(jī)的圖象采集 在本課題的應(yīng)用中，主要是檢測出道路的信息如車道線的跟蹤，因此采用單攝像頭的采集方式更為合理。另外，在進(jìn)行道路標(biāo)志線跟蹤時，是基于色彩信息還是基于灰度信息，首先比較了幾種不同的處理方法：區(qū)域生長法，模板匹配方法，鏈碼跟蹤法等等之后，決定選取鏈碼跟蹤的簡單方法，也因此選用基于灰度信息來處理圖像，在進(jìn)行該系統(tǒng)整體設(shè)計時選用黑白的攝像頭作為我們的圖像捕捉設(shè)備。另外，基于當(dāng)車輛在較黑暗的條件下運(yùn)行時，攝像機(jī)需要加裝相應(yīng)的紅外線設(shè)備的考慮，不能用彩色攝像機(jī)；黑白敏度高和傳輸距離遠(yuǎn)等優(yōu)點。因此感知系統(tǒng)采用的是黑白吉林大學(xué)碩士學(xué)位論文 14知系統(tǒng)各功能模塊的設(shè)計分析 基于單攝像頭的可行區(qū)域感知系統(tǒng)，它所要實現(xiàn)的最終目的是確定道路邊界相對于汽車的位置，為整個智能輔助駕駛車輛的控制提供可行區(qū)域信息。整個感知系統(tǒng)的輸入是汽車行駛時所處道路的場景，系統(tǒng)的輸出是道路邊界相對于汽車的位置，正如人腦通過對眼睛獲取的圖像進(jìn)行分析從而形成視覺一樣，智能輔助駕駛車輛可行區(qū)域感知系統(tǒng)也通過對圖像采集設(shè)備采集到的道路圖像進(jìn)行相應(yīng)的分析，從中提取出道路邊界信息，為智能車輛的控制提供必要的、精確的數(shù)據(jù)。 不同于人腦的視覺形成機(jī)理，我們所研究的感知系統(tǒng)僅僅對代表道路邊界（道路路肩或者是道路上斷續(xù)的標(biāo)志線）的邊緣曲線相對于汽車的位置感興趣，因此整個分析過程，可以通過如下圖23所示的幾個步驟來實現(xiàn)。這樣，攝像頭簡化參數(shù)的確定 車體坐標(biāo)系下 可行區(qū)域的建立 道路圖像的 前期處理 道路邊緣 矢量點提取 圖像平面 可行區(qū)域的建立 攝象機(jī)捕捉 道路圖象 曲線搜索： 運(yùn)用點生長搜索法對道路路肩邊緣曲線進(jìn)行搜索，建立路肩曲線矢量 圖像前期處理： 去除道路圖像噪聲 道路邊緣增強(qiáng) 可行區(qū)域建立： 對邊緣矢量點進(jìn)行聚類 擬合 決策模塊 圖23 行區(qū)域感知系統(tǒng)的整體設(shè)計 15可行區(qū)域感知系統(tǒng)大體可以分為兩個大的部分：圖像平面內(nèi)可行區(qū)域的建立、車體坐標(biāo)系下可行區(qū)域的建立。 圖像平面內(nèi)可行區(qū)域的建立包括圖像噪聲的去除、道路邊界的增強(qiáng)（這一部分主要是對捕捉圖像進(jìn)行的初步處理，目的是獲得比較理想的邊緣圖像，以利于系統(tǒng)進(jìn)行下一步分析），可行區(qū)域中道路邊緣矢量點的提取，是整個圖像處理工作的核心，根據(jù)實際的道路路面情況，編寫可行的搜索算法，它的輸出是可行區(qū)域邊界點的坐標(biāo)（圖像坐標(biāo)系下）。車體坐標(biāo)系下可行區(qū)域的建立包括攝像頭簡化參數(shù)的確定（這一部分是圖像平面內(nèi)的可行區(qū)域與車體坐標(biāo)系下可行區(qū)域轉(zhuǎn)換的橋梁），然后根據(jù)這個橋梁，可以獲取車體坐標(biāo)系下的可行區(qū)域。 吉林大學(xué)碩士學(xué)位論文 16第三章 可行區(qū)域感知系統(tǒng)的算法研究 本章根據(jù)感知系統(tǒng)的總體設(shè)計，從基本的計算機(jī)視覺理論出發(fā)，對系統(tǒng)各功能部分進(jìn)行分析，然后編寫設(shè)計具體的處理算法。主要分為兩大部分：圖像平面內(nèi)可行區(qū)域的算法研究及車體坐標(biāo)系下可行區(qū)域建立的算法研究，下面進(jìn)行較為詳細(xì)的介紹。 本課題的目的是經(jīng)過圖像處理后，檢測出車輛行駛前方的可行區(qū)域，因此道路標(biāo)識線（道路邊界）便成為我們檢測的一個主要問題。道路邊緣檢測有以下幾種常見方法：區(qū)域生長法，模板匹配方法，鏈碼跟蹤方法，1、區(qū)域生長法：其基本思想是首先在各個區(qū)域里尋找一些核心點 (或核心區(qū)、原子區(qū) )，通過適當(dāng)?shù)目山邮艿臏?zhǔn)則將其周圍鄰近的像素點(或子區(qū) )歸并進(jìn)來以使區(qū)域逐漸生長擴(kuò)大，直到?jīng)]有可并入的點時，整個生長過程結(jié)束。在區(qū)域生長的過程中可根據(jù)有關(guān)區(qū)域的先驗知識例如區(qū)域的顏色均勻性要求，紋理或形狀等要求來調(diào)整歸并準(zhǔn)則以期獲得較好的區(qū)域生長和區(qū)域分割結(jié)果。一般先在道路上找出種子點，然后區(qū)域生長，最后求其補(bǔ)集找出道路邊界。這種方法對于本研究課題有些舍近求遠(yuǎn)，先求道路區(qū)域大小，然后定出區(qū)域的補(bǔ)集，計算開銷大。 2、模板匹配方法：根據(jù)經(jīng)驗，事先做好一些道路檢測模板，然后檢測道路曲線與哪一種模板匹配程度最好。這種方法缺點在于實際道路形狀復(fù)雜多變，很難用簡單的幾塊模板將道路曲線全部描述出來。若模板變大，雖然抗干擾，但更加難于與復(fù)雜的道路曲線相匹配，增多模板個數(shù)又會使道路檢測時間變長，達(dá)不到實時性要求。 3、之在另一坐標(biāo)空間的特定位置上出現(xiàn)峰值，找出峰值位置即檢出曲線。例如直線= ,在參數(shù)空間只需一個點（即可表示。 第三章 可行區(qū)域感知系統(tǒng)算法研究 17在此不討論干擾，魯棒性好，但是于在實時時間內(nèi)完成道路檢測。另外，道路曲線形狀越復(fù)雜，參數(shù)空間的參數(shù)就越多，找出參數(shù)出現(xiàn)峰值的特定位置更加困難。 綜合上述方法的優(yōu)缺點，采用了邊緣跟蹤的方法，直接將道路的邊緣道路邊界、道路的標(biāo)志線，用鏈碼跟蹤的方法將其檢出。下面將詳細(xì)介紹此種方法的思路及做法。 整體思路用框圖表示如下 圖象噪聲的去除 道路邊緣的增強(qiáng) 道路邊緣與圖象背景的分割 可行區(qū)域矢量點的提取 矢量點的聚類擬合 圖31圖像平面可行區(qū)域提取流程 1. 圖像噪聲的去除 在圖像獲取過程中由于采樣量化、傳遞和環(huán)境干擾的存在致使圖像出現(xiàn)一些高頻的噪聲，這些噪聲會影響后續(xù)處理的效果，對圖像進(jìn)行平滑處理可降低噪聲，獲取比較理想的圖像質(zhì)量，提高后續(xù)處理的精度。 圖像平滑的基本方法分空間域法和頻率域法兩類，因為本課題所研究的系統(tǒng)要求有極高的實時性，而頻率域法所采用的算法比較復(fù)雜，要求對整個圖像進(jìn)行處理，實時性較差，因此系統(tǒng)采用比較簡單的空間域法。 空間域法的基本算法有三種： 鄰域平均法： 基本思想是用鄰域內(nèi)的點的平均值來取代該點的灰度值。但是如果該點的值與鄰域平均值相差不大的話，則說明該點的噪聲并不大，不需要平滑處理，從而保持邊界，減少模糊；對于孤點噪聲的灰度則與其鄰域平均灰度相差懸殊，可以通過此方法濾掉。 吉林大學(xué)碩士學(xué)位論文 18=其他當(dāng)),(),(1),( ),(1),(),(),(),(),(31) 其中：,(表示位于該點鄰域內(nèi)的點的個數(shù)（不包括該點）。 (),(表示該點的去心鄰域內(nèi)的點的灰度值之和。 多幀平均法 這種方法是利用同一景物的多幅圖像的迭加而消除噪聲的，但是由于本課題所涉及的應(yīng)用條件，不可能在一次處理流程中，多次對同一個區(qū)域進(jìn)行圖像采集，因此這種方法也不合適。 中值濾波法 中值濾波法實際上是一種非線性的空間濾波法，它既能有效的抑制噪聲，又能起到保護(hù)邊界的作用。這種方法的基本思想是用鄰域內(nèi)的點按照灰度值的大小排序，取序列的中間一位作為該點的灰度值。 中值濾波在清除圖像上隨機(jī)脈沖噪聲較為有效，但對于某些作用形式較為緩和的噪聲，效果就要差些。 高斯濾波方法 高斯算子可用模板表示卷積核為A/16，高斯函數(shù)能把圖像變模糊，有效的消除一切尺度遠(yuǎn)小于高斯分布空間常數(shù)的圖像強(qiáng)度變化，它在空域和頻域內(nèi)都是平滑的，因而引入任何在原始圖像中未曾出現(xiàn)的變化的可能性最小 =121242121A 小結(jié)：經(jīng)過我們實際的實驗測定，高斯濾波方法速度快，并且效果也較理想，因此圖像平滑采用這種方法。 第三章 可行區(qū)域感知系統(tǒng)算法研究 192道路邊緣的增強(qiáng) 許多學(xué)者分析了人和動物的視覺，發(fā)現(xiàn)視覺對圖像中的邊緣更為靈敏，因此提出以物體區(qū)域的邊界為基礎(chǔ)的一類圖像分割方法。邊界線或邊緣通常是以圖像中某些特性不連續(xù)行為表征的，如灰度的突變、彩色的變換、紋理結(jié)構(gòu)的變化等。邊界線或邊緣表示圖像中一個區(qū)域過渡到另一個區(qū)域。邊緣信息不但對人的視覺十分重要，而且對計算機(jī)視覺的設(shè)計都十分重要。通常圖像的邊界常采取以下幾種形式：階躍式、灰度漸變式、斜率上升又下降式、脈沖式以及帶有不同干擾等形式，如圖32。 突出圖像中的邊緣，然后再用某些閾值使之分割出來，從而得到邊界的圖像。常用的幾種預(yù)處理有差分運(yùn)算、梯度算子、模板匹配等。下面介紹幾種常見的計算機(jī)易處理簡單方便的算子 (a) (b) 圖32理想的邊緣截面圖，表示在邊緣處灰度級的變化形式 (a)理想的階躍邊緣；(b)有噪聲并被模糊了的階躍邊緣； (c)理想的“脈沖狀”線；(d)與階躍邊緣組合的線。 (c) (d) ),(),(),( = （32） 式中（點的四鄰域，或用差分近似為： |)1,(),1(|,)1,1(),(),( += 吉林大學(xué)碩士學(xué)位論文 20這是較常用的四點鄰域的公式。也可歸入模板法，空域處理 =0110),(1 ，=1001),(2 子公式為：22222),(),(),(+= （33） 可以用模板表示其33算子為： =0101410101h，=1212421212h 這個算子是旋轉(zhuǎn)不變算子，從公式可以看出此算子對孤點或端點更加敏感。 加權(quán)平均再求差分，對模板如下 =1012021011h , =1210001212h 出的邊緣較寬。 高斯函數(shù)的一階微分，能在噪聲抑制和邊緣檢測之間取得較好的平衡，它有三個最佳邊緣檢測準(zhǔn)則如下： （1） 最優(yōu)檢測：不漏檢真實存在的邊緣，也不把非邊緣點檢出，這樣使得輸出的信噪比最大； （2） 最優(yōu)檢測精度：檢測到的邊緣點的位置與實際邊緣點的位置最近； （3） 檢測點與邊緣點一一對應(yīng)：每一個實際存在的邊緣點與檢測到的邊緣點是一一對應(yīng)關(guān)系。 但在道路圖像中經(jīng)過應(yīng)用，它檢出的邊緣過于注重細(xì)節(jié)，復(fù)雜且凌亂，不適合本課題的應(yīng)用。 小結(jié)：在實際應(yīng)用中，模板匹配方法需要建立大量的模板以適應(yīng)不同的道路，靈活性小，選擇不同的模板檢出道路也比較費(fèi)時，在此不予考慮此方法。以上幾種算子經(jīng)過實際應(yīng)用進(jìn)行比較，用個方向模板可以同時在圖像上檢出道路，效果比較好. 第三章 可行區(qū)域感知系統(tǒng)算法研究 213道路邊緣與圖像背景的分割 分割是采用閾值技術(shù)，就是簡單的用一個或幾個閾值將圖像的灰度直方圖分成幾個類，認(rèn)為圖像中灰度值在同一個灰度類的像素屬于同一個物體。道路邊緣與圖像背景分割的效果是我們可行區(qū)域建立的基礎(chǔ)，分割點閾值的選取過低，則將會把道路上的陰影，污跡以及道路兩旁的建筑設(shè)施劃分到了道路邊緣的范疇，使得道路邊緣檢測出的準(zhǔn)確率大大下降，并且耗費(fèi)大量時間。閾值取得過高，則圖像中道路邊緣也會劃分到背景部分中，從而搜索不到道路邊緣，也就無從為后續(xù)的控制模塊提供可行區(qū)域信息。 最簡單的一種全局方法就是根據(jù)經(jīng)驗給定固定的值將圖像簡單的分成道路邊緣以及背景。 =（ 當(dāng)0011,1,1=大津法：把圖像直方圖用某一灰度值分割成兩組，當(dāng)被分割成的兩組間方差最大時，此灰度值就作為圖像二值化處理的閾值，這種方法由日本的大津展之提出，主要依據(jù)是概率統(tǒng)計與最小二乘原理，該方法基于整幅圖像的統(tǒng)計特性，可實現(xiàn)閾值的自動選取，對圖像二值化處理的效果較好，被諸多學(xué)者承認(rèn)，在實際中的應(yīng)用范圍較大。 設(shè)一幀圖像分為1度值 總象素數(shù)=象素值概率 吉林大學(xué)碩士學(xué)位論文 22然后用一整數(shù).,2,1,.,2,110+=， 則010=，均值=(/)(/ 1=11 ，均值 +=1/)(/ 其中，=1100 +=，于是兩間方差 201102112002)()()( =+= （36） 從1，2，使得方差最大值的K，即)(其他方法:最大熵方法對不同目標(biāo)大小和信噪比的圖像均產(chǎn)生很好的分割效果，且受目標(biāo)大小的影響小，但此方法涉及對數(shù)運(yùn)算，運(yùn)算速度慢，不能用于實時處理。 小結(jié)： 經(jīng)過試驗得出結(jié)論：在道路陰影不太嚴(yán)重時，大津方法在處理速度以及圖像分割優(yōu)劣來看，大津閾值方法能夠自動的對圖像閾值化且效果較好。 4道路邊緣矢量點的提取 由前邊所述。我們目前針對的主要是高速公路，其道路情況如下圖33所示，道路兩旁的邊界處為連續(xù)的白色標(biāo)識線，在道路內(nèi)部，則由斷續(xù)的白色標(biāo)識線將前行（或后行）道路分割為兩車道，或者是三車道，又由于車輛要高速行駛，要求要保持一定的車距，所以在道路邊緣搜索時，前方行駛的車輛不會對我們所感興趣的區(qū)域的道路標(biāo)識線有所遮擋。 可行區(qū)域矢量點的提取分為兩種模式：一是啟動模式，另一種是運(yùn)行模式。該小節(jié)中講解一下啟動模式。 啟動模式：車輛剛剛運(yùn)行跟蹤算法時，沒有歷史紀(jì)錄，也就沒有其他參數(shù)可供參考，其處理相當(dāng)于對攝像機(jī)采集的第一幀靜止圖像進(jìn)行處理，得到第三章 可行區(qū)域感知系統(tǒng)算法研究 23初始的道路參數(shù)。 運(yùn)行模式：在圖像處理跟蹤算法中，我們得到的是大量的序列圖像，道路參數(shù)也有歷史紀(jì)錄，由于在車輛運(yùn)行中，我們經(jīng)過一個短暫的瞬時抓取圖像，因此道路參數(shù)可依靠歷史紀(jì)錄限定搜索的范圍，從而提高搜索的準(zhǔn)確性，縮短搜索時間。下面介紹啟動模式的搜索算法： 經(jīng)過前邊對圖像噪聲的去除以及道路邊緣的增強(qiáng)處理后，攝像機(jī)攝取的圖像如下圖所示： 圖33 道路圖像 在進(jìn)一步的圖像處理前，解釋一下4連通及8連通的概念：在一個連通集中的任意兩個象素之間，存在一條完全由這個集合的元素構(gòu)成的連通路徑。有兩種可供選擇的連通性準(zhǔn)則，如果只依據(jù)旁側(cè)相鄰的像素（上、下、左、右）確定連通，稱為4連通，如果再加上對角相鄰的（45度鄰點）象素也被認(rèn)為是連通的，就是8連通，在這里，我們采用8連通準(zhǔn)則，通常8連通的結(jié)果與人的感覺更接近5。 經(jīng)過對車輛在實際駕駛中，所拍攝到的路面狀況分析，發(fā)現(xiàn)在攝像機(jī)視野內(nèi)主要是車輛所在當(dāng)前車道的道路標(biāo)識線，而其他車道的標(biāo)志線較遠(yuǎn)，并且在圖像底部只存在當(dāng)前車道線的白色標(biāo)識線（如圖34），這就簡化了我們的搜索方法，在圖像底部開始搜索，滿足我們要求的線段點就是道路標(biāo)識吉林大學(xué)碩士學(xué)位論文 24線。 邊緣搜索思路： 1）遍歷二值化圖像的點(從圖像的底部中間開始) 2）按照點搜索算法找到一起始點，滿足起始點的要求則記為（） 3）以起始點開始，搜索出線段的幾個點，此為搜索出的局部線段，在一定步長之內(nèi)搜索不到點則結(jié)束本步驟。 4）以上次搜索起始點為橫向搜索邊界，繼續(xù)從圖像中間開始按2）3）步驟搜索出一局部線段，該步驟重復(fù)進(jìn)行，直到達(dá)到要求的搜索點數(shù)，或者到達(dá)規(guī)定圖像位置。 在道路曲線邊界搜索算法中，部分采用了文獻(xiàn)11中的思路，其思想簡要介紹如下： 搜索道路邊緣曲線就是搜索到該曲線上一定數(shù)量的點，因為曲線上的點之間是相互連通的，所以如果需要整個曲線上的任意點，我們可以首先搜索到該曲線的一個起始點，再分析該點的八連通情況，根據(jù)對該曲線的大致趨勢（左側(cè)邊緣向右生長，右側(cè)邊緣向左生長，這樣可以縮小搜索范圍），找出與起始點相連通的曲線上的下一個點，然后再以剛剛尋找到的點為起始點，搜索新起始點的下一個點，重復(fù)以上過程，就可以獲得整個曲線。但是，根據(jù)這種連通原則設(shè)計算法，系統(tǒng)所需的計算量還是比較大的，而且搜索過程中不容易保證點始終在曲線搜索，因此又結(jié)合其他思路。 第一、 擴(kuò)大搜索區(qū)域，由原來的相鄰像素點搜索也就是2加到域，從區(qū)域的最后端開始搜索，省略掉起始點與目的點之間多余的生長搜索的運(yùn)算，認(rèn)為沿上圖所示方向得到的第一個點一定是目的點 圖34第三章 可行區(qū)域感知系統(tǒng)算法研究 25點生長搜索法的思路： 第二、變步長算法，該算法包括兩類變步長： 1、搜索變步長（在固定區(qū)域內(nèi)，搜索不到點），為了處理搜索失敗的情況，如果曲線間斷距離較大，在固定的搜索區(qū)域內(nèi)，搜索不到下一個點，系統(tǒng)就采用減小搜索區(qū)域的方法，直至找到點或不滿足步長要求。 2、區(qū)域變步長（圖像上不同位置對應(yīng)的分辨率不同），圖像所包含的信息量隨位置的變化而變化，因此越靠近圖像頂端，步長應(yīng)變小以保證整條曲線的精度。 左側(cè)路肩邊緣曲線右側(cè)路肩邊緣曲線 左側(cè)曲線 起始點O 右側(cè)曲線起始點515圖36 圖象道路邊緣示意圖 00000000000000000000000000000000000000000000000000000000000000000