視頻中運(yùn)動(dòng)目標(biāo)的檢測標(biāo)記

1、 5/5視頻中運(yùn)動(dòng)目標(biāo)的檢測標(biāo)記 視頻中運(yùn)動(dòng)目標(biāo)的檢測標(biāo)記 較全面的運(yùn)動(dòng)目標(biāo)的特征數(shù)據(jù)，但對于動(dòng)態(tài)場景的變化，如光線照射情況和外來無關(guān)事件的干擾等也特別敏感。 實(shí)際上，背景的建模是背景減除方法的技術(shù)關(guān)鍵。最簡單的背景模型是時(shí)間平均圖像，即利用同一場景在一個(gè)時(shí)段的平均圖像作為該場景的背景模型。由于該模型是固定的，一旦建立之后，對于該場景圖像所發(fā)生的任何變化都比較敏感，比如陽光照射方向，影子，樹葉隨風(fēng)搖動(dòng)等。大部分的研究人員目前都致力于開發(fā)更加實(shí)用的背景模型，以期減少動(dòng)態(tài)場景變化對于運(yùn)動(dòng)目標(biāo)檢測效果的影響2。 2.2幀時(shí)間差分 時(shí)間差分（Temporal Difference 又稱相鄰幀差）方法充

2、分利用了視頻圖像的特征，從連續(xù)得到的視頻流中提取所需要的動(dòng)態(tài)目標(biāo)信息。在一般情況下采集的視頻圖像，若仔細(xì)對比相鄰兩幀，可以發(fā)現(xiàn)其中大部分的背景像素均保持不變。只有在有前景移動(dòng)目標(biāo)的部分相鄰幀的像素差異比較大。時(shí)間差分方法就是利用相鄰幀圖像的相減來提取出前景移動(dòng)目標(biāo)的信息的。 讓我們來考慮安裝固定攝像頭所獲取的視頻。我們介紹利用連續(xù)的圖像序列中兩個(gè)或三個(gè)相鄰幀之間的時(shí)間差分，并且用閾值來提取出視頻圖像中的運(yùn)動(dòng)目標(biāo)的方法。我們采用三幀差分的方法，即當(dāng)某一個(gè)像素在連續(xù)三幀視頻圖像上均有相當(dāng)程度的變化(及大于設(shè)定的閾值時(shí))，我們便確定該像素屬于運(yùn)動(dòng)目標(biāo)。時(shí)間差分運(yùn)動(dòng)檢測方法對于動(dòng)態(tài)環(huán)境具有較強(qiáng)的自適應(yīng)

3、性，但一般不能完全提取出所有相關(guān)的特征像素點(diǎn)，在運(yùn)動(dòng)實(shí)體內(nèi)部容易產(chǎn)生空洞現(xiàn)象，只能夠檢測到目標(biāo)的邊緣。而且，當(dāng)運(yùn)動(dòng)目標(biāo)停止運(yùn)動(dòng)時(shí)，一般時(shí)間差分方法便失效3。 2.3光學(xué)流法 基于光流方法（Optical Flow）的運(yùn)動(dòng)檢測采用了運(yùn)動(dòng)目標(biāo)隨時(shí)間變化的光流特性，如Meyer 等通過計(jì)算位移向量光流場來初始化基于輪廓的跟蹤算法，從而有效地提取和跟蹤運(yùn)動(dòng)目標(biāo)。該方法的優(yōu)點(diǎn)是在所攝場所運(yùn)動(dòng)存在的前提下也能檢測出獨(dú)立的運(yùn)動(dòng)目標(biāo)。然而，大多數(shù)的光流計(jì)算方法相當(dāng)復(fù)雜，且抗噪性能差，如果沒有特別的硬件裝置則不能被應(yīng)用于全幀視頻流的實(shí)時(shí)處理。 當(dāng)然，在運(yùn)動(dòng)檢測中還有一些其它的方法，如運(yùn)動(dòng)向量檢測法，它適合于多維

4、變化的環(huán)境，能消除背景中的振動(dòng)像素，使某一方向的運(yùn)動(dòng)對象更加突出的顯示出來。但是，運(yùn)動(dòng)向量檢測法也不能精確地分割出對象。 點(diǎn)檢測法用于檢測圖像中感興趣的點(diǎn)如角點(diǎn)等圖像分割法能檢測出圖像中目標(biāo)的輪廓但需要一些人為的因素以及人工判斷無法實(shí)現(xiàn)完全的自動(dòng)背景建模法在視頻監(jiān)控的研究中取得了較好的效果但只適用于攝像機(jī)靜止?fàn)顟B(tài)的目標(biāo)檢測聚類分析法需要通過學(xué)習(xí)適用于特定目標(biāo)的檢測如行人等較難適應(yīng)一般情況下的運(yùn)動(dòng)目標(biāo)檢測4。 以上介紹的主要是單路視頻圖像的目標(biāo)跟蹤問題。在實(shí)際監(jiān)控系統(tǒng)中，往往同一個(gè)人或目標(biāo)出現(xiàn)在多個(gè)攝像機(jī)的視場里。如何將與此目標(biāo)相關(guān)的各個(gè)攝像頭采集的視頻圖像關(guān)聯(lián)起來，根據(jù)物體的運(yùn)動(dòng)情況，形成其運(yùn)

5、動(dòng)軌跡，并自動(dòng)發(fā)送PTZ 控制指令，使攝像機(jī)能夠自動(dòng)跟蹤物體，尤其在物體超出該攝像機(jī)監(jiān)控范圍之后，自動(dòng)通知物體所在區(qū)域的攝像機(jī)繼續(xù)進(jìn)行追蹤。這才能使目標(biāo)真正獲得了跟蹤。 3檢測視頻中淺色汽車目標(biāo) 3.1處理步驟分析 在智能交通中，我們通常需要對汽車的車牌號進(jìn)行識(shí)別或者對某種顏色的汽車進(jìn)行檢測。視頻文件是由一幀一幀的圖像按照一定順序連接而成，對圖像的處理方法同樣適用于對視頻文件的處理，我們只要逐幀選取圖像，然后對每一幀圖像進(jìn)行處理，最后再將處理后的每幀圖像按照原來的順序連接成視頻即可。 本次案例的目的是檢測一個(gè)給定的交通視頻文件流中淺顏色的目標(biāo)汽車，處理效果要去除背景干擾，用特殊顏色標(biāo)記檢測的目

6、標(biāo)； 本例中使用了圖像處理工具箱中很多視頻處理的函數(shù)，如讀取文件mmreader函數(shù)，并且使用implay函數(shù)使視頻可視化。視頻處理的基礎(chǔ)仍是圖像處理，在本例中根據(jù)汽車的顏色和形狀來確定汽車的存在，這其中涉及很多數(shù)學(xué)形態(tài)學(xué)的操作，包括imextendedmax，imopen，bwareaopen等函數(shù)。 檢測視頻中汽車目標(biāo)的基本步驟如下： （1）讀取視頻文件 在這一步驟中，首先使用mmreader函數(shù)從多媒體文件中讀取視頻數(shù)據(jù)，mmreader函數(shù)可以讀取的文件格式包括：AVI，MPG，MPEG，WMV，ASF和ASX，本例程序中讀取的視頻格式為AVI格式，使用implay函數(shù)播放視頻，mmr

7、eader函數(shù)還可以返回關(guān)于多媒體文件的信息，為了獲取關(guān)于多媒體文件更多的信息，可以使用get函數(shù)，它可以獲得諸如視頻持續(xù)時(shí)間、路徑等更多的信息。 （2）讀取一幀圖像并檢測圖像中的汽車 讀取一幀圖像并進(jìn)行處理。對于視頻數(shù)據(jù)，包含很多幀圖像，我們一般采取的處理方法是在視頻數(shù)據(jù)中選取一幅有代表性的圖像幀，在這幅圖像中開發(fā)相應(yīng)的算法，然后把這個(gè)算法應(yīng)用到所有幀圖像中。 我們選取一幀圖像，這幀圖像中包含深顏色的汽車和淺顏色的汽車。除了汽車外，還有很多其他結(jié)構(gòu)的目標(biāo)，例如公路、草坪等。 在檢測淺顏色汽車前，一般需要盡可能地簡化圖像，通常使用的方法是采取一系列的形態(tài)學(xué)操作來去除這些無關(guān)的目標(biāo)。由于這個(gè)視頻

8、文件的每幀圖像都是真彩色圖像，因此首先將真彩色圖像轉(zhuǎn)化為灰度圖像。 在視頻數(shù)據(jù)中，去除深色汽車一般使用imextendedmax函數(shù)，這個(gè)函數(shù)返回二值圖像，其中亮度值大于某個(gè)閾值的區(qū)域會(huì)在結(jié)果中顯示出來，而亮度值小于這個(gè)閾值的目標(biāo)則變成背景。 為了去除深顏色的汽車，可以使用像素區(qū)域工具確定圖像中深顏色汽車所在區(qū)域的像素值，在這個(gè)程序中，調(diào)用imextendedmax函數(shù)時(shí)使用50作為閾值。 雖然在處理后的圖像中，大部分深顏色目標(biāo)已經(jīng)被去除，但仍然有少部分無關(guān)的目標(biāo)存在，尤其是公路上的標(biāo)志線。使用imextendedmax函數(shù)不能去除公路上的標(biāo)志線，因?yàn)楣窐?biāo)志線區(qū)域的像素值也超過給定的閾值。

9、為了出去這些目標(biāo)，可以使用形態(tài)學(xué)的開操作函數(shù)imopen來進(jìn)行開操作。這個(gè)函數(shù)在使用形態(tài)學(xué)處理二值圖像，在保留大目標(biāo)的同時(shí)，可以去除小目標(biāo)， 在使用形態(tài)學(xué)操作時(shí)，要首先確定函數(shù)使用的結(jié)構(gòu)元素大小和形狀，由于公路上的標(biāo)志線是很長很細(xì)的，因此可以使用圓形的結(jié)構(gòu)元素對這些目標(biāo)進(jìn)行去除，其中圓形結(jié)構(gòu)的半徑等于標(biāo)志線的寬度。在這個(gè)程序中，標(biāo)志線的寬度大約為2，因此結(jié)構(gòu)元素的半徑也為2。 經(jīng)過處理后的圖像中，包含的目標(biāo)為淺顏色的目標(biāo)，即圖像中淺顏色的汽車。使用bwlabel函數(shù)可以返回一個(gè)標(biāo)簽矩陣，通過這個(gè)標(biāo)簽矩陣可以進(jìn)一步求得更多的參數(shù)。例如可以使用regionprops函數(shù)獲取目標(biāo)的質(zhì)心，并且使用質(zhì)心

10、來確定淺顏色汽車標(biāo)簽的位置。 （3）使用循環(huán)逐幀對圖像進(jìn)行檢測 由于交通視頻是由一系列的圖像連接而成，在處理時(shí)需要使用for循環(huán)語句逐幀對數(shù)據(jù)進(jìn)行處理。處理后的視頻數(shù)據(jù)中使用標(biāo)簽對淺顏色汽車進(jìn)行標(biāo)注。 3.2MatLab代碼實(shí)現(xiàn) trafficObj = VideoReader(traffic.avi);%從多媒體文件中讀取數(shù)據(jù) get(trafficObj)%獲取視頻信息 implay(traffic.avi);%播放視頻 darkCarValue = 50;%閾值 darkCar = rgb2gray(read(trafficObj,71);%真彩色圖像轉(zhuǎn)化為灰度圖像 noDarkCar

11、= imextendedmax(darkCar,darkCarValue);%去除圖像中深色的汽車 figure; subplot(131) imshow(darkCar)%顯示灰度圖像 subplot(132); imshow(noDarkCar)%顯示淺顏色的車 sedisk = strel(disk,2);%圓形結(jié)構(gòu)元素 noSmallStructures = imopen(noDarkCar, sedisk);%開操作 subplot(133); imshow(noSmallStructures)%去除小目標(biāo) nframes = get(trafficObj, NumberOfFram

12、es);%幀數(shù) I = read(trafficObj, 1);%第一幀圖像 taggedCars = zeros(size(I,1) size(I,2) 3 nframes, class(I); for k = 1 : nframes singleFrame = read(trafficObj, k);%讀取圖像 I = rgb2gray(singleFrame);%轉(zhuǎn)化為灰度圖像 noDarkCars = imextendedmax(I, darkCarValue);%去除深色的汽車 noSmallStructures = imopen(noDarkCars, sedisk);%去除線性目

13、標(biāo) noSmallStructures = bwareaopen(noSmallStructures, 150);%去小目標(biāo) L = bwlabel(noSmallStructures);%生成標(biāo)簽矩陣 taggedCars(:,:,:,k) = singleFrame; if any(L(:) stats = regionprops(L, centroid,area);%求取質(zhì)心和面積 areaArray = stats.Area;%求取目標(biāo)對象的面積 junk,idx = max(areaArray);%求取最大面積 c = stats(idx).Centroid;%最大面積對應(yīng)的圓心 c

14、 = floor(fliplr(c); width = 2; row = c(1)-width:c(1)+width;%標(biāo)注目標(biāo) col = c(2)-width:c(2)+width; taggedCars(row,col,1,k) = 255;%設(shè)置為紅色 taggedCars(row,col,2,k) = 0; taggedCars(row,col,3,k) = 0; end end frameRate = get(trafficObj,FrameRate); implay(taggedCars,frameRate);%播放視頻1 3.3實(shí)驗(yàn)效果 圖3-1，交通視頻 圖3-2對視頻中圖像

15、處理后得灰度圖像、二值圖像和去除最小目標(biāo)后的圖像 圖3-3淺顏色汽車的檢測標(biāo)記 3.4部分函數(shù)功能解析 （1）Mmreader函數(shù) mmreader從多媒體文件中的視頻數(shù)據(jù)使用Read方法讀取到MATLAB的工作空間。該文件格式mmreader支持平臺(tái)有所不同。obj = mmreader(filename)，obj的構(gòu)造名為filename的讀取視頻數(shù)據(jù)文件。為基于MATLAB路徑文件的mmreader構(gòu)造進(jìn)行搜索。如果它不能以任何理由建設(shè)對象，mmreader產(chǎn)生一個(gè)錯(cuò)誤。MatLab7.8.0.347或(R2009a)以上版本支持。 使用格式：Obj=mmreader(filename,

16、PropertyName,PropertyValue)。 （2）Imextendedmax函數(shù) Imextendedmax，擴(kuò)展極大值變；格式IBW = imextendedmax(I,H)；這些函數(shù)把灰度圖像作為輸入?yún)?shù)，而把二值圖像作為輸出參數(shù)。在輸出的二值圖像中，局部極大值和局部極小值設(shè)為1，其他值設(shè)為0。 （3）Imopen Imopen，形態(tài)學(xué)開運(yùn)算；使用方法，IM2 = imopen(IM,SE) ；使用結(jié)構(gòu)元素SE 對灰度圖像或二進(jìn)制圖像 IM 進(jìn)行形態(tài)學(xué)開運(yùn)算。參數(shù) SE 必須是一個(gè)單獨(dú)的結(jié)構(gòu)元素體，相對于一個(gè)對象數(shù)組。形態(tài)學(xué)開運(yùn)算是先進(jìn)行一次膨脹操作，再接著進(jìn)行一次腐蝕操作，

17、兩次操作中使用同一個(gè)結(jié)構(gòu)元素。 （4）Bwareaopen Bwareaopen，刪除小面積圖形；格式BW2 = bwareaopen(BW,P,conn)；作用刪除二值圖像BW中面積小于P的對象，默認(rèn)情況下conn使用8鄰域 （5）Bwlabel Bwlabel，標(biāo)注二進(jìn)制圖像中已連接的部分。格式：L = bwlabel(BW,n)；返回一個(gè)和BW大小相同的L矩陣，包含了標(biāo)記了BW中每個(gè)連通區(qū)域的類別標(biāo)簽，這些標(biāo)簽的值為1、2、 num(連通區(qū)域的個(gè)數(shù))。n的值為4或8，表示是按4連通尋找區(qū)域，還是8連通尋找，如果參數(shù)省略，則默認(rèn)為8。 （6）Regionprops Regionprops計(jì)算圖像區(qū)域的屬性信息；格式：STATS = regionprops(BW, properties)，本例中用于返回圖像質(zhì)心和面積。輸入：BW二值圖像、properties屬性信息；輸出：STATS 包含圖像指定區(qū)域?qū)?/p>