視頻監(jiān)控與視頻分析 第十二章 運(yùn)動(dòng)目標(biāo)檢測(cè)

1、二零一四年九月運(yùn)動(dòng)目標(biāo)檢測(cè)o 研究背景o 運(yùn)動(dòng)目標(biāo)檢測(cè)方法 光流法 時(shí)間差分法 背景減除法o 算法評(píng)價(jià)研究背景（1）o 對(duì)序列圖像的運(yùn)動(dòng)分析是當(dāng)前計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要研究方向，廣泛應(yīng)用于： 高級(jí)人機(jī)交互 智能監(jiān)控 視頻會(huì)議 醫(yī)療診斷 基于內(nèi)容的圖像存儲(chǔ)與檢索o 美國(guó)、英國(guó)等國(guó)家已經(jīng)開展了大量相關(guān)的研究,當(dāng)前國(guó)際上一些權(quán)威期刊如IJCV、CVIU、PAMI、IVC、CVPR、AVSS、ECCV、IWVS等均將序列圖像的運(yùn)動(dòng)分析作為其中的主題內(nèi)容。研究背景（2）o 序列圖像的運(yùn)動(dòng)分析主要包括運(yùn)動(dòng)目標(biāo)的檢測(cè)、跟蹤、分類及行為理解幾個(gè)過(guò)程。o 運(yùn)動(dòng)目標(biāo)檢測(cè)是從序列圖像中將運(yùn)動(dòng)變化區(qū)域從背景圖像中分

2、割提取出來(lái)。o 在計(jì)算機(jī)視覺(jué)、智能視頻監(jiān)控（銀行、電力、交通、安檢及軍事）領(lǐng)域，視頻圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果，將對(duì)運(yùn)動(dòng)目標(biāo)分類、跟蹤及行為理解等后續(xù)處理產(chǎn)生重要影響。運(yùn)動(dòng)目標(biāo)的有效分割是序列圖像分析的基礎(chǔ)性工作，是當(dāng)今國(guó)內(nèi)外學(xué)者研究的熱點(diǎn)問(wèn)題。低層視覺(jué)處理低層視覺(jué)處理 中層視覺(jué)處理中層視覺(jué)處理高層視覺(jué)處理高層視覺(jué)處理運(yùn)動(dòng)目標(biāo)檢測(cè)問(wèn)題分類o 按不同標(biāo)準(zhǔn)將運(yùn)動(dòng)目標(biāo)檢測(cè)方法分類：（1）攝像機(jī)數(shù)目：?jiǎn)螖z像機(jī)、多攝像機(jī)（2）攝像機(jī)是否運(yùn)動(dòng)：攝像機(jī)靜止、攝像機(jī)運(yùn)動(dòng)（3）場(chǎng)景中運(yùn)動(dòng)目標(biāo)數(shù)目：?jiǎn)文繕?biāo)、多目標(biāo)（4）場(chǎng)景中運(yùn)動(dòng)目標(biāo)類型：剛體、非剛體o 主要討論：靜止單攝像機(jī)，多運(yùn)動(dòng)目標(biāo)檢測(cè)問(wèn)題。運(yùn)動(dòng)目標(biāo)檢測(cè)方法o

3、光流法（Optical flow） 可用于攝像機(jī)運(yùn)動(dòng)情形，提取目標(biāo)完整信息（包括運(yùn)動(dòng)信息），計(jì)算復(fù)雜度高，抗噪性能差。在攝像機(jī)固定的情況下應(yīng)用較少。o 時(shí)間差分法(Temporal difference) 通過(guò)比較相鄰2或3幀圖像差異實(shí)現(xiàn)場(chǎng)景變化檢測(cè)，對(duì)動(dòng)態(tài)環(huán)境有較強(qiáng)適應(yīng)性，但檢測(cè)精度不高，難獲得目標(biāo)精確描述。 o 背景減除法(Background subtraction) 適用于攝像機(jī)靜止情形，其關(guān)鍵是背景建模，性能與監(jiān)控場(chǎng)景復(fù)雜情況和系統(tǒng)要求有關(guān)，典型算法有中值、自適應(yīng)模型、高斯模型、多模態(tài)均值等。 光流法o 光流法主要通過(guò)對(duì)序列圖像光流場(chǎng)的分析，計(jì)算出運(yùn)動(dòng)場(chǎng)后，對(duì)場(chǎng)景進(jìn)行分割，從而檢測(cè)出

4、運(yùn)動(dòng)目標(biāo)。o 光流法的核心是求解出運(yùn)動(dòng)目標(biāo)的光流，即速度。o 簡(jiǎn)要介紹傳統(tǒng)光流法的典型代表Hom&Schunck算法、Lucas&Kanade算法和塊匹配算法。 傳統(tǒng)光流法 o根據(jù)視覺(jué)感知原理，客觀物體在空間上一般是相對(duì)連續(xù)運(yùn)動(dòng)，在運(yùn)動(dòng)過(guò)程中，投射到傳感器平面上的圖像實(shí)際上也是連續(xù)變化的，即灰度不變性假設(shè)。根據(jù)這一基本假設(shè)，可以得到光流基本方程。o設(shè)(x，y)點(diǎn)在時(shí)刻t的灰度為 I(x,y,t)，設(shè)光流w=(u，v)在該點(diǎn)的水平和垂直移動(dòng)分量u(x，y)和v(x，y):o經(jīng)過(guò)dt后對(duì)應(yīng)點(diǎn)為I(x+dx,y+dy,t+dt)，當(dāng) ，灰度I保持不變，得到I(x,y,t)= I(x+

5、dx,y+dy,t+dt)。此式由Taylor展開，忽略二階無(wú)窮小，整理得到基本的光流約束方程:o o (1)o表示灰度對(duì)時(shí)間的變化率等于灰度的空間梯度與光流速度的點(diǎn)積。o從不同角度對(duì)式(1) 引入不同約束條件，產(chǎn)生不同的光流分析方法。Barron等人將光流計(jì)算分為4種:微分法、頻域法、塊匹配法和能量法，其中微分法與塊匹配法最為常用。下面介紹Hom&schiinck(簡(jiǎn)稱HS)算法與Lucas&Kanade(簡(jiǎn)稱LK)算法，其后介紹塊匹配法。dxdyuvdtdt0dt IIIuvtxyxyHorn & Schunck算法 o Horn與Schunck于1981年引入了全

6、局平滑性約束，假設(shè)光流在整個(gè)圖像上光滑變化，即速度的變化率為零。o 結(jié)合式（1）和式（2），得光流w=(u,v)應(yīng)滿足：o 取值主要考慮圖中的噪聲情況。如果噪聲較強(qiáng)，說(shuō)明數(shù)據(jù)置信度較低，需要更多地依賴光流約束，其取值較大;反之其取值較小。o 1 Horn, Berthold K.P.; Schunck, Brian G. Determining Optical FlowJ.1981. 2222()0 ()0uuvvuvxyxy（2）2222min( , )()()()xytxyx yI uI vIuv Lucas & Kanade算法(1) o Lucas & Kanade于1

7、981年引入了局部平滑性約束，即假設(shè)在一個(gè)小空間領(lǐng)域上運(yùn)動(dòng)矢量保持恒定，使用加權(quán)最小二乘法估計(jì)光流。在一個(gè)小的空間領(lǐng)域上，光流估計(jì)誤差定義為:o W表示窗口權(quán)重函數(shù)，使鄰域中心區(qū)域?qū)s束產(chǎn)生的影響比外圍區(qū)域更大，式(3)的解為:o 22( , ),xytx yWx yI uI vI(3)212()TTUA W AA W BLucas & Kanade算法(2)o 式中， 212()TTUA W AA W B11221()()()(),(),.,().()()TtnnnI xI yI xI yXAI XI XI xI y 1(),.,()nWdiag W XW X1(),.,()Tttn

8、BIXIX 塊匹配法 o 塊匹配法并不直接使用光流基本方程，它的基本思想是假設(shè)光流w=(u，v)為不同時(shí)刻的圖像區(qū)域的位移量，在圖像序列的順序圖像對(duì)之間實(shí)施位置對(duì)應(yīng)。o 塊匹配距離度量的方法有兩種，一是相似度量，如歸一化相關(guān)系數(shù)最大化;二是對(duì)光強(qiáng)度差的平方和進(jìn)行最小化。 塊匹配法歸一化相關(guān)系數(shù)o 歸一化相關(guān)系數(shù)o 當(dāng)相關(guān)系數(shù)為1時(shí)，表示兩個(gè)塊完全匹配。實(shí)際上，由于噪聲及目標(biāo)圖像形狀的變化，不同圖像的對(duì)應(yīng)塊亮度會(huì)有變化。在 搜索區(qū)內(nèi)的相關(guān)系數(shù)最大的位置就是最佳匹配，其偏離中心點(diǎn)(x,y)的位移量(u,v)即為光流。 12,2212,(,)(,)( , , , )(,)(,)ni jnni jnI

9、 xi yjIxui yvjC x y u vIxi yjIxui yvj,Nu vN(21) (21)NN塊匹配法光強(qiáng)度差平方和法 o 光強(qiáng)度差平方和法計(jì)算 搜索區(qū)域上的誤差分布為：o 將此誤差分布轉(zhuǎn)換成指數(shù)形式分布o(jì) 其中k為正則化參數(shù)。指數(shù)響應(yīng)函數(shù)在01之間變化。根據(jù)估計(jì)理論，利用加權(quán)最小二乘法可得到真實(shí)速度的一個(gè)估計(jì):(21) (21)NN212,( , )(,)(,) ,ni jne u vI xi yjIxui yvjNu vN( , )exp( , )R u vke u v( , )( , )(,)( , )( , )uvuvcccccuvuvR u v uR u v vvu v

10、uvR u vR u v 光流法總述 o 基于微分的光流法，實(shí)現(xiàn)比較簡(jiǎn)單，計(jì)算復(fù)雜度低，缺點(diǎn)是在圖像相鄰之間偏移量大的時(shí)候誤差較大，而且該方法要求圖像灰度必須是可微的。o 基于匹配的光流法通過(guò)特征匹配來(lái)確定偏移量，可以解決相鄰幀差異較大的問(wèn)題;但是特征匹配比較困難，運(yùn)算量比較大，且塊匹配法對(duì)噪聲敏感。o 目前，國(guó)內(nèi)外學(xué)者都在尋求改進(jìn)光流法的方法，主要分為兩種，一是光流法自身的改進(jìn);二是光流法與其他方法相結(jié)合，如即金字塔光流法、區(qū)域光流法和特征光流法。時(shí)間差分法優(yōu)點(diǎn)：魯棒性好，運(yùn)算量小，易于軟件實(shí)現(xiàn)優(yōu)點(diǎn)：魯棒性好，運(yùn)算量小，易于軟件實(shí)現(xiàn)缺點(diǎn)：對(duì)噪聲有一定的敏感性，運(yùn)動(dòng)實(shí)體內(nèi)部也容易產(chǎn)生空洞現(xiàn)缺點(diǎn)

11、：對(duì)噪聲有一定的敏感性，運(yùn)動(dòng)實(shí)體內(nèi)部也容易產(chǎn)生空洞現(xiàn)象，閾值象，閾值T缺乏自適應(yīng)性，當(dāng)光照變化時(shí)，檢測(cè)算法難以適應(yīng)環(huán)境缺乏自適應(yīng)性，當(dāng)光照變化時(shí)，檢測(cè)算法難以適應(yīng)環(huán)境變化變化tt-1t1, I (x,y)-I(x,y) TD (x,y)=0,otherwiseDefault:T=60背景減除法o 中值模型 自適應(yīng)背景模型o 雙背景模型 最大不相似模型o 單高斯 混合高斯o 改進(jìn)的混合高斯 多模態(tài)均值 o 紋理模型 背景減除法流程圖 中值模型 (Median Model)背景背景中間值中間值t-1tjj=t-Kttt1B (x,y)=I (x,y)K1I (x,y)-B (x,y) TD (x,

12、y)=0otherwiseDefault:T=60，K=3前提：在前前提：在前K幀圖像中，某像素點(diǎn)在超過(guò)一半的時(shí)間里呈現(xiàn)場(chǎng)幀圖像中，某像素點(diǎn)在超過(guò)一半的時(shí)間里呈現(xiàn)場(chǎng)景背景像素值。景背景像素值。自適應(yīng)背景模型 前一幀前一幀k-1前一背景前一背景當(dāng)前背景當(dāng)前背景+ +（1-1-）= =為自適應(yīng)參數(shù)，其取值為自適應(yīng)參數(shù)，其取值直接影響背景的更新質(zhì)量直接影響背景的更新質(zhì)量 是任意選擇的適應(yīng)參數(shù)是任意選擇的適應(yīng)參數(shù)11ttt-1tttB (x,y)=I (x,y)B (x,y)=I (x,y)+(1-)B(x,y)1I (x,y)-B (x,y) TD (x,y)=0otherwiseDefaut: =

13、0.03，T=60雙背景模型 33的鄰里差分的鄰里差分- -111212i=-1 j=-1(I ,I )=I (x+i,y+ j)-I (x+i,y+ j)其中：其中：tLTttSTbDif = (I ,B),Dif = (I ,B)Default：Tb=60, Tt=60tbD (x , y ) = M Mbbb1Dif (x,y)TM (x,y)=0otherwisettt1Dif (x,y)TM (x,y)=0otherwise當(dāng)前幀當(dāng)前幀k短期背景短期背景(前一幀前一幀k-1)長(zhǎng)期背景長(zhǎng)期背景(中值模型中值模型)BLT最大不相似模型*沒(méi)有常數(shù)沒(méi)有常數(shù),包含大量光噪，需要去噪和形態(tài)濾波包

14、含大量光噪，需要去噪和形態(tài)濾波N：最小灰度值：最小灰度值M：最大灰度值：最大灰度值MD：最大幀間差：最大幀間差ttttttN (x,y)-I (x,y) MD (x,y)1D(x,y)=M (x,y)-I (x,y) MD (x,y)0otherwise單高斯模型假設(shè)每個(gè)像素的灰假設(shè)每個(gè)像素的灰度在時(shí)間域上滿足度在時(shí)間域上滿足正態(tài)分布正態(tài)分布:tt1I (x,y)-(x,y) (x,y)D(x,y) =0otherwise簡(jiǎn)單統(tǒng)計(jì)差分：簡(jiǎn)單統(tǒng)計(jì)差分：2222tt-1tt-1tt-1tt-1t-111 t -1 = +I -, = +I -tttDefault： = 4.5單 高 斯 模 型 ：

15、單 高 斯 模 型 ：tt-1t222tt-1tt2t-1t2= + (1 - )I= + (1 - )(I - )(- I )1 = exp-22混合高斯模型為了描述分布形式更為復(fù)雜的背景（特別是在有微小重為了描述分布形式更為復(fù)雜的背景（特別是在有微小重復(fù)運(yùn)動(dòng)的場(chǎng)合，如搖動(dòng)的樹葉、灌木叢、旋轉(zhuǎn)的風(fēng)扇、復(fù)運(yùn)動(dòng)的場(chǎng)合，如搖動(dòng)的樹葉、灌木叢、旋轉(zhuǎn)的風(fēng)扇、海面波濤、雨雪天氣、光線反射等），有必要應(yīng)用到多海面波濤、雨雪天氣、光線反射等），有必要應(yīng)用到多模態(tài)的分布形式。模態(tài)的分布形式。Stauffer等用多個(gè)單高斯函數(shù)來(lái)描述等用多個(gè)單高斯函數(shù)來(lái)描述場(chǎng)景背景，并且利用在線估計(jì)來(lái)更新模型，可靠地處理場(chǎng)景背景

16、，并且利用在線估計(jì)來(lái)更新模型，可靠地處理了光照緩慢變化、背景混亂運(yùn)動(dòng)（樹葉晃動(dòng)）等影響。了光照緩慢變化、背景混亂運(yùn)動(dòng)（樹葉晃動(dòng)）等影響?；旌细咚鼓Ｐ蚾 設(shè)用來(lái)描述每個(gè)像素點(diǎn)背景的高斯分布共有 K個(gè)，分別記為 。各高斯分布分別具有不同的權(quán)值 和 優(yōu)先級(jí) ，它們總是按照優(yōu)先級(jí)從高到低的次序排序。 包括模型初始化、模型匹配與參數(shù)更新、生成背景分布和檢測(cè)前景四部分。 ,( ,),1,2,.,i ti txiK,1(1)Ki ti ti1/2,ii ti tP模型初始化o 第1幀圖像初始化混合高斯模型：當(dāng)前像素的顏色值初始化均值初始較大標(biāo)準(zhǔn)方差 =30.給第一個(gè)高斯分布一個(gè)較大的權(quán)重0.5，其余的高斯分

17、布權(quán)重為0.5/(K-1)0模型匹配與參數(shù)更新o 將新像素 與模型中的K個(gè)分布按序匹配，若 與某分布滿足式 （D1為自定義參數(shù)），則 與該高斯分布匹配，其參數(shù)按下式更新。o o 式中 是自定義的學(xué)習(xí)率， 是參數(shù)學(xué)習(xí)率。不匹配的分布僅權(quán)值按 衰減。o 若無(wú)分布和 匹配，則最小權(quán)值分布被替換成均值為 ，標(biāo)準(zhǔn)差為 ，權(quán)值為 的高斯分布。其余分布僅權(quán)值按 更新。tItI,11,1ti ti tIDtI,1,1222,1,(1)(1)(1)()i ti ti ti tti ti tti tII 01, i t,1(1)i ti t tI0,1(1)K tK t ,1(1)i ti t tItI生成背景分

18、布 o 分布按優(yōu)先級(jí) 從大到小排列，T為背景權(quán)值部分和閾值，如果前 個(gè)分布的權(quán)值和剛大于T，則這些分布是背景分布，其它為前景分布。 ,/i ti tBN檢測(cè)前景 o 若所有背景分布與 都滿足下式，則判定為前景點(diǎn)，否則為背景點(diǎn)。（D2為自定義參數(shù)）tI,2,|,1,2,.,ti ti tBIDiN混合高斯模型流程圖,1,1222,1,(1)(1)(1)()i ti ti ti tti ti tti tII 更新方程：更新方程：融合了背景減除法的改進(jìn)混合高斯模型o 混合高斯模型使用固定的學(xué)習(xí)率 ，如果其值較小，模型的初始建立時(shí)間較長(zhǎng)，如果其值較大，則會(huì)降低模型對(duì)視頻中噪聲(如樹葉搖晃)的抑制作用。

19、o 背景能夠適應(yīng)緩慢的光照變化、樹葉搖動(dòng)等因素引起的變化，而對(duì)于突然的光照變化適應(yīng)性慢，檢測(cè)結(jié)果中含有大量的陰影。o 由于樹葉的搖動(dòng)在水面或反光物體上產(chǎn)生的突然反光不服從高斯分布，從而在檢測(cè)結(jié)果中出現(xiàn)頻繁的閃動(dòng)。 針對(duì)這些問(wèn)題，融合背景減除法對(duì)混合高斯進(jìn)行改進(jìn)，在初始建模時(shí)采用新的更新算法，能夠快速準(zhǔn)確地建立初始背景模型。融合了背景減除法的改進(jìn)混合高斯模型混合高斯模型更新方程：混合高斯模型更新方程：i,ti,t-1ti,ti,t-1222ti,ti,t-1i,t=(1-)+=(1-)+I=(1-)+(I - )融合背景減除法融合背景減除法:t1,tttCGCB (x,y)=(x,y)1if I

20、 (x,y)-B (x,y) TD =0elseD=D D為改進(jìn)的混合高斯的檢測(cè)結(jié)果為改進(jìn)的混合高斯的檢測(cè)結(jié)果GDDefault:T=50，N=2001/tif,tN=1/Nelseii,t1/Mif,t N =elseMi為每個(gè)高斯分布相匹配為每個(gè)高斯分布相匹配的次數(shù)的次數(shù) 混合高斯及改進(jìn)算法實(shí)驗(yàn)結(jié)果（1）圖圖1 高速高速路監(jiān)控視路監(jiān)控視頻初始建頻初始建模實(shí)驗(yàn)結(jié)模實(shí)驗(yàn)結(jié)果果圖圖2戶外戶外停車場(chǎng)監(jiān)停車場(chǎng)監(jiān)控視頻初控視頻初始建模實(shí)始建模實(shí)驗(yàn)結(jié)果驗(yàn)結(jié)果 混合高斯建模，混合高斯建模，由于背景更新速由于背景更新速率較慢，在初始率較慢，在初始建模時(shí)建模時(shí)(第第120幀幀以前以前)，背景模型，背景模型不夠

21、健全，開始不夠健全，開始時(shí)檢測(cè)的結(jié)果殘時(shí)檢測(cè)的結(jié)果殘缺或漏檢。而改缺或漏檢。而改進(jìn)混合高斯算法進(jìn)混合高斯算法在第在第40幀左右建幀左右建立初始模型，快立初始模型，快速檢測(cè)出完整性速檢測(cè)出完整性好的運(yùn)動(dòng)目標(biāo)，好的運(yùn)動(dòng)目標(biāo)，即該改進(jìn)的方法即該改進(jìn)的方法能夠快速建立初能夠快速建立初始背景模型。始背景模型。 混合高斯及改進(jìn)算法實(shí)驗(yàn)結(jié)果（2）改進(jìn)算法有效地抑制反光物體帶來(lái)的頻繁閃改進(jìn)算法有效地抑制反光物體帶來(lái)的頻繁閃動(dòng)，并且檢測(cè)出的運(yùn)動(dòng)目標(biāo)含較少陰影。動(dòng)，并且檢測(cè)出的運(yùn)動(dòng)目標(biāo)含較少陰影。多模態(tài)均值oS.Apewokin等人針對(duì)背景建模速度慢，計(jì)算和存貯量大等問(wèn)題，提出了多模態(tài)均值法，利用多個(gè)均值描述背景

22、，建?？?，計(jì)算量小，存貯空間少，能在嵌入式系統(tǒng)上實(shí)時(shí)檢測(cè)出含少量陰影的運(yùn)動(dòng)目標(biāo)，但其不適應(yīng)復(fù)雜背景中重復(fù)的擾動(dòng)、前景與背景的轉(zhuǎn)化等。 o1S. Apewokin, B. Valentine, L. Wills, et al. Multimodal Mean Adaptive Backgrounding for Embedded Real-Time Video Surveillance: IEEE Conference on Computer Vision and Pattern RecognitionC, S.l.:s.n.,2007:1-6.o2S. Apewokin, B. Valenti

23、ne, D. Forsthoefel, et al. Embedded Real-Time Surveillance Using Multimodal Mean Background ModelingJ. Embedded Computer Vision, 2009:163-175.多模態(tài)均值o 運(yùn)用像素 與M個(gè)背景比較，不斷更新模型均值，每個(gè)背景 包含與之匹配的RGB各通道值總和 、匹配次數(shù) 、在時(shí)間軸上相鄰兩滑動(dòng)窗口內(nèi)的匹配次數(shù) 和 。其檢測(cè)過(guò)程包括背景匹配與參數(shù)更新、前景檢測(cè)和背景替換。 tI, , , ,i ti R ti G ti B ti ti ti tBSSSCrp, , ,i

24、R ti G ti B tSSS, i tC, i tr, i tp背景匹配與參數(shù)更新 o 為t-1幀第i個(gè)背景j通道的均值 。若像素 滿足 則與背景 匹配，用如下更新。 , ,1, ,1,1/i j ti j ti tSC, ,j tIjRG B, ,1,1( |) ()j ti j tji tFGjIECT, 1i tB, , ,1,1212bi j ti j tj tbi ti tSSICC1,mod00,if tdbelse其中,1,1,10,mod01,mod0,mod0,mod0i ti ttii ti ti ttiif twrrif IBtwrif twppif IBtw匹配匹配

25、前景檢測(cè)與背景替換 o 前景檢測(cè):若無(wú)背景與 匹配，則當(dāng)前像素判為前景。o 背景替換:當(dāng) 為前景時(shí)，計(jì)算背景在兩滑動(dòng)窗口內(nèi)匹配次數(shù)和 。找出M個(gè)背景中滿足 的背景構(gòu)成集合L。L中的模型表明在兩滑動(dòng)窗口中匹配次數(shù)較少，不能很好描述背景。若L中有背景，則替換其中最小 的背景。若L為空，則替換M背景中最小 的背景。 tItI,1,1,1i ti ti tRrp,1i tRw M,1i tC,1i tCmin,1,0,0R tG tB tBIII實(shí)驗(yàn)結(jié)果與分析基于紋理的背景模型o LBP（Local Binary Pattern）是描述圖像局部空間結(jié)構(gòu)的非參數(shù)紋理算子，在紋理分類中有較高區(qū)分力，對(duì)亮度

26、改變不敏感，計(jì)算量小等優(yōu)點(diǎn)。初始LBP僅通過(guò)像素的8鄰域得到，為描述大尺度的紋理，Ojala等把其定義擴(kuò)展為具有不同半徑的圓形鄰域。o 本文LBP算子如下式。1,01,0(,)()2 , ( )0,PnP Rccncnif xLBPx yS iiS xelse紋理背景模型o 背景模型由一組自適應(yīng)的LBP直方圖來(lái)描述， 。模型的每個(gè)直方圖有個(gè)權(quán)重 ，且所有權(quán)重和為1。o 直方圖相似性度量o 是直方圖，N=紋理模型更新與背景選取o 模型更新o 如果模型所有直方圖相似性都低于 ，則更新權(quán)重最低的直方圖模型，賦低的初始權(quán)重，如0.01。o 如果模型中有直方圖相似性大于等于 ，則匹配。選擇匹配中最高相似

27、性的直方圖，更新其bins來(lái)適應(yīng)新的數(shù)據(jù)：o 權(quán)重更新：o 此時(shí) 為1，其它為0。o 背景選取o 模型直方圖按權(quán)重降序排列，并且選取前B個(gè)直方圖作為背景直方圖： 前景檢測(cè)o 當(dāng)前像素的直方圖與當(dāng)前的B個(gè)背景直方圖比較，計(jì)算其相似度。如果至少一個(gè)背景直方圖相似度高于閾值 ，這個(gè)像素為背景。否則為前景。 實(shí)驗(yàn)結(jié)果背景減除法 現(xiàn)存問(wèn)題o 關(guān)鍵在于背景模型的建立、保持、更新。主要存在三個(gè)問(wèn)題：1）背景模型沒(méi)有充分利用圖像中相鄰像素點(diǎn)之間的相關(guān)性信息。 運(yùn)動(dòng)前景中具有的漏檢與虛警區(qū)域，通常用形態(tài)學(xué)濾波和判斷連通區(qū)域大小的方法來(lái)消除孤立的小區(qū)域及合并相鄰的不連通前景區(qū)域。2）背景模型的更新速度不能和運(yùn)動(dòng)目

28、標(biāo)的運(yùn)動(dòng)速度很好地匹配。 如果更新速度比監(jiān)控場(chǎng)景的變化速度慢，則容易產(chǎn)生虛影（計(jì)算虛影區(qū)域的光流場(chǎng)可以消除虛影）。相反，如果背景模型的更新速度太快，也容易出現(xiàn)運(yùn)動(dòng)目標(biāo)的漏檢。為改善檢測(cè)效果，可使用多個(gè)具有不同更新速度的背景模型，或多攝像機(jī)從不同角度對(duì)同一場(chǎng)景進(jìn)行監(jiān)控，有效利用深度信息。3）復(fù)雜場(chǎng)景中搖動(dòng)的樹葉與運(yùn)動(dòng)陰影也被檢測(cè)為運(yùn)動(dòng)前景。 由搖動(dòng)樹葉所產(chǎn)生的運(yùn)動(dòng)前景混亂問(wèn)題（混合高斯背景模型與數(shù)學(xué)形態(tài)學(xué)濾波）。消除陰影對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)的干擾是非常困難的問(wèn)題，特別是處理灰度序列圖像中的陰影。算法評(píng)價(jià)o 魯棒性：在各種環(huán)境條件(光照變化、背景擾動(dòng))下實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的完整分割。o 準(zhǔn)確性：算法應(yīng)具有較低

29、的漏檢、誤檢(虛警)，并能夠得到運(yùn)動(dòng)目標(biāo)盡量完整的信息。o 復(fù)雜性：在保證算法處理效果的前提下，算法的時(shí)空復(fù)雜度應(yīng)盡可能小，以保證算法的實(shí)時(shí)性與實(shí)用性。o 通用性：算法對(duì)先驗(yàn)信息(色彩、形狀、運(yùn)動(dòng)和應(yīng)用場(chǎng)景等)的依賴程度應(yīng)盡可能低。定量分析算法準(zhǔn)確性o 準(zhǔn)確率P、查全率R和Jaccard系數(shù)o 設(shè)TP表示正確檢測(cè)的目標(biāo)像素?cái)?shù)；FP表示將背景像素錯(cuò)檢為目標(biāo)像素的個(gè)數(shù)，即造成虛警的誤檢像素?cái)?shù)；FN表示將目標(biāo)像素錯(cuò)檢為背景像素的個(gè)數(shù)，即漏檢像素?cái)?shù)。o 準(zhǔn)確率P反映虛警率，值越大虛警率越低；查全率R反映目標(biāo)分割的完整性，值越大完整性越高。 權(quán)衡準(zhǔn)確率和查全率，反映算法綜合性能。 ,cTPTPTPPRJ

30、TPFPTPFNTPFPFNcJcJ較流行背景減除法實(shí)驗(yàn)結(jié)果圖Boots WavingTrees OutDetect Boots WavingTrees OutDetect原圖原圖 基準(zhǔn)基準(zhǔn)圖像圖像 中值中值模型模型 時(shí)間時(shí)間差分差分 鏈鏈碼碼本本 混混合合高高斯斯 多多模模態(tài)態(tài)均均值值 較流行背景減除法實(shí)驗(yàn)結(jié)果客觀評(píng)價(jià)混合高斯、多模態(tài)混合高斯、多模態(tài)均值：準(zhǔn)確率均值：準(zhǔn)確率P、查、查全率全率R、Jaccard系系數(shù)數(shù)Jc較高，檢測(cè)效較高，檢測(cè)效果較好果較好參考文獻(xiàn)o1Dr Alan M.Mclvor. Background Subtraction Techniques: Proc. of I

31、mage and Vision Computing C. New Zealand:s.n., 2000.o2裴巧娜 .基于光流法的運(yùn)動(dòng)目檢測(cè)與跟蹤技術(shù)D, 北方工業(yè)大學(xué)，2009. o3Berthold K.P. Horn, Brian G. Schunch. Determining Optical FlowJ. Artificial Intelligence, 1981,17:185-203. o4C. Stauffer, W. E. L. Grimson. Learning Patterns of Activity Using Real-Time Tracking: Proc IEEE T

32、rans. on PAMIC. Washinton:IEEE Computer Society,2000,22(8):747-757.o5Kyungnam Kim, Thanarat H.Chalidabhongse, David Harwood, et al. Real-time foreground-background segmentation using codebook modelJ. Real-time Imaging, 2005,11(3):172-185. o6Heikkila M, Pietikainen M, Heikkila J. A texture-based meth

33、od for modeling the background detecting moving objectsJ. IEEE Trans Pattern Analysis and Machine Intelligence, 2006, 28(4): 657-662.參考文獻(xiàn)o7S. Apewokin, B. Valentine, L. Wills, et al. Multimodal Mean Adaptive Backgrounding for Embedded Real-Time Video Surveillance: IEEE Conference on Computer Vision

34、and Pattern RecognitionC, S.l.:s.n.,2007:1-6.o8王典. 基于混合高斯的背景建模與陰影抑制算法研究D. 西北工業(yè)大學(xué), 2006.o9Chris Stauffer, W.E.L Grimson. Adaptive background mixture models for real-time trackingJ.IEEE,1999.o10S. Apewokin, B. Valentine, D. Forsthoefel, et al. Embedded Real-Time Surveillance Using Multimodal Mean Back

35、ground ModelingJ. Embedded Computer Vision, 2009:163-175.o11Jian Sun, Weiwei Zhang. Background Cut. Computer Vision ECCV 2006.o12Sen-Ching S. Cheung, Chandrika Kamath. Robust techniques for background subtraction in urban traffic video: Visual Communications and Image Processing on SPIEC. Sethuraman

36、 Panchanathan,2004,5308(1):881-892. Real-time foregroundbackground segmentationusing codebook modelKyungnam Kim報(bào)告人：霍東海參考網(wǎng)絡(luò)資源o Codebook背景建模原理（中文簡(jiǎn)介）o 網(wǎng)址：http:/ K. Kim, T. H. Chalidabhongse, D. Harwood and L. Davis, Real-time Foreground-Background Segmentation using Codebook Model, Real-time Imaging, V

37、olume 11, Issue 3, Pages 167-256, June 2005.o 相關(guān)文獻(xiàn)nWren CR, Azarbayejani A, Darrell T, Pentland A. Pfinder: real-time tracking of the human body . IEEE Transactions on Pattern Analysis and Machine Intelligence 1997; 19(7):7805.nHorprasert T, Harwood D, Davis L S. A statistical approach for real-time

38、 robust background subtraction and shadow detection. IEEE Frame-Rate Applications Workshop,Kerkyra,Greece;1999.nStauffer C, Grims on WEL. Adaptive background mixture models for real-time tracking. IEEE International Conference on Computer Vision and Pattern Recognition 1999; 2:24652.摘要o 我們提出一種實(shí)時(shí)的前景背

39、景分割算法。在一個(gè)長(zhǎng)時(shí)間序列的樣本訓(xùn)練集中，每一個(gè)像素的背景像素值都被放入到一個(gè)稱為codebook的壓縮的背景模型中，這樣可以允許我們建立一個(gè)結(jié)構(gòu)化結(jié)構(gòu)化的背景模型，從而可以適應(yīng)在有限內(nèi)存下的以準(zhǔn)周期準(zhǔn)周期運(yùn)動(dòng)的變化場(chǎng)景的背景。這個(gè)codebook背景模型在內(nèi)存和速度上都比其他的背景建模技術(shù)更有優(yōu)勢(shì)。我們的方法可以處理場(chǎng)景中包含運(yùn)動(dòng)背場(chǎng)景中包含運(yùn)動(dòng)背景景和全局光照變化全局光照變化的情況，對(duì)不同類型的視頻有點(diǎn)非常魯棒的檢測(cè)效果。o 在基本模型的基礎(chǔ)上，我們提出了兩種改進(jìn)算法，一是多層codebook背景建模，令一種是自適應(yīng)的codebook背景建模。o 為了可以評(píng)估算法性能，我們應(yīng)用誤檢率(P

40、erturbation Detection Rate)分析來(lái)比較了兩段視頻在4種背景建模方法下的性能。5W理論o Who （誰(shuí)）o Says What （說(shuō)了什么）o In Which Channal （通過(guò)什么渠道）o To Whom （向誰(shuí)說(shuō)）o With What Effect （有什么效果）Outlineo To Whom (What Problem)： BGS (foreground-background segmentation)o Who：Kim K ，CV Lab ， UMDo Why： 提出codebook的假設(shè)和原因，主要包括光照實(shí)驗(yàn)o What： codebook是什么，

41、包括模型、算法、過(guò)程；o What effect：real-time，背景多模態(tài)，全局光照變化，訓(xùn)練階段允許少量前景的存在o Codebook背景建模算法的改進(jìn)與發(fā)展Outlineo To Whom (What Problem)： BGS (foreground-background segmentation)o Who：Kim K ，CV Lab ， UMDo Why： 提出codebook的假設(shè)和原因，主要包括光照實(shí)驗(yàn)o What： codebook是什么，包括模型、算法、過(guò)程；o What effect：real-time，背景多模態(tài)，全局光照變化，訓(xùn)練階段允許少量前景的存在o Code

42、book背景建模算法的改進(jìn)與發(fā)展BGSo 前景提取-=視頻序列背景運(yùn)動(dòng)前景What we are looking for!背景建模前景檢測(cè)運(yùn)動(dòng)跟蹤Outlineo To Whom (What Problem)： BGS (foreground-background segmentation)o Who：Kim K ，CV Lab ， UMDo Why： 提出codebook的假設(shè)和原因，主要包括光照實(shí)驗(yàn)o What： codebook是什么，包括模型、算法、過(guò)程；o What effect：real-time，背景多模態(tài)，全局光照變化，訓(xùn)練階段允許少量前景的存在o Codebook背景建模算法

43、的改進(jìn)與發(fā)展o Whoo第一作者：Kyungnam Kim(韓國(guó))o個(gè)人主頁(yè)：/knkim/o單位：Computer Vision Lab, Department of Computer Science, University of Maryland, College Park, MD 20742, USAo簡(jiǎn)歷：nPh. D UMD, College Park, Computer Vision Laboratory, 2005nM.Sc, Information and Communication, K wanju Institute of S

44、cience and Technology (K-JIST), 1999nB. Eng Pusan National University , 1997o研究方向：nmulti-camera / multi-hypothesis / multi-target segmentation and trackingnbackground subtractionnvisual surveillancenhuman detection/trackingnactivity analysis, image/video quality measuremento期刊：1，會(huì)議：17，專利：1（韓國(guó)）Outlin

45、eo To Whom (What Problem)： BGS (foreground-background segmentation)o Who：Kim K ，CV Lab ， UMDo Why： 提出codebook的假設(shè)和原因，主要包括光照實(shí)驗(yàn)o What： codebook是什么，包括模型、算法、過(guò)程；o What effect：real-time，背景多模態(tài)，全局光照變化，訓(xùn)練階段允許少量前景的存在o Codebook背景建模算法的改進(jìn)與發(fā)展 WhyOutlineo To Whom (What Problem)： BGS (foreground-background segmentat

46、ion)o Who：Kim K ，CV Lab ， UMDo Why： 提出codebook的假設(shè)和原因，主要包括光照實(shí)驗(yàn)o What： codebook是什么，包括模型、算法、過(guò)程；o What effect：real-time，背景多模態(tài)，全局光照變化，訓(xùn)練階段允許少量前景的存在o Codebook背景建模算法的改進(jìn)與發(fā)展ModelModelModelAlgorithmBG Modeling均值A(chǔ)lgorithmBG Modelingo colordist(xt,vm)；AlgorithmBG Modelingo brightness(I,(Ihigh,Ilow)；AlgorithmBG

47、RefinementAlgorithmFG subtraction這里加入其他前景檢測(cè)的方法配合使用Outlineo To Whom (What Problem)： BGS (foreground-background segmentation)o Who：Kim K ，CV Lab ， UMDo Why： 提出codebook的假設(shè)和原因，主要包括光照實(shí)驗(yàn)o What： codebook是什么，包括模型、算法、過(guò)程；o What effect：real-time，背景多模態(tài)，全局光照變化，訓(xùn)練階段允許少量前景的存在o Codebook背景建模算法的改進(jìn)與發(fā)展What effecto 對(duì)壓縮視

48、頻的處理方面對(duì)壓縮視頻的處理方面 What effecto 多模態(tài)背景的檢測(cè)情況多模態(tài)背景的檢測(cè)情況 What effecto 非干凈背景訓(xùn)練非干凈背景訓(xùn)練 What effecto 長(zhǎng)時(shí)間的背景視頻序列長(zhǎng)時(shí)間的背景視頻序列 MOGKernelCB內(nèi)存需求200bytes900bytes112bytesOutlineo To Whom (What Problem)： BGS (foreground-background segmentation)o Who：Kim K ，CV Lab ， UMDo Why： 提出codebook的假設(shè)和原因，主要包括光照實(shí)驗(yàn)o What： codebook是什

49、么，包括模型、算法、過(guò)程；o What effect：real-time，背景多模態(tài)，全局光照變化，訓(xùn)練階段允許少量前景的存在o Codebook背景建模算法的改進(jìn)與發(fā)展改進(jìn)與發(fā)展o 作者自己的改進(jìn)作者自己的改進(jìn) n 多層codebook建模在系統(tǒng)運(yùn)行過(guò)程中背景可能會(huì)發(fā)生變動(dòng)，比如背景中放進(jìn)去了一輛汽車就不再移動(dòng)等情況 n 自適應(yīng)性的背景更新 全局光照變化的情況，比如室外環(huán)境中天空中突然飄過(guò)一片云遮擋了太陽(yáng)，這時(shí)候全局光照就會(huì)變暗，導(dǎo)致圖像像素值減小 多層codebook建模o Hcache o Tho Taddo Tdelete符合永久模型符合永久模型的背景的背景符合非永久模型的背景符合緩存

50、的前景什么都不符合什么都不符合的前景的前景多層codebook建模自適應(yīng)性的背景更新o Learning rateo 質(zhì)心的更新o 投影的更新？自適應(yīng)性的背景更新改進(jìn)與發(fā)展o 其他人的改進(jìn)其他人的改進(jìn) n Real-time Background Modeling/Subtraction using Two-Layer Codebook Model與作者的兩層改進(jìn)模型有些許區(qū)別n 基于LBP(Local Binary Patterns)的codebook改進(jìn)算法 補(bǔ)充局部紋理模型到codebook建模中n Real Time Foreground-Background Segmentation

51、 Using a Modified Codebook Model修改了算法參數(shù)方面的東西改進(jìn)與發(fā)展n Box-based Codebook Model for Real-time Objects Detection 背景模型簡(jiǎn)化為Boxn Spatio-temporal context for codebook-based dynamic background subtraction添加了時(shí)空上下文到算法中n Gaussian-Based Codebook Model for Video Background Subtraction結(jié)合高斯模型到codebook中n “Hybrid Cone-

52、Cylinder” Codebook Model for Foreground Detection with Shadow and Highlight Suppression將背景假設(shè)為圓錐圓柱混合模型Two-Layer Codebook Modelo Real-time Background Modeling/Subtraction using Two-Layer Codebook Model . o Author: Mohamod Hoseyn Sigari. Iran. o 修改：n輸入圖片序列為灰度圖像，原始codebook使用的是RGB空間圖像n原始codebook算法，亮度的上下限

53、作者進(jìn)行了放大和限制（即引入了alpha和beta用來(lái)解決highlight和shade的問(wèn)題），本文作者是將亮度的上下限修改為統(tǒng)計(jì)量最大亮度和最小亮度n在判斷codeword是否匹配的地方，原始codebook基于兩個(gè)條件colordist(xt,vm)和brightness(I,(Ihigh,Ilow)，本文作者修改為一個(gè)函數(shù)brightness(I,(Ihigh,Ilow)，即只判斷亮度是否落在上下限范圍內(nèi)Two-Layer Codebook ModelLBPo Layered Video Background Model and Object Detect ion Based on L

54、ocal Binary Pattern and Codebook / Layered Video Objects Detection Based on LBP and Codebook （重慶郵電大學(xué) ）n局部二值模式的紋理信息進(jìn)行第一層分塊背景建模n在第一層上選取代表點(diǎn)進(jìn)行第二層碼本背景建模n利用局部紋理模型很好的消除了陰影 o Segmentation of Moving Foreground Objects using Codebook and Local Binary Patterns （北京交通大學(xué) ）o 前景檢測(cè)中加入了單高斯判斷和LBP判斷 o 三種算法的結(jié)合 LBP（重慶郵電大

55、學(xué) ）LBP（重慶郵電大學(xué) ）LBP（北京交通大學(xué) ）Modified Codebook Modelo Real Time Foreground-Background Segmentation Using a Modified Codebook Model o Atif Ilyas, Mihaela Scuturici, Serge Miguet . 里昂大學(xué) o 改進(jìn)：n 只有最大負(fù)運(yùn)行長(zhǎng)度小于某一閾值和codeword的訪問(wèn)頻率大于某一閾值的像素才能進(jìn)入到匹配階段n 在緩存中的背景模型中的codeword不僅要達(dá)到待夠一定長(zhǎng)的時(shí)間的限制，而且還要訪問(wèn)的頻率也大于某一預(yù)設(shè)的閾值才能加入到背景

56、模型中去 Modified Codebook ModelBox-based Codebooko Box-based Codebook Model for Real-time Objects Detection o 華中科技大學(xué)o 修改n HSV空間 n Box-basedSpatio-temporal context codebooko Spatio-temporal context for codebook-based dynamic background subtraction o 中科院成都光電所 o 兩種修改n 加入空間上下文n 在加入空間因素的基礎(chǔ)上也加入了時(shí)間的因素Spatio-t

57、emporal context codebookGaussian-Based Codebooko Gaussian-Based Codebook Model for Video Background Subtraction o 清華大學(xué) o 修改n 在codebook算法中加入了高斯分布因素，利用一下公式判斷codeword是否匹配的問(wèn)題 Gaussian-Based Codebook“Hybrid Cone-Cylinder” Codebooko “Hybrid Cone-Cylinder” Codebook Model for Foreground Detection with Shado

58、w and Highlight Suppression o University of California, San Diego CVRR Laboratoryo 修改n HSV空間 n 圓柱圓錐混合(Hybrid Cone-Cylinder)模型 “Hybrid Cone-Cylinder” Codebook總結(jié)o對(duì)codebook的參數(shù)、程序策略的改進(jìn)；（Modified Codebook Model / LTwo-Layer Codebook Model）o對(duì)codebook模型本身的改進(jìn)；（“Hybrid Cone-Cylinder” Codebook / Box-based Cod

59、ebook）o與其他背景建模方法的結(jié)合使用；（Gaussian-Based Codebook / LBP）o對(duì)codebook在像素級(jí)上的擴(kuò)展。（Spatio-temporal context codebook）ViBe: A Universal Background Subtraction Algorithm for Video Sequences；ViBe+：Improvement for ViBe莊偉源outlineo 1) INTRODUCTION o 2) REVIEW OF BACKGROUND SUBTRACTION ALGORITHMSo 3) DESCRIPTION OF V

60、IBEo a. classificationo b. Initializationo c. updateo 4) EXPERIMENTAL RESULTSo 5) THE IMPROVEMENT OF VIBE:VIBE+1）INTRODUCTIONo Goal:o 自動(dòng)檢測(cè)，分割并且跟蹤視頻中的目標(biāo)；o Concept：o 通過(guò)用現(xiàn)在的圖像去對(duì)比已知的觀察圖像（背景圖像），該觀察圖像不含有任何感興趣的對(duì)象，是背景模型(或背景圖像)。這個(gè)對(duì)比過(guò)程被稱為前景檢測(cè)。o Problem Characteristics: o Ghosto ineffective for most practical situations(fast illumination