目標(biāo)檢測(cè)、目標(biāo)跟蹤報(bào)告課件

視頻監(jiān)控小組工作報(bào)告報(bào)告人：蔣老師09.11.17視頻監(jiān)控小組工作報(bào)告報(bào)告人：蔣老師運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估計(jì)車輛檢測(cè)與跟蹤5圖像超分辨率重建2運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估動(dòng)態(tài)場(chǎng)景的運(yùn)動(dòng)檢測(cè)視頻圖像中的目標(biāo)檢測(cè)與跟蹤，是計(jì)算機(jī)視覺(jué)的基礎(chǔ)課題，同時(shí)具有廣泛的應(yīng)用價(jià)值。依照目標(biāo)與攝像頭之間的關(guān)系：靜態(tài)場(chǎng)景目標(biāo)檢測(cè)相對(duì)簡(jiǎn)單，研究漸趨成熟動(dòng)態(tài)場(chǎng)景相對(duì)復(fù)雜，成為當(dāng)前研究領(lǐng)域的熱點(diǎn)靜態(tài)場(chǎng)景幀差的一個(gè)例子3動(dòng)態(tài)場(chǎng)景的運(yùn)動(dòng)檢測(cè)視頻圖像中的目標(biāo)檢測(cè)與跟蹤，是計(jì)算機(jī)視覺(jué)的視頻序列運(yùn)動(dòng)檢測(cè)對(duì)于動(dòng)態(tài)場(chǎng)景，由于目標(biāo)與攝像頭之間存在復(fù)雜的相對(duì)運(yùn)動(dòng)，運(yùn)動(dòng)檢測(cè)富有挑戰(zhàn)性。傳統(tǒng)的幀差方法已經(jīng)不再適用，如何能對(duì)全局的運(yùn)動(dòng)進(jìn)行估計(jì)和補(bǔ)償，成為問(wèn)題的關(guān)鍵。第一幀幀差圖像4視頻序列運(yùn)動(dòng)檢測(cè)對(duì)于動(dòng)態(tài)場(chǎng)景，由于目標(biāo)與攝像頭之間存在復(fù)雜的解決思路要檢測(cè)動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)目標(biāo)，關(guān)鍵在于對(duì)場(chǎng)景的運(yùn)動(dòng)進(jìn)行估計(jì)，通過(guò)估計(jì)出的運(yùn)動(dòng)參數(shù)補(bǔ)償其運(yùn)動(dòng)，最后使用幀差法得到運(yùn)動(dòng)目標(biāo)。提取特征點(diǎn)特征點(diǎn)匹配最小二乘求運(yùn)動(dòng)參數(shù)提取特征點(diǎn)前一幀圖像后一幀圖像運(yùn)動(dòng)補(bǔ)償幀差法運(yùn)動(dòng)目標(biāo)5解決思路要檢測(cè)動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)目標(biāo)，關(guān)鍵在于對(duì)場(chǎng)景的運(yùn)動(dòng)進(jìn)行求解全局運(yùn)動(dòng)參數(shù)前一幀后一幀求特征點(diǎn)并匹配運(yùn)動(dòng)補(bǔ)償補(bǔ)償后的幀差圖像6求解全局運(yùn)動(dòng)前一幀后一幀求特征點(diǎn)并匹配運(yùn)動(dòng)補(bǔ)償補(bǔ)償后的幀差圖實(shí)驗(yàn)結(jié)果與普通幀差法的比較

第50幀第80幀第5幀幀差法特征匹配的方法原序列7實(shí)驗(yàn)結(jié)果與普通幀差法的比較

第50幀第80幀第5幀幀差法特征基于圖像金字塔分解的全局運(yùn)動(dòng)估計(jì)

采用了3層金字塔進(jìn)行多分辨率計(jì)算,而且在每層迭代計(jì)算中,將基于塊的外點(diǎn)去除算法與特征點(diǎn)提取算法相結(jié)合,這樣既加快了算法的速度,又提高了計(jì)算結(jié)果的準(zhǔn)確性。8基于圖像金字塔分解的全局運(yùn)動(dòng)估計(jì)采用了3層金字塔進(jìn)行多分辨基本步驟如下：用高斯圖像構(gòu)造法構(gòu)造圖像金字塔；對(duì)金字塔頂層圖像進(jìn)行全局運(yùn)動(dòng)估計(jì)，求得運(yùn)動(dòng)參數(shù)；將頂層金字塔求得的參數(shù)集隱射到金字塔的中間層，并對(duì)該層進(jìn)行全局運(yùn)動(dòng)估計(jì)，求得相應(yīng)的運(yùn)動(dòng)參數(shù)；將金字塔中間層的參數(shù)集映射到金字塔的底層,對(duì)該層進(jìn)行全局運(yùn)動(dòng)估計(jì)，求得該層的運(yùn)動(dòng)參數(shù)集,即最終求得的參數(shù)集。利用求得的最終參數(shù)集，對(duì)圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償，將運(yùn)動(dòng)補(bǔ)償后的圖像與前一幀圖像進(jìn)行差值。9基本步驟如下：9下圖給出了運(yùn)動(dòng)補(bǔ)償與直接幀差的結(jié)果比較圖1

Coastguard序列圖像圖2直接幀差和運(yùn)動(dòng)補(bǔ)償后的差值圖比較10下圖給出了運(yùn)動(dòng)補(bǔ)償與直接幀差的結(jié)果比較10運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估計(jì)車輛檢測(cè)與跟蹤5圖像超分辨率重建11運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估目標(biāo)分割的意義與現(xiàn)狀運(yùn)動(dòng)目標(biāo)的準(zhǔn)確分割，對(duì)于獲取目標(biāo)的特征信息非常重要，直接影響到進(jìn)一步的運(yùn)動(dòng)目標(biāo)跟蹤的處理，傳統(tǒng)的運(yùn)動(dòng)目標(biāo)分割的算法主要有背景差分，相鄰幀間差分，光流場(chǎng)的方法，這些方法都有各自的缺點(diǎn)和不足，不能滿足準(zhǔn)確分割運(yùn)動(dòng)目標(biāo)的要求。12目標(biāo)分割的意義與現(xiàn)狀運(yùn)動(dòng)目標(biāo)的準(zhǔn)確分割，對(duì)于獲取目標(biāo)Ohlander等提出了一種多維直方圖閾值化分割方法，該方法直方圖閾值法不需要先驗(yàn)信息，計(jì)算量較小,但缺點(diǎn)是單獨(dú)基于顏色分割得到的區(qū)域可能是不完整的，而且沒(méi)有利用局部空間信息，分割不準(zhǔn)確。13Ohlander等提出了一種多維直方圖閾值化分割方法，該方法馬爾可夫隨機(jī)場(chǎng)分割目前基于馬爾可夫隨機(jī)場(chǎng)隨機(jī)場(chǎng)（MRF）運(yùn)動(dòng)目標(biāo)分割的方法在圖像分割領(lǐng)域影響越來(lái)越大，該方法與傳統(tǒng)方法和閾值法相比，由于基于MRF的運(yùn)動(dòng)目標(biāo)分割方法同時(shí)考慮了圖像顏色信息和空間關(guān)聯(lián)信息，因此分割效果較好。14馬爾可夫隨機(jī)場(chǎng)分割目前基于馬爾可夫隨機(jī)場(chǎng)隨機(jī)場(chǎng)（MR另外，MRF參數(shù)選取的好壞會(huì)直接影響到分割結(jié)果，Smits等研究雷達(dá)圖像分割時(shí)表明，馬爾可夫參數(shù)如果較大容易形成較長(zhǎng)的邊緣，較小容易形成微邊緣，而固定的馬爾可夫參數(shù)則使目標(biāo)的輪廓模糊，對(duì)分割出的目標(biāo)準(zhǔn)確判斷產(chǎn)生不利影響。15另外，MRF參數(shù)選取的好壞會(huì)直接影響到分割結(jié)果因此，我們提出一種基于自適應(yīng)權(quán)值的區(qū)域馬爾可夫隨機(jī)場(chǎng)的分割方法，結(jié)合分水嶺預(yù)分割算法，并利用形態(tài)濾波對(duì)分割結(jié)果進(jìn)行修正，較好地解決了分割不準(zhǔn)確，目標(biāo)信息丟失的問(wèn)題。16因此，我們提出一種基于自適應(yīng)權(quán)值的區(qū)域馬爾可夫隨機(jī)場(chǎng)的分割方基于MRF的運(yùn)動(dòng)目標(biāo)分割

馬爾可夫隨機(jī)場(chǎng)是把一維因果馬爾可夫鏈擴(kuò)展成二維的結(jié)果，Hammersley-Clifford定理指出了MRF和Gibbs分布之間的等價(jià)性，每個(gè)MRF都可以用一個(gè)Gibbs分布來(lái)描述，這樣就解決了MRF概率難求的問(wèn)題。17基于MRF的運(yùn)動(dòng)目標(biāo)分割馬爾可夫隨機(jī)場(chǎng)是把一維因果馬爾可夫

Gibbs分布可定義成如下公式：圖像上每一點(diǎn)的概率分布18Gibbs分布可定義成如下公式：圖像上每一點(diǎn)的概率分布18對(duì)于一幀CIF圖像，存在一系列的像素點(diǎn)，對(duì)于這些點(diǎn)存在一標(biāo)記場(chǎng)和事先觀察場(chǎng)，這樣馬爾可夫隨機(jī)場(chǎng)的運(yùn)動(dòng)目標(biāo)分割的問(wèn)題可以歸結(jié)為在事先觀察場(chǎng)和其它一系列約束條件下，確定運(yùn)動(dòng)目標(biāo)區(qū)域和背景區(qū)域的二值標(biāo)記問(wèn)題。19對(duì)于一幀CIF圖像，存在一系列的像素點(diǎn)，對(duì)于這些點(diǎn)存在一標(biāo)MRF運(yùn)動(dòng)目標(biāo)分割結(jié)果一

（a）實(shí)驗(yàn)序列1（b）固定閾值二值化（c）高斯模型分割（d）自適應(yīng)值MRF分割20MRF運(yùn)動(dòng)目標(biāo)分割結(jié)果一20MRF運(yùn)動(dòng)目標(biāo)分割結(jié)果二

（a）實(shí)驗(yàn)序列2（b）固定閾值二值化（c）高斯模型分割（d）自適應(yīng)值MRF分割21MRF運(yùn)動(dòng)目標(biāo)分割結(jié)果二21運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估計(jì)車輛檢測(cè)與跟蹤5圖像超分辨率重建22運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估分片跟蹤為什么引入分片跟蹤：在目標(biāo)跟蹤領(lǐng)域，一個(gè)重要的難題就是目標(biāo)的遮擋問(wèn)題，因?yàn)檎趽醢l(fā)生時(shí)目標(biāo)可能部分或全部不可見(jiàn)。模擬人眼跟蹤目標(biāo)的方式，發(fā)生遮擋時(shí)，人眼會(huì)關(guān)注目標(biāo)的可見(jiàn)部分來(lái)繼續(xù)跟蹤。受這一思想啟發(fā)，我們將目標(biāo)分成多個(gè)小片，目標(biāo)被遮擋時(shí)，利用“可見(jiàn)片”來(lái)跟蹤。

23分片跟蹤為什么引入分片跟蹤：23分片跟蹤主要思想：

將目標(biāo)分片，建立目標(biāo)分片表現(xiàn)模型（模板）。在目標(biāo)上一幀的位置周圍遍歷搜索，找到與目標(biāo)模板相似度最高的候選目標(biāo)作為跟蹤結(jié)果。

當(dāng)前幀上一幀目標(biāo)位置候選目標(biāo)位置搜索窗口目標(biāo)分片24分片跟蹤主要思想：當(dāng)前幀上一幀目標(biāo)位置候選目標(biāo)位置搜索窗口分片跟蹤其中相似度的度量是通過(guò)各片的空間直方圖匹配來(lái)實(shí)現(xiàn)的。確定目標(biāo)位置后，判斷目標(biāo)中各片的有效性，我們僅利用有效片進(jìn)行下一幀的跟蹤。被遮擋的區(qū)域片基本丟失25分片跟蹤其中相似度的度量是通過(guò)各片的空間直方圖匹配來(lái)模板更新由上可見(jiàn)這種分片方法已經(jīng)可以很好的解決遮擋問(wèn)題。但是在跟蹤過(guò)程中，目標(biāo)的外觀模型可能發(fā)生變化（例如目標(biāo)轉(zhuǎn)身、尺寸變化等等）。那么剛開(kāi)始為目標(biāo)建立的模板就不能很好的表示目標(biāo)，這將影響跟蹤效果。

26模板更新26目標(biāo)外觀變化時(shí)片匹配的情況外觀緩慢變化時(shí)，丟失的片很少27目標(biāo)外觀變化時(shí)片匹配的情況外觀緩慢變化時(shí)，丟失的片很少27利用有效片的概念，我們?yōu)槊總€(gè)目標(biāo)建立兩種模板，臨時(shí)模板和參考模板。

臨時(shí)模板—實(shí)時(shí)更新的模板，在無(wú)遮擋情況下跟蹤，可以解決目標(biāo)外觀緩慢變化的問(wèn)題。參考模板—能夠很好的表示目標(biāo)的模板，用于遮擋情況下的跟蹤。28利用有效片的概念，我們?yōu)槊總€(gè)目標(biāo)建立兩種模板，臨時(shí)模板和參考分片跟蹤多組實(shí)驗(yàn)結(jié)果：

1.可以有效的解決目標(biāo)遮擋

2.在目標(biāo)表現(xiàn)模型緩慢變化的情況下，實(shí)時(shí)更新模板

3.在背景較為簡(jiǎn)單的情況下實(shí)現(xiàn)目標(biāo)尺度的更新29分片跟蹤多組實(shí)驗(yàn)結(jié)果：29分片跟蹤遮擋下的跟蹤30分片跟蹤遮擋下的跟蹤30分片跟蹤目標(biāo)表現(xiàn)模型的變化時(shí)的跟蹤31分片跟蹤目標(biāo)表現(xiàn)模型的變化時(shí)的跟蹤31目標(biāo)尺度發(fā)生變化32目標(biāo)尺度發(fā)生變化32運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估計(jì)車輛檢測(cè)與跟蹤5圖像超分辨率重建33運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估車輛檢測(cè)與跟蹤包括以下兩方面內(nèi)容：基于碼本更新的檢測(cè)與跟蹤方法基于輪廓匹配的檢測(cè)與跟蹤方法34車輛檢測(cè)與跟蹤包括以下兩方面內(nèi)容：34車輛檢測(cè)與跟蹤概述智能交通系統(tǒng)：(IntelligentTransportSystems,ITS)35車輛檢測(cè)與跟蹤概述智能交通系統(tǒng)：35車輛檢測(cè)與跟蹤概述影響車輛檢測(cè)和跟蹤的主要因素：（1）車輛自身陰影；（2）車輛間相互遮擋或車輛被背景中物體遮擋；（3）同車型車輛之間具有較大的相似性；（4）光線突變；（5）夜晚和雨、雪等惡烈天氣等。主要針對(duì)（1）、（2）兩種情況開(kāi)展研究36車輛檢測(cè)與跟蹤概述影響車輛檢測(cè)和跟蹤的主要因素：36車輛檢測(cè)與跟蹤概述車輛檢測(cè)：改進(jìn)的碼本算法解決車輛檢測(cè)中的陰影問(wèn)題;車輛跟蹤:Kalman預(yù)測(cè)的方法解決車輛跟蹤中的遮擋問(wèn)題;37車輛檢測(cè)與跟蹤概述37基于改進(jìn)碼本的車輛檢測(cè)方法運(yùn)動(dòng)檢測(cè)方法：

幀間差分方法光流場(chǎng)方法背景減法

構(gòu)建較為理想的背景模型

38基于改進(jìn)碼本的車輛檢測(cè)方法運(yùn)動(dòng)檢測(cè)方法：38常用背景建模和更新算法

混合高斯模型(MixtureofGaussians,MOG)：

能處理復(fù)雜、非靜止的多模態(tài)背景，但它不能適應(yīng)快速的背景變化,對(duì)噪聲變化比較敏感；基于內(nèi)核密度估計(jì)(kerneldensityestimation,KDE)的非參數(shù)背景模型：需要大量?jī)?nèi)存來(lái)存儲(chǔ)先前的數(shù)據(jù)，需要很高的計(jì)算開(kāi)銷；基于Bayes決策的方法：在場(chǎng)景比較復(fù)雜或前景與背景顏色比較接近時(shí)，提取的前景目標(biāo)很不完整39常用背景建模和更新算法混合高斯模型(Mixtureof基于碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法

KimK，ProceedingsofIEEEInternationalConferenceonImageProcessing；2004

算法是利用量化和聚類技術(shù)來(lái)構(gòu)建背景模型；針對(duì)彩色監(jiān)控視頻,對(duì)背景中的每一個(gè)像素點(diǎn)進(jìn)行一段時(shí)間的采樣，采樣值聚類成碼本的形式，碼本就代表了背景模型。運(yùn)動(dòng)檢測(cè)時(shí)，對(duì)新輸入的像素值與其對(duì)應(yīng)碼本做比較,如果能找到與其匹配的碼字，則認(rèn)為該像素點(diǎn)為背景點(diǎn)，否則為前景點(diǎn)。40基于碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法KimK，Proce基于碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法

碼本方法：計(jì)算聚類均值和樣本與它的距離,不涉及概率運(yùn)算,運(yùn)算速度較快；碼本方法能處理高亮和陰影問(wèn)題，而且訓(xùn)練時(shí)允許有前景運(yùn)動(dòng)目標(biāo)。該算法具有較強(qiáng)的魯棒性，能實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)較好的檢測(cè)。41基于碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法碼本方法：41基于碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法

原碼本算法對(duì)RGB空間的視頻序列，已具有較好的檢測(cè)效果，有一些不足之處：視頻采集設(shè)備，如網(wǎng)絡(luò)攝像機(jī)、DV和圖像采集卡等采集的視頻序列大多是YUV格式的，如果要在RGB空間做運(yùn)動(dòng)檢測(cè)，則需要進(jìn)行從YUV空間到RGB空間的轉(zhuǎn)換，而該轉(zhuǎn)換運(yùn)算為浮點(diǎn)型運(yùn)算，運(yùn)算量大；原算法在RGB空間進(jìn)行陰影處理時(shí)，需要做浮點(diǎn)型運(yùn)算，進(jìn)一步加大了運(yùn)算量。42基于碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法原碼本算法對(duì)RGB基于改進(jìn)碼本的車輛檢測(cè)實(shí)現(xiàn)

對(duì)原算法進(jìn)行改進(jìn)，直接在YUV空間做運(yùn)動(dòng)檢測(cè)及陰影處理，省去了大量的浮點(diǎn)型運(yùn)算，提高了算法的效率。檢測(cè)步驟：（1）初始碼本的建立（2）前景運(yùn)動(dòng)目標(biāo)檢測(cè)（3）陰影和高亮問(wèn)題的解決（4）目標(biāo)檢測(cè)過(guò)程的碼本實(shí)時(shí)更新43基于改進(jìn)碼本的車輛檢測(cè)實(shí)現(xiàn)對(duì)原算法進(jìn)行改進(jìn)，直接在YUV空車輛跟蹤方法的實(shí)現(xiàn)

基于Kalman濾波的車輛跟蹤通過(guò)運(yùn)動(dòng)估計(jì)和目標(biāo)匹配兩個(gè)模塊實(shí)現(xiàn)對(duì)車輛的跟蹤。利用前一幀獲得的參數(shù)作為Kalman濾波的狀態(tài)變量，當(dāng)前幀獲得的參數(shù)作為觀測(cè)值，通過(guò)Kalman濾波推導(dǎo)獲得估計(jì)值。以估計(jì)值為中心進(jìn)行目標(biāo)匹配，如果能匹配上則認(rèn)為是當(dāng)前運(yùn)動(dòng)目標(biāo)，如果匹配不上則認(rèn)為出現(xiàn)了遮擋，使用Kalman對(duì)其位置進(jìn)行預(yù)測(cè)。

44車輛跟蹤方法的實(shí)現(xiàn)基于Kalman濾波的車輛跟蹤44算法步驟

Step1背景模型訓(xùn)練，得到表示初始背景模型的碼本。Step2輸入像素點(diǎn)和碼本做比較判斷，得到可能的前景像素點(diǎn)，同時(shí)更新碼本。Step3去除可能前景像素點(diǎn)中陰影和高亮區(qū)域，得到真實(shí)的前景點(diǎn)，同時(shí)更新碼本。Step4去噪，連通區(qū)域分析，根據(jù)檢測(cè)出的運(yùn)動(dòng)目標(biāo)的長(zhǎng)寬消除非車輛目標(biāo)，將運(yùn)動(dòng)車輛分割出來(lái)。

Step5使用卡爾曼濾波器預(yù)測(cè)車輛在下一幀中的可能位置。Step6在預(yù)測(cè)區(qū)域周圍對(duì)各個(gè)車輛進(jìn)行匹配跟蹤。轉(zhuǎn)Step2，進(jìn)行下一輪跟蹤。45算法步驟Step1背景模型訓(xùn)練，得到表示初始背景模型的碼夜晚車輛檢測(cè)結(jié)果

46夜晚車輛檢測(cè)結(jié)果46普通路面檢測(cè)結(jié)果

（a）序列某一幀

（b）混合高斯模型檢測(cè)結(jié)果（c）Bayes決策檢測(cè)結(jié)果（d）本方法檢測(cè)結(jié)果47普通路面檢測(cè)結(jié)果47高速公路檢測(cè)結(jié)果

（a）序列某一幀（b）混合高斯模型檢測(cè)結(jié)果

（c）Bayes決策檢測(cè)結(jié)果（d）本方法檢測(cè)結(jié)果48高速公路檢測(cè)結(jié)果48跟蹤結(jié)果

（a）序列第168幀跟蹤結(jié)果（b）序列第182幀跟蹤結(jié)果

（c）目標(biāo)質(zhì)心在x方向的坐標(biāo)（d）目標(biāo)質(zhì)心在y方向的坐標(biāo)

49跟蹤結(jié)果49跟蹤結(jié)果與粒子濾波方法比較

（a）粒子濾波第40幀（b）粒子濾波第60幀

（c）粒子濾波第88幀（d）粒子濾波第100幀50跟蹤結(jié)果與粒子濾波方法比較50跟蹤結(jié)果與經(jīng)典CamShift方法比較

（a）CamShift第40幀（b）CamShift第60幀（c）CamShift第88幀（d）CamShift第100幀

51跟蹤結(jié)果與經(jīng)典CamShift方法比較51跟蹤結(jié)果比較

（a）本文方法第40幀（b）本文方法第60幀（c）本文方法第88幀（d）本文方法第100幀52跟蹤結(jié)果比較52車輛檢測(cè)與跟蹤包括以下兩方面內(nèi)容：基于碼本更新的檢測(cè)與跟蹤方法基于輪廓匹配的檢測(cè)與跟蹤方法53車輛檢測(cè)與跟蹤包括以下兩方面內(nèi)容：53背景傳統(tǒng)視頻檢測(cè)車流量統(tǒng)計(jì)主要采用車輛檢測(cè)和跟蹤技術(shù)相結(jié)合的方法，算法復(fù)雜且容易受到外界干擾影響，本文建立若干車輛遮擋模型，利用分層輪廓匹配法將運(yùn)動(dòng)目標(biāo)與車輛遮擋模型進(jìn)行輪廓匹配識(shí)別出遮擋車輛。為了提取運(yùn)動(dòng)目標(biāo)完整外部輪廓，提出一種基于連通域的兩輪掃描法來(lái)標(biāo)記各個(gè)運(yùn)動(dòng)車輛，并利用YUV彩色空間對(duì)陰影進(jìn)行檢測(cè)和抑制，提高車流量統(tǒng)計(jì)精度。54背景傳統(tǒng)視頻檢測(cè)車流量統(tǒng)計(jì)主要采用車輛檢測(cè)一、基于連通域的兩輪掃描法

通過(guò)背景減法得到運(yùn)動(dòng)區(qū)域后，各個(gè)運(yùn)動(dòng)目標(biāo)可以認(rèn)為是一個(gè)獨(dú)立的連通域，本文采用基于連通域的兩輪掃描法標(biāo)記這些連通域，從而實(shí)現(xiàn)目標(biāo)分割。

55一、基于連通域的兩輪掃描法 55基于連通域的兩輪掃描法一、第一輪掃描初步標(biāo)記各個(gè)連通域。針對(duì)背景減法所得到的二值化圖，按照從上向下，從左至右的順序掃描各像素點(diǎn)，判斷當(dāng)前掃描點(diǎn)像素值是否為255,如果像素值為255，說(shuō)明該點(diǎn)是運(yùn)動(dòng)像素點(diǎn)，接著判斷該點(diǎn)鄰近像素點(diǎn)是否已被標(biāo)記以決定當(dāng)前像素點(diǎn)標(biāo)記值，當(dāng)遇到第一個(gè)已被標(biāo)記的鄰近像素點(diǎn)，就將該像素點(diǎn)的標(biāo)記值作為當(dāng)前掃描像素點(diǎn)的標(biāo)記值，若鄰近像素點(diǎn)都未標(biāo)記，說(shuō)明該像素點(diǎn)可能屬于一個(gè)新的目標(biāo)塊，賦予該像素點(diǎn)新的標(biāo)記值。56基于連通域的兩輪掃描法一、第一輪掃描56基于連通域的兩輪掃描法二、第二輪掃描第一輪掃描后可能存在同一連通域的像素點(diǎn)被標(biāo)記成不同目標(biāo)的情況，第二輪掃描將同一連通域內(nèi)不同標(biāo)記值的目標(biāo)合并為一個(gè)目標(biāo)。判斷每個(gè)像素點(diǎn)標(biāo)記值是否為0，如果為0，說(shuō)明當(dāng)前掃描點(diǎn)為背景像素點(diǎn)，則不予處理。反之進(jìn)一步查詢當(dāng)前掃描點(diǎn)鄰近像素點(diǎn)是否已被標(biāo)記，按照從上到下，從左至右的順序?qū)︵徑袼攸c(diǎn)進(jìn)行掃描，當(dāng)遇到第一個(gè)已被標(biāo)記且標(biāo)記值與當(dāng)前像素點(diǎn)標(biāo)記值不同的鄰近像素點(diǎn)時(shí)，將進(jìn)行合并。57基于連通域的兩輪掃描法二、第二輪掃描57基于連通域的兩輪掃描法

(a)一輪掃描后(b)二輪掃描后58基于連通域的兩輪掃描法58對(duì)比情況（a）原始圖像

（b）分割后（c）逐行掃描法（d）本文掃描方法上圖是實(shí)際的目標(biāo)分割結(jié)果比較。圖（a）為原始圖像，圖（b）為運(yùn)動(dòng)檢測(cè)結(jié)果，存在外部輪廓不連續(xù)的情況。逐行掃描法將該運(yùn)動(dòng)目標(biāo)分割成好幾塊不同的區(qū)域，如圖（c）所示，而本文兩輪掃描法成功將該運(yùn)動(dòng)目標(biāo)分割成一個(gè)獨(dú)立的區(qū)域，如圖（d）所示。59對(duì)比情況59二、通過(guò)輪廓匹配來(lái)解決遮擋問(wèn)題處于遮擋狀態(tài)的運(yùn)動(dòng)目標(biāo)與未處于遮擋狀態(tài)的運(yùn)動(dòng)目標(biāo)分割得到的輪廓有很大的差異，本文分析目標(biāo)的外部輪廓來(lái)判斷該運(yùn)動(dòng)目標(biāo)是否處于遮擋狀態(tài)。先建立若干車輛遮擋模型，代表一些常見(jiàn)的車輛遮擋情況，再提取運(yùn)動(dòng)目標(biāo)的輪廓分別與各個(gè)車輛遮擋模型的外部輪廓進(jìn)行匹配，根據(jù)匹配值判斷該運(yùn)動(dòng)目標(biāo)是否處于遮擋狀態(tài)。60二、通過(guò)輪廓匹配來(lái)解決遮擋問(wèn)題處于遮擋狀態(tài)的運(yùn)遮擋模型下圖所建立的車輛遮擋模型代表了典型的相鄰車道車輛遮擋情況。

m1m261遮擋模型下圖所建立的車輛遮擋模型代表了典型的相鄰分層輪廓匹配方法本文采用一種分層輪廓匹配方法來(lái)比較運(yùn)動(dòng)目標(biāo)與車輛遮擋模型的外部輪廓，該方法在匹配過(guò)程中利用輪廓的整體和局部信息進(jìn)行計(jì)算。首先提取運(yùn)動(dòng)目標(biāo)輪廓，并進(jìn)行采樣并以二叉樹(shù)形式存儲(chǔ)，如右圖。62分層輪廓匹配方法本文采用一種分層輪廓匹配方法來(lái)分層輪廓匹配方法我們主要依靠該二叉樹(shù)的獨(dú)特分層結(jié)構(gòu)逐層進(jìn)行匹配比較，最終計(jì)算出匹配值。具體的匹配計(jì)算可以利用下面這個(gè)遞歸等式來(lái)表示：

63分層輪廓匹配方法我們主要依靠該二叉樹(shù)的獨(dú)特分層結(jié)構(gòu)逐層進(jìn)行匹試驗(yàn)結(jié)果（a）遮擋模型（b）原始遮擋圖像（c）分割處理后（d）遮擋模型與運(yùn)動(dòng)目標(biāo)匹配64試驗(yàn)結(jié)果64試驗(yàn)結(jié)果

（a）（b）（c）（d）（e）（f）（g）

表1上圖各個(gè)車輛與車輛遮擋模型輪廓匹配結(jié)果65試驗(yàn)結(jié)果65三、主要算法步驟（1）首先根據(jù)背景減法，初步分割出運(yùn)動(dòng)目標(biāo)，并對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行形態(tài)學(xué)處理，填補(bǔ)內(nèi)部空洞，去掉一些孤立的噪聲點(diǎn)。（2）基于YUV彩色空間檢測(cè)并去除出運(yùn)動(dòng)目標(biāo)的陰影像素。由于YUV的色差分量U、V和HSV空間的色度以及飽和度分量存在一定的聯(lián)系，色度可以近視表示為,而可以認(rèn)為是飽和度的值，陰影像素與背景像素比較，亮度有很大的變化，飽和度線性減少，色度一般不變，利用這一性質(zhì)檢測(cè)并去除出陰影像素。66三、主要算法步驟（1）首先根據(jù)背景減法，初步分割出運(yùn)動(dòng)目標(biāo)，主要算法步驟（3）通過(guò)本文提出的兩輪掃描法，分割各個(gè)運(yùn)動(dòng)目標(biāo)，采集各個(gè)運(yùn)動(dòng)目標(biāo)的大小，位置，矩特征，以及輪廓信息等，并修補(bǔ)外部輪廓中不連續(xù)的部分，得到完整的目標(biāo)輪廓，供后續(xù)處理。（4）根據(jù)分層輪廓匹配方法，對(duì)每一個(gè)運(yùn)動(dòng)目標(biāo)，提取輪廓信息與車輛遮擋模型輪廓匹配比較，如果該運(yùn)動(dòng)目標(biāo)與某一遮擋模型的輪廓匹配值小于某一閾值，則認(rèn)為是匹配的，判定該目標(biāo)處于對(duì)應(yīng)遮擋狀態(tài)。67主要算法步驟（3）通過(guò)本文提出的兩輪掃描法，分割各個(gè)運(yùn)動(dòng)目主要算法步驟（5）判斷車輛是否通過(guò)。本文采用類似開(kāi)辟檢測(cè)帶的方法進(jìn)行判斷，首先設(shè)置一條檢測(cè)線，橫貫馬路，分析位于檢測(cè)線上的各個(gè)運(yùn)動(dòng)車輛，對(duì)于每一幀圖像中位于檢測(cè)線上的所有運(yùn)動(dòng)車輛，我們都要查詢對(duì)應(yīng)位置在上一幀附近是否存在運(yùn)動(dòng)車輛，如果存在，則它們可能是同一輛車，進(jìn)一步查詢這兩個(gè)運(yùn)動(dòng)車輛的大小、方差與均值（矩特征）差值是否保持在一個(gè)范圍內(nèi)，若小于某一閾值，則認(rèn)為它們是同一輛車，反之認(rèn)為當(dāng)前車輛是剛進(jìn)入檢測(cè)線的新車輛，進(jìn)一步查詢它的遮擋狀態(tài)，根據(jù)遮擋情況，增加車輛計(jì)數(shù)值，達(dá)到統(tǒng)計(jì)出車流量的目的。68主要算法步驟（5）判斷車輛是否通過(guò)。本文采用類似開(kāi)辟檢測(cè)帶的運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估計(jì)車輛檢測(cè)與跟蹤5圖像超分辨率重建69運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估超分辨率重建的概念

超分辨率重建(super-resolutionreconstruction)是指：從單幀或一序列低分辨率圖像(LR)復(fù)原出一幅或一序列高分辨率圖像(HR)，HR圖像有著更高的細(xì)節(jié)信息和更好的主觀質(zhì)量。LR序列HR圖像70超分辨率重建的概念LR序列HR圖像70

圖像超分辨率重建的必要性攝像機(jī)在空間上的分辨率能力是有限的。圖像分辨率受攝像機(jī)感光陣列的空間密度及其本身引入的模糊誤差、運(yùn)動(dòng)模糊、下采樣、噪聲等因素，導(dǎo)致實(shí)際拍攝圖像的質(zhì)量較差、分辨率低。因此有必要提高一定的重建算法來(lái)提高圖像的分辨率，改善圖像質(zhì)量。物體鏡頭感光陣列

物體成像過(guò)程：71圖像超分辨率重建的必要性物體鏡頭感光陣列物圖像超分辨率重建的理論基礎(chǔ)

傅立葉光學(xué)理論中把成像系統(tǒng)看成是一個(gè)低通濾波器，在成像過(guò)程中會(huì)丟失高頻細(xì)節(jié)：對(duì)于一個(gè)線性空間不變成像系統(tǒng)，成像過(guò)程可表示為：

g(x)表示像，f(x)表示物，h(x)表示點(diǎn)擴(kuò)展函數(shù)。

在截止頻率之外H(u)=0，因此就把成像系統(tǒng)看成了一個(gè)傅立葉濾波器，對(duì)F(u)的解進(jìn)行了限制。SR技術(shù)的目的就在于恢復(fù)截至頻率之外的高頻信息，以使圖像獲得更多的細(xì)節(jié)和信息。它的理論基礎(chǔ)是：解析延拓理論，信息疊加理論和非線性操作。y(x)=h(x)*f(x)Y(u)=H(u)F(u)F(u)=Y(u)/H(u)72圖像超分辨率重建的理論基礎(chǔ)y(x)=h(x)*f(x)Y超分辨率重建的觀察模型

給出超分辨率問(wèn)題的完整的數(shù)學(xué)描述：給定p幀LR觀測(cè)圖像k=1,……p；每幀大小為L(zhǎng)1×L2，它們是來(lái)自同一場(chǎng)景，也可以看成是來(lái)自HR圖像f的不同位置，f的大小為H1×H2。每個(gè)是x經(jīng)任意的偏移、模糊以及下采樣而形成。

建立觀察模型如下：Warp1M1WarpkMkWarppMpPSFBlur1B1PSFBlurkBkPSFBlurpBpSamplc1DSamplckDSamplcpD+++n1nknpy1ykypx73超分辨率重建的觀察模型Warp1Sa配準(zhǔn)

在序列圖像超分辨率重建過(guò)程中，必須從欲重建圖像的前后幀圖像中提取相關(guān)的信息作為本幀圖像信息的補(bǔ)充，因此必須找到當(dāng)前幀圖像中各象素點(diǎn)在前后序列圖像中所處的位置。所以圖像超分辨率重建中一個(gè)關(guān)鍵性要素就是對(duì)序列圖像中每個(gè)象素點(diǎn)進(jìn)行圖像間精確的亞象素級(jí)運(yùn)動(dòng)估計(jì)。為什么要進(jìn)行圖像配準(zhǔn)？1stframe2ndframenotcorrect74配準(zhǔn)

在序列圖像超分辨率重建過(guò)程中，必須從欲重建圖像1stframe2ndframecorrectresultregistrated2ndframe+751stframe2ndframecorrectresu為什么需要子像素的配準(zhǔn)精度？(mx,my)(mx/2,my/2)DownsamplingDownsamplingxH(x)y76為什么需要子像素的配準(zhǔn)精度？(mx,my)(mx/2,m超分辨率重建中圖像配準(zhǔn)常用算法

塊匹配算法、光流場(chǎng)算法、基于互信息和互相關(guān)函數(shù)的算法、基于泰勒級(jí)數(shù)展開(kāi)的算法。我們需要的算法：

對(duì)圖像全局運(yùn)動(dòng)和局部變形均有效，并且對(duì)噪聲魯棒的精確亞像素精度的配準(zhǔn)算法。77超分辨率重建中圖像配準(zhǔn)常用算法

塊匹配算法、光流場(chǎng)算主要重建算法

1)

迭代后向映射(IBP)

：反向映射算子78主要重建算法

1)迭代后向映射(IBP)

2)凸集投影(pocs)

凸集是定義在希爾伯特空間H上滿足一定條件的集合。

Cxz凸集C外的一點(diǎn)x到凸集投影y的定義為C上與x距離最近的點(diǎn)z，相應(yīng)的投影算子為P。792)凸集投影(pocs)Cxz凸集C外的一點(diǎn)x到凸集投影y

未知的HR圖像—x，看成H空間中的一個(gè)元素。根據(jù)實(shí)際情況和相應(yīng)理論可以定義出一些先驗(yàn)約束條件，這些約束條件描述成一個(gè)個(gè)凸集：將初始估計(jì)的高分辨率圖像通過(guò)迭代的方式逐步向這些約束凸集投影，最終會(huì)收斂于交集之中，而交集之中的元素即可接受為最終估計(jì)出的高分辨率圖像。80未知的HR圖像—x，看成H空間中的一個(gè)元素3)極大后驗(yàn)概率(MAP)

根據(jù)Bayesian估計(jì)理論，

由Bayesian公式->

813)極大后驗(yàn)概率(MAP)

根據(jù)Bayesian估計(jì)理論

圖像

隨機(jī)場(chǎng)(RandomField)。

常見(jiàn)的隨機(jī)場(chǎng)：Markov，Gauss，Gauss-Markov，Gibbs

推導(dǎo)出：上述目標(biāo)方程可以通過(guò)一些迭代算法求解，如最速下降法、共軛梯度法等。82圖像隨機(jī)場(chǎng)(Ran4)近來(lái)一些新的超分辨率重建算法

matanprotter提出了一種基于非局部均值濾波演變而來(lái)的新算法，該算法的顯著特點(diǎn)是：不依賴于精確的運(yùn)動(dòng)估計(jì)（即配準(zhǔn)），重建圖像某像素點(diǎn)的灰度值由與其所在區(qū)域相似的多個(gè)區(qū)域像素點(diǎn)確定，這種相似程度被量化為權(quán)值去影響重建的結(jié)果。相關(guān)文章：“Generalizing

the

Nonlocal-Meansto

Super-

Resolution

Reconstruction”.“SuperResolutionWithProbabilisticMotion

Estimation”.

834)近來(lái)一些新的超分辨率重建算法

mata部分實(shí)驗(yàn)結(jié)果MSESNR樣條插值383.45114.8083

POCS234.08916.9516LR圖像樣條插值POCSPOCSMAP樣條插值LR圖像84部分實(shí)驗(yàn)結(jié)果MSESNR樣條插值383.45114.80謝謝大家！謝謝大家！謝謝大家！謝謝大家！謝謝大家！謝謝大家！視頻監(jiān)控小組工作報(bào)告報(bào)告人：蔣老師09.11.17視頻監(jiān)控小組工作報(bào)告報(bào)告人：蔣老師運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估計(jì)車輛檢測(cè)與跟蹤5圖像超分辨率重建87運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估動(dòng)態(tài)場(chǎng)景的運(yùn)動(dòng)檢測(cè)視頻圖像中的目標(biāo)檢測(cè)與跟蹤，是計(jì)算機(jī)視覺(jué)的基礎(chǔ)課題，同時(shí)具有廣泛的應(yīng)用價(jià)值。依照目標(biāo)與攝像頭之間的關(guān)系：靜態(tài)場(chǎng)景目標(biāo)檢測(cè)相對(duì)簡(jiǎn)單，研究漸趨成熟動(dòng)態(tài)場(chǎng)景相對(duì)復(fù)雜，成為當(dāng)前研究領(lǐng)域的熱點(diǎn)靜態(tài)場(chǎng)景幀差的一個(gè)例子88動(dòng)態(tài)場(chǎng)景的運(yùn)動(dòng)檢測(cè)視頻圖像中的目標(biāo)檢測(cè)與跟蹤，是計(jì)算機(jī)視覺(jué)的視頻序列運(yùn)動(dòng)檢測(cè)對(duì)于動(dòng)態(tài)場(chǎng)景，由于目標(biāo)與攝像頭之間存在復(fù)雜的相對(duì)運(yùn)動(dòng)，運(yùn)動(dòng)檢測(cè)富有挑戰(zhàn)性。傳統(tǒng)的幀差方法已經(jīng)不再適用，如何能對(duì)全局的運(yùn)動(dòng)進(jìn)行估計(jì)和補(bǔ)償，成為問(wèn)題的關(guān)鍵。第一幀幀差圖像89視頻序列運(yùn)動(dòng)檢測(cè)對(duì)于動(dòng)態(tài)場(chǎng)景，由于目標(biāo)與攝像頭之間存在復(fù)雜的解決思路要檢測(cè)動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)目標(biāo)，關(guān)鍵在于對(duì)場(chǎng)景的運(yùn)動(dòng)進(jìn)行估計(jì)，通過(guò)估計(jì)出的運(yùn)動(dòng)參數(shù)補(bǔ)償其運(yùn)動(dòng)，最后使用幀差法得到運(yùn)動(dòng)目標(biāo)。提取特征點(diǎn)特征點(diǎn)匹配最小二乘求運(yùn)動(dòng)參數(shù)提取特征點(diǎn)前一幀圖像后一幀圖像運(yùn)動(dòng)補(bǔ)償幀差法運(yùn)動(dòng)目標(biāo)90解決思路要檢測(cè)動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)目標(biāo)，關(guān)鍵在于對(duì)場(chǎng)景的運(yùn)動(dòng)進(jìn)行求解全局運(yùn)動(dòng)參數(shù)前一幀后一幀求特征點(diǎn)并匹配運(yùn)動(dòng)補(bǔ)償補(bǔ)償后的幀差圖像91求解全局運(yùn)動(dòng)前一幀后一幀求特征點(diǎn)并匹配運(yùn)動(dòng)補(bǔ)償補(bǔ)償后的幀差圖實(shí)驗(yàn)結(jié)果與普通幀差法的比較

第50幀第80幀第5幀幀差法特征匹配的方法原序列92實(shí)驗(yàn)結(jié)果與普通幀差法的比較

第50幀第80幀第5幀幀差法特征基于圖像金字塔分解的全局運(yùn)動(dòng)估計(jì)

采用了3層金字塔進(jìn)行多分辨率計(jì)算,而且在每層迭代計(jì)算中,將基于塊的外點(diǎn)去除算法與特征點(diǎn)提取算法相結(jié)合,這樣既加快了算法的速度,又提高了計(jì)算結(jié)果的準(zhǔn)確性。93基于圖像金字塔分解的全局運(yùn)動(dòng)估計(jì)采用了3層金字塔進(jìn)行多分辨基本步驟如下：用高斯圖像構(gòu)造法構(gòu)造圖像金字塔；對(duì)金字塔頂層圖像進(jìn)行全局運(yùn)動(dòng)估計(jì)，求得運(yùn)動(dòng)參數(shù)；將頂層金字塔求得的參數(shù)集隱射到金字塔的中間層，并對(duì)該層進(jìn)行全局運(yùn)動(dòng)估計(jì)，求得相應(yīng)的運(yùn)動(dòng)參數(shù)；將金字塔中間層的參數(shù)集映射到金字塔的底層,對(duì)該層進(jìn)行全局運(yùn)動(dòng)估計(jì)，求得該層的運(yùn)動(dòng)參數(shù)集,即最終求得的參數(shù)集。利用求得的最終參數(shù)集，對(duì)圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償，將運(yùn)動(dòng)補(bǔ)償后的圖像與前一幀圖像進(jìn)行差值。94基本步驟如下：9下圖給出了運(yùn)動(dòng)補(bǔ)償與直接幀差的結(jié)果比較圖1

Coastguard序列圖像圖2直接幀差和運(yùn)動(dòng)補(bǔ)償后的差值圖比較95下圖給出了運(yùn)動(dòng)補(bǔ)償與直接幀差的結(jié)果比較10運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估計(jì)車輛檢測(cè)與跟蹤5圖像超分辨率重建96運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估目標(biāo)分割的意義與現(xiàn)狀運(yùn)動(dòng)目標(biāo)的準(zhǔn)確分割，對(duì)于獲取目標(biāo)的特征信息非常重要，直接影響到進(jìn)一步的運(yùn)動(dòng)目標(biāo)跟蹤的處理，傳統(tǒng)的運(yùn)動(dòng)目標(biāo)分割的算法主要有背景差分，相鄰幀間差分，光流場(chǎng)的方法，這些方法都有各自的缺點(diǎn)和不足，不能滿足準(zhǔn)確分割運(yùn)動(dòng)目標(biāo)的要求。97目標(biāo)分割的意義與現(xiàn)狀運(yùn)動(dòng)目標(biāo)的準(zhǔn)確分割，對(duì)于獲取目標(biāo)Ohlander等提出了一種多維直方圖閾值化分割方法，該方法直方圖閾值法不需要先驗(yàn)信息，計(jì)算量較小,但缺點(diǎn)是單獨(dú)基于顏色分割得到的區(qū)域可能是不完整的，而且沒(méi)有利用局部空間信息，分割不準(zhǔn)確。98Ohlander等提出了一種多維直方圖閾值化分割方法，該方法馬爾可夫隨機(jī)場(chǎng)分割目前基于馬爾可夫隨機(jī)場(chǎng)隨機(jī)場(chǎng)（MRF）運(yùn)動(dòng)目標(biāo)分割的方法在圖像分割領(lǐng)域影響越來(lái)越大，該方法與傳統(tǒng)方法和閾值法相比，由于基于MRF的運(yùn)動(dòng)目標(biāo)分割方法同時(shí)考慮了圖像顏色信息和空間關(guān)聯(lián)信息，因此分割效果較好。99馬爾可夫隨機(jī)場(chǎng)分割目前基于馬爾可夫隨機(jī)場(chǎng)隨機(jī)場(chǎng)（MR另外，MRF參數(shù)選取的好壞會(huì)直接影響到分割結(jié)果，Smits等研究雷達(dá)圖像分割時(shí)表明，馬爾可夫參數(shù)如果較大容易形成較長(zhǎng)的邊緣，較小容易形成微邊緣，而固定的馬爾可夫參數(shù)則使目標(biāo)的輪廓模糊，對(duì)分割出的目標(biāo)準(zhǔn)確判斷產(chǎn)生不利影響。100另外，MRF參數(shù)選取的好壞會(huì)直接影響到分割結(jié)果因此，我們提出一種基于自適應(yīng)權(quán)值的區(qū)域馬爾可夫隨機(jī)場(chǎng)的分割方法，結(jié)合分水嶺預(yù)分割算法，并利用形態(tài)濾波對(duì)分割結(jié)果進(jìn)行修正，較好地解決了分割不準(zhǔn)確，目標(biāo)信息丟失的問(wèn)題。101因此，我們提出一種基于自適應(yīng)權(quán)值的區(qū)域馬爾可夫隨機(jī)場(chǎng)的分割方基于MRF的運(yùn)動(dòng)目標(biāo)分割

馬爾可夫隨機(jī)場(chǎng)是把一維因果馬爾可夫鏈擴(kuò)展成二維的結(jié)果，Hammersley-Clifford定理指出了MRF和Gibbs分布之間的等價(jià)性，每個(gè)MRF都可以用一個(gè)Gibbs分布來(lái)描述，這樣就解決了MRF概率難求的問(wèn)題。102基于MRF的運(yùn)動(dòng)目標(biāo)分割馬爾可夫隨機(jī)場(chǎng)是把一維因果馬爾可夫

Gibbs分布可定義成如下公式：圖像上每一點(diǎn)的概率分布103Gibbs分布可定義成如下公式：圖像上每一點(diǎn)的概率分布18對(duì)于一幀CIF圖像，存在一系列的像素點(diǎn)，對(duì)于這些點(diǎn)存在一標(biāo)記場(chǎng)和事先觀察場(chǎng)，這樣馬爾可夫隨機(jī)場(chǎng)的運(yùn)動(dòng)目標(biāo)分割的問(wèn)題可以歸結(jié)為在事先觀察場(chǎng)和其它一系列約束條件下，確定運(yùn)動(dòng)目標(biāo)區(qū)域和背景區(qū)域的二值標(biāo)記問(wèn)題。104對(duì)于一幀CIF圖像，存在一系列的像素點(diǎn)，對(duì)于這些點(diǎn)存在一標(biāo)MRF運(yùn)動(dòng)目標(biāo)分割結(jié)果一

（a）實(shí)驗(yàn)序列1（b）固定閾值二值化（c）高斯模型分割（d）自適應(yīng)值MRF分割105MRF運(yùn)動(dòng)目標(biāo)分割結(jié)果一20MRF運(yùn)動(dòng)目標(biāo)分割結(jié)果二

（a）實(shí)驗(yàn)序列2（b）固定閾值二值化（c）高斯模型分割（d）自適應(yīng)值MRF分割106MRF運(yùn)動(dòng)目標(biāo)分割結(jié)果二21運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估計(jì)車輛檢測(cè)與跟蹤5圖像超分辨率重建107運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估分片跟蹤為什么引入分片跟蹤：在目標(biāo)跟蹤領(lǐng)域，一個(gè)重要的難題就是目標(biāo)的遮擋問(wèn)題，因?yàn)檎趽醢l(fā)生時(shí)目標(biāo)可能部分或全部不可見(jiàn)。模擬人眼跟蹤目標(biāo)的方式，發(fā)生遮擋時(shí)，人眼會(huì)關(guān)注目標(biāo)的可見(jiàn)部分來(lái)繼續(xù)跟蹤。受這一思想啟發(fā)，我們將目標(biāo)分成多個(gè)小片，目標(biāo)被遮擋時(shí)，利用“可見(jiàn)片”來(lái)跟蹤。

108分片跟蹤為什么引入分片跟蹤：23分片跟蹤主要思想：

將目標(biāo)分片，建立目標(biāo)分片表現(xiàn)模型（模板）。在目標(biāo)上一幀的位置周圍遍歷搜索，找到與目標(biāo)模板相似度最高的候選目標(biāo)作為跟蹤結(jié)果。

當(dāng)前幀上一幀目標(biāo)位置候選目標(biāo)位置搜索窗口目標(biāo)分片109分片跟蹤主要思想：當(dāng)前幀上一幀目標(biāo)位置候選目標(biāo)位置搜索窗口分片跟蹤其中相似度的度量是通過(guò)各片的空間直方圖匹配來(lái)實(shí)現(xiàn)的。確定目標(biāo)位置后，判斷目標(biāo)中各片的有效性，我們僅利用有效片進(jìn)行下一幀的跟蹤。被遮擋的區(qū)域片基本丟失110分片跟蹤其中相似度的度量是通過(guò)各片的空間直方圖匹配來(lái)模板更新由上可見(jiàn)這種分片方法已經(jīng)可以很好的解決遮擋問(wèn)題。但是在跟蹤過(guò)程中，目標(biāo)的外觀模型可能發(fā)生變化（例如目標(biāo)轉(zhuǎn)身、尺寸變化等等）。那么剛開(kāi)始為目標(biāo)建立的模板就不能很好的表示目標(biāo)，這將影響跟蹤效果。

111模板更新26目標(biāo)外觀變化時(shí)片匹配的情況外觀緩慢變化時(shí)，丟失的片很少112目標(biāo)外觀變化時(shí)片匹配的情況外觀緩慢變化時(shí)，丟失的片很少27利用有效片的概念，我們?yōu)槊總€(gè)目標(biāo)建立兩種模板，臨時(shí)模板和參考模板。

臨時(shí)模板—實(shí)時(shí)更新的模板，在無(wú)遮擋情況下跟蹤，可以解決目標(biāo)外觀緩慢變化的問(wèn)題。參考模板—能夠很好的表示目標(biāo)的模板，用于遮擋情況下的跟蹤。113利用有效片的概念，我們?yōu)槊總€(gè)目標(biāo)建立兩種模板，臨時(shí)模板和參考分片跟蹤多組實(shí)驗(yàn)結(jié)果：

1.可以有效的解決目標(biāo)遮擋

2.在目標(biāo)表現(xiàn)模型緩慢變化的情況下，實(shí)時(shí)更新模板

3.在背景較為簡(jiǎn)單的情況下實(shí)現(xiàn)目標(biāo)尺度的更新114分片跟蹤多組實(shí)驗(yàn)結(jié)果：29分片跟蹤遮擋下的跟蹤115分片跟蹤遮擋下的跟蹤30分片跟蹤目標(biāo)表現(xiàn)模型的變化時(shí)的跟蹤116分片跟蹤目標(biāo)表現(xiàn)模型的變化時(shí)的跟蹤31目標(biāo)尺度發(fā)生變化117目標(biāo)尺度發(fā)生變化32運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估計(jì)車輛檢測(cè)與跟蹤5圖像超分辨率重建118運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估車輛檢測(cè)與跟蹤包括以下兩方面內(nèi)容：基于碼本更新的檢測(cè)與跟蹤方法基于輪廓匹配的檢測(cè)與跟蹤方法119車輛檢測(cè)與跟蹤包括以下兩方面內(nèi)容：34車輛檢測(cè)與跟蹤概述智能交通系統(tǒng)：(IntelligentTransportSystems,ITS)120車輛檢測(cè)與跟蹤概述智能交通系統(tǒng)：35車輛檢測(cè)與跟蹤概述影響車輛檢測(cè)和跟蹤的主要因素：（1）車輛自身陰影；（2）車輛間相互遮擋或車輛被背景中物體遮擋；（3）同車型車輛之間具有較大的相似性；（4）光線突變；（5）夜晚和雨、雪等惡烈天氣等。主要針對(duì)（1）、（2）兩種情況開(kāi)展研究121車輛檢測(cè)與跟蹤概述影響車輛檢測(cè)和跟蹤的主要因素：36車輛檢測(cè)與跟蹤概述車輛檢測(cè)：改進(jìn)的碼本算法解決車輛檢測(cè)中的陰影問(wèn)題;車輛跟蹤:Kalman預(yù)測(cè)的方法解決車輛跟蹤中的遮擋問(wèn)題;122車輛檢測(cè)與跟蹤概述37基于改進(jìn)碼本的車輛檢測(cè)方法運(yùn)動(dòng)檢測(cè)方法：

幀間差分方法光流場(chǎng)方法背景減法

構(gòu)建較為理想的背景模型

123基于改進(jìn)碼本的車輛檢測(cè)方法運(yùn)動(dòng)檢測(cè)方法：38常用背景建模和更新算法

混合高斯模型(MixtureofGaussians,MOG)：

能處理復(fù)雜、非靜止的多模態(tài)背景，但它不能適應(yīng)快速的背景變化,對(duì)噪聲變化比較敏感；基于內(nèi)核密度估計(jì)(kerneldensityestimation,KDE)的非參數(shù)背景模型：需要大量?jī)?nèi)存來(lái)存儲(chǔ)先前的數(shù)據(jù)，需要很高的計(jì)算開(kāi)銷；基于Bayes決策的方法：在場(chǎng)景比較復(fù)雜或前景與背景顏色比較接近時(shí)，提取的前景目標(biāo)很不完整124常用背景建模和更新算法混合高斯模型(Mixtureof基于碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法

KimK，ProceedingsofIEEEInternationalConferenceonImageProcessing；2004

算法是利用量化和聚類技術(shù)來(lái)構(gòu)建背景模型；針對(duì)彩色監(jiān)控視頻,對(duì)背景中的每一個(gè)像素點(diǎn)進(jìn)行一段時(shí)間的采樣，采樣值聚類成碼本的形式，碼本就代表了背景模型。運(yùn)動(dòng)檢測(cè)時(shí)，對(duì)新輸入的像素值與其對(duì)應(yīng)碼本做比較,如果能找到與其匹配的碼字，則認(rèn)為該像素點(diǎn)為背景點(diǎn)，否則為前景點(diǎn)。125基于碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法KimK，Proce基于碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法

碼本方法：計(jì)算聚類均值和樣本與它的距離,不涉及概率運(yùn)算,運(yùn)算速度較快；碼本方法能處理高亮和陰影問(wèn)題，而且訓(xùn)練時(shí)允許有前景運(yùn)動(dòng)目標(biāo)。該算法具有較強(qiáng)的魯棒性，能實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)較好的檢測(cè)。126基于碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法碼本方法：41基于碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法

原碼本算法對(duì)RGB空間的視頻序列，已具有較好的檢測(cè)效果，有一些不足之處：視頻采集設(shè)備，如網(wǎng)絡(luò)攝像機(jī)、DV和圖像采集卡等采集的視頻序列大多是YUV格式的，如果要在RGB空間做運(yùn)動(dòng)檢測(cè)，則需要進(jìn)行從YUV空間到RGB空間的轉(zhuǎn)換，而該轉(zhuǎn)換運(yùn)算為浮點(diǎn)型運(yùn)算，運(yùn)算量大；原算法在RGB空間進(jìn)行陰影處理時(shí)，需要做浮點(diǎn)型運(yùn)算，進(jìn)一步加大了運(yùn)算量。127基于碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法原碼本算法對(duì)RGB基于改進(jìn)碼本的車輛檢測(cè)實(shí)現(xiàn)

對(duì)原算法進(jìn)行改進(jìn)，直接在YUV空間做運(yùn)動(dòng)檢測(cè)及陰影處理，省去了大量的浮點(diǎn)型運(yùn)算，提高了算法的效率。檢測(cè)步驟：（1）初始碼本的建立（2）前景運(yùn)動(dòng)目標(biāo)檢測(cè)（3）陰影和高亮問(wèn)題的解決（4）目標(biāo)檢測(cè)過(guò)程的碼本實(shí)時(shí)更新128基于改進(jìn)碼本的車輛檢測(cè)實(shí)現(xiàn)對(duì)原算法進(jìn)行改進(jìn)，直接在YUV空車輛跟蹤方法的實(shí)現(xiàn)

基于Kalman濾波的車輛跟蹤通過(guò)運(yùn)動(dòng)估計(jì)和目標(biāo)匹配兩個(gè)模塊實(shí)現(xiàn)對(duì)車輛的跟蹤。利用前一幀獲得的參數(shù)作為Kalman濾波的狀態(tài)變量，當(dāng)前幀獲得的參數(shù)作為觀測(cè)值，通過(guò)Kalman濾波推導(dǎo)獲得估計(jì)值。以估計(jì)值為中心進(jìn)行目標(biāo)匹配，如果能匹配上則認(rèn)為是當(dāng)前運(yùn)動(dòng)目標(biāo)，如果匹配不上則認(rèn)為出現(xiàn)了遮擋，使用Kalman對(duì)其位置進(jìn)行預(yù)測(cè)。

129車輛跟蹤方法的實(shí)現(xiàn)基于Kalman濾波的車輛跟蹤44算法步驟

Step1背景模型訓(xùn)練，得到表示初始背景模型的碼本。Step2輸入像素點(diǎn)和碼本做比較判斷，得到可能的前景像素點(diǎn)，同時(shí)更新碼本。Step3去除可能前景像素點(diǎn)中陰影和高亮區(qū)域，得到真實(shí)的前景點(diǎn)，同時(shí)更新碼本。Step4去噪，連通區(qū)域分析，根據(jù)檢測(cè)出的運(yùn)動(dòng)目標(biāo)的長(zhǎng)寬消除非車輛目標(biāo)，將運(yùn)動(dòng)車輛分割出來(lái)。

Step5使用卡爾曼濾波器預(yù)測(cè)車輛在下一幀中的可能位置。Step6在預(yù)測(cè)區(qū)域周圍對(duì)各個(gè)車輛進(jìn)行匹配跟蹤。轉(zhuǎn)Step2，進(jìn)行下一輪跟蹤。130算法步驟Step1背景模型訓(xùn)練，得到表示初始背景模型的碼夜晚車輛檢測(cè)結(jié)果

131夜晚車輛檢測(cè)結(jié)果46普通路面檢測(cè)結(jié)果

（a）序列某一幀

（b）混合高斯模型檢測(cè)結(jié)果（c）Bayes決策檢測(cè)結(jié)果（d）本方法檢測(cè)結(jié)果132普通路面檢測(cè)結(jié)果47高速公路檢測(cè)結(jié)果

（a）序列某一幀（b）混合高斯模型檢測(cè)結(jié)果

（c）Bayes決策檢測(cè)結(jié)果（d）本方法檢測(cè)結(jié)果133高速公路檢測(cè)結(jié)果48跟蹤結(jié)果

（a）序列第168幀跟蹤結(jié)果（b）序列第182幀跟蹤結(jié)果

（c）目標(biāo)質(zhì)心在x方向的坐標(biāo)（d）目標(biāo)質(zhì)心在y方向的坐標(biāo)

134跟蹤結(jié)果49跟蹤結(jié)果與粒子濾波方法比較

（a）粒子濾波第40幀（b）粒子濾波第60幀

（c）粒子濾波第88幀（d）粒子濾波第100幀135跟蹤結(jié)果與粒子濾波方法比較50跟蹤結(jié)果與經(jīng)典CamShift方法比較

（a）CamShift第40幀（b）CamShift第60幀（c）CamShift第88幀（d）CamShift第100幀

136跟蹤結(jié)果與經(jīng)典CamShift方法比較51跟蹤結(jié)果比較

（a）本文方法第40幀（b）本文方法第60幀（c）本文方法第88幀（d）本文方法第100幀137跟蹤結(jié)果比較52車輛檢測(cè)與跟蹤包括以下兩方面內(nèi)容：基于碼本更新的檢測(cè)與跟蹤方法基于輪廓匹配的檢測(cè)與跟蹤方法138車輛檢測(cè)與跟蹤包括以下兩方面內(nèi)容：53背景傳統(tǒng)視頻檢測(cè)車流量統(tǒng)計(jì)主要采用車輛檢測(cè)和跟蹤技術(shù)相結(jié)合的方法，算法復(fù)雜且容易受到外界干擾影響，本文建立若干車輛遮擋模型，利用分層輪廓匹配法將運(yùn)動(dòng)目標(biāo)與車輛遮擋模型進(jìn)行輪廓匹配識(shí)別出遮擋車輛。為了提取運(yùn)動(dòng)目標(biāo)完整外部輪廓，提出一種基于連通域的兩輪掃描法來(lái)標(biāo)記各個(gè)運(yùn)動(dòng)車輛，并利用YUV彩色空間對(duì)陰影進(jìn)行檢測(cè)和抑制，提高車流量統(tǒng)計(jì)精度。139背景傳統(tǒng)視頻檢測(cè)車流量統(tǒng)計(jì)主要采用車輛檢測(cè)一、基于連通域的兩輪掃描法

通過(guò)背景減法得到運(yùn)動(dòng)區(qū)域后，各個(gè)運(yùn)動(dòng)目標(biāo)可以認(rèn)為是一個(gè)獨(dú)立的連通域，本文采用基于連通域的兩輪掃描法標(biāo)記這些連通域，從而實(shí)現(xiàn)目標(biāo)分割。

140一、基于連通域的兩輪掃描法 55基于連通域的兩輪掃描法一、第一輪掃描初步標(biāo)記各個(gè)連通域。針對(duì)背景減法所得到的二值化圖，按照從上向下，從左至右的順序掃描各像素點(diǎn)，判斷當(dāng)前掃描點(diǎn)像素值是否為255,如果像素值為255，說(shuō)明該點(diǎn)是運(yùn)動(dòng)像素點(diǎn)，接著判斷該點(diǎn)鄰近像素點(diǎn)是否已被標(biāo)記以決定當(dāng)前像素點(diǎn)標(biāo)記值，當(dāng)遇到第一個(gè)已被標(biāo)記的鄰近像素點(diǎn)，就將該像素點(diǎn)的標(biāo)記值作為當(dāng)前掃描像素點(diǎn)的標(biāo)記值，若鄰近像素點(diǎn)都未標(biāo)記，說(shuō)明該像素點(diǎn)可能屬于一個(gè)新的目標(biāo)塊，賦予該像素點(diǎn)新的標(biāo)記值。141基于連通域的兩輪掃描法一、第一輪掃描56基于連通域的兩輪掃描法二、第二輪掃描第一輪掃描后可能存在同一連通域的像素點(diǎn)被標(biāo)記成不同目標(biāo)的情況，第二輪掃描將同一連通域內(nèi)不同標(biāo)記值的目標(biāo)合并為一個(gè)目標(biāo)。判斷每個(gè)像素點(diǎn)標(biāo)記值是否為0，如果為0，說(shuō)明當(dāng)前掃描點(diǎn)為背景像素點(diǎn)，則不予處理。反之進(jìn)一步查詢當(dāng)前掃描點(diǎn)鄰近像素點(diǎn)是否已被標(biāo)記，按照從上到下，從左至右的順序?qū)︵徑袼攸c(diǎn)進(jìn)行掃描，當(dāng)遇到第一個(gè)已被標(biāo)記且標(biāo)記值與當(dāng)前像素點(diǎn)標(biāo)記值不同的鄰近像素點(diǎn)時(shí)，將進(jìn)行合并。142基于連通域的兩輪掃描法二、第二輪掃描57基于連通域的兩輪掃描法

(a)一輪掃描后(b)二輪掃描后143基于連通域的兩輪掃描法58對(duì)比情況（a）原始圖像

（b）分割后（c）逐行掃描法（d）本文掃描方法上圖是實(shí)際的目標(biāo)分割結(jié)果比較。圖（a）為原始圖像，圖（b）為運(yùn)動(dòng)檢測(cè)結(jié)果，存在外部輪廓不連續(xù)的情況。逐行掃描法將該運(yùn)動(dòng)目標(biāo)分割成好幾塊不同的區(qū)域，如圖（c）所示，而本文兩輪掃描法成功將該運(yùn)動(dòng)目標(biāo)分割成一個(gè)獨(dú)立的區(qū)域，如圖（d）所示。144對(duì)比情況59二、通過(guò)輪廓匹配來(lái)解決遮擋問(wèn)題處于遮擋狀態(tài)的運(yùn)動(dòng)目標(biāo)與未處于遮擋狀態(tài)的運(yùn)動(dòng)目標(biāo)分割得到的輪廓有很大的差異，本文分析目標(biāo)的外部輪廓來(lái)判斷該運(yùn)動(dòng)目標(biāo)是否處于遮擋狀態(tài)。先建立若干車輛遮擋模型，代表一些常見(jiàn)的車輛遮擋情況，再提取運(yùn)動(dòng)目標(biāo)的輪廓分別與各個(gè)車輛遮擋模型的外部輪廓進(jìn)行匹配，根據(jù)匹配值判斷該運(yùn)動(dòng)目標(biāo)是否處于遮擋狀態(tài)。145二、通過(guò)輪廓匹配來(lái)解決遮擋問(wèn)題處于遮擋狀態(tài)的運(yùn)遮擋模型下圖所建立的車輛遮擋模型代表了典型的相鄰車道車輛遮擋情況。

m1m2146遮擋模型下圖所建立的車輛遮擋模型代表了典型的相鄰分層輪廓匹配方法本文采用一種分層輪廓匹配方法來(lái)比較運(yùn)動(dòng)目標(biāo)與車輛遮擋模型的外部輪廓，該方法在匹配過(guò)程中利用輪廓的整體和局部信息進(jìn)行計(jì)算。首先提取運(yùn)動(dòng)目標(biāo)輪廓，并進(jìn)行采樣并以二叉樹(shù)形式存儲(chǔ)，如右圖。147分層輪廓匹配方法本文采用一種分層輪廓匹配方法來(lái)分層輪廓匹配方法我們主要依靠該二叉樹(shù)的獨(dú)特分層結(jié)構(gòu)逐層進(jìn)行匹配比較，最終計(jì)算出匹配值。具體的匹配計(jì)算可以利用下面這個(gè)遞歸等式來(lái)表示：

148分層輪廓匹配方法我們主要依靠該二叉樹(shù)的獨(dú)特分層結(jié)構(gòu)逐層進(jìn)行匹試驗(yàn)結(jié)果（a）遮擋模型（b）原始遮擋圖像（c）分割處理后（d）遮擋模型與運(yùn)動(dòng)目標(biāo)匹配149試驗(yàn)結(jié)果64試驗(yàn)結(jié)果

（a）（b）（c）（d）（e）（f）（g）

表1上圖各個(gè)車輛與車輛遮擋模型輪廓匹配結(jié)果150試驗(yàn)結(jié)果65三、主要算法步驟（1）首先根據(jù)背景減法，初步分割出運(yùn)動(dòng)目標(biāo)，并對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行形態(tài)學(xué)處理，填補(bǔ)內(nèi)部空洞，去掉一些孤立的噪聲點(diǎn)。（2）基于YUV彩色空間檢測(cè)并去除出運(yùn)動(dòng)目標(biāo)的陰影像素。由于YUV的色差分量U、V和HSV空間的色度以及飽和度分量存在一定的聯(lián)系，色度可以近視表示為,而可以認(rèn)為是飽和度的值，陰影像素與背景像素比較，亮度有很大的變化，飽和度線性減少，色度一般不變，利用這一性質(zhì)檢測(cè)并去除出陰影像素。151三、主要算法步驟（1）首先根據(jù)背景減法，初步分割出運(yùn)動(dòng)目標(biāo)，主要算法步驟（3）通過(guò)本文提出的兩輪掃描法，分割各個(gè)運(yùn)動(dòng)目標(biāo)，采集各個(gè)運(yùn)動(dòng)目標(biāo)的大小，位置，矩特征，以及輪廓信息等，并修補(bǔ)外部輪廓中不連續(xù)的部分，得到完整的目標(biāo)輪廓，供后續(xù)處理。（4）根據(jù)分層輪廓匹配方法，對(duì)每一個(gè)運(yùn)動(dòng)目標(biāo)，提取輪廓信息與車輛遮擋模型輪廓匹配比較，如果該運(yùn)動(dòng)目標(biāo)與某一遮擋模型的輪廓匹配值小于某一閾值，則認(rèn)為是匹配的，判定該目標(biāo)處于對(duì)應(yīng)遮擋狀態(tài)。152主要算法步驟（3）通過(guò)本文提出的兩輪掃描法，分割各個(gè)運(yùn)動(dòng)目主要算法步驟（5）判斷車輛是否通過(guò)。本文采用類似開(kāi)辟檢測(cè)帶的方法進(jìn)行判斷，首先設(shè)置一條檢測(cè)線，橫貫馬路，分析位于檢測(cè)線上的各個(gè)運(yùn)動(dòng)車輛，對(duì)于每一幀圖像中位于檢測(cè)線上的所有運(yùn)動(dòng)車輛，我們都要查詢對(duì)應(yīng)位置在上一幀附近是否存在運(yùn)動(dòng)車輛，如果存在，則它們可能是同一輛車，進(jìn)一步查詢這兩個(gè)運(yùn)動(dòng)車輛的大小、方差與均值（矩特征）差值是否保持在一個(gè)范圍內(nèi)，若小于某一閾值，則認(rèn)為它們是同一輛車，反之認(rèn)為當(dāng)前車輛是剛進(jìn)入檢測(cè)線的新車輛，進(jìn)一步查詢它的遮擋狀態(tài)，根據(jù)遮擋情況，增加車輛計(jì)數(shù)值，達(dá)到統(tǒng)計(jì)出車流量的目的。153主要算法步驟（5）判斷車輛是否通過(guò)。本文采用類似開(kāi)辟檢測(cè)帶的運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估計(jì)車輛檢測(cè)與跟蹤5圖像超分辨率重建154運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估超分辨率重建的概念

超分辨率重建(super-resolutionreconstruction)是指：從單幀或一序列低分辨率圖像(LR)復(fù)原出一幅或一序列高分辨率圖像(HR)，HR圖像有著更高的細(xì)節(jié)信息和更好的主觀質(zhì)量。LR序列HR圖像155超分辨率重建的概念LR序列HR圖像70

圖像超分辨率重建的必要性攝像機(jī)在空間上的分辨率能力是有限的。圖像分辨率受攝像機(jī)感光陣列的空間密度及其本身引入的模糊誤差、運(yùn)動(dòng)模糊、下采樣、噪聲等因素，導(dǎo)致實(shí)際拍攝圖像的質(zhì)量較差、分辨率低。因此有必要提高一定的重建算法來(lái)提高圖像的分辨率，改善圖像質(zhì)量。物體鏡頭感光陣列

物體成像過(guò)程：156圖像超分辨率重建的必要性物體鏡頭感光陣列物圖像超分辨率重建的理論基礎(chǔ)

傅立葉光學(xué)理論中把成像系統(tǒng)看成是一個(gè)低