目標(biāo)的檢測概要課件

運(yùn)動(dòng)目標(biāo)檢測、提取主講：劉龍

Monday,January9,2023運(yùn)動(dòng)目標(biāo)檢測、提取1研究現(xiàn)狀已經(jīng)出現(xiàn)了眾多的視覺跟蹤算法。視覺跟蹤問題進(jìn)行分類●攝像機(jī)的數(shù)目：單攝像機(jī)Vs多攝像機(jī)●攝像機(jī)是否運(yùn)動(dòng)：攝像機(jī)靜止Vs攝像機(jī)運(yùn)動(dòng)●場景中運(yùn)動(dòng)目標(biāo)的數(shù)目：單運(yùn)動(dòng)目標(biāo)Vs多運(yùn)動(dòng)目標(biāo)●場景中運(yùn)動(dòng)目標(biāo)的類型：剛體Vs非剛體●傳感器的種類：可見光圖像Vs紅外圖像處理視覺跟蹤問題的兩種思路

●自底向上（Bottom-Up，Data-Driven）

●自頂向下（Top-Down，Model-Driven）視覺跟蹤方法分類●基于區(qū)域的跟蹤（Region-basedtracking）●基于特征的跟蹤（Feature-basedtracking）●基于變形模板的跟蹤（Deformable-Template-basedtracking）●基于模型的跟蹤（Model-basedtracking)研究現(xiàn)狀已經(jīng)出現(xiàn)了眾多的視覺跟蹤算法。2技術(shù)路線由于本文研究具有極強(qiáng)的工程應(yīng)用背景，因此選擇了自底向上的思路，這種思路對(duì)視覺跟蹤的一般處理過程示意圖如下預(yù)處理運(yùn)動(dòng)檢測目標(biāo)分類目標(biāo)跟蹤圖像序列技術(shù)路線由于本文研究具有極強(qiáng)的工程應(yīng)用背景，因此選擇了自3技術(shù)路線本學(xué)位論文對(duì)其中所涉及的四個(gè)環(huán)節(jié)，即圖像預(yù)處理、目標(biāo)檢測、目標(biāo)分類和目標(biāo)跟蹤進(jìn)行了研究。主要的創(chuàng)新之處包括以下四個(gè)方面。圖像預(yù)處理--消噪算法及推廣算法目標(biāo)檢測--PIC算法及PICM算法目標(biāo)分類--FFASnake算法返回目錄技術(shù)路線本學(xué)位論文對(duì)其中所涉及的四個(gè)環(huán)節(jié)，即圖像預(yù)處理、4運(yùn)動(dòng)目標(biāo)檢測問題的提出相關(guān)工作基于像素灰度歸類的背景重構(gòu)算法(PixelIntensityClassification,PIC)基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法(PixelIntensityClassificationandMend,PICM）小結(jié)運(yùn)動(dòng)目標(biāo)檢測問題的提出5問題的提出在視頻監(jiān)視系統(tǒng)中，運(yùn)動(dòng)目標(biāo)的檢測與分割是個(gè)非常重要的問題，尤其在復(fù)雜環(huán)境中對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測時(shí)，由于受到環(huán)境噪聲的影響，往往很難檢測到完整的或者真實(shí)的運(yùn)動(dòng)目標(biāo)。運(yùn)動(dòng)檢測的方法很多，這些方法可以分為三類：基于光流的運(yùn)動(dòng)檢測?；谙噜弾瑘D像差分的運(yùn)動(dòng)檢測?；诒尘安畹倪\(yùn)動(dòng)檢測。問題的提出在視頻監(jiān)視系統(tǒng)中，運(yùn)動(dòng)目標(biāo)的檢測與分割是個(gè)6問題的提出

由于背景差方法的優(yōu)越性，選擇該方法作為研究的對(duì)象，但是該方法的難點(diǎn)在于如何在背景不斷變化的情況下構(gòu)造出隨之變化的背景圖像以避免運(yùn)動(dòng)目標(biāo)的誤檢測。問題的提出

由于背景差方法的優(yōu)越性，選擇該方法作7相關(guān)工作

一種經(jīng)典的方法是時(shí)間平均法，即對(duì)一段時(shí)間中的圖像序列求和再平均，獲得一幀近似的背景圖像，但是這種方法容易將前景運(yùn)動(dòng)目標(biāo)混入背景圖像當(dāng)中，產(chǎn)生混合現(xiàn)象。相關(guān)工作8相關(guān)工作近年來關(guān)于背景圖像的自適應(yīng)更新，主要有兩大類方法，第一類方法建立背景模型，并采用自適應(yīng)方法對(duì)模型參數(shù)進(jìn)行調(diào)整，從而獲得新的背景圖像，這類方法通常假定在模型初始化階段，背景圖像中不含運(yùn)動(dòng)前景，但這種假設(shè)在實(shí)際的公共場合很難滿足；其次，運(yùn)動(dòng)前景很容易混入到背景圖像中，產(chǎn)生混合現(xiàn)象。相關(guān)工作近年來關(guān)于背景圖像的自適應(yīng)更新，主要有兩大類方法9相關(guān)工作第二類方法是從過去的一組觀測圖像當(dāng)中按照一定的假設(shè)選擇像素灰度構(gòu)成當(dāng)前的背景圖像，這類方法的優(yōu)點(diǎn)在于背景的初始化與場景中是否存在運(yùn)動(dòng)的前景無關(guān)，同時(shí)能夠有效避免混合現(xiàn)象。但是，由于這類方法是從過去的一段圖像序列中重構(gòu)背景圖像，因此不如第一類方法能夠適應(yīng)迅速的場景變化，而是產(chǎn)生一定的時(shí)間延遲，但這個(gè)問題對(duì)于長時(shí)間圖像監(jiān)視和跟蹤系統(tǒng)的影響不大。本文的背景重構(gòu)算法屬于第二類方法。相關(guān)工作第二類方法是從過去的一組觀測圖像當(dāng)中按照一定的假10基于像素灰度歸類的背景重構(gòu)算法首先選擇假設(shè)。第二類方法所采用的背景假設(shè)主要有：在一段圖像序列中，像素點(diǎn)處于穩(wěn)定狀態(tài)最長的灰度值是背景像素灰度值。背景至少在50%的時(shí)間內(nèi)可以被觀測到。背景在圖像序列中總是最經(jīng)常被觀測到的。上述假設(shè)中，最后一種假設(shè)相比而言更為合理。?；谙袼鼗叶葰w類的背景重構(gòu)算法首先選擇假設(shè)。11基于像素灰度歸類的背景重構(gòu)算法算法步驟：步驟1：劃分像素點(diǎn)的灰度平穩(wěn)區(qū)間；步驟2：分別計(jì)算各灰度平穩(wěn)區(qū)間的平均灰度值；步驟3：將平均灰度值相近的灰度平穩(wěn)區(qū)間歸為一類稱之為灰度值一致區(qū)間，統(tǒng)計(jì)該區(qū)間像素點(diǎn)出現(xiàn)的頻率；步驟4：選擇頻率最大的灰度值作為該像素點(diǎn)的背景灰度值?；谙袼鼗叶葰w類的背景重構(gòu)算法算法步驟：12基于像素灰度歸類的背景重構(gòu)算法步驟1：劃分像素點(diǎn)的灰度平穩(wěn)區(qū)間；已知圖像序列，從中等間隔抽取N+1幀圖像。

表示在這N+1幀圖像中的第i幀(

i=0,1,2,…,N

)像素點(diǎn)(x,y)處的灰度值。則存在下式,和灰度值不一致，不屬于同一灰度平穩(wěn)區(qū)間；，和灰度值一致，屬于同一灰度平穩(wěn)區(qū)間?；谙袼鼗叶葰w類的背景重構(gòu)算法步驟1：劃分像素點(diǎn)的灰度平穩(wěn)區(qū)13基于像素灰度歸類的背景重構(gòu)算法步驟2：分別計(jì)算各灰度平穩(wěn)區(qū)間的平均灰度值；第s個(gè)灰度平穩(wěn)區(qū)間的平均灰度值為

由上式可得灰度平穩(wěn)區(qū)間的平均灰度值?；谙袼鼗叶葰w類的背景重構(gòu)算法步驟2：分別計(jì)算各灰度平穩(wěn)區(qū)間14基于像素灰度歸類的背景重構(gòu)算法步驟3：將平均灰度值相近的灰度平穩(wěn)區(qū)間歸為一類稱之為灰度值一致區(qū)間，統(tǒng)計(jì)該區(qū)間像素點(diǎn)出現(xiàn)的頻率；比較所得灰度平穩(wěn)區(qū)間的平均灰度值，選出灰度值一致的全部區(qū)間并合并，如果有則第i個(gè)區(qū)間和第j區(qū)間為灰度值一致區(qū)間,其平均灰度值為基于像素灰度歸類的背景重構(gòu)算法步驟3：將平均灰度值相近的灰度15基于像素灰度歸類的背景重構(gòu)算法步驟4：選擇頻率最大的灰度值作為該像素點(diǎn)的背景灰度值。將灰度值一致區(qū)間中最大像素?cái)?shù)與所對(duì)應(yīng)的平均灰度值分別記為和，有下式即像素點(diǎn)(x,y)所對(duì)應(yīng)的背景像素點(diǎn)的灰度值為基于像素灰度歸類的背景重構(gòu)算法步驟4：選擇頻率最大的灰度值作16基于像素灰度歸類的背景重構(gòu)算法實(shí)驗(yàn)結(jié)果一：基于像素灰度歸類的背景重構(gòu)算法實(shí)驗(yàn)結(jié)果一：17基于像素灰度歸類的背景重構(gòu)算法實(shí)驗(yàn)結(jié)果二：基于像素灰度歸類的背景重構(gòu)算法實(shí)驗(yàn)結(jié)果二：18基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法基于像素灰度歸類的背景重構(gòu)算法存在的問題。在圖像序列分析中，如果背景像素的出現(xiàn)滿足假設(shè)條件，即背景在圖像序列中總是最經(jīng)常被觀測到的，則利用PIC算法可以獲得非常滿意的重構(gòu)背景。但是在很多情況下，這種假設(shè)條件并不滿足?；谙袼鼗叶葰w類與修補(bǔ)的背景重構(gòu)算法基于像素灰度歸類的背景重19基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法例如在高速公路上，如果車輛較多時(shí)，道路在大多數(shù)情況下總是被遮擋的。

基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法例如在高速公路上，如20基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法的算法思路：PICM算法首先確定出利用PIC算法得到的重構(gòu)背景中的錯(cuò)誤區(qū)域，然后按照一定的規(guī)則對(duì)錯(cuò)誤區(qū)域進(jìn)行修補(bǔ)，最終得到正確的重構(gòu)背景。即算法分為三步：

步驟1：利用PIC算法得到重構(gòu)的初始背景；

步驟2：確定初始背景中的錯(cuò)誤區(qū)域；

步驟3：修補(bǔ)錯(cuò)誤區(qū)域，獲得正確的重構(gòu)背景?；谙袼鼗叶葰w類與修補(bǔ)的背景重構(gòu)算法基于像素灰度歸類與修補(bǔ)的21基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法

步驟2：確定背景中的錯(cuò)誤區(qū)域；初始背景中的錯(cuò)誤區(qū)域通常是由該區(qū)域運(yùn)動(dòng)目標(biāo)的遮擋所造成的，盡管這些錯(cuò)誤區(qū)域所對(duì)應(yīng)的真實(shí)背景在實(shí)際圖像序列中出現(xiàn)的頻率并不是最高的，但仍會(huì)以一定的頻率出現(xiàn)。因此，如果將該圖像序列與初始重構(gòu)背景相減，那么錯(cuò)誤區(qū)域所對(duì)應(yīng)像素點(diǎn)的灰度值總是會(huì)以一個(gè)比較高的比例顯示為變化的?；谙袼鼗叶葰w類與修補(bǔ)的背景重構(gòu)算法步驟2：確定背景中的錯(cuò)22基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法由步驟2得到的實(shí)驗(yàn)結(jié)果

基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法由步驟2得到的實(shí)驗(yàn)結(jié)果23基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法步驟3：修補(bǔ)錯(cuò)誤區(qū)域，獲得正確的重構(gòu)背景。這一步的工作是在區(qū)域一致性假設(shè)的前提下進(jìn)行的。所謂區(qū)域一致性假設(shè)是指，如果在背景的一個(gè)區(qū)域中，像素灰度值是大面積均勻的，則稱該區(qū)域?yàn)榫鶆騾^(qū)域，在均勻區(qū)域中不會(huì)出現(xiàn)像素灰度值突變的區(qū)域，這種假設(shè)非常符合背景中含有道路、廣場和天空等均勻區(qū)域的情況。然后選擇錯(cuò)誤區(qū)域周邊的像素灰度值作為標(biāo)準(zhǔn)灰度值,在錯(cuò)誤區(qū)域所對(duì)應(yīng)的像素點(diǎn)上選出與標(biāo)準(zhǔn)灰度值最接近的灰度值作為該點(diǎn)背景像素的灰度值，從而獲得正確的重構(gòu)背景，即最終背景?；谙袼鼗叶葰w類與修補(bǔ)的背景重構(gòu)算法步驟3：修補(bǔ)錯(cuò)誤區(qū)域，獲24基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法由步驟3得到的實(shí)驗(yàn)結(jié)果

基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法由步驟3得到的實(shí)驗(yàn)結(jié)果25基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法實(shí)驗(yàn)結(jié)果一：基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法實(shí)驗(yàn)結(jié)果一：26基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法實(shí)驗(yàn)結(jié)果二：基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法實(shí)驗(yàn)結(jié)果二：27小結(jié)針對(duì)復(fù)雜環(huán)境中的運(yùn)動(dòng)目標(biāo)檢測問題，本章首先提出了一種基于像素灰度歸類的背景重構(gòu)算法(PIC)，該算法無須對(duì)場景中的背景和目標(biāo)建立模型，能夠直接從含有前景運(yùn)動(dòng)目標(biāo)的場景圖像中重構(gòu)背景，有效的避免了混合現(xiàn)象。同時(shí)PIC算法只需要對(duì)一個(gè)物理意義明確的參數(shù)進(jìn)行調(diào)節(jié)，在參數(shù)變化的很大范圍內(nèi)都可以得到滿意的結(jié)果。通過對(duì)實(shí)際圖像序列的處理表明，PIC算法能夠很好的進(jìn)行背景重構(gòu)。小結(jié)針對(duì)復(fù)雜環(huán)境中的運(yùn)動(dòng)目標(biāo)檢測問題，本章首先提出了一種28小結(jié)但PIC算法是建立在假設(shè)背景像素以最大概率出現(xiàn)在圖像序列中的前提下的，若不滿足這種假設(shè)則不能正確重構(gòu)背景。因此本章又提出基于像素灰度歸類和修補(bǔ)的背景重構(gòu)算法(PICM)，該算法重構(gòu)出初始背景之后，檢測初始背景中的錯(cuò)誤區(qū)域并對(duì)其進(jìn)行修補(bǔ)，最終獲得正確的重構(gòu)背景，從而有效克服了當(dāng)不滿足初始假設(shè)條件時(shí)背景圖像的錯(cuò)誤重構(gòu)問題。通過對(duì)實(shí)際圖像序列的處理表明，PICM算法能夠準(zhǔn)確地進(jìn)行背景重構(gòu)，從而正確完整地檢測和分割出運(yùn)動(dòng)的前景目標(biāo)。返回目錄小結(jié)但PIC算法是建立在假設(shè)背景像素以最大概率出現(xiàn)在圖像29基于力場分析Snake的運(yùn)動(dòng)目標(biāo)提取問題的提出主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ)基于力場分析的主動(dòng)輪廓模型實(shí)驗(yàn)結(jié)果與比較小結(jié)基于力場分析Snake的運(yùn)動(dòng)目標(biāo)提取問題的提出30問題的提出在圖像監(jiān)視和跟蹤系統(tǒng)中，檢測到運(yùn)動(dòng)目標(biāo)之后，應(yīng)當(dāng)將運(yùn)動(dòng)目標(biāo)提取出來，以便獲取運(yùn)動(dòng)目標(biāo)的相關(guān)信息，從而進(jìn)行更進(jìn)一步的處理。運(yùn)動(dòng)目標(biāo)的提取問題屬于圖像分割范疇。在眾多的圖像分割方法中，主動(dòng)輪廓模型(ActiveContourModels)近些年受到廣泛關(guān)注。主動(dòng)輪廓模型又稱為Snake模型。本章主要利用Snake模型實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)完整和有意義地提取。問題的提出在圖像監(jiān)視和跟蹤系統(tǒng)中，檢測到運(yùn)動(dòng)目標(biāo)之31問題的提出傳統(tǒng)Snake模型存在以下嚴(yán)重缺點(diǎn)：初始輪廓必須靠近感興趣圖像的真實(shí)邊緣，否則就會(huì)得到錯(cuò)誤的結(jié)果。不能進(jìn)入感興趣圖像的深凹部分。參數(shù)主動(dòng)輪廓模型具有非凸性，曲線能量最小時(shí)有可能是局部極小點(diǎn)。問題的提出傳統(tǒng)Snake模型存在以下嚴(yán)重缺點(diǎn)：32問題的提出針對(duì)這些缺點(diǎn)已經(jīng)提出了許多改進(jìn)算法，主要有主動(dòng)輪廓線的氣球模型。距離勢(shì)能模型。GVFSnake（GradientVectorFlowSnake）。但上述算法在解決傳統(tǒng)Snake模型其中一個(gè)或兩個(gè)缺點(diǎn)的同時(shí)又會(huì)產(chǎn)生新的問題。為此，經(jīng)過研究提出一種基于力場分析的主動(dòng)輪廓模型(ForceFieldAnalysisSnake)，稱為FFASnake。問題的提出針對(duì)這些缺點(diǎn)已經(jīng)提出了許多改進(jìn)算法，主要有33主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ)主動(dòng)輪廓模型分為兩大類：一類是參數(shù)主動(dòng)輪廓模型（ParametricActiveContourModel）另一類是幾何主動(dòng)輪廓模型（GeometricActiveContourModel）主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ)主動(dòng)輪廓模型分為兩大類：34主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ)參數(shù)主動(dòng)輪廓模型傳統(tǒng)的參數(shù)Snake模型是一條曲線v(s)=[x(s),y(s)],s[0,1],這條曲線在圖象的空間域中移動(dòng)的能量最小化函數(shù)為其中，稱為內(nèi)部能量函數(shù)，用來平滑Snake曲線。稱為外部能量函數(shù)，用來推動(dòng)或牽引Snake向圖象中感興趣特征移動(dòng)。主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ)參數(shù)主動(dòng)輪廓模型35主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ)幾何主動(dòng)輪廓模型幾何主動(dòng)輪廓模型是建立在曲線演化理論(CurveEvolutionTheory)基礎(chǔ)上利用水平集(LevelSet)方法來實(shí)現(xiàn)的。在水平集方法中，曲線被看作是高一維水平集函數(shù)的零水平集，定義值是點(diǎn)在時(shí)刻時(shí)到曲線的最短距離，則曲線由下式表示主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ)幾何主動(dòng)輪廓模型36基于力場分析的主動(dòng)輪廓模型FFASnake的算法思路算法步驟真輪廓點(diǎn)的判定假輪廓點(diǎn)已更新輪廓基于力場分析的主動(dòng)輪廓模型FFASnake的算法思路37基于力場分析的主動(dòng)輪廓模型FFASnake的算法思路傳統(tǒng)Snake方法所得結(jié)果示意圖(a)Snake的收縮過程使用(b)距離勢(shì)能力場，(c)在接近邊緣凹槽處的力場分布細(xì)節(jié)示意基于力場分析的主動(dòng)輪廓模型FFASnake的算法思路38基于力場分析的主動(dòng)輪廓模型FFASnake的算法思路FFASnake的算法思路示意圖基于力場分析的主動(dòng)輪廓模型FFASnake的算法思路39基于力場分析的主動(dòng)輪廓模型FFASnake的算法思路要實(shí)現(xiàn)上述思想，主要解決兩個(gè)問題：1）如何判斷預(yù)更新輪廓中的真輪廓點(diǎn)和假輪廓點(diǎn)？也就是說，在上圖中如何確定假輪廓ACB。2）如何確定已更新輪廓？實(shí)際上，這個(gè)問題要解決的是如何確定上圖中的對(duì)應(yīng)輪廓點(diǎn)D，因?yàn)橹懒它c(diǎn)D就可以將點(diǎn)C直接拖向點(diǎn)D，從而也就確定了已更新輪廓ADB?；诹龇治龅闹鲃?dòng)輪廓模型FFASnake的算法思路40基于力場分析的主動(dòng)輪廓模型FFASnake的算法步驟步驟1：對(duì)輸入圖像進(jìn)行邊緣檢測，求取邊緣圖像；步驟2：對(duì)邊緣圖像求基于歐氏距離變換的距離勢(shì)能力場作為外部力場；步驟3：在外部力場上設(shè)定Snake的初始輪廓，進(jìn)行Snake變形，得預(yù)更新輪廓；步驟4：判斷預(yù)更新輪廓中有無假輪廓，若有轉(zhuǎn)步驟5，若無轉(zhuǎn)步驟7；步驟5：搜尋所有假輪廓的對(duì)應(yīng)輪廓點(diǎn)；步驟6：將預(yù)更新輪廓中的假輪廓拉向其對(duì)應(yīng)輪廓點(diǎn)，得到已更新輪廓，以此已更新輪廓作為Snake的初始輪廓，轉(zhuǎn)步驟3；步驟7：預(yù)更新輪廓為最終感興趣圖像的真實(shí)輪廓，算法結(jié)束?；诹龇治龅闹鲃?dòng)輪廓模型FFASnake的算法步驟41基于力場分析的主動(dòng)輪廓模型真輪廓點(diǎn)的判定通過觀察發(fā)現(xiàn)，真輪廓點(diǎn)的力場分布具有極強(qiáng)的規(guī)律性，假輪廓點(diǎn)的力場分布卻沒有規(guī)律可言。因此，只要?dú)w納出真輪廓點(diǎn)8-連接域中力場分布規(guī)律，從預(yù)更新輪廓中將符合這些規(guī)律的輪廓點(diǎn)去掉，剩下的輪廓點(diǎn)就是假輪廓點(diǎn)，也就確定出了假輪廓。通過對(duì)大量真輪廓點(diǎn)8-連接域中力場分布規(guī)律的總結(jié)，一共歸納出了六類真輪廓點(diǎn)，分別是正規(guī)輪廓點(diǎn)、16對(duì)輪廓點(diǎn)、斷點(diǎn)、中心輪廓點(diǎn)、零點(diǎn)以及特殊輪廓點(diǎn)?；诹龇治龅闹鲃?dòng)輪廓模型真輪廓點(diǎn)的判定42基于力場分析的主動(dòng)輪廓模型真輪廓點(diǎn)的判定真輪廓點(diǎn)的力場分布具有極強(qiáng)的規(guī)律性?；诹龇治龅闹鲃?dòng)輪廓模型真輪廓點(diǎn)的判定43基于力場分析的主動(dòng)輪廓模型真輪廓點(diǎn)的判定正規(guī)輪廓點(diǎn)基于力場分析的主動(dòng)輪廓模型真輪廓點(diǎn)的判定44基于力場分析的主動(dòng)輪廓模型真輪廓點(diǎn)的判定16對(duì)輪廓點(diǎn)基于力場分析的主動(dòng)輪廓模型真輪廓點(diǎn)的判定45基于力場分析的主動(dòng)輪廓模型真輪廓點(diǎn)的判定斷點(diǎn)基于力場分析的主動(dòng)輪廓模型真輪廓點(diǎn)的判定46基于力場分析的主動(dòng)輪廓模型真輪廓點(diǎn)的判定中心輪廓點(diǎn)、零點(diǎn)以及特殊輪廓點(diǎn)基于力場分析的主動(dòng)輪廓模型真輪廓點(diǎn)的判定47基于力場分析的主動(dòng)輪廓模型假輪廓點(diǎn)基于力場分析的主動(dòng)輪廓模型假輪廓點(diǎn)48基于力場分析的主動(dòng)輪廓模型已更新輪廓點(diǎn)

將預(yù)更新輪廓中的假輪廓點(diǎn)用對(duì)應(yīng)輪廓點(diǎn)代替。更換后得到的新輪廓就是已更新輪廓?；诹龇治龅闹鲃?dòng)輪廓模型已更新輪廓點(diǎn)49實(shí)驗(yàn)結(jié)果與比較進(jìn)入感興趣圖像的深凹部分克服局部極小點(diǎn)實(shí)際圖像的結(jié)果運(yùn)行時(shí)間比較實(shí)驗(yàn)結(jié)果與比較進(jìn)入感興趣圖像的深凹部分50實(shí)驗(yàn)結(jié)果與比較進(jìn)入感興趣圖像的深凹部分實(shí)驗(yàn)結(jié)果與比較進(jìn)入感興趣圖像的深凹部分51實(shí)驗(yàn)結(jié)果與比較進(jìn)入感興趣圖像的深凹部分實(shí)驗(yàn)結(jié)果與比較進(jìn)入感興趣圖像的深凹部分52實(shí)驗(yàn)結(jié)果與比較克服局部極小點(diǎn)實(shí)驗(yàn)結(jié)果與比較克服局部極小點(diǎn)53實(shí)驗(yàn)結(jié)果與比較克服局部極小點(diǎn)實(shí)驗(yàn)結(jié)果與比較克服局部極小點(diǎn)54實(shí)驗(yàn)結(jié)果與比較實(shí)際圖像的結(jié)果實(shí)驗(yàn)結(jié)果與比較實(shí)際圖像的結(jié)果55運(yùn)動(dòng)目標(biāo)檢測、提取主講：劉龍

Monday,January9,2023運(yùn)動(dòng)目標(biāo)檢測、提取56研究現(xiàn)狀已經(jīng)出現(xiàn)了眾多的視覺跟蹤算法。視覺跟蹤問題進(jìn)行分類●攝像機(jī)的數(shù)目：單攝像機(jī)Vs多攝像機(jī)●攝像機(jī)是否運(yùn)動(dòng)：攝像機(jī)靜止Vs攝像機(jī)運(yùn)動(dòng)●場景中運(yùn)動(dòng)目標(biāo)的數(shù)目：單運(yùn)動(dòng)目標(biāo)Vs多運(yùn)動(dòng)目標(biāo)●場景中運(yùn)動(dòng)目標(biāo)的類型：剛體Vs非剛體●傳感器的種類：可見光圖像Vs紅外圖像處理視覺跟蹤問題的兩種思路

●自底向上（Bottom-Up，Data-Driven）

●自頂向下（Top-Down，Model-Driven）視覺跟蹤方法分類●基于區(qū)域的跟蹤（Region-basedtracking）●基于特征的跟蹤（Feature-basedtracking）●基于變形模板的跟蹤（Deformable-Template-basedtracking）●基于模型的跟蹤（Model-basedtracking)研究現(xiàn)狀已經(jīng)出現(xiàn)了眾多的視覺跟蹤算法。57技術(shù)路線由于本文研究具有極強(qiáng)的工程應(yīng)用背景，因此選擇了自底向上的思路，這種思路對(duì)視覺跟蹤的一般處理過程示意圖如下預(yù)處理運(yùn)動(dòng)檢測目標(biāo)分類目標(biāo)跟蹤圖像序列技術(shù)路線由于本文研究具有極強(qiáng)的工程應(yīng)用背景，因此選擇了自58技術(shù)路線本學(xué)位論文對(duì)其中所涉及的四個(gè)環(huán)節(jié)，即圖像預(yù)處理、目標(biāo)檢測、目標(biāo)分類和目標(biāo)跟蹤進(jìn)行了研究。主要的創(chuàng)新之處包括以下四個(gè)方面。圖像預(yù)處理--消噪算法及推廣算法目標(biāo)檢測--PIC算法及PICM算法目標(biāo)分類--FFASnake算法返回目錄技術(shù)路線本學(xué)位論文對(duì)其中所涉及的四個(gè)環(huán)節(jié)，即圖像預(yù)處理、59運(yùn)動(dòng)目標(biāo)檢測問題的提出相關(guān)工作基于像素灰度歸類的背景重構(gòu)算法(PixelIntensityClassification,PIC)基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法(PixelIntensityClassificationandMend,PICM）小結(jié)運(yùn)動(dòng)目標(biāo)檢測問題的提出60問題的提出在視頻監(jiān)視系統(tǒng)中，運(yùn)動(dòng)目標(biāo)的檢測與分割是個(gè)非常重要的問題，尤其在復(fù)雜環(huán)境中對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測時(shí)，由于受到環(huán)境噪聲的影響，往往很難檢測到完整的或者真實(shí)的運(yùn)動(dòng)目標(biāo)。運(yùn)動(dòng)檢測的方法很多，這些方法可以分為三類：基于光流的運(yùn)動(dòng)檢測。基于相鄰幀圖像差分的運(yùn)動(dòng)檢測。基于背景差的運(yùn)動(dòng)檢測。問題的提出在視頻監(jiān)視系統(tǒng)中，運(yùn)動(dòng)目標(biāo)的檢測與分割是個(gè)61問題的提出

由于背景差方法的優(yōu)越性，選擇該方法作為研究的對(duì)象，但是該方法的難點(diǎn)在于如何在背景不斷變化的情況下構(gòu)造出隨之變化的背景圖像以避免運(yùn)動(dòng)目標(biāo)的誤檢測。問題的提出

由于背景差方法的優(yōu)越性，選擇該方法作62相關(guān)工作

一種經(jīng)典的方法是時(shí)間平均法，即對(duì)一段時(shí)間中的圖像序列求和再平均，獲得一幀近似的背景圖像，但是這種方法容易將前景運(yùn)動(dòng)目標(biāo)混入背景圖像當(dāng)中，產(chǎn)生混合現(xiàn)象。相關(guān)工作63相關(guān)工作近年來關(guān)于背景圖像的自適應(yīng)更新，主要有兩大類方法，第一類方法建立背景模型，并采用自適應(yīng)方法對(duì)模型參數(shù)進(jìn)行調(diào)整，從而獲得新的背景圖像，這類方法通常假定在模型初始化階段，背景圖像中不含運(yùn)動(dòng)前景，但這種假設(shè)在實(shí)際的公共場合很難滿足；其次，運(yùn)動(dòng)前景很容易混入到背景圖像中，產(chǎn)生混合現(xiàn)象。相關(guān)工作近年來關(guān)于背景圖像的自適應(yīng)更新，主要有兩大類方法64相關(guān)工作第二類方法是從過去的一組觀測圖像當(dāng)中按照一定的假設(shè)選擇像素灰度構(gòu)成當(dāng)前的背景圖像，這類方法的優(yōu)點(diǎn)在于背景的初始化與場景中是否存在運(yùn)動(dòng)的前景無關(guān)，同時(shí)能夠有效避免混合現(xiàn)象。但是，由于這類方法是從過去的一段圖像序列中重構(gòu)背景圖像，因此不如第一類方法能夠適應(yīng)迅速的場景變化，而是產(chǎn)生一定的時(shí)間延遲，但這個(gè)問題對(duì)于長時(shí)間圖像監(jiān)視和跟蹤系統(tǒng)的影響不大。本文的背景重構(gòu)算法屬于第二類方法。相關(guān)工作第二類方法是從過去的一組觀測圖像當(dāng)中按照一定的假65基于像素灰度歸類的背景重構(gòu)算法首先選擇假設(shè)。第二類方法所采用的背景假設(shè)主要有：在一段圖像序列中，像素點(diǎn)處于穩(wěn)定狀態(tài)最長的灰度值是背景像素灰度值。背景至少在50%的時(shí)間內(nèi)可以被觀測到。背景在圖像序列中總是最經(jīng)常被觀測到的。上述假設(shè)中，最后一種假設(shè)相比而言更為合理。。基于像素灰度歸類的背景重構(gòu)算法首先選擇假設(shè)。66基于像素灰度歸類的背景重構(gòu)算法算法步驟：步驟1：劃分像素點(diǎn)的灰度平穩(wěn)區(qū)間；步驟2：分別計(jì)算各灰度平穩(wěn)區(qū)間的平均灰度值；步驟3：將平均灰度值相近的灰度平穩(wěn)區(qū)間歸為一類稱之為灰度值一致區(qū)間，統(tǒng)計(jì)該區(qū)間像素點(diǎn)出現(xiàn)的頻率；步驟4：選擇頻率最大的灰度值作為該像素點(diǎn)的背景灰度值?；谙袼鼗叶葰w類的背景重構(gòu)算法算法步驟：67基于像素灰度歸類的背景重構(gòu)算法步驟1：劃分像素點(diǎn)的灰度平穩(wěn)區(qū)間；已知圖像序列，從中等間隔抽取N+1幀圖像。

表示在這N+1幀圖像中的第i幀(

i=0,1,2,…,N

)像素點(diǎn)(x,y)處的灰度值。則存在下式,和灰度值不一致，不屬于同一灰度平穩(wěn)區(qū)間；，和灰度值一致，屬于同一灰度平穩(wěn)區(qū)間。基于像素灰度歸類的背景重構(gòu)算法步驟1：劃分像素點(diǎn)的灰度平穩(wěn)區(qū)68基于像素灰度歸類的背景重構(gòu)算法步驟2：分別計(jì)算各灰度平穩(wěn)區(qū)間的平均灰度值；第s個(gè)灰度平穩(wěn)區(qū)間的平均灰度值為

由上式可得灰度平穩(wěn)區(qū)間的平均灰度值?；谙袼鼗叶葰w類的背景重構(gòu)算法步驟2：分別計(jì)算各灰度平穩(wěn)區(qū)間69基于像素灰度歸類的背景重構(gòu)算法步驟3：將平均灰度值相近的灰度平穩(wěn)區(qū)間歸為一類稱之為灰度值一致區(qū)間，統(tǒng)計(jì)該區(qū)間像素點(diǎn)出現(xiàn)的頻率；比較所得灰度平穩(wěn)區(qū)間的平均灰度值，選出灰度值一致的全部區(qū)間并合并，如果有則第i個(gè)區(qū)間和第j區(qū)間為灰度值一致區(qū)間,其平均灰度值為基于像素灰度歸類的背景重構(gòu)算法步驟3：將平均灰度值相近的灰度70基于像素灰度歸類的背景重構(gòu)算法步驟4：選擇頻率最大的灰度值作為該像素點(diǎn)的背景灰度值。將灰度值一致區(qū)間中最大像素?cái)?shù)與所對(duì)應(yīng)的平均灰度值分別記為和，有下式即像素點(diǎn)(x,y)所對(duì)應(yīng)的背景像素點(diǎn)的灰度值為基于像素灰度歸類的背景重構(gòu)算法步驟4：選擇頻率最大的灰度值作71基于像素灰度歸類的背景重構(gòu)算法實(shí)驗(yàn)結(jié)果一：基于像素灰度歸類的背景重構(gòu)算法實(shí)驗(yàn)結(jié)果一：72基于像素灰度歸類的背景重構(gòu)算法實(shí)驗(yàn)結(jié)果二：基于像素灰度歸類的背景重構(gòu)算法實(shí)驗(yàn)結(jié)果二：73基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法基于像素灰度歸類的背景重構(gòu)算法存在的問題。在圖像序列分析中，如果背景像素的出現(xiàn)滿足假設(shè)條件，即背景在圖像序列中總是最經(jīng)常被觀測到的，則利用PIC算法可以獲得非常滿意的重構(gòu)背景。但是在很多情況下，這種假設(shè)條件并不滿足?；谙袼鼗叶葰w類與修補(bǔ)的背景重構(gòu)算法基于像素灰度歸類的背景重74基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法例如在高速公路上，如果車輛較多時(shí)，道路在大多數(shù)情況下總是被遮擋的。

基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法例如在高速公路上，如75基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法的算法思路：PICM算法首先確定出利用PIC算法得到的重構(gòu)背景中的錯(cuò)誤區(qū)域，然后按照一定的規(guī)則對(duì)錯(cuò)誤區(qū)域進(jìn)行修補(bǔ)，最終得到正確的重構(gòu)背景。即算法分為三步：

步驟1：利用PIC算法得到重構(gòu)的初始背景；

步驟2：確定初始背景中的錯(cuò)誤區(qū)域；

步驟3：修補(bǔ)錯(cuò)誤區(qū)域，獲得正確的重構(gòu)背景?；谙袼鼗叶葰w類與修補(bǔ)的背景重構(gòu)算法基于像素灰度歸類與修補(bǔ)的76基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法

步驟2：確定背景中的錯(cuò)誤區(qū)域；初始背景中的錯(cuò)誤區(qū)域通常是由該區(qū)域運(yùn)動(dòng)目標(biāo)的遮擋所造成的，盡管這些錯(cuò)誤區(qū)域所對(duì)應(yīng)的真實(shí)背景在實(shí)際圖像序列中出現(xiàn)的頻率并不是最高的，但仍會(huì)以一定的頻率出現(xiàn)。因此，如果將該圖像序列與初始重構(gòu)背景相減，那么錯(cuò)誤區(qū)域所對(duì)應(yīng)像素點(diǎn)的灰度值總是會(huì)以一個(gè)比較高的比例顯示為變化的?；谙袼鼗叶葰w類與修補(bǔ)的背景重構(gòu)算法步驟2：確定背景中的錯(cuò)77基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法由步驟2得到的實(shí)驗(yàn)結(jié)果

基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法由步驟2得到的實(shí)驗(yàn)結(jié)果78基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法步驟3：修補(bǔ)錯(cuò)誤區(qū)域，獲得正確的重構(gòu)背景。這一步的工作是在區(qū)域一致性假設(shè)的前提下進(jìn)行的。所謂區(qū)域一致性假設(shè)是指，如果在背景的一個(gè)區(qū)域中，像素灰度值是大面積均勻的，則稱該區(qū)域?yàn)榫鶆騾^(qū)域，在均勻區(qū)域中不會(huì)出現(xiàn)像素灰度值突變的區(qū)域，這種假設(shè)非常符合背景中含有道路、廣場和天空等均勻區(qū)域的情況。然后選擇錯(cuò)誤區(qū)域周邊的像素灰度值作為標(biāo)準(zhǔn)灰度值,在錯(cuò)誤區(qū)域所對(duì)應(yīng)的像素點(diǎn)上選出與標(biāo)準(zhǔn)灰度值最接近的灰度值作為該點(diǎn)背景像素的灰度值，從而獲得正確的重構(gòu)背景，即最終背景?；谙袼鼗叶葰w類與修補(bǔ)的背景重構(gòu)算法步驟3：修補(bǔ)錯(cuò)誤區(qū)域，獲79基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法由步驟3得到的實(shí)驗(yàn)結(jié)果

基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法由步驟3得到的實(shí)驗(yàn)結(jié)果80基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法實(shí)驗(yàn)結(jié)果一：基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法實(shí)驗(yàn)結(jié)果一：81基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法實(shí)驗(yàn)結(jié)果二：基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法實(shí)驗(yàn)結(jié)果二：82小結(jié)針對(duì)復(fù)雜環(huán)境中的運(yùn)動(dòng)目標(biāo)檢測問題，本章首先提出了一種基于像素灰度歸類的背景重構(gòu)算法(PIC)，該算法無須對(duì)場景中的背景和目標(biāo)建立模型，能夠直接從含有前景運(yùn)動(dòng)目標(biāo)的場景圖像中重構(gòu)背景，有效的避免了混合現(xiàn)象。同時(shí)PIC算法只需要對(duì)一個(gè)物理意義明確的參數(shù)進(jìn)行調(diào)節(jié)，在參數(shù)變化的很大范圍內(nèi)都可以得到滿意的結(jié)果。通過對(duì)實(shí)際圖像序列的處理表明，PIC算法能夠很好的進(jìn)行背景重構(gòu)。小結(jié)針對(duì)復(fù)雜環(huán)境中的運(yùn)動(dòng)目標(biāo)檢測問題，本章首先提出了一種83小結(jié)但PIC算法是建立在假設(shè)背景像素以最大概率出現(xiàn)在圖像序列中的前提下的，若不滿足這種假設(shè)則不能正確重構(gòu)背景。因此本章又提出基于像素灰度歸類和修補(bǔ)的背景重構(gòu)算法(PICM)，該算法重構(gòu)出初始背景之后，檢測初始背景中的錯(cuò)誤區(qū)域并對(duì)其進(jìn)行修補(bǔ)，最終獲得正確的重構(gòu)背景，從而有效克服了當(dāng)不滿足初始假設(shè)條件時(shí)背景圖像的錯(cuò)誤重構(gòu)問題。通過對(duì)實(shí)際圖像序列的處理表明，PICM算法能夠準(zhǔn)確地進(jìn)行背景重構(gòu)，從而正確完整地檢測和分割出運(yùn)動(dòng)的前景目標(biāo)。返回目錄小結(jié)但PIC算法是建立在假設(shè)背景像素以最大概率出現(xiàn)在圖像84基于力場分析Snake的運(yùn)動(dòng)目標(biāo)提取問題的提出主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ)基于力場分析的主動(dòng)輪廓模型實(shí)驗(yàn)結(jié)果與比較小結(jié)基于力場分析Snake的運(yùn)動(dòng)目標(biāo)提取問題的提出85問題的提出在圖像監(jiān)視和跟蹤系統(tǒng)中，檢測到運(yùn)動(dòng)目標(biāo)之后，應(yīng)當(dāng)將運(yùn)動(dòng)目標(biāo)提取出來，以便獲取運(yùn)動(dòng)目標(biāo)的相關(guān)信息，從而進(jìn)行更進(jìn)一步的處理。運(yùn)動(dòng)目標(biāo)的提取問題屬于圖像分割范疇。在眾多的圖像分割方法中，主動(dòng)輪廓模型(ActiveContourModels)近些年受到廣泛關(guān)注。主動(dòng)輪廓模型又稱為Snake模型。本章主要利用Snake模型實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)完整和有意義地提取。問題的提出在圖像監(jiān)視和跟蹤系統(tǒng)中，檢測到運(yùn)動(dòng)目標(biāo)之86問題的提出傳統(tǒng)Snake模型存在以下嚴(yán)重缺點(diǎn)：初始輪廓必須靠近感興趣圖像的真實(shí)邊緣，否則就會(huì)得到錯(cuò)誤的結(jié)果。不能進(jìn)入感興趣圖像的深凹部分。參數(shù)主動(dòng)輪廓模型具有非凸性，曲線能量最小時(shí)有可能是局部極小點(diǎn)。問題的提出傳統(tǒng)Snake模型存在以下嚴(yán)重缺點(diǎn)：87問題的提出針對(duì)這些缺點(diǎn)已經(jīng)提出了許多改進(jìn)算法，主要有主動(dòng)輪廓線的氣球模型。距離勢(shì)能模型。GVFSnake（GradientVectorFlowSnake）。但上述算法在解決傳統(tǒng)Snake模型其中一個(gè)或兩個(gè)缺點(diǎn)的同時(shí)又會(huì)產(chǎn)生新的問題。為此，經(jīng)過研究提出一種基于力場分析的主動(dòng)輪廓模型(ForceFieldAnalysisSnake)，稱為FFASnake。問題的提出針對(duì)這些缺點(diǎn)已經(jīng)提出了許多改進(jìn)算法，主要有88主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ)主動(dòng)輪廓模型分為兩大類：一類是參數(shù)主動(dòng)輪廓模型（ParametricActiveContourModel）另一類是幾何主動(dòng)輪廓模型（GeometricActiveContourModel）主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ)主動(dòng)輪廓模型分為兩大類：89主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ)參數(shù)主動(dòng)輪廓模型傳統(tǒng)的參數(shù)Snake模型是一條曲線v(s)=[x(s),y(s)],s[0,1],這條曲線在圖象的空間域中移動(dòng)的能量最小化函數(shù)為其中，稱為內(nèi)部能量函數(shù)，用來平滑Snake曲線。稱為外部能量函數(shù)，用來推動(dòng)或牽引Snake向圖象中感興趣特征移動(dòng)。主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ)參數(shù)主動(dòng)輪廓模型90主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ)幾何主動(dòng)輪廓模型幾何主動(dòng)輪廓模型是建立在曲線演化理論(CurveEvolutionTheory)基礎(chǔ)上利用水平集(LevelSet)方法來實(shí)現(xiàn)的。在水平集方法中，曲線被看作是高一維水平集函數(shù)的零水平集，定義值是點(diǎn)在時(shí)刻時(shí)到曲線的最短距離，則曲線由下式表示主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ)幾何主動(dòng)輪廓模型91基于力場分析的主動(dòng)輪廓模型FFASnake的算法思路算法步驟真輪廓點(diǎn)的判定假輪廓點(diǎn)已更新輪廓基于力場分析的主動(dòng)輪廓模型FFASnake的算法思路92基于力場分析的主動(dòng)輪廓模型FFASnake的算法思路傳統(tǒng)Snake方法所得結(jié)果示意圖(a)Snake的收縮過程使用(b)距離勢(shì)能力場，(c)在接近邊緣凹槽處的力