Python圖像處理與機(jī)器視覺入門 課件 第23章 視頻處理

圖像處理應(yīng)用技術(shù)李欽深圳信息職業(yè)技術(shù)學(xué)院軟件學(xué)院科技樓1703D室1295254769@視頻處理我們迄今為止學(xué)習(xí)到的任務(wù)都是基于數(shù)字圖像完成的。而在現(xiàn)實(shí)生活中，視覺數(shù)據(jù)不單單是以圖像的形式出現(xiàn)，同樣還有大量的視頻數(shù)據(jù)例如影視，攝像數(shù)據(jù)。盡管視頻數(shù)據(jù)是由圖像數(shù)據(jù)以及一些可能的音頻和字幕組合起來(lái)的，但是在計(jì)算機(jī)視覺中，我們重點(diǎn)關(guān)注圖像這部分內(nèi)容。這意味著在很多情況下我們需要將視頻視為一些數(shù)字圖像組合的載體來(lái)處理，在運(yùn)用之前學(xué)到的圖像處理方法的基礎(chǔ)上，繼續(xù)學(xué)習(xí)與視頻相關(guān)的知識(shí)。目標(biāo)跟蹤視頻處理中的一個(gè)基礎(chǔ)任務(wù)就是追蹤目標(biāo)物體，對(duì)標(biāo)定的物體進(jìn)行連續(xù)的跟蹤。盡管現(xiàn)在有很多復(fù)雜的神經(jīng)網(wǎng)絡(luò)來(lái)完成目標(biāo)檢測(cè)以及追蹤，但是傳統(tǒng)的追蹤方法只用到了一些簡(jiǎn)單的直方圖分布特征就可以完成類似任務(wù)的雛形，本節(jié)我們將通過(guò)一個(gè)簡(jiǎn)單的汽車跟蹤的例子了解如何使用均值漂移來(lái)簡(jiǎn)單地進(jìn)行視頻追蹤。目標(biāo)跟蹤步驟1讀取視頻 首先我們讀取視頻并查看視頻的一些基本信息。目標(biāo)跟蹤步驟2標(biāo)定目標(biāo) 我們先讀取第一幀，查看我們需要的目標(biāo)汽車大概的位置，并記錄。為了確保目標(biāo)不要包含過(guò)多的背景，我們?cè)谶@里將目標(biāo)范圍相對(duì)縮小一點(diǎn)。目標(biāo)跟蹤步驟3計(jì)算特征直方圖 針對(duì)我們記錄的目標(biāo)區(qū)域，我們需要用之前學(xué)習(xí)到的方法calcHist計(jì)算特征直方圖，并展示出來(lái)。目標(biāo)跟蹤步驟4反向投影 為了完成追蹤的任務(wù)，我們需要找到目標(biāo)特征匹配的區(qū)域，這里我們將用到反向投影技術(shù)，即根據(jù)目標(biāo)的色相直方圖特征，對(duì)下一幀的色相進(jìn)行反向匹配，匹配度越高的區(qū)域亮度越大，可以看到中心的汽車區(qū)域亮度較高。使用OpenCV中的calcBackProject函數(shù)，輸入hsv模型，色相對(duì)應(yīng)的通道序數(shù)0，目標(biāo)區(qū)域直方圖，取值范圍?？梢缘玫椒聪蛲队暗幕叶葓D像。目標(biāo)跟蹤步驟5目標(biāo)追蹤 輸入視頻，目標(biāo)特征，以及初始特征框，基于初始的目標(biāo)區(qū)域框以及反向投影圖，使用meanShift,指定一些停止條件來(lái)完成均值漂移的任務(wù)，并生成下一幀的目標(biāo)框，循環(huán)對(duì)視頻進(jìn)行追蹤。練習(xí)1實(shí)現(xiàn)目標(biāo)跟蹤。作答正常使用主觀題需2.0以上版本雨課堂主觀題10分視頻分割我們前面介紹過(guò)圖像的分割。視頻也有分割的需求。視頻分割可以轉(zhuǎn)化為一張張圖像的分割，也可以根據(jù)視頻本身的特性，通過(guò)分析前景與背景的更新來(lái)把前景和背景分割開來(lái)。本節(jié)將介紹一種基于K近鄰的背景去除方法，來(lái)實(shí)現(xiàn)視頻的分割。視頻分割基于K近鄰的背景去除任務(wù)實(shí)現(xiàn)步驟如下。（1）讀取視頻。首先我們讀取視頻并查看視頻的一些基本信息。（2）讀取視頻當(dāng)前幀。（3）使用opencv中的createBackgroundSubtractorKNN()函數(shù)實(shí)現(xiàn)背景去除。（4）使用形態(tài)學(xué)去噪。（5）循環(huán)迭代