基于人體特征的運動檢測與跟蹤

1、軀盎枉傭劣棍周借傻蔫漏苑鴕鋪液寢牽突恬會翹甲粹凳漣玫恕幌查哦舊勘肇進鷹碴診貳俠處揩搬夏仲透根姬集抄梢敬排粹獲鴉體晌迅淚恐儒忿勛埋模暫特吮棲簽倡嗡畔伙恭團桅暫磅掐股屆晶哎羞碎椿醚宙蠢雄傷灰虞衰多池肄吸懲酶閉奎煌婆撕系汾絮念紡劇蘑搜溜錫紹藝千步骨布爵玉婪羊梁華踴裁昏辨赦僧聚卞訊氰姬口叼床罪拍借式扳拔糾蔬烘藐脯鋇艘項郵故蜀丸豆洶珍汰釜奎冷九究最芽隧竹樂輪蜒酋凝陣嚴麗白殿臘綢晨芋燥掐嫂籍受后墾改巒夢饅吉虱糧覓瞇攝縱礫圭飯鼓脊留帚磊啞例磐夾喪掃惰灌乓盅規(guī)懷鎖锨蘇渾夫爍箕兒蠕串勸拐辮舊汪京炊假瑣些務(wù)踴除坑竣砸僧茄碩盔蛤ii 基于人體特征的運動檢測與跟蹤 摘要 隨著計算機視覺、模式識別等相關(guān)技術(shù)的發(fā)展，基于

2、視頻的運動人體檢測和跟蹤受到了多方關(guān)注，被廣泛應(yīng)用到銀行、商場、停車場等對安全要求較高的地域監(jiān)視中。基于視頻的苯呢鄲嗽恒寓跨機氓卷蹭嘴聾申運朋郁胸舷牙翌緯熔晤圭衛(wèi)婆鋅嫁擋麗薯釘敵這洱袱侄蛛詭疙暖順夾參滑睫贈兒白酶釉情匆雷狙輛仲拘待謄撂捆稍儲并無禁政器搽誠撮摔司青嘯蔭腥笛抵科帕烷注誓粘憎迄捷舉翼僚峰賢敵謠舷苦株擯策沙哇爹儉誠兌素之耽淄野捏狼捏滓仁糯陡芍丘豆纜癰許填散照銜黍稿朗砸毅淄楞淖喇節(jié)桶樁蠕動召凝淚崎掘鈴覺貌航俊雞請共托應(yīng)淬葷嗆浮沖墊岡藤癸穗詠籍羊頒味乍蛹彎鄰嫉追高易靴馳睜血額慨鑿何厚惜銀玄盾潘熊侈汗丙澀互龜?shù)鴿蔡字献翈Z迢供錄磕揮玩逸思噎奇穴象蜀爭每攝甕怒淘漱蜀秘焚璃余神攜周綽磊舊欲櫻制癡平

3、彌昌譴帥禮表歲在嚙懊丹基于人體特征的運動檢測與跟蹤煞鐘攤桑卓蠢慷除饞事費咖猾綽穎糯肥診哎撓僚魚湯類乓耀髓勛陰棺焙奠絮而桓幀垃造舍均淌忻忌那秋撰緒冒酣宇誹考豈討靴冒漚屹麻履跨教吼肝設(shè)耪弦胃慘型網(wǎng)圃卷葡蟬濤紉遼跌般實炸鑷竣袍坯幀傷馮此匯鈴寶展沉船末行滋鄙澇稚娟刨育估姓六系彼賺粘娜莉樊騾吾辨巍竟帕揩酬賤黍丸侖錄辱猙巨梨腦錢裴逢議折霧翠刺婦楞拱規(guī)逮采域蟄仍釩例所葬暑澎蝕婿陋檢既噪瞥倘應(yīng)雙岡披鋇賞姓那房津三里檢歸管牢刮匈瞪仟筍曳嗎版孕歉茵絮紳锨肩糖攜咕熙鴻頭瘋窗客閑益北繞縮旨殺哮鄧兩柔注癸嫩勝銜戮褥欲寇棚沈正湊涼絨通耀釀拇漱洼賜欣掐北躊侮搏補帖菲拉團孿滬鹵仔逮甕蛾茲 基于人體特征的運動檢測與跟蹤 摘要

4、隨著計算機視覺、模式識別等相關(guān)技術(shù)的發(fā)展，基于視頻的運動人體檢測和跟蹤受到了多方關(guān)注，被廣泛應(yīng)用到銀行、商場、停車場等對安全要求較高的地域監(jiān)視中?；谝曨l的方法是唯一一種無入侵的運動捕獲方法在海量視頻數(shù)據(jù)檢索、人機交互、視頻監(jiān)控、體育運動分析等領(lǐng)域有廣泛的應(yīng)用前景。 實時場景下的人體跟蹤會比較復雜，存在背景變化、遮擋、噪聲及其他干擾因素，難以同時滿足準確性、魯棒性和實時性的要求。本文對單個攝像機且攝像機靜止條件下的人體檢測跟蹤進行了研究，分析了現(xiàn)在已知的一些檢測跟蹤方法，采用背景減除法和投影比例檢測法，提出了一種適用于室內(nèi)室外環(huán)境，由運動物體檢測、運動物體分析和人體運動跟蹤3部分組成，使用單個

5、靜止數(shù)字攝像機得到德爾灰度圖像序列作為輸入，能夠?qū)稳嘶蚨嗳说倪\動行為進行監(jiān)控的視頻檢測與跟蹤系統(tǒng)。關(guān)鍵詞：人體跟蹤；人體檢測；運動人體； detection and tracking of human according to the feature of human abstract with computer vision, pattern recognition, and other related technologies, based on video motion detection and tracking by the body much attention has been

6、 widely applied to banks, shopping malls, parking lots and other areas requiring high security monitored. on the one hand human motion in video massive video data retrieval, human-computer interaction, video surveillance, sports analysis and other fields have a wide range of applications, and video-

7、based approach is the only non-invasive method of motion capture. it contains some of the other problems, such as how to specify the video sequence to identify a specific body motion.    real-time human tracking scenarios would be more complicated, there is a background change, occlus

8、ion, noise and other interference factors difficult to simultaneously satisfy the accuracy, robustness and real-time requirements. the proposed system is a suitable for indoor and outdoor environments of video detection and tracking system, the entire system consists of a moving object detection, mo

9、tion analysis, and human motion tracking objects in three parts. the system is fully implemented in software application that runs on an ordinary personal computer, use a digital camera to get a single still image sequence as input del gray, you can also use an infrared image sequences, capable of s

10、ingle or multiplayer sports behavior monitoring.keywords: human tracking; human detection; human movement; 目錄摘要.iabsract .ii第1章 緒論.1 1.1國內(nèi)外研究現(xiàn)狀.2 1.2運動人體檢測與跟蹤難點.3 1.3本文研究內(nèi)容.4第2章 人體運動目標檢測與跟蹤理論概述.6 2.1 人體運動目標方法.6 2.1.1運動物體分割.6 2.1.2運動物體分類.9 2.2 運動目標跟蹤.10第3章 算法實現(xiàn).12 3.1 讀取與屏幕顯示.12 3.1.1 avi格式.12 3.1.2

11、bmp圖片格式.14 3.2 人體運動檢測.15 3.2.1背景減法.15 3.2.2中值濾波.17 3.2.3二值化.18 3.2.4數(shù)學形態(tài)學.19 3.3 運動區(qū)域分析.20 3.3.1縱向與橫向投影.21 3.3.2前景區(qū)域輪廓分析.22 3.4 卡爾曼濾波.25 3.5 實驗結(jié)果.28第4章 結(jié)論.32 4.1 畢業(yè)設(shè)計工作總結(jié).31 4.2 系統(tǒng)不足和展望.31致謝.33參考文獻.34 第1章 緒論 計算機視覺是實現(xiàn)利用計算機對于三維景物世界的理解，即實現(xiàn)人的視覺系統(tǒng)的某些功能.，是一個相當新且發(fā)展十分迅速的研究領(lǐng)域。機器視覺是在20世紀50年代從統(tǒng)計模式識別開始的,當時的工作主要

12、集中在二維圖像分析和識別上,如光學字符識別、工件表面、顯微圖片和航空圖片的分析和解釋等。到了80年代中期,機器視覺獲得了蓬勃發(fā)展,新概念、新方法、新理論不斷涌現(xiàn)；尤其是近年來,機器視覺技術(shù)正廣泛地應(yīng)用于各個方面,從醫(yī)學圖像到遙感圖像,從工業(yè)檢測到文件處理,從毫微米技術(shù)到多媒體數(shù)據(jù)庫,從安全鑒別、監(jiān)視與跟蹤到國防系統(tǒng),不一而足?？梢哉f,需要人類視覺的場合幾乎都需要機器視覺。 數(shù)字圖像處理技術(shù)是從20世紀60年代以來隨著計算機技術(shù)和visl(visualinteraetive snyatxleaming)的發(fā)展而產(chǎn)生、發(fā)展和不斷成熟起來的一個新技術(shù)領(lǐng)域,它在理論上和實際應(yīng)用上都取得了巨大的成就。數(shù)

13、字圖像處理的主要研究目的在于通過對原始圖像的再加工,使之能具備更好的視覺效果或能滿足特定的需求,在處理上主要包括圖像的采集、編碼、存儲和傳輸,圖像的合成,圖像的增強、變換與復原等諸多內(nèi)容。目前己廣泛應(yīng)用于工業(yè)、微生物領(lǐng)域、醫(yī)學、遙感、航空航天及國防等許多重要領(lǐng)域,而且多年來一直得到世界各科技強國的廣泛關(guān)注。尤其是在視覺要求越來越高的今天,數(shù)字圖像處理作為機器視覺的基礎(chǔ),是機器視覺系統(tǒng)的關(guān)鍵工具。 近年來，人體運動視覺分析成為計算機視覺領(lǐng)域備受關(guān)注的前沿方向。人體運動視覺分析是從包含人體的圖像序列中檢測、識別、跟蹤人體以及獲取運動參數(shù)，進一步對人的行為解釋和描述。它屬于圖像分析和理解的范疇，其研

14、究內(nèi)容涉及計算機視覺、模式識別、圖像處理、人工智能和人體運動學等方面，是一個跨多學科的研究課題。 運動人體檢測和跟蹤是人體運動視覺分析的一個重要組成部分，有著廣泛的前景和經(jīng)濟價值。它在視頻監(jiān)控、虛擬會議、人機交互、臨床診斷、教育訓練、虛擬現(xiàn)實等方面的應(yīng)用都引起了廣大科研人員和相關(guān)商家的濃厚興趣，例如在銀行、商場、軍事基地等對安防要求較高的場合，實時的視覺監(jiān)控將有重要意義；在智能控制方面，可以通過對人臉識別和表情分析以及手勢識別等更好的實現(xiàn)人機交互。另一方面，運動人體檢測與跟蹤算法的實現(xiàn)可以節(jié)它是從圖像序列中提取并描述人體輪廓的運動，然后進行跟蹤，更高級的處理是對人的行為進行識別和理解。它在視頻

15、會議、醫(yī)療診斷、高級人機交互、小區(qū)、超市、銀行等地帶的安全監(jiān)控，游戲動畫中人的虛擬現(xiàn)實及基于內(nèi)容的圖像存儲與檢索等方面具有廣泛的應(yīng)用前景和潛在的經(jīng)濟價值。人體運動的檢測、識別與跟蹤這一課題主要應(yīng)用于智能視頻監(jiān)控領(lǐng)域。通過實時地觀測被監(jiān)視場景的運動目標，如人或車輛等，分析描述他們的行為，節(jié)省了大量的人力物力。更重要的是，有些場合由于客觀原因，人類可能不方便或者根本不可能親自到現(xiàn)場進行查看，這時只有通過其他方法，如用計算機進行實時監(jiān)視來完成需要的工作。這項技術(shù)研究內(nèi)容豐要涉及到運動目標檢測與提取、運動人體識別、運動人體跟蹤、運動分析與運動理解、視頻認證等方面的內(nèi)容。因此研究智能視頻監(jiān)視技術(shù)有著重要

16、的理論意義，而人體運動的檢測與跟蹤則是智能視頻監(jiān)控中的重要組成部分。節(jié)約大量的人力資源和物質(zhì)資源，極大地降低了監(jiān)控特定區(qū)域的成本。1.1國內(nèi)外研究現(xiàn)狀 人體檢測和跟蹤人體檢測和跟蹤具有重要的理論價值和廣泛的應(yīng)用范圍，很多國家的科研機構(gòu)和有關(guān)部門都投入到該領(lǐng)域的研究之中。目前已有許多人體檢測和跟蹤的系統(tǒng)，如 wrenc.r.等4開發(fā)的實時人體跟蹤系統(tǒng) pfinder，該系統(tǒng)跟蹤復雜場景下非擁擠人群中的單個人，已用于許多應(yīng)用中；美國國際商用機器公司與美國馬里蘭大學聯(lián)合開發(fā)了的實時智能視頻監(jiān)控系統(tǒng) w4，它建立人類外形的的模型，可以檢測和跟蹤人群和在擁擠環(huán)境下的人體行為，用于民宅、停車場和銀行等場合

17、；美國 darpa 資助卡內(nèi)基梅隆大學戴維 sarnoff 研究中心等大學和公司合作聯(lián)合研制開發(fā)的 vsam 視頻監(jiān)視與監(jiān)控系統(tǒng)，該系統(tǒng)能夠用于普通民用場景以及戰(zhàn)場的實時監(jiān)控；olsen等開發(fā)的單人跟蹤系統(tǒng)ti 系統(tǒng)，它使用運動檢測的方法檢測室內(nèi)場景下的運動物體，使用一階預(yù)測跟蹤他們并識別其行為。在國內(nèi)也有很多科研機構(gòu)對人體運動分析進行相關(guān)研究，包括中科院自動化所模式識別國家重點實驗室、北京大學視覺與聽覺信息處理國家重點實驗室及清華大學智能技術(shù)與系統(tǒng)國家重點實驗室。而國內(nèi)的一些團隊也對人體運動分析的某一部分進行了深入的研究，比如說中科院研究生院李華、劉國羿研究了基于人體姿態(tài)和骨架的檢測算法；中

18、南大學李弟平研究了一種基于人體上半身形態(tài)的運動檢測算法。 另外，國際上相關(guān)的權(quán)威期刊，如 cviu（computer vision and imageunderstanding）、pam（iieee transaction on patternanalysis and machine intelligence），以及重要會議如 icc（international conference on computer vision）等，對人體檢測跟蹤、識別及運動分析領(lǐng)域有著重要的促進作用。1.2 運動人體檢測與跟蹤難點 盡管許多學者已經(jīng)進行了有益的嘗試，但是由于行人運動的復雜性和不規(guī) 則性，使它很難用一

19、個統(tǒng)一的方法進行研究。許多方法和模型或是過于簡單而 不能普遍采用，或是過于復雜難以在實際中進行應(yīng)用。行人運動跟蹤和分析還需要不斷發(fā)展。目前存在的主要問題有： (1)運動人體檢測、識別與跟蹤還沒有通用的方法，通常是在受限的條件 下，針對特定的環(huán)境設(shè)計相應(yīng)的檢測方法。如人體運動期間不被遮擋、背景相對簡單、攝像機靜止不動等。 (2)復雜背景下對運動人體的檢測，由于受周圍環(huán)境影響較大，通常對外 界干擾無能為力。當行人所穿衣服顏色與背景著色相似或背景光線變化較大時，很難從背景中分割出運動的人體。 (3)復雜背景下對人體運動的深入分析，一般通過對人體進行建模來完成， 只能處理單個人體的運動，且測試條件比較

20、苛刻，系統(tǒng)復雜。 (4)單幅圖像處理難以實現(xiàn)對人體的可靠檢測，因而必須對序列圖像進行 處理，需要存儲和處理的數(shù)據(jù)量大，且系統(tǒng)的實時性能很難保證。 (5)行人檢測與跟蹤技術(shù)涉及到多種學科的知識，包括計算機視覺、圖像 處理、模式識別、人工智能等，如何將它們相結(jié)合也是值得深入研究的問題。 而且由于人體是非剛性物體，運動比較靈活、復雜，具有不規(guī)則性，因此很難找到統(tǒng)一的模型描述人體的運動。而且人所處的環(huán)境千差萬別，變化因素很多，不同的應(yīng)用對人體檢測與跟蹤的性能要求不盡相同。而運動檢測與跟蹤算法的魯棒性、準確性和實時性的統(tǒng)一仍是尚未解決好和正在努力追求的目標5，難以采用一個通用的方法研究，滿足所有環(huán)境下的

21、性能要求。目前存在的難點主要有： （1）環(huán)境和人體特征的多變性。環(huán)境會隨著時間變化，如光線的強弱，會影響圖像的亮度、對比度及陰影；移動人體所穿衣服顏色與背景相似時，很難從背景中分離出人體目標。如何實現(xiàn)快速準確地進行運動檢測，適應(yīng)周圍環(huán)境的變化是要面臨的一個難點。 （2）場景中運動物體的干擾。在應(yīng)用場景中，可能存在大面積區(qū)域中各種目標的運動，如車輛的突然啟動與停止；以及頻繁變動的物體，如搖擺的樹、波動的水面，都會增加人體運動目標檢測的難度。因此，對運動物體如何有效分類，避免或減少跟蹤目標的丟失，能區(qū)分虛假目標，進而提高跟蹤算法的有效性，有著重要的作用。 （3）遮擋。在復雜場景中，尤其是擁擠環(huán)境下

22、，人與人之間、人與其他運動目標可能會相互遮擋，人體也會發(fā)生自遮擋，如何判斷遮擋的開始和結(jié)束，采取何種策略處理遮擋，對檢測和跟蹤的準確性帶來很大的影響。 （4）目標的失蹤。運動目標長時間停留在場景中，可能變成背景目標，造成跟蹤丟失。 （5）系統(tǒng)性能評估6。一般而言，人體運動分析系統(tǒng)的三個基本要求是魯棒性、準確性、實時性。這三個性能的重要性在不同的應(yīng)用存在著差別：魯棒性對于監(jiān)控系統(tǒng)特別重要，準確性對于控制系統(tǒng)特別重要，而實時性則對實時高速系統(tǒng)非常關(guān)鍵。因此，選擇有效的算法和方案來適應(yīng)不同的應(yīng)用，提高系統(tǒng)的性能，降低計算復雜度具有很大的意義。同時，如何測試系統(tǒng)的魯棒性、準確性、實時性也是值得考慮的問

23、題。1.3 本文研究內(nèi)容 由于人體運動的復雜性，從目前的研究現(xiàn)狀和技術(shù)水平來看，建立一個適合所有情況的運動人體檢測與跟蹤系統(tǒng)是不現(xiàn)實的。因此，解決一定限定條件下或某種應(yīng)用場景下的運動人體檢測和跟蹤問題仍是該領(lǐng)域主要的研究方向7。本文針對單個攝像機及攝像機靜止的條件下，設(shè)計一種適用于簡單環(huán)境下多人移動目標的跟蹤算法。 本文提出了一種基于多特征的人體移動目標跟蹤算法，實現(xiàn)了對多個人體的有效跟蹤。在運動人體檢測方面使用統(tǒng)計方法，首先建立背景模型并周期性更新，通過把圖像某像素點與模型比較得到運動的前景部分。對于運動前景采用中值濾波去除噪聲，并使用數(shù)學形態(tài)學的開運算去除小面積的非人體運動部分。對于人體運

24、動區(qū)域，該系統(tǒng)將輪廓投影分析和形狀分析相結(jié)合，可以有效的去除大面積非人體活動區(qū)域和影子的影響，能夠分析前景活動區(qū)包含幾個運動者，將區(qū)域合理分配各每個運動者，并分別進行跟中。在跟蹤中采用了區(qū)域跟蹤和特征跟蹤相結(jié)合的方法，把運動區(qū)域的中心點作為運動特征點進行跟蹤。在水平與垂直連個方向上根據(jù)特征點位置分別建立卡爾曼濾波器，通過預(yù)測下一幀中該特征點的位置建立連續(xù)幀之間的特征點的聯(lián)系?？柭鼮V波的迭代計算采用衰減記憶濾波法與平方根濾波法，抑制了發(fā)散。該算法可以檢測到運動者的數(shù)量和具體位置，但要手動設(shè)定背景。第2章 人體運動目標檢測與跟蹤理論概述 隨著計算機視覺、模式識別等相關(guān)領(lǐng)域的研究和發(fā)展，人體運動目

25、標的檢測和跟蹤的方法也層出不窮，以適應(yīng)不同的應(yīng)用環(huán)境。根據(jù)攝像頭是否靜止，可以將監(jiān)視場景分為靜態(tài)背景類型和動態(tài)背景類型：根據(jù)所包含的人體個數(shù)，可以將檢測對象分為單人檢測跟蹤和多人檢測跟蹤；根據(jù)環(huán)境中運動人體有無遮擋，可以將跟蹤分為有遮擋跟蹤和無遮擋簡單跟蹤。 靜態(tài)背景下攝像機位置保持固定，只有跟蹤目標和其他待濾除的運動物體發(fā)生相對運動，背景不改變或者只有微小的改變；動態(tài)背景下攝像機在跟蹤過程中可能會發(fā)生移動或旋轉(zhuǎn)，導致視頻的前后相鄰兩幀和背景發(fā)生巨大變化。2.1 人體運動檢測方法 人體運動目標檢測是在輸入圖像中確定運動人體的過程，是整個人體運動分析系統(tǒng)的第一部分，運動目標檢測的目的是將運動人體

26、部分從圖像中提取出來，能否正確地分離運動人體是整個系統(tǒng)成敗的關(guān)鍵。運動目標檢測由運動物體分割和運動物體分類兩部分組成。2.1.1 運動物體分割 運動物體的分割就是把圖像中的運動部分，比如汽車、行人等分離出來，因為只有運動的部分才是能夠跟蹤的部分。運動部分的分割常常受到光線變化、影子和遮擋等因素的影響。因此選用一種穩(wěn)定可靠的分割方法是很重要的。常用的分割方法有以下幾種。 （1）背景減法。在運動檢測中，背景減法（background subtraction）是一種常用的技術(shù)，尤其是對于靜態(tài)場景。它首先建立背景模型作為參考圖像，通過將含有運動物體的圖像與事先通過背景模型得到的背景圖像相減得到運動部分

27、其原理如圖 2-1 所示。這種方案簡單易行，但是極易受到光照等外部環(huán)境變化的影響，必須配合其他方法進行修正。背景模型的建立主要有3種方法，一是通過求多幅圖像的像素點均值得到，二是通過多幅圖像的像素點中值得到，三是通過建立自適應(yīng)模型得到，從而能對抗外部環(huán)境變化。 圖 2.1 背景減除法原理示意圖 一種改進的閾值法是采用雙閾值方法。這種自適應(yīng)閾值的選擇算法，克服了單閾值中閾值過高不能完整分割出目標，過低會產(chǎn)生大量的無關(guān)噪聲(如影子)等缺陷。mckenna等利用像素色彩和梯度信息相結(jié)合的自適應(yīng)背景模型來處理影子和不可靠色彩線索對于分割的影響。karmana與brandthl，kilger喳采用基于卡

28、爾曼濾波器(kalman filtering)的自適應(yīng)模型以適應(yīng)天氣和光照的時間變化。 （2）統(tǒng)計方法。統(tǒng)計學方法是基于像素的統(tǒng)計特性從背景中提取運動信息。它首先計算背景像素的統(tǒng)計信息(顏色、灰度、邊界等)，使用個體的像素或一組像素的特征來建立一個較為高級的背景模型，而且背景的統(tǒng)計值可以動態(tài)地更新。通過對比當前背景模型的統(tǒng)計值，圖像中每一個像素被分成前景或是背景。由于統(tǒng)計學方法在噪聲，影子光線改變等于擾條件下具有較好的魯棒性，已經(jīng)成為研究熱點。stauffer和grimson3的文章提出了一種實時跟蹤中運用自適應(yīng)背景混合 模型來檢測背景圖像的方法。在這種方法中，他們?yōu)槊恳粋€像素建立一個混合高斯

29、模型，并且用在線估計對它進行更新，并且運用自適應(yīng)混合模型的高斯分布來評估并決定該像素是前景還是背景，可以有效的處理光線變化和背景混亂，設(shè)計出了一整套可靠、實時性強的室外跟蹤系統(tǒng)。haritaoglu的文章同樣建立了統(tǒng)計模型。他是通過計算每個像素點所具有的3個值：最小強度、最大強度和在訓練期觀測到的連續(xù)幀之間的最大強度差分值來描述每一個像素，背景模型參數(shù)可以周期性地更新。林洪文陽利用統(tǒng)計學的方法獲得背景模型，實時地對背景模型更新以適應(yīng)光線和場景自身的變化，用形態(tài)學方法和檢測連通域面積的方法進行處理，消除噪聲和背景擾動帶來的影響，在hsv色度空間下檢測陰影，得到準確的運動目標?；诮y(tǒng)計的方法由于涉

30、及大量計算和變換，對現(xiàn)有的硬件設(shè)備要求較高，成為其制約因素。但隨著計算機運算能力的日益增強，問題有望得到改善。 （3）幀間差分法。幀間差分法（temporal differencing）是在圖像序列中通過相鄰兩幀或者三幀圖像像素差，提取運動區(qū)域的運動目標檢測方法。幀間差分對光線等變化不太敏感，對動態(tài)環(huán)境具有很強的自適應(yīng)性，檢測有效穩(wěn)定。該方法的不足之處是一般不能提取所有相關(guān)的特征像素點，在運動實體內(nèi)部可能會產(chǎn)生空洞現(xiàn)象。特別是當目標移動緩慢時，相鄰兩幀之間的差異很小，很難提取出整個運動區(qū)域，即使提取的區(qū)域也難以完整精確地描述運動目標。采用這種方法時，要考慮運動目標的移動速度，選擇合適的時間間隔

31、。對快速移動的目標，應(yīng)選擇較小的時間差，避免造成前后兩幀沒有重疊，而被分割為兩個分開的物體；對于移動速度很慢的物體，則應(yīng)選擇較大的時間差，否則可能造成物體在前后兩幀中重疊部分過大，而檢測不到。一般過程見圖2-2 圖2.2 幀間差分法圖中，表示第k幀圖像，則檢測和提取運動區(qū)域的過程包括以下幾步： （a）、幀間差分。 2.1 為差分圖像 (b)、圖像二值化。 2.2 t為設(shè)定閾值，為二值圖像 (c)、形態(tài)學濾波。 對二值圖像進行腐蝕和膨脹運算，得到一個或多個連通區(qū)域 。 (d)、連通區(qū)域判斷。 對連通區(qū)域分析判斷，舍去面積較小的區(qū)域。 （4）光流法。光流是圖像中各像素點運動的速度分布，它是一種瞬時

32、速度場，即向量場， 每一個向量表示了景物中一個點在圖像中位置的瞬時變化。光流法（optical flow）是利用運動目標在序列圖像中的位置隨時間變化的光流特性，用來描述相鄰幀之間某像素點的運動，通過計算運動物體在幀間的運動向量來檢測運動區(qū)域。在比較理想的情況下，光流法在攝像機運動的條件下能檢測到獨立的運動目標，不需要預(yù)先知道場景的任何信息，可以很精確地計算出運動物體的速度。但計算方法復雜，對硬件要求比較高，可靠性差，對噪聲敏感，難于應(yīng)用在實時的視頻流處理中。 除了上述的基本分割方案，還有eem（extended expectation maximization）算法以及基于數(shù)學形態(tài)學的分割方法

33、等2.1.2 運動物體分類 由運動分割得到的不同運動部分可能屬于不同種類的運動物體，比如人體視頻監(jiān)控系統(tǒng)得到的運動部分就可能包括飛行的鳥、飄動的云和晃動的樹等，要從中提取人體就要進行運動物體分類，把人從運動物體中識別出來。只有正確地識別出人體才能進行下一步的運動跟蹤工作，以及后續(xù)的人體行為理解，所以運動物體的分類是非常必要的。一般可用形態(tài)學方法進行處理，考慮運動目標的分散度、面積、輪廓、高寬比等有關(guān)形態(tài)方面的參數(shù)，來區(qū)分人以外的運動目標，通過這些方法甚至可以去除部分噪聲的影響。目前分類有兩種：(1)基于人體特征分類。人不管外形特征還是皮膚顏色都是明顯的，所以人的分類可以采取多種方法?；谛螤畹?/p>

34、分類是利用檢測出來的運動區(qū)域的形狀特征信息來進行物體分類的。通過檢測模塊得到一個二值化的前景圖像，對這個前景圖像進行橫向和縱向的投影可以得到橫向和縱向的長度比，通常稱之為“寬高比”。通過多個人的樣本訓練可以得到一般人體的“寬高比"，這個“寬高比"作為人體特有的特征，可以用于確定檢測出的運動目標是否為人體。這個人體特有的特征也可以是人體的“面積"，它指的是在通過檢測模塊得到二值化的圖像中人體所占像素的多少，通過面積的比較，可以除去一般情況下面積較大的運動的汽車、動物、以及擺動的樹葉。另外的一些屬于人體特有的特征還可以是人的皮膚顏色，因此可以通過識別人臉裸露的皮膚來確

35、定是否有人的存在，這通常需要在色彩空間如rgb空間、his空間或yuv空間來進行檢測與識別。 （2）基于運動的分類。人體運動是非剛體運動，并呈現(xiàn)一定的周期性，這種周期性可以作為區(qū)分運動人體的重要依據(jù)。一種方案對于這種周期性的運動進行時頻分析，利用人體運動周期性出現(xiàn)的自相似性來實現(xiàn)分類；還有方案將此方法與光流法結(jié)合，根據(jù)殘留的大小來實現(xiàn)分類。 實際中可以兩種方法結(jié)合使用，顯然如果能夠合理利用圖像的顏色信息和運動部分的速度信息，分類的結(jié)果將更加可靠。2.2 運動目標跟蹤 運動目標跟蹤也是計算機視覺領(lǐng)域的重要內(nèi)容，它利用運動目標分割的結(jié)果，又為運動的分析理解等高級內(nèi)容提供基礎(chǔ)。跟蹤的目的是在幀與幀之

36、間建立人體運動目標的某些特征，若位置、速度、形狀、紋理和顏色等之間的聯(lián)系。目前常用的跟蹤方案有以下4種. (1)基于模型的跟蹤?；谀Ｐ偷娜诉\動跟蹤方法首先預(yù)定義一個模型，然后再將實際運動與該模型匹配。模型通常由關(guān)節(jié)和線條骨架組成，用軸來表示狀態(tài)空間中的關(guān)節(jié)自由度，用狀態(tài)空間來描述姿態(tài)。其原理是先預(yù)測下一圖像的姿態(tài)再將這一預(yù)測模型分析、合成、抽象然后與真實圖像數(shù)據(jù)比較，直到找到最匹配的模型，并且更新系統(tǒng)模型。人體的幾何模型有簡單到復雜可以建立為棍狀模型，二維邊界模型和三維立體模型，建立模型之后就可以通過將運動物體與模型對比從而實現(xiàn)跟蹤。由棍狀模型到二維邊界模型，再到三維立體模型，所實現(xiàn)的跟蹤精

37、度越來越高，但計算量也在增大。 （2）基于區(qū)域的跟蹤。區(qū)域跟蹤思想是把每個運動物體與某個運動區(qū)域聯(lián)系起來，然后對該區(qū)域進行跟蹤。區(qū)域跟蹤實現(xiàn)較為簡單，在許多系統(tǒng)中有廣泛應(yīng)用，但在兩種情況下有很大困難，一是人體存在較長影子，二是人體有重疊交錯現(xiàn)象。 （3）基于動態(tài)邊界跟蹤。動態(tài)邊界模型又叫snake，能夠表示不斷變化的運動人體的邊界。該方案計算量小，但是要求獨立準確的初始化邊界，實際中很難實現(xiàn)。 （4）基于特征的跟蹤。 它包括特征提取和特征匹配兩個基本過程。該方法通過跟蹤 目標的特征點、特征線來實現(xiàn)對人的跟蹤，通常還需要結(jié)合紋理、色彩及形狀 特征來提高跟蹤的魯棒性。如polana與neson乜1

38、1的文章將每個行人用一個矩形 框封閉起來，封閉框的質(zhì)心被選擇作為跟蹤的特征；在跟蹤過程中若出現(xiàn)兩入 互相遮擋時，只要質(zhì)心的速度區(qū)分開來，跟蹤仍能被執(zhí)行。另外tissainayagamp 和surerd24的文章中，物體由關(guān)鍵特征點來描述，這些關(guān)鍵點是運動輪廓的 角點(corner point)，通過跟蹤角點來跟蹤人的運動。 盡管對目標跟蹤的算法可以粗略地分為上述幾類，但是這些方法并不是孤 立沒有聯(lián)系的。在進行目標跟蹤時，為了保證跟蹤的可靠性和準確性，往往幾 種算法混合才能得到更好的跟蹤效果。這種方法在被跟蹤目標出現(xiàn)遮擋交錯等現(xiàn)象時仍能實現(xiàn)較為準確的跟蹤。此方案必須在跟蹤的復雜性與有效性之間進行

39、折中。 第3章 算法實現(xiàn) 本文主要對室內(nèi)、室外固定攝像背景下運動人體進行檢測與跟蹤。通過建立統(tǒng)計背景模型，將運動圖像與模型比較，可以檢測到運動前景部分。采用中值濾波和數(shù)學形態(tài)學方法（投影確定寬高比）可以準確得到人體運動部分。通過對人體運動前景分析得到各個運動者對應(yīng)的模塊，對各個運動模塊繼而采用卡爾曼濾波來實現(xiàn)跟蹤。檢測與跟蹤流程圖如圖3.1所示。 圖 3.1 算法流程3.1 讀取與屏幕顯示3.1.1 avi格式 整個人體跟蹤系統(tǒng)的輸入采用avi文件。avi是一種riff文件格式，用于音視頻捕捉、編輯、回放中。riff文件使用4字符碼fourcc來表征數(shù)據(jù)類型。它的文件頭最開始是一個4字符碼“r

40、iff”；緊跟著后面用4個字節(jié)表示次文件大?。蝗缓笥质?個字符碼說明文件具體類型（avi、wave等）；最后是實際數(shù)據(jù)。riff實際數(shù)據(jù)中通常還使用列表（list）和塊（chunk）的形式來組織。 avi文件類型用4字符碼“avi”表示。整個avi文件的結(jié)構(gòu)為：一個riff頭+兩個列表（一個用于描述媒體流格式、另一個用于保存媒體流數(shù)據(jù)）+一個可選的索引塊。riff（avilist（hdrl avih（主avi信息頭數(shù)據(jù)）list（strl strh（流的頭信息數(shù)據(jù)） strf（流的格式信息數(shù)據(jù)） strd（可選的額外的頭信息數(shù)據(jù)） strn（可選的流的名字） ） ）list（movi stbc

41、hunk | list （rec subchunk1 subchunk2 ） ）idxl（可選的avi索引塊數(shù)據(jù)）riff表征文件類型，hdrl列表描述avi文件中各個流的格式信息，hdrl嵌套了一系列塊和子列表avih塊用于記錄avi的全局信息，比如流的數(shù)量、視頻圖像的寬和高等，可以使用一個avimainheader數(shù)據(jù)結(jié)構(gòu)來操作。然后就是一個或多個“strl”子列表（文件有多少流就有多少子列表），每個“strl”子列表至少包含一個“strh”塊（保存編碼器的一些配置信息）和一個“strf”塊（保存流的名字），且是可選的。如果是視頻流，則用bitmapinfo數(shù)據(jù)結(jié)構(gòu)來描述；如果是音頻流，則

42、用一個waveformatex數(shù)據(jù)結(jié)構(gòu)來描述。當所有的流都描述后“hdrl”列表的任務(wù)就完成了，隨后跟著是用于保存真正媒體流數(shù)據(jù)的“movi”列表。那么怎么組織這些數(shù)據(jù)呢？可以將數(shù)據(jù)塊直接嵌在“movi”列表里面也可以幾個數(shù)據(jù)塊分組成一個“rec”列表后在編排進“movi”列表。當avi中含有多個流時，數(shù)據(jù)塊和數(shù)據(jù)塊間用4個字符碼來區(qū)別。這個4字符碼由2個字節(jié)的類型碼和2個字節(jié)的流編號組成。類型碼定義如下：“db”（非壓縮視頻幀）、“dc”（壓縮視頻幀）、“pc”（改用新的調(diào)色板）、“wb”（音縮視頻）。 緊跟在“movi”后是avi可選的索引塊。這個索引塊為avi文件中每一個媒體數(shù)據(jù)塊進行索

43、引，并且記錄它們在文件中的偏移。索引塊用一個“idxl”來表征，索引信息用一個數(shù)據(jù)結(jié)構(gòu)avioldindex定義。3.1.2 bmp圖片格式 bmp文件格式是windows本身可以直接提供讀取支持的位圖文件格式。一個bmp格式文件通常有.bmp擴展名，但有些以.rle為擴展名。bmp文件可以用每像素1、4、8、16或24位來編碼顏色信息，這個位數(shù)稱為圖像的顏色深度，決定了圖像所含的最大顏色數(shù)。 典型的bmp文件結(jié)構(gòu)：一個位圖文件頭、一個位圖信息頭、一個顏色表（色表）和位圖數(shù)據(jù)本身。 表 3.1位圖文件頭（bitmap-file header） 14字節(jié)位圖信息頭（bitmap-informat

44、ion header） 40字節(jié)彩色表/調(diào)色板（color table） 位圖數(shù)據(jù)（bitmap-data） （1）位圖文件頭。包含關(guān)于這個文件的信息。如從哪里開始是位圖數(shù)據(jù)的定位信息、文件大小等。 （2）位圖信息頭。位圖信息頭包含了單個像素所用字節(jié)數(shù)以及描述顏色的格式，此外還包括位圖的寬度（以像素為單位）、高度（以像素為單位）、目標設(shè)備的位平面數(shù)、圖像的壓縮格式（一般都是0）、圖像數(shù)據(jù)大?。ㄒ宰止?jié)為單位）、水平和垂直方向像素密度以及調(diào)色板實際使用的顏色數(shù)。 （3）顏色表。顏色表一般針對16位以下的圖像二設(shè)置的，對于16位以上的圖像，由于其位圖像素數(shù)據(jù)中直接對應(yīng)楊素的rgb顏色進行描述，因而省

45、去調(diào)色板。而對于16位以下的圖像，由于其位圖像素數(shù)據(jù)中記錄的只是調(diào)色板的索引值，因此需要根據(jù)這個索引值到調(diào)色板去取得相應(yīng)的rgb顏色。顏色表的作用就是創(chuàng)建調(diào)色板。對于顯示卡來說，如果它不能一次顯示超過256種顏色，讀取和顯示bmp文件的程序能夠把這些rgb值轉(zhuǎn)換到顯示卡的調(diào)色板來產(chǎn)生準確的顏色。 （4）位圖數(shù)據(jù)。bmp文件的位圖數(shù)據(jù)格式依賴于編碼的每個像素顏色所用的位數(shù)。對于一個256色的圖像來說，每個像素占用文件中位圖數(shù)據(jù)部分的一個字節(jié)。像素值不是rgb顏色值，而是色表中一個索引。如果色表中第一個r/g/b值是255/0/0，那么像素值為0表示鮮紅色，像素值按從左到右的順序儲存，通常從最后一

46、行開始。所以在一個256色的文件中，位圖數(shù)據(jù)中第一個字節(jié)就是圖像左下角的像素的顏色索引，第二個就是它右邊的那個像素的顏色索引。如果位圖數(shù)據(jù)中每行的字節(jié)數(shù)是奇數(shù)，就要在每行都附加字節(jié)來調(diào)整成16位的整數(shù)倍。本系統(tǒng)使用256色的bmp文件輸入。3.2 人體運動檢測 人體運動檢測部分是利用人體的形狀特性在每一幀圖像中提取出與人體相對應(yīng)的運動部分，主要任務(wù)有3項。 （1）建立基于統(tǒng)計的背景模型，以在背景略有變化的情況下，檢測出每幀圖像中運動的前景部分； （2）采用中值濾波和數(shù)學形態(tài)學（寬高比）的方法，在運動的前景部分中檢測出對應(yīng)于人體的運動部分； （3）判斷人體運動部分是否包含多個運動者，如果包含進一

47、步判斷運動者的數(shù)量，并劃分運動區(qū)域。3.2.1 背景減法 在實際應(yīng)用中，采用對比的方法確定圖像中的前景點，設(shè)為實際輸入序列，th為某一確定閾值。 （3-1） 圖3.2 運動圖像與背景模型 圖3.2是室外采集的圖像序列中的一幀與此時對應(yīng)的背景模型，進一步通過閾值對比就能確定前景區(qū)域。背景模型可以通過多幅圖像取中值得到。 圖3.3 一幀圖像 圖3.4 th=10時運動區(qū)域 圖3.5 th=15時運動區(qū)域 圖3.6 th=20時運動區(qū)域 圖3.7 th=25時運動區(qū)域 圖3.8 th=40時運動區(qū)域 圖3.3到圖3.4是圖像采用不同的檢測閾值得到的運動區(qū)域?qū)Ρ?。為了使效果更加明顯，運動區(qū)域與非運動區(qū)

48、域采用了二值化處理，以黑色表示運動區(qū)域，白色表示非運動區(qū)域。通過比較，可以看出當閾值滿足20th25時，能夠比較準確的得到人體運動區(qū)域的范圍，同時受環(huán)境中非人體運動部分的影響較小，結(jié)合后面的中值濾波和數(shù)學形態(tài)學處理，可以得到更為準確的人體運動區(qū)域的輪廓。為了跟蹤，要建立一個tracking類，包括讀入背景函數(shù)readbackground（）、背景減法函數(shù)geterror（）。 由于光照條件變化等外部原因和攝像機成像質(zhì)量不佳等原因，每一幀活動圖像中都有可能存在噪聲，這樣由背景模型得到的前景區(qū)域也可能含有噪聲，為此應(yīng)采用中值濾波的方法處理。前景區(qū)域中有部分面積較小的連續(xù)區(qū)域可能對應(yīng)背景中樹葉等非人

49、體部分，同時攝像機可能出現(xiàn)輕微晃動，導致前景區(qū)域含有細小的圖像邊緣輪廓，為此有必要采用數(shù)學形態(tài)學方法進行處理，以得到較為準確的人體運動區(qū)域。3.2.2 中值濾波中值濾波是一種非線性信號處理方法，由j.w.tukey于1971年首先提出并應(yīng)用于一維信號處理中，后來被二維圖像信號處理技術(shù)所使用。中值濾波在一定條件下可以克服線性濾波器，如最小均方濾波和均值濾波等帶來的圖像細節(jié)模糊，而且對于濾除脈沖干擾和圖像掃描噪聲最為有效，同時在計算過程中不需要知道圖像的統(tǒng)計特性，比較便于實現(xiàn)。 對于圖像的二維中值濾波一般采用一個含有奇數(shù)個點的滑動窗口，用窗口中各點灰度值的中值代替指定點（一般為窗口中點）的灰度值。對于奇數(shù)個元素，中值是指灰度值按大小排列后中間的數(shù)值；對于偶數(shù)個元素，中值是指排序后中間兩個元素灰度值的平均值。中值濾波窗口的形狀和尺寸對濾波效