畢設(shè)答辯ppt課件

1、LOGO復雜監(jiān)控視頻中異常行為檢測算法實現(xiàn)復雜監(jiān)控視頻中異常行為檢測算法實現(xiàn)n答答 辯辯 人：人：劉劉 偉偉n指指導導老老師師：樊：樊亞亞文文背景及意義背景及意義u 背景及意義背景及意義 視頻監(jiān)控一直以來都是計算機視覺領(lǐng)域的一個活躍的方向視頻監(jiān)控一直以來都是計算機視覺領(lǐng)域的一個活躍的方向，目前已經(jīng)廣泛應用于公共和私人場景中，如犯罪預防、交通，目前已經(jīng)廣泛應用于公共和私人場景中，如犯罪預防、交通控制、事故預測、病人監(jiān)控。其中包括室內(nèi)和室外場景的監(jiān)控控制、事故預測、病人監(jiān)控。其中包括室內(nèi)和室外場景的監(jiān)控。每天城市中的各個角落的攝像機都在采集著監(jiān)控數(shù)據(jù)。如此。每天城市中的各個角落的攝像機都在采集著監(jiān)

2、控數(shù)據(jù)。如此龐大的數(shù)據(jù)必須采取一個有效的方式去分析。而現(xiàn)在，大多數(shù)龐大的數(shù)據(jù)必須采取一個有效的方式去分析。而現(xiàn)在，大多數(shù)的監(jiān)控視頻數(shù)據(jù)都是通過人工監(jiān)督的，這是一個乏味且耗人力的監(jiān)控視頻數(shù)據(jù)都是通過人工監(jiān)督的，這是一個乏味且耗人力的工作，并且人工監(jiān)督實時性差，會存在監(jiān)控漏洞。不能對監(jiān)的工作，并且人工監(jiān)督實時性差，會存在監(jiān)控漏洞。不能對監(jiān)控視頻中發(fā)生的異常現(xiàn)象及時作出報警以采取措施應對。因此控視頻中發(fā)生的異常現(xiàn)象及時作出報警以采取措施應對。因此視頻監(jiān)控中自動識別檢測異常行為變得迫切需要。視頻監(jiān)控中自動識別檢測異常行為變得迫切需要。國內(nèi)外研究現(xiàn)狀國內(nèi)外研究現(xiàn)狀u國外研究現(xiàn)狀國外研究現(xiàn)狀 1999年，

3、卡內(nèi)基隆大學、戴維研究中心等知名高校和研究年，卡內(nèi)基隆大學、戴維研究中心等知名高校和研究機構(gòu)研制了視頻監(jiān)視與監(jiān)控系統(tǒng)，目標開發(fā)自動視頻理解技術(shù)機構(gòu)研制了視頻監(jiān)視與監(jiān)控系統(tǒng)，目標開發(fā)自動視頻理解技術(shù)。歐盟長期研究項目資助研究的，基于圖像處理的視頻監(jiān)控系。歐盟長期研究項目資助研究的，基于圖像處理的視頻監(jiān)控系統(tǒng)，提供了圖像處理、理解技術(shù)來視頻數(shù)據(jù)中獲得有用的信息統(tǒng)，提供了圖像處理、理解技術(shù)來視頻數(shù)據(jù)中獲得有用的信息。馬里蘭大學研究的實時監(jiān)控系統(tǒng)成功，完成了人的身體部分。馬里蘭大學研究的實時監(jiān)控系統(tǒng)成功，完成了人的身體部分的定位與分割。英國雷丁大學計算機項目組的定位與分割。英國雷丁大學計算機項目組VI

4、EWS項目組開項目組開展的對車輛和行人的跟蹤及其交互作用識別的研究。展的對車輛和行人的跟蹤及其交互作用識別的研究。u國內(nèi)研究現(xiàn)狀國內(nèi)研究現(xiàn)狀中科院基于三維線性模型、擴展的卡爾曼濾波跟蹤算法實現(xiàn)的中科院基于三維線性模型、擴展的卡爾曼濾波跟蹤算法實現(xiàn)的對交通場景的視覺監(jiān)控，人的運動視頻監(jiān)控。并對目標軌跡和對交通場景的視覺監(jiān)控，人的運動視頻監(jiān)控。并對目標軌跡和行為特征的學習的模糊自組織神經(jīng)學習算法做了深入研究。行為特征的學習的模糊自組織神經(jīng)學習算法做了深入研究。論文的框架論文的框架第三章異常檢測第一章 背景介紹第二章 理論基礎(chǔ)第三章 基于LDA模型異常檢測第四章 實驗設(shè)置第五章 總結(jié)展望 why?

5、即本文研究的目的即本文研究的目的what, what, 本文主要研究工作本文主要研究工作how！ 本文如何展開對工本文如何展開對工作的研究作的研究if,then. 對于文中研究的不對于文中研究的不足提出對未來的展望足提出對未來的展望論文主要工作論文主要工作u 目標行為表示問題目標行為表示問題u 行為學習的策略行為學習的策略u LDA模型簡介模型簡介u 基于基于LDA模型異常檢測模型異常檢測u 實驗結(jié)果與分析實驗結(jié)果與分析u 總結(jié)與展望總結(jié)與展望行為的表示行為的表示u 光流特征法光流特征法 傳統(tǒng)行為一般都是基于對象的表示，通過點對點的建模，傳統(tǒng)行為一般都是基于對象的表示，通過點對點的建模，去學習

6、運動軌跡數(shù)據(jù)的分布特征、比較軌跡點之間的相似去學習運動軌跡數(shù)據(jù)的分布特征、比較軌跡點之間的相似程度。以及通過上述的方法獲得目標的完整軌跡，根據(jù)這程度。以及通過上述的方法獲得目標的完整軌跡，根據(jù)這些目標的軌跡的信息去分析并理解這些目標行為。然而在些目標的軌跡的信息去分析并理解這些目標行為。然而在實際復雜監(jiān)控場景中，涉及到多目標的跟蹤，目標之間會實際復雜監(jiān)控場景中，涉及到多目標的跟蹤，目標之間會頻繁遮擋，如果采用基于對象的表示方法運用傳統(tǒng)的目標頻繁遮擋，如果采用基于對象的表示方法運用傳統(tǒng)的目標檢測跟蹤方法就不能獲得目標的完整軌跡了，從而無法完檢測跟蹤方法就不能獲得目標的完整軌跡了，從而無法完成對目

7、標行為的檢測與理解。所以采用了光流法，它是基成對目標行為的檢測與理解。所以采用了光流法，它是基于像素級的，無需對目標先進行分割以獲得其目標軌跡。于像素級的，無需對目標先進行分割以獲得其目標軌跡。此方法算法相對簡單，且對復雜視頻監(jiān)控有著很好的適應此方法算法相對簡單，且對復雜視頻監(jiān)控有著很好的適應性。性。行為的表示行為的表示u不同行為表示方法效果圖不同行為表示方法效果圖 (a) 前景像素法前景像素法 (b)光流法光流法 基于像素的行為表示示意圖基于像素的行為表示示意圖 基于對象的行為表示示意圖基于對象的行為表示示意圖行為學習的策略行為學習的策略u行為學習策略的選擇行為學習策略的選擇 行為學習的方法

8、有監(jiān)督學習、無監(jiān)督學習、半監(jiān)督學習在行為學習的方法有監(jiān)督學習、無監(jiān)督學習、半監(jiān)督學習在監(jiān)督學習中，所有的正常樣本和異常樣本的定義都是明確的定監(jiān)督學習中，所有的正常樣本和異常樣本的定義都是明確的定義，并通過訓練來得到。早期的視頻異常檢測一般都是基于無義，并通過訓練來得到。早期的視頻異常檢測一般都是基于無監(jiān)督學習策略。然而在復雜視頻監(jiān)控場景中，包含多種目標，監(jiān)督學習策略。然而在復雜視頻監(jiān)控場景中，包含多種目標，多類行為同時發(fā)生，且具有不可預測性的一些異常事件，監(jiān)督多類行為同時發(fā)生，且具有不可預測性的一些異常事件，監(jiān)督學習策略則完全不能運用在這些場景中，我們不可能對所有正學習策略則完全不能運用在這些

9、場景中，我們不可能對所有正常模型和異常事件訓練足夠多的樣本，且這種方法無法對未知常模型和異常事件訓練足夠多的樣本，且這種方法無法對未知異常事件建模。而在無監(jiān)督學習方法中，只訓練正常事件的樣異常事件建模。而在無監(jiān)督學習方法中，只訓練正常事件的樣本，然后將測試數(shù)據(jù)集放在學習好的正常模型中進行測試比較本，然后將測試數(shù)據(jù)集放在學習好的正常模型中進行測試比較，當與學習好的概率統(tǒng)計上偏離，則認為就是異常事件。這很，當與學習好的概率統(tǒng)計上偏離，則認為就是異常事件。這很好的避免了監(jiān)督學習中無法對未知異常事件進行訓練的問題。好的避免了監(jiān)督學習中無法對未知異常事件進行訓練的問題。LDA模型簡介模型簡介u 模型簡介

10、模型簡介 LDA模型最初是用來文本挖掘的，它采用詞袋模型，將每模型最初是用來文本挖掘的，它采用詞袋模型，將每一篇文檔視為一個詞頻向量。每一篇文檔代表了一些主題一篇文檔視為一個詞頻向量。每一篇文檔代表了一些主題所構(gòu)成的一個概率分布，而每個主題又代表了很多單詞所所構(gòu)成的一個概率分布，而每個主題又代表了很多單詞所構(gòu)成的一個概率分布。構(gòu)成的一個概率分布。u 生成過程生成過程 所謂生成模型，可以認為是一篇文章的每個詞都是通過以所謂生成模型，可以認為是一篇文章的每個詞都是通過以一定概率選擇了某個主題，并從這個主題中以一定概率選一定概率選擇了某個主題，并從這個主題中以一定概率選擇某個詞語。具體步驟如下：擇某

11、個詞語。具體步驟如下： 從狄利克雷分布從狄利克雷分布中取樣生成文檔中取樣生成文檔i的主題分布的主題分布i 從主題的多項分布從主題的多項分布i中取樣生成文檔中取樣生成文檔i第第j個詞的主題個詞的主題zi,j 從狄利克雷分布從狄利克雷分布中取樣生成主題中取樣生成主題zi,j的詞語分布的詞語分布z zj,ij,i 從詞語分布多項式分布從詞語分布多項式分布zi,izi,i中采樣生成詞語中采樣生成詞語w wi,ji,jLDA模型簡介模型簡介uLDA模型原理圖及其參數(shù)含義模型原理圖及其參數(shù)含義 ，狄利克雷分布參數(shù)，分別作為狄利克雷分布參數(shù)，分別作為主題分布和單詞分布的先驗主題分布和單詞分布的先驗 Nd表示

12、詞料庫中的文檔數(shù)表示詞料庫中的文檔數(shù) Nw文檔包含的單詞數(shù)，服從泊松文檔包含的單詞數(shù)，服從泊松分布分布 z為某一特定的主題為某一特定的主題 文檔中主題概率分布，服從多項文檔中主題概率分布，服從多項分布分布 表示單詞表示單詞-主題分布主題分布 LDA模型圖模型圖 LDA模型圖模型圖基于基于LDA異常行為的檢測異常行為的檢測u異常的定義異常的定義 首先是異常行為的定義問題，事件是很少發(fā)生的，或者之首先是異常行為的定義問題，事件是很少發(fā)生的，或者之前從未觀察到過、事件是未知不可預測的。論文中關(guān)于異常事前從未觀察到過、事件是未知不可預測的。論文中關(guān)于異常事件的定義也是運用的這種特性。件的定義也是運用的

13、這種特性。u 檢測的策略檢測的策略 基于基于LDA模型的異常行為檢測采用孤立點檢測策略，在貝模型的異常行為檢測采用孤立點檢測策略，在貝葉斯模型的框架下，通過訓練一個正常的模型，再對測試數(shù)據(jù)葉斯模型的框架下，通過訓練一個正常的模型，再對測試數(shù)據(jù)進行測試匹配，如與概率統(tǒng)計的正常模型的似然值較小，則判進行測試匹配，如與概率統(tǒng)計的正常模型的似然值較小，則判斷為異常事件。似然值較大，則可判斷為正常事件。斷為異常事件。似然值較大，則可判斷為正常事件?；诨贚DA異常行為的檢測異常行為的檢測u 樣本行為示意圖樣本行為示意圖 其中其中(a)代表的是正常樣本圖，代表的是正常樣本圖，(b)(c)代表兩種不同類型

14、代表兩種不同類型的異常行為示意圖的異常行為示意圖樣本行為示意圖樣本行為示意圖實驗結(jié)果與分析實驗結(jié)果與分析u 建模時間與主題數(shù)關(guān)系圖建模時間與主題數(shù)關(guān)系圖 LDA模型的主題數(shù)是預先設(shè)定好的，當我們設(shè)置不同主題模型的主題數(shù)是預先設(shè)定好的，當我們設(shè)置不同主題對行為建模會產(chǎn)生什么樣的影響？對行為建模會產(chǎn)生什么樣的影響？ 通過設(shè)置不同主題數(shù)，并記錄其建模時間結(jié)果，繪制如下表所示關(guān)系通過設(shè)置不同主題數(shù)，并記錄其建模時間結(jié)果，繪制如下表所示關(guān)系主題數(shù)主題數(shù)建模時間建模時間(s)檢測準確率檢測準確率5725.515095 0.734810 995.925774 0.662315 1322.1072150.65

15、8920 1599.5170170.661025 1831.1512750.678930 2001.9753570.603135 2377.5731980.5984 從表中可以看出隨著主題數(shù)設(shè)置的增多，行為建模消耗時間變長，當主題從表中可以看出隨著主題數(shù)設(shè)置的增多，行為建模消耗時間變長，當主題數(shù)設(shè)置為數(shù)設(shè)置為5時檢測效果最佳。時檢測效果最佳。實驗結(jié)果與分析實驗結(jié)果與分析u 異常檢測中詞頻異常檢測中詞頻-主題對應關(guān)系主題對應關(guān)系 當主題設(shè)置為當主題設(shè)置為10時，經(jīng)過模型訓練得到的詞頻時，經(jīng)過模型訓練得到的詞頻-主題分布主題分布圖，它是對測試數(shù)據(jù)異常檢測的必要數(shù)據(jù)條件。詞頻圖，它是對測試數(shù)據(jù)異常檢

16、測的必要數(shù)據(jù)條件。詞頻-主題主題對應關(guān)系示意圖如下：對應關(guān)系示意圖如下： 主題主題1 主題主題2 實驗結(jié)果與分析實驗結(jié)果與分析u 不同數(shù)據(jù)庫不同數(shù)據(jù)庫ROC曲線圖曲線圖 ROC曲線圖曲線圖 圖中橫坐標為圖中橫坐標為未能成功檢測出的異常的樣本的個數(shù)未能成功檢測出的異常的樣本的個數(shù)(FPR),縱坐標縱坐標在所有在所有實際是異常的樣本中，能被正確檢測出來事件的比例實際是異常的樣本中，能被正確檢測出來事件的比例(TPR)。從圖可以得出。從圖可以得出LDA可用于模型異常行為檢測性能良好?？捎糜谀Ｐ彤惓Ｐ袨闄z測性能良好。總結(jié)與展望總結(jié)與展望u 研究的不足與展望研究的不足與展望 從本實驗中可知從本實驗中可知

17、LDA模型建模耗時較多，因此進一步去改善模型建模耗時較多，因此進一步去改善建模的現(xiàn)狀，除此之外訓練數(shù)據(jù)中正常樣本與異常樣本的比例建模的現(xiàn)狀，除此之外訓練數(shù)據(jù)中正常樣本與異常樣本的比例有待商榷，什么樣的比例，才能使檢測性能達到最佳，需要我有待商榷，什么樣的比例，才能使檢測性能達到最佳，需要我們花更多的精力去做實驗對比。們花更多的精力去做實驗對比。 論文中所有實驗場景都是基于單攝像頭，然而實際應用場景論文中所有實驗場景都是基于單攝像頭，然而實際應用場景中，一般都是較為復雜的多攝像頭同時錄入視頻，這對計算能中，一般都是較為復雜的多攝像頭同時錄入視頻，這對計算能力，網(wǎng)絡寬帶的要求都會增加很多，更重要的是如何協(xié)同多攝力，網(wǎng)絡寬帶的要求都會增加很多，更重要的是如何協(xié)同多攝像頭