靜止背景下的移動(dòng)物體的視覺(jué)監(jiān)控=

1、智能視覺(jué)監(jiān)控概述 A Summary of Intelligent Visual Surveillance 目錄 oIVS(智能視覺(jué)監(jiān)控)簡(jiǎn)介 oIVS研究現(xiàn)狀 oIVS在ITS(智能交通系統(tǒng))中的應(yīng)用 o關(guān)鍵技術(shù)介紹 o總結(jié) IVS簡(jiǎn)介 o定義 n利用計(jì)算機(jī)視覺(jué)和人工智能的理論和方法，通過(guò)對(duì) 攝像機(jī)拍錄的圖像序列進(jìn)行自動(dòng)分析來(lái)對(duì)場(chǎng)景中的 運(yùn)動(dòng)物體進(jìn)行定位、跟蹤和識(shí)別，并對(duì)物體的運(yùn)動(dòng) 行為作出判斷或者解釋，達(dá)到監(jiān)控的目的 o目標(biāo) n用主動(dòng)的、智能的視覺(jué)監(jiān)控來(lái)代替?zhèn)鹘y(tǒng)的被動(dòng)的視 頻監(jiān)控，不僅僅是用攝像機(jī)來(lái)代替人的眼睛，而且 是盡可能的自動(dòng)的完成整個(gè)監(jiān)控任務(wù) IVS研究意義 o智能視覺(jué)監(jiān)控是計(jì)算機(jī)

2、視覺(jué)領(lǐng)域的前沿研 究方向，不僅具有很高的科學(xué)研究?jī)r(jià)值， 而且具有廣泛的應(yīng)用前景 o911事件以來(lái)，IVS不僅受到了學(xué)術(shù)界的 重視，而且得到了政府和企業(yè)界的廣泛關(guān) 注 IVS應(yīng)用 o特定場(chǎng)所的訪問(wèn)控制 o某些場(chǎng)合的特定人識(shí)別 o流量統(tǒng)計(jì)和擁塞分析 o異常行為檢測(cè)和告警 IVS處理框架 圖像 低層視覺(jué)中層視覺(jué)高層視覺(jué) 運(yùn)動(dòng)目標(biāo)的檢測(cè)分割 圖像處理 目標(biāo)的跟蹤識(shí)別 圖像處理和模式識(shí)別 行為推理 圖像理解和人工智能 目錄 oIVS(智能視覺(jué)監(jiān)控)簡(jiǎn)介 oIVS研究現(xiàn)狀 oIVS在ITS(智能交通系統(tǒng))中的應(yīng)用 o關(guān)鍵技術(shù)介紹 o總結(jié) 典型系統(tǒng) oRoadWatch ：1995， nhttp:/http

3、./p m/RoadWatch/ o在各節(jié)點(diǎn)： n采集視頻并處理(檢測(cè)、跟蹤)， 將得到的交通參數(shù)發(fā)往交通管 理中心 n車道車輛數(shù)目、平均速度、車 道間切換頻率、車的型號(hào) o管理中心 n根據(jù)交通參數(shù)來(lái)控制信號(hào)，發(fā) 布交通信息，并結(jié)合相鄰節(jié)點(diǎn) 的數(shù)據(jù)來(lái)計(jì)算路段的統(tǒng)計(jì)信息 典型系統(tǒng) oVSAM ：Video Surveillance and Monitoring n1997年，DARPA資助 n/vsam/vsamhome.html o目的 n建立一個(gè)能在城市或戰(zhàn)場(chǎng)等復(fù)雜環(huán)境下應(yīng)用多個(gè)攝像機(jī)對(duì)人、車輛等 的行為進(jìn)行監(jiān)控的系統(tǒng)

4、 o研究?jī)?nèi)容 n靜止/移動(dòng)攝像機(jī)下運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)檢測(cè)和跟蹤 n目標(biāo)類型的識(shí)別：人、轎車、卡車等 n特定場(chǎng)景下目標(biāo)姿態(tài)的估計(jì) n多攝像機(jī)的協(xié)同跟蹤 n簡(jiǎn)單交互行為的識(shí)別 n數(shù)據(jù)的實(shí)時(shí)分發(fā) o吸引了眾多學(xué)者投入到該領(lǐng)域的研究。 典型系統(tǒng) oHID：Human Identification at a Distance n2000年 ， DARPA資助 n/ o目的 n為了應(yīng)對(duì)恐怖分子襲擊，發(fā)展多模式的監(jiān)控技術(shù)， 能夠遠(yuǎn)距離的檢測(cè)、分類和識(shí)別出人來(lái) o研究?jī)?nèi)容 n人臉跟蹤和識(shí)別(2D/3D) n人臉表情識(shí)別 n步態(tài)識(shí)別 n人體上肢行為識(shí)別 典型系統(tǒng) oADVIS

5、OR：Annotated Digital Video for Intelligent Surveillance and Optimised Retrieval n2000，EU資助 nhttp:/www-sop.inria.fr/orion/ADVISOR/ o目的 n對(duì)地鐵站內(nèi)人們的活動(dòng)行為進(jìn)行監(jiān)控 o研究?jī)?nèi)容 n使用多個(gè)攝像機(jī)進(jìn)行跟蹤 n行為分析：估計(jì)人群的密度和運(yùn)動(dòng)，檢測(cè)擁擠、阻塞、單 行道的逆行行為等 n危險(xiǎn)行為和犯罪行為進(jìn)行報(bào)警：如打架、阻斷道路、擁擠、 不買票而跳越柵欄、破壞機(jī)器等。 n存儲(chǔ)數(shù)字視頻圖像和事件，以便檢索 典型系統(tǒng)-ADVISOR 相關(guān)研究機(jī)構(gòu) o國(guó)內(nèi) n自動(dòng)化所、清

6、華大學(xué)、上海交大、同濟(jì)大學(xué)、 寧波大學(xué) o國(guó)外 nCarnegie Mellon University ，the University of Reading，the University of Maryland， 加州大學(xué)Berkeley 分校， INRIA等 相關(guān)的出版刊物和會(huì)議 o期刊 nIEEE Transaction on PAMI，IEEE Transaction on Transportation Systems , 計(jì)算機(jī)學(xué)報(bào)，計(jì)算機(jī)工程 o會(huì)議: ICCV、CVPR o專門會(huì)議 n全國(guó)智能視覺(jué)監(jiān)控學(xué)術(shù)會(huì)議全國(guó)智能視覺(jué)監(jiān)控學(xué)術(shù)會(huì)議 (2002,2003) nIEEE Intern

7、ational Workshop on Visual Surveillance (1998,1999,2000) nACM SIGMM Workshop on Video Surveillance (2003,2004) nIEEE International Conference on Intelligent Transportation Systems( ITSC) (1998-2005連續(xù)八屆) o評(píng)測(cè)：IEEE PETS(Performance Evaluation of Tracking and Surveillance ) n從PETS2000到PETS2005連續(xù)六屆 目錄 oI

8、VS(智能視覺(jué)監(jiān)控)簡(jiǎn)介 oIVS研究現(xiàn)狀 oIVS在ITS(智能交通系統(tǒng))中的應(yīng)用 o關(guān)鍵技術(shù)介紹 o總結(jié) ITS介紹 o智能交通系統(tǒng)(Intelligent Transportation Systems，ITS) n將計(jì)算機(jī)科學(xué)、通信等高新技術(shù)運(yùn)用于交通監(jiān)控管理與車輛控制， 以保障交通順暢及行車安全，從而促進(jìn)經(jīng)濟(jì)發(fā)展、改善環(huán)境質(zhì)量。 o五個(gè)模塊 n交通管理系統(tǒng)ATMS(Advanced Traffic Management Systems)、 n旅行信息系統(tǒng)ATIS(Advanced Traveler Information Systems) n車輛控制系統(tǒng)AVCS(Advanced Ve

9、hicIe Control Systems) n商業(yè)車輛運(yùn)作CVO(Comercial VehicleOperations) n公共交通系統(tǒng)APTS(Advanced Public Transit Systems) o提供的功能 n車載導(dǎo)航、全球定位、電子收費(fèi)、電子警察、交通流量監(jiān)測(cè)、交 通信號(hào)控制與管理。 計(jì)算機(jī)視覺(jué)在ITS中的應(yīng)用 o車載處理系統(tǒng) n道路識(shí)別、交通標(biāo)志信號(hào)檢測(cè)、路障檢測(cè)、 司機(jī)疲勞檢測(cè) o路邊處理系統(tǒng) n檢測(cè)和收集與交通狀況有關(guān)的信息、交通事 件檢測(cè)和監(jiān)控 信息采集和處理步驟 o從場(chǎng)景中分離出單個(gè)汽車，并對(duì)其進(jìn)行 跟蹤 o從跟蹤數(shù)據(jù)計(jì)算出所需交通參數(shù) o對(duì)交通參數(shù)進(jìn)行處理，

10、并形成各種控制 信號(hào) 交通參數(shù)及其獲取方法 o交通參數(shù) n車道排隊(duì)長(zhǎng)度 n車道汽車流量 n平均速度 n車輛型號(hào) n運(yùn)行方向(直行/拐彎) n車道占有率 o獲取方法 n基于分割-跟蹤的方法 n基于檢測(cè)線的方法 n基于特征(角點(diǎn)、直線)檢測(cè)的方法 其他應(yīng)用 o交通事件檢測(cè) n軌跡異常 o交叉路口監(jiān)控 n有無(wú)行人通過(guò)，自動(dòng)控制紅綠燈 o車牌檢測(cè)和識(shí)別 n自動(dòng)收費(fèi)和違規(guī)檢測(cè) 目錄 oIVS(智能視覺(jué)監(jiān)控)簡(jiǎn)介 oIVS研究現(xiàn)狀 oIVS在ITS中的應(yīng)用 o關(guān)鍵技術(shù)介紹 o總結(jié) 背景建模 o簡(jiǎn)單背景模型 n均值/中值 n運(yùn)動(dòng)檢測(cè) n自適應(yīng)更新 o統(tǒng)計(jì)的參數(shù)模型 n高斯背景建模 n混合高斯背景建模 p適合

11、于復(fù)雜的背景(如，樹(shù)影晃動(dòng)、水紋波動(dòng)) o非參數(shù)背景模型 No Image 運(yùn)動(dòng)檢測(cè) o差分方法 n幀間差分 p速度快，但是不能提取完整的目標(biāo)區(qū)域 n背景差分 p需要對(duì)背景進(jìn)行維護(hù) o光流方法 n使用運(yùn)動(dòng)目標(biāo)隨時(shí)間變化的光流特性檢測(cè)運(yùn) 動(dòng)區(qū)域，能處理攝像機(jī)運(yùn)動(dòng)下的運(yùn)動(dòng)物體檢 測(cè)，但計(jì)算復(fù)雜 目標(biāo)分類 o為了對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤和分析，需要識(shí) 別出類型 o基于形狀的分類 n利用形狀特征進(jìn)行分類，如VSAM使用運(yùn)動(dòng)區(qū)域的 分散度、面積、寬高比作為特征，使用3層BP分為 單個(gè)人、車輛、人群及背景噪聲 o基于運(yùn)動(dòng)的分類 n主要是利用非剛性物體(如人)運(yùn)動(dòng)的周期性 特點(diǎn)(如人體下肢運(yùn)動(dòng))可以將人和車輛區(qū)分

12、 開(kāi)來(lái) 目標(biāo)跟蹤 o基于區(qū)域的跟蹤 n將目標(biāo)分成一個(gè)或者多個(gè)小的區(qū)域，根據(jù)區(qū)域的形 狀或者顏色等信息進(jìn)行跟蹤。 o基于輪廓的跟蹤 n先初步分割出物體，然后用snake或者Level set獲得 輪廓 o基于特征的跟蹤 n點(diǎn)、線、角點(diǎn) o跟蹤算法 nkalman filter、particle filter、mean shift等 行為分析 o實(shí)質(zhì)是對(duì)一個(gè)時(shí)序特征數(shù)據(jù)的識(shí)別問(wèn)題 o識(shí)別方法 n動(dòng)態(tài)時(shí)間彎曲(DTW) n有限狀態(tài)自動(dòng)機(jī)(FAM) nHMMs n時(shí)滯神經(jīng)網(wǎng)絡(luò)(TDNN) n基于句法的方法(Syntactic techniques) n貝葉斯信念網(wǎng)(BN) n動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(DBN)

13、n自組織神經(jīng)網(wǎng)絡(luò)(Self-organizing neural network) 多攝像機(jī)跟蹤和融合 o優(yōu)點(diǎn) n可以解決遮擋問(wèn)題，能獲得3D信息 o一些問(wèn)題 n多攝像機(jī)的標(biāo)定 n攝像機(jī)間的切換 n數(shù)據(jù)融合 目錄 oIVS(智能視覺(jué)監(jiān)控)簡(jiǎn)介 oIVS研究現(xiàn)狀 oIVS在ITS中的應(yīng)用 o關(guān)鍵技術(shù)介紹 o總結(jié) 存在的問(wèn)題和挑戰(zhàn) o運(yùn)動(dòng)檢測(cè) n復(fù)雜背景的變化：如光照，不同天氣，樹(shù)枝云層遮 擋等，如何魯棒的檢測(cè)？ o目標(biāo)跟蹤 n車輛擁擠時(shí)的跟蹤 n處理速度 o事件識(shí)別 n多主體行為的識(shí)別 n動(dòng)作單元的識(shí)別和描述 o多攝像機(jī)跟蹤 發(fā)展趨勢(shì) oIVS nA Survey on Visual Surveillance of Object Motion and Behaviors pOcclusion Handling pFusion of 2-D and 3-D Tracking pThree-Dimensional Modeling of Humans