智能視頻監(jiān)控技術與應用2012

1、智能視頻監(jiān)控技術與應用 報告人：報告人： 鄭世寶鄭世寶 教授教授 上海交通大學上海交通大學 圖像通信與信息處理研究所圖像通信與信息處理研究所 報告內(nèi)容傳統(tǒng)視頻監(jiān)控系統(tǒng)及其存在的問題傳統(tǒng)視頻監(jiān)控系統(tǒng)及其存在的問題1智能視頻監(jiān)控系統(tǒng)及其優(yōu)勢智能視頻監(jiān)控系統(tǒng)及其優(yōu)勢2智能視頻監(jiān)控系統(tǒng)的潛在應用智能視頻監(jiān)控系統(tǒng)的潛在應用3典型的智能視頻監(jiān)控系統(tǒng)典型的智能視頻監(jiān)控系統(tǒng)42022-3-19 上海交通大學上海交通大學 圖像通信研究所圖像通信研究所視頻監(jiān)控系統(tǒng)的發(fā)展2022-3-19 上海交通大學上海交通大學 圖像通信研究所圖像通信研究所視頻監(jiān)控市場構成的發(fā)展2022-3-19 上海交通大學上海交通大學 圖像

2、通信研究所圖像通信研究所實時監(jiān)控視頻流：實時監(jiān)控視頻流：為重大事件為重大事件現(xiàn)場提供遠程實時監(jiān)視和控制現(xiàn)場提供遠程實時監(jiān)視和控制歷史視頻查看：歷史視頻查看：為事后取證提為事后取證提供重要的錄像資料依據(jù)供重要的錄像資料依據(jù)視頻監(jiān)控系統(tǒng)功能的發(fā)展2022-3-19 上海交通大學上海交通大學 圖像通信研究所圖像通信研究所 傳統(tǒng)視頻監(jiān)控當代視頻監(jiān)控實時監(jiān)控視頻流實時監(jiān)控視頻流：為重大事件為重大事件現(xiàn)場提供遠程實時監(jiān)視和控制現(xiàn)場提供遠程實時監(jiān)視和控制歷史視頻回放流歷史視頻回放流：為事后取證為事后取證提供重要的錄像資料依據(jù)提供重要的錄像資料依據(jù)控制流控制流：前端攝像頭控制，沖前端攝像頭控制，沖突判定機制突

3、判定機制管理、維護流管理、維護流：統(tǒng)一管理，版統(tǒng)一管理，版本和配置自動下發(fā)，批量配置本和配置自動下發(fā)，批量配置GISGIS應用數(shù)據(jù)流，圖像分析，移應用數(shù)據(jù)流，圖像分析，移動偵測，聯(lián)動控制動偵測，聯(lián)動控制：系統(tǒng)融合系統(tǒng)融合，智能融合，智能融合資源浪費資源浪費：海量無用視頻數(shù)據(jù)的傳輸和存儲，海量無用視頻數(shù)據(jù)的傳輸和存儲，造成帶寬及存儲資源的嚴重浪費造成帶寬及存儲資源的嚴重浪費傳統(tǒng)的視頻監(jiān)控存在的問題效率低下效率低下：“以人為主以人為主”的目釋監(jiān)控系統(tǒng)無法的目釋監(jiān)控系統(tǒng)無法滿足監(jiān)控探頭和滿足監(jiān)控探頭和DVRDVR錄像數(shù)據(jù)增長的需求錄像數(shù)據(jù)增長的需求信息污染信息污染: :大量的無用視頻信息，淹沒了少量

4、的大量的無用視頻信息，淹沒了少量的有用信息，使得有用信息的獲取變得困難有用信息，使得有用信息的獲取變得困難環(huán)境適應性差環(huán)境適應性差: :圖像質(zhì)量容易受到光照變化、圖像質(zhì)量容易受到光照變化、云霧天氣等環(huán)境影響，影響目標信息的辨別。云霧天氣等環(huán)境影響，影響目標信息的辨別。2022-3-19上海交通大學上海交通大學 圖像通信研究所圖像通信研究所2022-3-19上海交通大學上海交通大學 圖像通信研究所圖像通信研究所這么多攝像頭，哪有這這么多攝像頭，哪有這 么多監(jiān)視器給你放？先么多監(jiān)視器給你放？先存存 著吧，出問題查錄著吧，出問題查錄像就行！像就行！這么海量的硬盤錄像這么海量的硬盤錄像，哪有這么多人替

5、，哪有這么多人替我盯著查找？何時才我盯著查找？何時才能找到啊？能找到?。?大規(guī)模城市監(jiān)控的問題2022-3-19安防行業(yè)在視頻領域缺乏統(tǒng)一標準安防行業(yè)在視頻領域缺乏統(tǒng)一標準行業(yè)標準的制定跟不上技術的發(fā)展行業(yè)標準的制定跟不上技術的發(fā)展監(jiān)控系統(tǒng)的建設沒有統(tǒng)一的規(guī)范監(jiān)控系統(tǒng)的建設沒有統(tǒng)一的規(guī)范已建系統(tǒng)的技術實現(xiàn)方式多種多樣已建系統(tǒng)的技術實現(xiàn)方式多種多樣系統(tǒng)的管理者分布在各行各業(yè)系統(tǒng)的管理者分布在各行各業(yè)城市監(jiān)控的區(qū)域范圍太廣城市監(jiān)控的區(qū)域范圍太廣監(jiān)控的科學布點與布局的規(guī)劃監(jiān)控的科學布點與布局的規(guī)劃系統(tǒng)與管理的角度 大規(guī)模城市監(jiān)控的問題2022-3-19人為的觀看屏幕上的圖像捕捉異常人為的觀看屏幕上的

6、圖像捕捉異常人為到事件現(xiàn)場從人為到事件現(xiàn)場從DVR中回放取證中回放取證監(jiān)控點的工程安裝和布點不合理監(jiān)控點的工程安裝和布點不合理回放的圖像質(zhì)量不高（尤其夜晚或回放的圖像質(zhì)量不高（尤其夜晚或惡劣天氣）惡劣天氣）無條件存儲及缺乏基于內(nèi)容的檢索無條件存儲及缺乏基于內(nèi)容的檢索缺乏對事件的關聯(lián)檢測及跟蹤處理缺乏對事件的關聯(lián)檢測及跟蹤處理技術與應用的角度視頻監(jiān)控市場的發(fā)展2022-3-19 上海交通大學上海交通大學 圖像通信研究所圖像通信研究所01000200030004000500060007000800090002005 2006 2007 2008 2009 2010 2011單單位位（百百萬萬美美元

7、元）2005-2011年全球視頻監(jiān)控設備銷售收入發(fā)展預年全球視頻監(jiān)控設備銷售收入發(fā)展預測分析測分析CCTV CamerasIP Cammeras01020304050607080901002006200720082009201020112006-2011年我國網(wǎng)絡視頻監(jiān)控業(yè)務市場規(guī)模發(fā)展與預測年我國網(wǎng)絡視頻監(jiān)控業(yè)務市場規(guī)模發(fā)展與預測單位（億元） 報告內(nèi)容傳統(tǒng)視頻監(jiān)控系統(tǒng)及其存在的問題傳統(tǒng)視頻監(jiān)控系統(tǒng)及其存在的問題1智能視頻監(jiān)控系統(tǒng)及其優(yōu)勢智能視頻監(jiān)控系統(tǒng)及其優(yōu)勢2智能視頻監(jiān)控系統(tǒng)的潛在應用智能視頻監(jiān)控系統(tǒng)的潛在應用3典型的智能視頻監(jiān)控系統(tǒng)典型的智能視頻監(jiān)控系統(tǒng)42022-3-19上海交通大學上

8、海交通大學 圖像通信研究所圖像通信研究所智能視頻監(jiān)控的主要技術2022-3-19上海交通大學上海交通大學 圖像通信研究所圖像通信研究所計算機視覺技術是計算機視覺技術是人工智能研究的分支之一，它能研究的分支之一，它能夠在圖像及圖像描述之間夠在圖像及圖像描述之間建立映射關系，從而使計建立映射關系，從而使計算能夠通過數(shù)字圖像處理算能夠通過數(shù)字圖像處理和分析來和分析來理解視頻畫面中的內(nèi)容。智能視頻分析主要主要指計算機：指計算機：“自動的分析和抽取視頻源中的關鍵信息” ” 。如果把攝。如果把攝像機看作人的眼睛，像機看作人的眼睛，而智能視頻系統(tǒng)或而智能視頻系統(tǒng)或設備則可以看作人設備則可以看作人的大腦的大腦

9、IPIP網(wǎng)絡視頻技術網(wǎng)絡視頻技術智能視頻監(jiān)控的概念2022-3-19上海交通大學上海交通大學 圖像通信研究所圖像通信研究所智能視頻分析計算機視覺網(wǎng)絡視頻技術智能視頻監(jiān)控智能視頻監(jiān)控：借助計算機對視：借助計算機對視頻畫面中的海量數(shù)據(jù)進行高速分頻畫面中的海量數(shù)據(jù)進行高速分析析，過濾掉用戶不關心的信息，僅僅為監(jiān)控者提供有用的僅僅為監(jiān)控者提供有用的關鍵信息。 為什么監(jiān)控系統(tǒng)需要智能技術？2022-3-19 智能監(jiān)控技術的發(fā)展智能技術低級智能-看清楚圖像區(qū)域分割與拼接目標分類及跟蹤非法入侵、滯留和遺失檢測人臉、車牌的自動紀錄、比對、識別人群、車輛等計數(shù)及流量控制目前圖像監(jiān)控的應用-看得到中級智能-看明白

10、高級智能-自動化圖像去噪、去霧、防抖等預處理圖像增強還原高清晰度圖像處理及顯示行為的判斷和識別自動生命周期衰竭規(guī)律的視頻存儲和檢索 結合實戰(zhàn)處置和預案調(diào)用多信息融合智能視頻監(jiān)控的優(yōu)勢對所監(jiān)控的畫面進行不間斷分析，實現(xiàn)對異常對所監(jiān)控的畫面進行不間斷分析，實現(xiàn)對異常事件和疑似威脅的主動式編碼、報警和保存事件和疑似威脅的主動式編碼、報警和保存 提示值班人員關注相關監(jiān)控畫面提前做好準備，提示值班人員關注相關監(jiān)控畫面提前做好準備，防止在混亂中由于人為因素而造成的延誤防止在混亂中由于人為因素而造成的延誤 有效捕捉異常報警事件或及時發(fā)現(xiàn)威脅，降低有效捕捉異常報警事件或及時發(fā)現(xiàn)威脅，降低誤報和漏報現(xiàn)象誤報和漏

11、報現(xiàn)象 將視頻資源應用到非安全領域，提高服務水平將視頻資源應用到非安全領域，提高服務水平和營業(yè)額和營業(yè)額 報告內(nèi)容傳統(tǒng)視頻監(jiān)控系統(tǒng)及其存在的問題傳統(tǒng)視頻監(jiān)控系統(tǒng)及其存在的問題1智能視頻監(jiān)控系統(tǒng)及其優(yōu)勢智能視頻監(jiān)控系統(tǒng)及其優(yōu)勢2智能視頻監(jiān)控系統(tǒng)的潛在應用智能視頻監(jiān)控系統(tǒng)的潛在應用3典型的智能視頻監(jiān)控系統(tǒng)典型的智能視頻監(jiān)控系統(tǒng)42022-3-19上海交通大學上海交通大學 圖像通信研究所圖像通信研究所智能監(jiān)控系統(tǒng)的潛在應用基于內(nèi)容的圖基于內(nèi)容的圖 像檢索系統(tǒng)像檢索系統(tǒng)智能視頻前端系統(tǒng)智能視頻前端系統(tǒng)三維全景多三維全景多視監(jiān)控系統(tǒng)視監(jiān)控系統(tǒng)其它其它行為識別智行為識別智能監(jiān)控系統(tǒng)能監(jiān)控系統(tǒng)多傳感器融合多

12、傳感器融合智能監(jiān)控系統(tǒng)智能監(jiān)控系統(tǒng)智能監(jiān)控2022-3-19上海交通大學上海交通大學 圖像通信研究所圖像通信研究所安全類相關視頻檢測突然入侵檢測：可以感知設定區(qū)域內(nèi)突然出現(xiàn)和入侵的物體并及時報警。比如在戒備森嚴的軍事重地或銀行博物館等重要場所出現(xiàn)可疑人物等。適用地區(qū)：軍事重地，軍械庫 ，監(jiān)獄銀行，庫房重地，博物館， 珠寶店等國家領導人，重要人物住所涉搶防爆和劇毒化學等 重點單位水、電、氣、核電站，油田 等重點部位；2022-3-19上海交通大學上海交通大學 圖像通信研究所圖像通信研究所安全類相關視頻檢測物品遺失檢測：當設定的監(jiān)控區(qū)域內(nèi)目標物被移走，替代或惡意遮擋時發(fā)出報警。用來保護財產(chǎn)安全。適

13、用地區(qū)： 銀行，博物館，珠寶店等 放置貴重物品的場所財務室，展覽館停車場商場，小區(qū)等2022-3-19上海交通大學上海交通大學 圖像通信研究所圖像通信研究所安全類相關視頻檢測遺留物體檢測：車輛或其他目標物?？炕驕舫^一定的時間，對被蓄意放在設定區(qū)域的物品進行探測并報警。比如有人遺留包裹或爆炸物等。適用地區(qū)： 機場，地鐵等交通要塞 的反恐行為偵測 銀行，博物館，珠寶店等復雜環(huán)境的公共場合隧道，高速公路違章停車 的檢測學校，幼兒園等2022-3-19上海交通大學上海交通大學 圖像通信研究所圖像通信研究所安全類相關視頻檢測群體性異常事件檢測：對區(qū)域內(nèi)的人員異常聚集,打架等行為進行判別,并給出及時的

14、報警 適用地區(qū)： 廣場,體育館,商店等公共場所機場，高速路，火車站， 港口，海關,地鐵站居民小區(qū),學校2022-3-19上海交通大學上海交通大學 圖像通信研究所圖像通信研究所非安全相關類監(jiān)控人數(shù)統(tǒng)計系統(tǒng)：人數(shù)統(tǒng)計系統(tǒng)是一種先進的監(jiān)控人群流動的智能安防系統(tǒng)，能夠提供準確的人群流動量、人群流動方向的統(tǒng)計及分析數(shù)據(jù)。用戶可指定監(jiān)測一個或多個出入口，也可以指定統(tǒng)計單一方向或雙向的人群流動。 適用地區(qū)： 超市、連鎖店、百貨大樓、大型 商店酒店、餐館、娛樂場所學校、圖書館、運動場旅游景點、城市廣場、公園公交和客運站、火車站及機場2022-3-19上海交通大學上海交通大學 圖像通信研究所圖像通信研究所非安全

15、相關類監(jiān)控交通流量統(tǒng)計控制系統(tǒng)：基于車輛檢測技術和視頻車輛跟蹤技術，對交通狀況進行估計和控制。 應用范圍：比對交通路段的車流量和道路 占用率和車輛的平均速率對交通路段的擁堵情況作出預 測，有效緩解交通堵塞實時監(jiān)控路段車輛狀況，對于 車輛逆行違章停車等給出警報 信息 非安全相關類監(jiān)控智能電子警察系統(tǒng)：利用車輛拍照識別技術和車輛跟蹤技術，全方位監(jiān)測激動車輛的系統(tǒng)。 應用范圍： 主要用于超速抓拍，黑 名單稽查，機動車違章， 車輛肇事以及機動車被 盜等事件的偵測和報警2022-3-19上海交通大學上海交通大學 圖像通信研究所圖像通信研究所報告內(nèi)容2022-3-19上海交通大學上海交通大學 圖像通信研究

16、所圖像通信研究所傳統(tǒng)視頻監(jiān)控系統(tǒng)及其存在的問題傳統(tǒng)視頻監(jiān)控系統(tǒng)及其存在的問題1智能視頻監(jiān)控系統(tǒng)及其優(yōu)勢智能視頻監(jiān)控系統(tǒng)及其優(yōu)勢2智能視頻監(jiān)控系統(tǒng)的潛在應用智能視頻監(jiān)控系統(tǒng)的潛在應用3典型的智能視頻監(jiān)控系統(tǒng)典型的智能視頻監(jiān)控系統(tǒng)4 智能視頻前端系統(tǒng)_主動視覺系統(tǒng) u主動感知攝像系統(tǒng)主動感知攝像系統(tǒng) 主動甄別主動甄別攝像機視圖中的對象。在諸如有人闖入、攝像機視圖中的對象。在諸如有人闖入、 盜盜竊、提包遺失或者未經(jīng)許可在限制區(qū)域閑逛等竊、提包遺失或者未經(jīng)許可在限制區(qū)域閑逛等違反自定義違反自定義規(guī)則規(guī)則的情況發(fā)生時，發(fā)出的情況發(fā)生時，發(fā)出告警信息告警信息。 能依據(jù)報警信號能依據(jù)報警信號自動控制編碼器自

17、動控制編碼器發(fā)送高分辨率視頻，而發(fā)送高分辨率視頻，而在正常狀態(tài)下發(fā)出在正常狀態(tài)下發(fā)出“無關緊要無關緊要”的視頻流。的視頻流。 可以節(jié)省可以節(jié)省9090 的系統(tǒng)帶寬、的系統(tǒng)帶寬、3030的存儲容量的存儲容量，并保持，并保持覆蓋范圍內(nèi)的高監(jiān)控質(zhì)量。覆蓋范圍內(nèi)的高監(jiān)控質(zhì)量。 智能視頻前端系統(tǒng)_主動視覺系統(tǒng) u雙目變色龍主動攝像系統(tǒng)雙目變色龍主動攝像系統(tǒng) 以以雙攝影機雙攝影機設計，配合全自動設計，配合全自動高速追蹤移動物體高速追蹤移動物體的功能，的功能，不但能取得廣角畫面的影像，而且能有效針對路上所有移不但能取得廣角畫面的影像，而且能有效針對路上所有移動物體，包括車輛、摩托車、自行車、行人動物體，包括

18、車輛、摩托車、自行車、行人等，取得等，取得清清晰晰且能且能有效識別有效識別的畫面。的畫面。 變色龍攝像機的有效變色龍攝像機的有效監(jiān)控識別范圍監(jiān)控識別范圍為一般傳統(tǒng)攝像機的為一般傳統(tǒng)攝像機的2020倍倍，以更經(jīng)濟的方式監(jiān)控廣角區(qū)域的同時獲得最佳的影，以更經(jīng)濟的方式監(jiān)控廣角區(qū)域的同時獲得最佳的影像品質(zhì)。像品質(zhì)。 施工、保養(yǎng)、維護簡單方便，耐用性極佳。施工、保養(yǎng)、維護簡單方便，耐用性極佳。三維全景多視監(jiān)控系統(tǒng) u將將多個攝像頭多個攝像頭所攝取的監(jiān)控圖像嵌入三維模型，對于監(jiān)控所攝取的監(jiān)控圖像嵌入三維模型，對于監(jiān)控區(qū)內(nèi)的重點目標進行區(qū)內(nèi)的重點目標進行立體監(jiān)控、報警和跟蹤立體監(jiān)控、報警和跟蹤。u通過提高畫

19、面的覆蓋率、識別盲點讓用戶能夠觀看任意地通過提高畫面的覆蓋率、識別盲點讓用戶能夠觀看任意地點的完整的、連貫的圖像，而且可以及時地無縫隙地移動點的完整的、連貫的圖像，而且可以及時地無縫隙地移動視野在監(jiān)控區(qū)域內(nèi)進行視野在監(jiān)控區(qū)域內(nèi)進行“環(huán)繞巡航監(jiān)視環(huán)繞巡航監(jiān)視”。 視頻警戒系統(tǒng) 通過移動目標監(jiān)測、周界/區(qū)域阻截和嫌疑目標監(jiān)測，及時發(fā)現(xiàn)跨越跨越用戶預設的、無形警戒邊界警戒邊界的目標，完成對可疑目標的智能報警和自動記錄。 高清晰度高空瞭望系統(tǒng) 基于視頻監(jiān)控、GIS和視頻智能檢測技術采用一體化超遠望低照度高清晰度可編程高速云臺攝像機在制高點設立監(jiān)測嘹望點實現(xiàn)大范圍的圖像精確監(jiān)控大范圍的圖像精確監(jiān)控，既兼顧大場面又實現(xiàn)具體目標特寫拍攝的視頻監(jiān)控功能。視頻圖像甄別處理系統(tǒng) u利用視頻圖像甄別處理技術將利用視頻圖像甄別處理技術將搖曳不清的搖曳不清的、低低質(zhì)量質(zhì)量的原始視頻信號轉(zhuǎn)換成的原始視頻信號轉(zhuǎn)換成穩(wěn)定清晰穩(wěn)定清