視頻智能檢索系統(tǒng)課件

1、贊華公司視頻智能檢索系統(tǒng)議題一 贊華公司簡(jiǎn)介及主要業(yè)務(wù)二 視頻監(jiān)控智能識(shí)別系統(tǒng)介紹政府行業(yè)客戶外交部、國(guó)家發(fā)改委、民政部、財(cái)政部、國(guó)土資源部、水利部、農(nóng)業(yè)部、商務(wù)部、國(guó)家計(jì)生委海關(guān)總署、稅務(wù)總局、質(zhì)檢總局、廣電總局、安全監(jiān)管總局、統(tǒng)計(jì)局、知識(shí)產(chǎn)權(quán)局、新聞辦新華社、中科院、地震局、氣象局信訪局、海洋局、測(cè)繪信息局、民航局、文物局、食品藥品監(jiān)管局、外匯局、無線電管理委員會(huì)、農(nóng)科院公司主要客戶金融行業(yè)客戶中國(guó)人民銀行、國(guó)家開發(fā)銀行、中國(guó)農(nóng)業(yè)發(fā)展銀行、中國(guó)銀行、中國(guó)農(nóng)業(yè)銀行、中國(guó)工商銀行、中國(guó)建設(shè)銀行、交通銀行、招商銀行、民生銀行、光大銀行、中信銀行、華夏銀行、廣發(fā)銀行、深發(fā)銀行、浦發(fā)銀行、興業(yè)銀行、

2、北京銀行、北京農(nóng)村商業(yè)銀行、山東農(nóng)信、中國(guó)人壽、中國(guó)人保、養(yǎng)老保險(xiǎn)、平安保險(xiǎn)、新華人壽、中意人壽、華泰人壽、中航三星人壽、中美大都會(huì)人壽、英大人壽、摩根士丹利、瑞銀集團(tuán)、德意志銀行、法國(guó)興業(yè)銀行、高盛高華、民族證券、中信信托、野村證券、工銀瑞信政府行業(yè)客戶系統(tǒng)集成項(xiàng)目公司主要業(yè)務(wù)犯罪逃逸我們有大量攝像頭布下的天羅地網(wǎng)，面對(duì)犯罪逃逸、肇事車輛逃逸等社會(huì)問題卻收效甚微？我們希望能夠從海量視頻數(shù)據(jù)中自動(dòng)找到目標(biāo)！ 在追查逃犯時(shí)，公安部門往往會(huì)調(diào)用案發(fā)地附近大量的監(jiān)攝像頭的監(jiān)控視頻來搜索犯罪嫌疑人的線索。需要大量的人員來人工排查監(jiān)控視頻。不僅效率低還很容易錯(cuò)過嫌疑人段再出現(xiàn)的瞬間。即使發(fā)現(xiàn)了犯罪嫌疑人

3、的面貌特征仍舊需要大量的警力來拿著照片走訪，排查。使破案的效率大大降低，甚至延誤、錯(cuò)失最佳的辦案時(shí)機(jī)。智能視頻分析面臨的挑戰(zhàn)智能分析面臨的挑戰(zhàn)6智能分析 入侵檢測(cè) 遺留檢測(cè) 人流密度檢測(cè) 事件檢測(cè) 僅限于單個(gè)攝像頭范圍內(nèi) 過多的誤報(bào) 事后查找依靠人為播放技術(shù)限制：用于事前預(yù)警 無法跨攝像頭區(qū)域聯(lián)動(dòng)報(bào)警 相關(guān)人疲于應(yīng)付，消耗大量成本 時(shí)候查證缺乏快捷直觀手段應(yīng)用中的問題：事后調(diào)查困難，無主動(dòng)檢索誤報(bào)太多無有效查詢無法對(duì)黑名單之外的嫌疑人進(jìn)行行動(dòng)路徑分析智能識(shí)別面臨的挑戰(zhàn)7智能識(shí)別 靜態(tài)人臉識(shí)別 動(dòng)態(tài)人臉識(shí)別（布控） 任意物體識(shí)別 車牌識(shí)別（布控） 僅限于單個(gè)攝像頭范圍內(nèi) 大數(shù)據(jù)量（10萬庫(kù))下的

4、 識(shí)別精度低，速度慢 對(duì)于環(huán)境要求高：人臉80*80以上技術(shù)限制：用于身份確認(rèn) 無法跨攝像頭區(qū)域聯(lián)動(dòng)追蹤 無法滿足海量圖像的查找要求 無法在室外監(jiān)控環(huán)境中使用應(yīng)用中的問題：無法在室外攝像頭 環(huán)境使用無法跨海量攝像頭 實(shí)時(shí)比對(duì)在海量數(shù)據(jù)集上無法 保證精度和速度贊華視頻智能檢索系統(tǒng)功能人臉檢索多線索檢索車輛檢索人臉檢索特點(diǎn)跨海量攝像頭環(huán)境使用高速檢索實(shí)時(shí)或準(zhǔn)實(shí)時(shí)以及事后檢索黑白名單設(shè)置進(jìn)行身份認(rèn)證一對(duì)一，一對(duì)多身份比對(duì)嫌疑人移動(dòng)軌跡追蹤隨時(shí)查詢，任意人物高速的實(shí)時(shí)人臉捕獲目標(biāo)導(dǎo)入海量攝像頭中的特定人物檢索結(jié)果顯示經(jīng)過過濾后的結(jié)果精確地找出特定人員出現(xiàn)過的各個(gè)時(shí)間地點(diǎn)的場(chǎng)景或圖片根據(jù)檢索結(jié)果確定被檢

5、索人身份把攝像頭捕獲的圖像中的人臉放入后臺(tái)身份庫(kù)中的檔案進(jìn)行查找，最終確定被檢索人身份。身份一對(duì)一比對(duì)一對(duì)一身份比對(duì)驗(yàn)證結(jié)果失敗驗(yàn)證結(jié)果成功黑白名單設(shè)置，及時(shí)預(yù)警提前設(shè)置黑名單或白名單，并對(duì)黑名單人員出現(xiàn)以及除白名單以外人員出現(xiàn)時(shí)做出報(bào)警提示發(fā)現(xiàn)黑名單人員系統(tǒng)警報(bào)，警燈警笛警報(bào)，郵件警報(bào)根據(jù)被查找人出現(xiàn)的攝像頭位置，繪制出嫌疑人行蹤軌跡地圖嫌疑人移動(dòng)軌跡追蹤車輛追蹤精確地找出特定車輛出現(xiàn)過的各個(gè)時(shí)間地點(diǎn)的場(chǎng)景或圖片，類似的也可以繪制出車輛的活動(dòng)軌跡及范圍根據(jù)車輛顏色，拍照，車標(biāo)品牌車牌檢索輸入需要查找車輛的車牌在某區(qū)域范圍搜索該車輛多線索檢索人員時(shí)間地點(diǎn)行動(dòng)軌跡衣著（上衣、褲子、帽子、圍巾、包

6、）臉部特征車輛時(shí)間 地點(diǎn)行動(dòng)軌跡 車牌品牌 顏色特征區(qū)域視頻數(shù)據(jù)的結(jié)構(gòu)化和預(yù)處理對(duì)于非人臉特征進(jìn)行多線索檢索形成各個(gè)圖像塊的特征描述特征塊描述例（顏色）特征數(shù)據(jù)庫(kù)特征抽取過程利用多種線索進(jìn)行聯(lián)合檢索多線索檢索過程視頻摘要：由計(jì)算機(jī)自動(dòng)提取視頻中的所有活動(dòng)物體(人、車、動(dòng)物等)，并以濃縮視頻和快照的方式輸出的過程。濃縮視頻：提取視頻中活動(dòng)物體，與背景融合拼接，生成一個(gè)包含所有活動(dòng)物體的新視頻，在同一視頻畫面展現(xiàn)不同時(shí)間點(diǎn)的活動(dòng)物體的過程。濃縮視頻比原視頻短得多，從而縮短查看視頻的時(shí)間?？煺眨夯顒?dòng)物體在某些時(shí)間點(diǎn)的映像?？梢允菑脑家曨l中截取的某幀，或?qū)⒒顒?dòng)物體與原始視頻背景疊加合成的圖片。每個(gè)活

7、動(dòng)物體一張快照，用戶不用看原視頻，只需快速瀏覽快照，即可快速發(fā)現(xiàn)視頻中出現(xiàn)的可疑目標(biāo)?？煺?原視頻 濃縮視頻 視頻摘要多線索檢索視頻檢索：在視頻摘要的基礎(chǔ)上，由計(jì)算機(jī)進(jìn)一步對(duì)活動(dòng)物體進(jìn)行分類和特征識(shí)別，按照顏色、形狀、紋理、行為、出現(xiàn)時(shí)間等特征進(jìn)行分類標(biāo)注，建立特征索引，以供用戶輸入條件進(jìn)行檢索的過程。視頻檢索不用瀏覽全部活動(dòng)物體，只需輸入條件，即可搜索到需要的目標(biāo)。跨攝像頭檢索針對(duì)視頻及圖片大數(shù)據(jù)的超高速檢索 事件檢測(cè)過程攝像機(jī)及攝像機(jī)代理服務(wù)節(jié)點(diǎn)用于解析攝像機(jī)的輸入數(shù)據(jù)（來自攝像機(jī)或已有的視頻數(shù)據(jù)）。分析結(jié)果傳送到檢索服務(wù)節(jié)點(diǎn)并存儲(chǔ)到檢索數(shù)據(jù)庫(kù)中。圖像/視頻傳送到用于視頻數(shù)據(jù)庫(kù)的存檔服務(wù)節(jié)

8、點(diǎn)。 檢索過程客戶端如需視頻檢索，將直接訪問檢索服務(wù)節(jié)點(diǎn)中的檢索數(shù)據(jù)庫(kù)，而無需解析圖像/視頻數(shù)據(jù)。檢索服務(wù)節(jié)點(diǎn)可即時(shí)將檢索結(jié)果發(fā)送到給客戶端。 回放過程 客戶端如需回放視頻檢索結(jié)果，將直接從存檔服務(wù)節(jié)點(diǎn)提取相關(guān)內(nèi)容（圖像/視頻數(shù)據(jù)）。客戶端存檔服務(wù)節(jié)點(diǎn)檢索服務(wù)節(jié)點(diǎn)高速檢索網(wǎng)絡(luò)判斷重要度攝像機(jī)及攝像機(jī)代理服務(wù)節(jié)點(diǎn)攝像機(jī) 在在1秒鐘之內(nèi)，從1億件的圖像中篩選相似特征圖像的高速檢索技術(shù) 僅用50ms即可更新1張圖像索引的數(shù)據(jù)庫(kù)管理技術(shù)高速檢索的保障通過采用分布式架構(gòu)，支持城市大規(guī)模網(wǎng)絡(luò)監(jiān)控系統(tǒng)分布式存儲(chǔ)和實(shí)時(shí)處理的網(wǎng)絡(luò)架構(gòu)，在效率上大大領(lǐng)先于每次都需要導(dǎo)入的離線處理系統(tǒng)。采用實(shí)時(shí)分布式處理架構(gòu)，基本可以做到無需等待，即時(shí)檢索。在平安城市等領(lǐng)域應(yīng)用建議調(diào)取視頻線索發(fā)現(xiàn)身份確認(rèn)追蹤布控案發(fā)通過智能檢索系統(tǒng)：通過人臉查找嫌疑人通過頭發(fā)、帽子、口罩、圍巾、衣服顏色查找嫌疑人通過行進(jìn)軌跡查找嫌疑人通過車輛外形，品牌，車號(hào)查找嫌疑車輛通過時(shí)間、地點(diǎn)限定查找范圍通過智能檢索系統(tǒng)：實(shí)時(shí)通過聯(lián)網(wǎng)攝像頭在全城范圍內(nèi)發(fā)現(xiàn)嫌疑人、嫌疑車輛行蹤破案通過智能檢索系統(tǒng)：檢索后臺(tái)的檔案庫(kù)，鎖定嫌疑人員車輛典型應(yīng)用重點(diǎn)關(guān)卡，通道的排查。與后臺(tái)逃犯庫(kù)和黑名單對(duì)比，發(fā)現(xiàn)嫌疑人馬上報(bào)警在安全防范等級(jí)高的園區(qū)、單位設(shè)置