視頻實時分析系統(tǒng)技術(shù)方案

視頻實時分析系統(tǒng)技術(shù)方案 2 2 2 3 5 5 72.1應(yīng)用現(xiàn)狀 72.2業(yè)務(wù)現(xiàn)狀分析 72.3應(yīng)用場景需求分析 8 8 82.3.3多來源、多狀態(tài)視頻資源分析 92.3.4視頻大跨度行業(yè)應(yīng)用 9 92.4.1行人目標(biāo)檢索 92.4.2二輪車目標(biāo)檢索 92.4.3三輪車目標(biāo)檢索 92.4.4汽車目標(biāo)檢索 9 9 9 3.1邏輯架構(gòu)圖 4.1系統(tǒng)概述 4.2模塊說明 4.3.4汽車目標(biāo)分析 4.4.1行人目標(biāo)檢索 4.4.2二輪車目標(biāo)檢索 4.4.4汽車目標(biāo)檢索 20 23 23 235.3精準(zhǔn)的視頻分析算法 235.4極速的數(shù)據(jù)檢索方式 23候的監(jiān)控和分析，配合圖像處理技術(shù)和大數(shù)據(jù)分車輛樣式、車輛顏色等特征尋找目標(biāo)?？梢詫嶌`活運用視頻目標(biāo)分析大數(shù)據(jù)系統(tǒng)的不同的功能，對搜集案件信息，加快充分調(diào)研公安業(yè)務(wù)應(yīng)用場景，結(jié)合各地現(xiàn)狀，以需求為導(dǎo)向，引領(lǐng)應(yīng)用，1)以視頻目標(biāo)大數(shù)據(jù)為核心，整合所有聯(lián)網(wǎng)視圖數(shù)據(jù)平臺設(shè)計之初充分考慮以視頻目標(biāo)大數(shù)據(jù)開采應(yīng)用為核心，通過視頻目標(biāo)結(jié)構(gòu)化技術(shù)，進一步加強在視頻監(jiān)控傳輸網(wǎng)絡(luò)、數(shù)據(jù)庫對接、分析處理等領(lǐng)域的技術(shù)創(chuàng)新，從源頭上攻克視頻目標(biāo)數(shù)據(jù)聯(lián)網(wǎng)實戰(zhàn)應(yīng)用的技術(shù)壁壘。整合所有聯(lián)網(wǎng)的目標(biāo)視圖數(shù)據(jù)、實時動態(tài)數(shù)據(jù)等資源，提供靈活的方式接入不同平臺及資源庫，實現(xiàn)視圖數(shù)據(jù)的全覆蓋和互聯(lián)互通，達(dá)到全局分析、統(tǒng)籌研判的最佳視頻監(jiān)控作為一種實時的采集手段，記錄了豐富的人、事、物信息量和特征點，能夠反映真實行為及變化趨勢。動態(tài)化、信息化條件下的立體化治安防控，不僅要求視頻的“場景再現(xiàn)”,更重要的是“防患于未然”,做到預(yù)知、預(yù)警。因此，對于視頻數(shù)據(jù)的深度分析不僅要滿足對數(shù)據(jù)的高效率匯聚，對事件的高清晰還原，還應(yīng)充分考慮到實時分析和深度挖掘。采取可擴展應(yīng)用的思路，建立實時分析和預(yù)警模型，實現(xiàn)高危目標(biāo)和異常行為的動態(tài)掌握和及時推通過對視頻資源的實時智能分析，強化對社會治安狀況的監(jiān)測評估、重點人員的動態(tài)研判，實時掌握軌跡、預(yù)判犯罪熱點、提高預(yù)防打擊違法犯罪、防從當(dāng)前視頻監(jiān)控在“治安值守”和“刑事偵查”工作模式來看，視頻監(jiān)控查看主要以“人工為主、簡單智能視頻分析為輔”,利用系統(tǒng)提供的智能應(yīng)用4)符合國家政策和戰(zhàn)略規(guī)劃發(fā)展方向系統(tǒng)的建設(shè)，符合公安部加大在公共安全視頻監(jiān)控系統(tǒng)中的集成應(yīng)用力度，提高視頻圖像信息的綜合應(yīng)用水平已經(jīng)成為視頻監(jiān)控系統(tǒng)的發(fā)展趨勢。另外，對視頻圖像進行結(jié)構(gòu)化解析，解析人、地、事、物、組織等要素，有助于公安機關(guān)“情報主導(dǎo)警務(wù)”模式的發(fā)展與變革，也符合國家政策和戰(zhàn)略規(guī)劃的系統(tǒng)設(shè)計和建設(shè)均遵守國家現(xiàn)行和公安部關(guān)于視頻監(jiān)控、視頻指揮通信系

《關(guān)于進一步加強公安機關(guān)視頻圖像信息應(yīng)用工作的意見》(公通字〔2015〕4號號)(2015)996號)公廳2015年4月13日印發(fā))

《公安信息通信網(wǎng)邊界接入平臺安全規(guī)范(試行)》(公信通〔2007〕191號)(2008)296號)

《視頻圖像分析儀第2部分：視頻圖像摘要技術(shù)要求》(GAT1154.2-

《公安視頻圖像分析系統(tǒng)第1部分：通用技術(shù)要求》(GA/T1399.1-

《安全防范視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術(shù)要求》全面接入城市視頻監(jiān)控數(shù)據(jù)，實現(xiàn)對多路視頻源進行實時的結(jié)構(gòu)化分析和目標(biāo)特征提取，從多個維度深度挖掘視頻監(jiān)控中的有價值信息，破解人眼識別效率低、易疲勞、易丟失目標(biāo)等難題。在多個視頻源中自動檢索、追蹤、輸出目標(biāo)信息，同時可直接上傳目標(biāo)截圖，基于目標(biāo)的圖像特征建模進行跨攝像頭通過多源數(shù)據(jù)匯總，進行綜合分析研判，實現(xiàn)人、車信息的跨區(qū)域?qū)崟r查詢及分析，準(zhǔn)確實時定位嫌疑人位置。充分發(fā)揮大數(shù)據(jù)情報研判的引擎作用，深化“車一人—物—案”的案件偵查新模式，深化“車一人—物—案”間的關(guān)聯(lián)碰撞挖掘。打通各個信息資源庫，使之互聯(lián)互通，更加便捷高效的處理巨量、復(fù)雜的警務(wù)數(shù)據(jù)，實現(xiàn)科學(xué)預(yù)測預(yù)警。大幅提升警務(wù)資源數(shù)據(jù)的深度挖掘和綜合開發(fā)、多維度應(yīng)用效能，為公安防控工作提供有力的支撐。實現(xiàn)公安內(nèi)部信息與相關(guān)政府部門及社會信息的高度融合、深度共享，全面掌控轄區(qū)內(nèi)活系統(tǒng)架構(gòu)設(shè)計、技術(shù)運用、設(shè)備選型等方面充分考慮業(yè)內(nèi)前瞻性的模式，避免投入即陷入技術(shù)落后的現(xiàn)象，選用先進、成熟、主流的技術(shù)搭建可升級、系統(tǒng)中的視頻圖像信息數(shù)據(jù)庫、視頻圖像綜合應(yīng)用平臺、以及視頻圖像分析系統(tǒng)等之間均應(yīng)能有效地進行數(shù)據(jù)共享，并與視系統(tǒng)應(yīng)采用模塊化設(shè)計，以適應(yīng)系統(tǒng)規(guī)模擴展、功能擴充、配套軟件升級等的需求。系統(tǒng)的建設(shè)在符合國家和行業(yè)相關(guān)標(biāo)準(zhǔn)要求的基礎(chǔ)上，采用業(yè)界主流的軟硬件平臺、操作系統(tǒng)平臺、數(shù)據(jù)庫平臺以及標(biāo)準(zhǔn)的協(xié)議，保證系統(tǒng)的擴系統(tǒng)應(yīng)采用成熟的技術(shù)和設(shè)備，關(guān)鍵設(shè)備、關(guān)鍵數(shù)據(jù)、關(guān)鍵程序模塊應(yīng)有備份或冗余措施，有較強的容錯和系統(tǒng)恢復(fù)能力，能夠保證系統(tǒng)長期正常運系統(tǒng)的接口協(xié)議、視音頻信號編解碼、視音頻文件格式等，應(yīng)符合相關(guān)國系統(tǒng)采取有效的安全保障措施，防止系統(tǒng)被非法接入、非法攻擊和病毒感染；接入的設(shè)備和用戶終端，進行必要的接入認(rèn)證，以保證接入的安全性；采系統(tǒng)應(yīng)具備自檢、故障診斷及故障弱化等功能，在出現(xiàn)故障時，能快速確定故障點，并及時恢復(fù)。系統(tǒng)內(nèi)的設(shè)備、網(wǎng)絡(luò)、用戶、性能和安全等應(yīng)便于管系統(tǒng)應(yīng)提供清晰、簡潔、友好的中文人機交互界面，操作應(yīng)簡便、靈活、近年來，我國大力推進視頻監(jiān)控系統(tǒng)建設(shè)，根據(jù)公共安全領(lǐng)域的有關(guān)標(biāo)準(zhǔn)規(guī)范，指導(dǎo)推進重要部位視頻監(jiān)控系統(tǒng)建設(shè)，基本實現(xiàn)了城鎮(zhèn)道路交叉口無死角，主要道路關(guān)鍵節(jié)點無盲區(qū)，人員密集區(qū)域無遺漏，以及要害部位、重要涉外場所、案件高發(fā)區(qū)域、治安復(fù)雜場所主要出入口全覆蓋的要求，基本實現(xiàn)“全域覆蓋、全網(wǎng)共享、全時可用、全程可控”的公共安全視頻監(jiān)控建設(shè)聯(lián)網(wǎng)隨著智慧城市、平安城市、天網(wǎng)工程等項目建設(shè)不斷推進，視頻監(jiān)控應(yīng)用能力和水平發(fā)生了質(zhì)的飛躍。視頻監(jiān)控系統(tǒng)已經(jīng)不僅僅被視為提升公安工作水平的重要抓手，而是被更廣泛地應(yīng)用到了維護公共安全的全局工作中去。隨著視頻監(jiān)控建設(shè)應(yīng)用的不斷深入，如何更充分的利用海量的視頻圖像資源，如何從視頻圖像中獲得有價值的信息，讓視頻圖像信息成為“情報引導(dǎo)警務(wù)”的重要基礎(chǔ)支撐，提升公安實戰(zhàn)應(yīng)用效能，提升立體化社會治安防控體系的建設(shè)，近年來，各地在公安視頻監(jiān)控基礎(chǔ)設(shè)施建設(shè)上投入了大量的人力、物力、財力，公安視頻監(jiān)控數(shù)據(jù)中蘊含了巨大的情報價值，但其價值密度極低。視頻監(jiān)控產(chǎn)生的巨量視頻數(shù)據(jù)目前在各地的實戰(zhàn)應(yīng)用中大多還停留在單純依賴人工查找的階段，難以高效實現(xiàn)低密度高價值信息的有效利用。如何提高視頻監(jiān)控數(shù)據(jù)的高效分析和聯(lián)網(wǎng)合成應(yīng)用，已經(jīng)成為提高社會治安管理水平的重中之視頻監(jiān)控數(shù)據(jù)是實時不間斷產(chǎn)生的，數(shù)據(jù)量巨大，聯(lián)網(wǎng)后的數(shù)據(jù)量可以達(dá)到每天百億量級，傳統(tǒng)的數(shù)據(jù)處理與分析挖掘技術(shù)難以高效管理利用如此大的后查找線索，對大規(guī)模視頻監(jiān)控圖像缺乏高效的處理手段，缺乏智能化的技術(shù)2.3應(yīng)用場景需求分析系統(tǒng)基于視頻目標(biāo)追蹤和人像特征建模技術(shù)，解決從多個視頻源中搜索排查目標(biāo)時人眼識別效率低、易疲勞、易丟失目標(biāo)等現(xiàn)狀難題，對視頻流中的例如以“一位穿白色上衣，黑色褲子，手提物品的男性行人”為搜索條件，在多個視頻源中自動檢索、追蹤、輸出目標(biāo)人員相關(guān)圖片。支持對結(jié)構(gòu)化目標(biāo)進行快速檢索、深度挖掘處理，并支持與其他公安業(yè)務(wù)系統(tǒng)進行關(guān)聯(lián)挖基于視頻目標(biāo)追蹤和人像特征建模技術(shù)，對視頻流中的人、車進行目標(biāo)縮略圖精確提取、細(xì)化屬性分析和目標(biāo)實時檢索，解決人眼識別效率低、易疲傳統(tǒng)辦案方式依靠人眼看視頻，耗費大量警力及時間，容易錯過最佳辦案時機。系統(tǒng)將視頻目標(biāo)結(jié)構(gòu)化后，可大大提高檢索效率，快速把握最佳辦案時機。除了根據(jù)行人、兩/三輪車、汽車特征條件檢索，用視頻來自于不同單位，點位建設(shè)存在差異性。由于建設(shè)廠家不一，視頻格式和上傳標(biāo)準(zhǔn)也大相徑庭。本系統(tǒng)設(shè)計之初就考慮兼容不同來源、不同狀態(tài)的視頻智能應(yīng)用可滿足多類用戶需求，面向交警、刑偵、治安、緝毒等各部1)采集層可以接入虛擬卡口系統(tǒng)、視頻監(jiān)控系統(tǒng)、視頻整合平臺等視頻數(shù)據(jù)。實現(xiàn)可建立在視頻專網(wǎng)或公安網(wǎng)內(nèi)，實現(xiàn)對視頻專網(wǎng)、公安網(wǎng)數(shù)據(jù)的整合接主要為上層實戰(zhàn)應(yīng)用提供功能和數(shù)據(jù)支撐，包括將視頻圖像的數(shù)據(jù)結(jié)構(gòu)化根據(jù)不同警種需求，平臺可滿足治安、刑偵、情報、交管、指揮中心、監(jiān)系統(tǒng)基于實際的業(yè)務(wù)需求進行部署設(shè)計，系統(tǒng)可部署在視頻專網(wǎng)和公安內(nèi)1)系統(tǒng)主要硬件包括視頻智能分析服務(wù)器和交互節(jié)點服務(wù)器，其中視頻智視頻目標(biāo)大小圖片；交互節(jié)點服務(wù)器用于Web交互、系統(tǒng)管理以及系統(tǒng)各個功2)系統(tǒng)根據(jù)實際需求將交互節(jié)點服務(wù)器部署在公安網(wǎng)或視頻網(wǎng)，通常智能3)系統(tǒng)對接入的視頻流進行結(jié)構(gòu)化分析。解析后的數(shù)據(jù)為用戶提供目標(biāo)檢4)基于產(chǎn)品架構(gòu)和視頻原始數(shù)據(jù)龐大的特點，建議視頻專網(wǎng)分析-視頻專視頻實時分析系統(tǒng)包括六大功能，分別為行人目標(biāo)檢索、二輪車目標(biāo)檢圖：視頻實時分析系統(tǒng)主頁面視頻監(jiān)控系統(tǒng)產(chǎn)生的海量視頻或圖片均為非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，其中，非結(jié)構(gòu)化視頻或圖片多為原始視頻或圖片，視頻或圖片中的內(nèi)容均需由人工完成內(nèi)容信息的提取與識別；半結(jié)構(gòu)化視頻或圖片，是由計算機提取部分信息，再結(jié)合人工完成內(nèi)容信息的提取與識別。然而，非結(jié)構(gòu)化或半結(jié)構(gòu)化的視將海量視頻或圖片由計算機完成有價值內(nèi)容信息的識別與讀取，通常采用非結(jié)構(gòu)化目標(biāo)描述信息非結(jié)構(gòu)化目標(biāo)描述信息的技術(shù)是視頻結(jié)構(gòu)化描述技術(shù)。它是對視頻內(nèi)容按語義關(guān)系，采用目標(biāo)檢測、特征提取、對象識別、深度學(xué)習(xí)等分析手段，組織成可被計算機和人識別、理視頻結(jié)構(gòu)化描述技術(shù)，實現(xiàn)視頻智能分析和數(shù)據(jù)挖掘，讓視頻從人工抽檢，進步到事前預(yù)警和事后分析，實現(xiàn)智能化的信息分析、預(yù)測，為視頻監(jiān)控領(lǐng)域帶來的業(yè)務(wù)變革，實現(xiàn)視頻監(jiān)控網(wǎng)絡(luò)情報化、智慧化、語義化，讓人從觀系統(tǒng)針對視頻中出現(xiàn)的目標(biāo)特點，從視頻流中抽取關(guān)鍵幀，形成目標(biāo)圖像；針對目標(biāo)圖像進行結(jié)構(gòu)化分析，可實時分析出視頻中出現(xiàn)的目標(biāo)屬于行車牌可識別紅、橙、黃、綠、藍(lán)、紫、粉、棕、灰、白、黑、花12種顏(3)下衣(褲子)顏色分析可識別紅、橙、黃、綠、藍(lán)、紫、粉、棕、灰、白、黑、花12種顏可自動識別視頻流中行人目標(biāo)的各類特征信息，包括戴帽子、戴口罩、戴眼鏡、帶包、抱東西、拉箱子、打傘7個特征。(1)車輛類型可識別紅、橙、黃、綠、藍(lán)、紫、粉、棕、灰、白、黑、花12種顏可識別紅、黃、綠、藍(lán)、白、灰、黑、銀、橙、金、棕、紫及粉13種可識別二輪車駕乘人員的特征，包括戴頭盔、戴口罩、戴墨鏡、帶包、打傘共5個特征。(2)駕乘人數(shù)分析可識別紅、橙、黃、綠、藍(lán)、紫、粉、棕、灰、白、黑、花12種顏(4)下部顏色分析可識別紅、橙、黃、綠、藍(lán)、紫、粉、棕、灰、白、黑、花12種顏可識別三輪車駕乘人員的特征，包括戴頭盔、戴口罩、戴墨鏡、帶包、打傘共5個特征。4.3.4汽車目標(biāo)分析可識別轎車、越野車、商務(wù)車、面包車、皮卡車、小型貨車、大型貨車、小型客戶、大型客車共9大類?？勺R別紅、黃、綠、藍(lán)、白、灰、黑、銀、橙、金、棕、紫及粉13種在車輛正面圖像清晰可辨的情況下(主要指虛擬卡口),可對汽車目(1)車型分析(2)車牌識別實時目標(biāo)分析可對接入系統(tǒng)的實時視頻流進行分析，將其中的可辨別目標(biāo)識別和存儲，轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，為用戶提供行人、二輪車、三輪車、汽車等供二次篩選，如行人衣著顏色，是否戴口罩打檢索條件包括：上衣顏色：不限、紅色、橙色、黃色、綠色、藍(lán)色、紫圖：行人目標(biāo)檢索示意圖對實時視頻圖像信息進行目標(biāo)結(jié)構(gòu)化分析處理，同時根據(jù)二輪車特征檢檢索條件：駕乘人數(shù)(不限、單人、多人)、車輛類型(不限、自行車、金、棕、紫及粉14個選項、人員特征(戴頭盔、戴口罩、戴墨鏡、帶包、打傘、其他)、時間段和檢索位置區(qū)域進行檢索。搜索結(jié)果：顯示檢索條件下的二輪車目標(biāo)數(shù)量及用時，單個二輪車目標(biāo)以特寫圖并配以抓拍的時間、地點信息。同時支持顯示二輪車目標(biāo)的具體特征；對實時視頻圖像信息進行目標(biāo)結(jié)構(gòu)化分析處理，同時根據(jù)三輪車特征檢檢索條件：駕乘人數(shù)(不限、單人、多人)、三輪車種類(斗式、篷式、廂式、其他)、上衣顏色、下部顏色、人員特征(帶包、戴帽子、打傘、戴口罩、戴眼鏡、其他)、時間段和檢索區(qū)域進行三輪車目標(biāo)的檢索。搜索結(jié)果可顯示檢索條件下的三輪車目標(biāo)數(shù)量及時間，單個三輪車目標(biāo)以特寫圖并配以抓拍的時間、地點信息。同時支持顯示三輪車目標(biāo)的具體特征；4.4.4汽車目標(biāo)檢索檢索條件：車型(車輛品牌、型號、年款)、精確車牌號碼、車身顏色圖：汽車目標(biāo)檢索示意圖通過上傳圖片，系統(tǒng)可識別圖片中出現(xiàn)的四類目標(biāo)(行人、二/三輪車、汽車),搜索目標(biāo)在視頻信息中出現(xiàn)的場景信息。圖：以圖檢索首頁示例圖統(tǒng)可支持最多圈選8個特征。同時支持對圈選特征的重復(fù)選擇功能。視頻偵查的基礎(chǔ)是圖像資源，而各地的設(shè)備品牌型號各有不同。通過分析可對行人、二輪車、三輪車、汽車等各種目標(biāo)進行識別，并可檢索不同目標(biāo)下的特征，行人的衣著顏色、年齡特征、行為特征，衣著顏色、行為特征，車輛顏色、車輛類型、車輛品牌信息等數(shù)十種特征，大矯正等技術(shù)，對圖像進行可靠的預(yù)處理操作。同時通過機器學(xué)習(xí)的方式，不斷提高搜索精確度以及目標(biāo)特征種類，使其在各種環(huán)境狀態(tài)下都能夠到達(dá)理想的極速的大數(shù)據(jù)檢索方式，配合分布式存儲技術(shù)和大數(shù)據(jù)檢索技術(shù)，滿足海量圖像存儲性能的同時，保證數(shù)據(jù)檢索速度，保障數(shù)據(jù)安全和系統(tǒng)的可擴展性時預(yù)警、快速打擊，以及對重點和嫌疑車輛的快速篩查、及時發(fā)現(xiàn)、布控。深挖現(xiàn)有視頻資源效能，以智能軟件升級現(xiàn)有硬件，以高端應(yīng)用軟件替代專用硬件，最大限度保護現(xiàn)有投資，實現(xiàn)對視頻圖像、電磁軌跡等多維數(shù)據(jù)源在此基礎(chǔ)之上，緊密結(jié)合立體化社會治安防控對視頻聯(lián)網(wǎng)深度應(yīng)用的要求，立足各地視頻監(jiān)控建設(shè)實際，面向業(yè)務(wù)應(yīng)用進行開發(fā)設(shè)計，針對立體化治安防控、城市交通