視頻結構化技術方案

1、2、技術服務方案2.1建設內容本次項目的主要建設內容：視頻結構化，同時對接整合縣局建設的監(jiān)控視頻 前端等系統(tǒng)，通過后端建設平臺實現(xiàn)視頻分析、實戰(zhàn)、案件研判、案件偵辦等功 能。2.2系統(tǒng)結構本次項目設計的平臺系統(tǒng)，采用先進的架構體系，實現(xiàn)智能監(jiān)控，社會資源, 案件偵查、研判等功能，同時與警用地理信息系統(tǒng)，警綜系統(tǒng)等資源對接，實現(xiàn)地圖展現(xiàn)，視頻聯(lián)動、案件偵查等功能。系統(tǒng)建設在公安信息網(wǎng)和視頻專網(wǎng)上,系統(tǒng)總體架構如圖所示:K>艮轂具皐甲臺3=>盃畀魅人平合MP 1|h- - t： ? = - ( - I I "H|ri - h< !?>； - 1|h* li-rj企

2、刼fir息網(wǎng)觀顛匿V晝fe輾網(wǎng)平臺2.3視頻結構化簡單來講，視頻結構化技術是一種將視頻內容（人、車、物、活動目標） 征屬性自動提取技術，對視頻內容按照語義關系，采用目標分割、時序分析、 象識別、深度學習等處理手段，分析和識別目標信息，組織成可供計算機和人理 解的文本信息的技術。從數(shù)據(jù)處理的流程看，視頻結構化描述技術能夠將監(jiān)控視頻轉化為人和機器 可理解的信息（如下圖），并進一步轉化為公安實戰(zhàn)所用的情報，實現(xiàn)視頻數(shù)據(jù)向信息、情報的轉化。在視頻結構化描述的內容方面，公共安全關注的視頻信息主 要是：人員、車輛、行為。231人員結構化在視頻中除了包括人員的面部精確定位、 面部特征提取、面部特征比對，人

3、員的性別、年齡等特征范圍外，還可對人的衣著、運動方向，新增是否戴帽子、是否戴眼鏡、是否背包、拎包、打傘、是否騎車等信息進行結構化描述。«2.3.2車輛結構化隨著智能交通高清電警、卡口、虛擬卡口、停車場的廣泛建設和應用、借助智能識別算法將電警、卡口、停車場出入口等場所的車輛相關結構化信息存入車 輛主題庫，包括車牌、車型、車牌顏色、車輛品牌、車輛類型、車身顏色、車標 及遮陽板、是否系安全帶、打電話、車輛年檢標、擺件掛件、司乘人員的人臉?；谶@些車輛關鍵特征信息，形成上億條過車記錄數(shù)據(jù)，從而推動了后臺大 數(shù)據(jù)分析服務的發(fā)展應用和行業(yè)數(shù)據(jù)挖掘，形成隱匿車輛挖掘、套牌車輛篩選、 初次入城、一車

4、多牌、一牌多車、頻繁過車、相似車輛串并、高危車輛積分模型、 車輛行駛軌跡分析、時空碰撞等實戰(zhàn)技戰(zhàn)法的應用。在此基礎上對車輛特征數(shù)據(jù) 的大數(shù)據(jù)搜索，即可迅速找到所有符合條件的車輛信息，包括行駛時間與方向、 行駛速度、車標、車牌、年款等，還可結合以圖搜圖的檢索方法，在實戰(zhàn)平臺上 調取相關視頻和圖像文件，快速查詢到有關嫌疑車輛信息，還原車輛行駛的軌跡 歷史信息，實現(xiàn)嫌疑車輛在整個城市的全程運行軌跡查詢或結合視頻監(jiān)控信息,聯(lián)合公安車輛管理信息庫,實現(xiàn)車人關聯(lián)。砂:囲向:同F(xiàn) iSMT :中逢實現(xiàn)車輛全程化的可視化軌跡回放，以及對涉事車輛的精準布控和查詢，也可以£陽:未知 抵巾盒：打: : *

5、全«:有年巔：末知 贏品年:丸233行為結構化行為結構化即在人員結構化基礎上進行檢索查詢，包含人體行為如越界、區(qū) 域、徘徊、遺留、聚集等多種行為特征描述。它可以解決快速目標查找問題，如 將嫌疑人的截圖輸入至偵查系統(tǒng)中，利用人形檢索的功能，系統(tǒng)會根據(jù)目標嫌疑 人的衣著、顏色分布、體態(tài)特征快速地在案發(fā)點附近的多路攝像頭中進行全局搜索，查找出相似的目標，并將結果以快照的形式輸出，結合GIS地圖進行時空研判分析，刻畫出嫌疑人的行動軌跡。經過視頻結構化處理后，可以達到如下目的:首先：是視頻查找速度得到極大的提升。視頻結構化之后，從百萬級的目標庫中（對應數(shù)百到一千小時的高清視頻） 查找某張截圖上

6、的行人嫌疑目標， 數(shù)秒即可完成；千萬級目標的庫中查找，幾分 鐘即可完成（如果實現(xiàn)云化，速度會更快）。在結構化基礎上進行檢索查詢，可 以解決快速目標查找問題;其次是存儲容量極大的降低。經過結構化后的視頻，存儲人的結構化檢索信息和目標數(shù)據(jù)不到視頻數(shù)據(jù)量 的2%;對于車輛，不到1%;對于行為降得更多。存儲容量極大地降低，可以 解決視頻長期存儲的問題。最后，視頻結構化可以盤活視頻數(shù)據(jù)，可作為數(shù)據(jù)挖掘基礎。視頻經過結構化處理后，存入相應的結構化數(shù)據(jù)倉庫，對各類的數(shù)據(jù)倉庫可 以進行深度的數(shù)據(jù)挖掘，充分發(fā)揮大數(shù)據(jù)作用，提升視頻數(shù)據(jù)的應用價值，提高 視頻數(shù)據(jù)的分析和預測功能。視頻結構化面臨的問題作為一項視頻處

7、理的核心技術，算法對環(huán)境比較敏感，受環(huán)境干擾大，光線、 雜物、惡劣天氣、晃動都會影響實際效果，實現(xiàn)高效精準的視頻結構化描述技術 成為今后一段時間各公司/算法研究機構努力的方向。隨著計算機視覺前沿技術 的日益成熟，深度學習、高性能計算、海量訓練數(shù)據(jù)、多維信息結合、大數(shù)據(jù)挖掘分析、目標跟蹤、現(xiàn)有算法的優(yōu)化都將有力快速推動視頻結構化分析技術、算 法效果的逐步提升。2.4對接服務2.5.1外部接口服務根據(jù)需求，為實現(xiàn)公安對偵查數(shù)據(jù)進行共享整合， 我司視頻結構化平臺支持 與原有建設的視頻偵查分析系統(tǒng)的數(shù)據(jù)對接能力，并提供相關技術方案描述數(shù)據(jù) 對接實現(xiàn)方式，對接方案包含數(shù)據(jù)字典、功能分類、結構定義和交互流

8、程等技術 要求。對接方式系統(tǒng)與外部系統(tǒng)的對接方式以web service方式進行。系統(tǒng)接口標準:本系統(tǒng)采用SOA體系架構，通過服務總線技術實現(xiàn)數(shù)據(jù)交換以及實現(xiàn)各業(yè)務子系統(tǒng)間、外部業(yè)務系統(tǒng)之間的信息共享和集成，因此SOA體系標準就是我們采用的接口核心標準。主要包括:服務目錄標準：服務目錄 API接口格式參考國家以及關于服務目錄的元數(shù)據(jù)指導規(guī)范，對于 W3C UDDI v2 API結構規(guī)范，采取UDDI v2的API的模型,定義UDDI的查詢和發(fā)布服務接口，定制基于 Java和SOAP的訪問接口。除了基于SOAP1.2的Web Service接口方式，對于基于消息的接口采用 JMS或

9、者MQ的方式。交換標準：基于服務的交換，采用 HTTP/HTTPS作為傳輸協(xié)議，而其消息體存放基于SOAP1.2協(xié)議的SOAP消息格式。SOAP的消息體包括服務數(shù)據(jù)以 及服務操作，服務數(shù)據(jù)和服務操作采用 WSDL進行描述。Web服務標準：用 WSDL描述業(yè)務服務，將 WSDL發(fā)布到UDDI用以設計/創(chuàng)建服務，SOAP/HTTP 服務遵循 WS-I Basic Profile 1.0,利用 J2EE Session EJBs實現(xiàn)新的業(yè)務服務，根據(jù)需求提供 SOAP/HTTP or JMS and RMI/IIOP接口。業(yè)務流程標準：使用沒有擴展的標準的 BP EL4WS，對于業(yè)務流程以SOAP服

10、務形式進行訪問，業(yè)務流程之間的調用通過SOA P。數(shù)據(jù)交換安全：與外部系統(tǒng)對接需考慮外部訪問的安全性， 通過IP白名單、SSL認證等方式保證集成互訪的合法性與安全性。數(shù)據(jù)交換標準：制定適合雙方系統(tǒng)統(tǒng)一的數(shù)據(jù)交換數(shù)據(jù)標準， 支持對增量的 數(shù)據(jù)自動進行數(shù)據(jù)同步，避免人工重復錄入的工作。數(shù)據(jù)庫設計1、設計依據(jù)說明數(shù)據(jù)被訪問的頻度和流量，最大數(shù)據(jù)存儲量，數(shù)據(jù)增長量，存儲時間等 數(shù)據(jù)庫設計依據(jù)。2、數(shù)據(jù)庫選型對數(shù)據(jù)庫選型進行確認。3、數(shù)據(jù)庫種類及特點說明系統(tǒng)內應用的數(shù)據(jù)庫種類、 各自的特點、數(shù)量及如何實現(xiàn)互聯(lián)，數(shù)據(jù)如 何傳遞。4、數(shù)據(jù)庫邏輯結構說明數(shù)據(jù)庫概念模式向邏輯模式轉換所采用的方法論

11、及工具，完成數(shù)據(jù)庫概 念模式向邏輯模式的轉換。詳細列出所使用的數(shù)據(jù)結構中每個數(shù)據(jù)項、 記錄和文 件的標識、定義、長度及它們之間的相互關系。此節(jié)內容為數(shù)據(jù)庫設計的主要部 分。5、物理結構設計列出所使用的數(shù)據(jù)結構中每個數(shù)據(jù)項的存儲要求、訪問方法、存取單位和存 取物理關系等。建立系統(tǒng)程序員視圖，包括:數(shù)據(jù)在內存中的安排，包括對索引區(qū)、緩沖區(qū)的設計;所使用的外存設備及外存空間的組織，包括索引區(qū)、數(shù)據(jù)塊的組織與劃分;訪問數(shù)據(jù)的方式方法。6數(shù)據(jù)庫安全說明數(shù)據(jù)的共享方式，如何保證數(shù)據(jù)的安全性及保密性。7、數(shù)據(jù)字典編寫詳細的數(shù)據(jù)字典。對數(shù)據(jù)庫設計中涉及到的各種項目，如數(shù)據(jù)項、記錄、 系、文卷模式、子模式等一般

12、要建立起數(shù)據(jù)字典，以說明它們的標識符、同義名 及有關信息。交互流程1、發(fā)現(xiàn)用戶需要，建立明確需求在用戶反饋里收集到許多用戶提出的想法，他們希望我們能提供幫助解決問 題的產品；我們也可以主動去觀察一些生活中的信息，為靈感的迸發(fā)做儲備。2、提出設計方案通過調研，我們得到了大量數(shù)據(jù)信息，并建立了明確的需求，下一步就是 開始提設計方案。3、制作原型考慮到做交互是一個迭代過程，為設計的產品做一份交互更新日志，記錄F交互更新時間、版本名稱、更新類型、更新內容、參考需求文檔與交互負責人。4、制作交互說明在交互原型上注釋，在圖上寫說明。5、用戶測試與評估產品基本功能實現(xiàn)后，我們會做用戶測試，設計

13、是很主觀的，并且會受各 種因素影響，所以我們的產品難免會存在一些意料之外的問題，通過招募用戶來 使用我們的產品，我們能收集到一些使用場景中發(fā)現(xiàn)問題的反饋，并把這些整理 成優(yōu)化點，完善我們的產品。接口雙方責任1、消息發(fā)送方遵循本接口規(guī)范中規(guī)定的驗證規(guī)則， 對接口數(shù)據(jù)提供相關的驗證功能，保證 數(shù)據(jù)的完整性、準確性；消息發(fā)起的平臺支持超時重發(fā)機制，重發(fā)次數(shù)和重發(fā)間隔可配置。提供接口元數(shù)據(jù)信息，包括接口數(shù)據(jù)結構、實體間依賴關系、計算關系、關 聯(lián)關系及接口數(shù)據(jù)傳輸過程中的各類管理規(guī)則等信息;提供對敏感數(shù)據(jù)的加密功能;及時解決接口數(shù)據(jù)提供過程中數(shù)據(jù)提供方一側出現(xiàn)的問題;2、消息響應方遵循本接

14、口規(guī)范中規(guī)定的驗證規(guī)則， 對接收的數(shù)據(jù)進行驗證，保證數(shù)據(jù)的完 整性、準確性。及時按照消息發(fā)送方提供的變更說明進行本系統(tǒng)的相關改造。及時響應并解決接口數(shù)據(jù)接收過程中出現(xiàn)的問題。3、異常處理對接口流程調用過程中發(fā)生的異常情況， 如流程異常、數(shù)據(jù)異常、會話傳輸 異常、重發(fā)異常等，進行相應的異常處理，包括:對產生異常的記錄生成異常記錄文件。針對可以回收處理的異常記錄，進行自動或者人工的回收處理。記錄有關異常事件的日志，包含異常類別、發(fā)生時間、異常描述等信息。當接口調用異常時，根據(jù)預先配置的規(guī)則進行相關異常處理，并進行自動 口警。2.5.2第三方平臺對接整合車輛、人臉數(shù)據(jù)，通過與的臉系統(tǒng)、車輛系統(tǒng)以單點登錄的方式實現(xiàn)一 站式的登錄體驗。單點登錄的定義是在多個應用系統(tǒng)中，用戶只需要登錄一次, 就可以通過免登陸的方式訪問所有相互信任的應用系統(tǒng)。(1)與基礎監(jiān)控平臺對接主要以國標28181或廠商提供S