基于視頻結(jié)構(gòu)化圖偵系統(tǒng)的應(yīng)用

./基于視頻結(jié)構(gòu)化圖偵系統(tǒng)的應(yīng)用目前,視頻監(jiān)控系統(tǒng)已經(jīng)成為治安防控、偵查破案的重要手段。但是,面對海量的視頻信息、非結(jié)構(gòu)化的數(shù)據(jù)形式和內(nèi)容的多義性,在案發(fā)后人工調(diào)閱方式耗時耗力,大量視頻未經(jīng)梳理而流失,嚴重影響了監(jiān)控系統(tǒng)的建設(shè)成效。目前在安全防范領(lǐng)域中,有效分析、組織和管理視頻數(shù)據(jù),研究基于內(nèi)容的視頻應(yīng)用系統(tǒng)取代人工方式,已經(jīng)成為警務(wù)信息化應(yīng)用的研究重點。本文分析研究了視頻數(shù)據(jù)的規(guī)范化采集、結(jié)構(gòu)化存儲和全局性共享等問題,提出基于視頻內(nèi)容結(jié)構(gòu)化分析技術(shù),按照"一個證據(jù)中心,兩個核心應(yīng)用"方式來構(gòu)建圖偵系統(tǒng)的技術(shù)方案和應(yīng)用模式。主要工作包括：〔1分析了當前公安圖偵工作的困難和制約,研究了視頻圖像從采集、研判,到管理、應(yīng)用的一體化工作模式,基于視頻內(nèi)容結(jié)構(gòu)化分析技術(shù),提出了"視頻證據(jù)中心、視頻圖像取證、視頻研判分析"為框架的網(wǎng)偵系統(tǒng)研發(fā)思路?！?從警務(wù)一體化的角度,以視頻采集、證據(jù)管理、研判應(yīng)用為業(yè)務(wù)主線,研究了基于視頻結(jié)構(gòu)化圖偵系統(tǒng)建設(shè)的總體技術(shù)方案、基本功能點,設(shè)計了系統(tǒng)研發(fā)的體系架構(gòu)、邏輯架構(gòu)、數(shù)據(jù)架構(gòu),以及與外部系統(tǒng)之間的關(guān)系?！?分析了視頻結(jié)構(gòu)化建庫的主要任務(wù)和核心問題,從視頻人、車、物基本要素入手,進行了視頻證據(jù)中心的模型設(shè)計,包括證據(jù)中心的體系結(jié)構(gòu)、視頻對象結(jié)構(gòu)化定義、對外數(shù)據(jù)交互視圖,以及證據(jù)中心實體-關(guān)系圖〔ERD?！?從工作模式和核心應(yīng)用出發(fā),分析了圖偵業(yè)務(wù)的主要角色和主要環(huán)節(jié),設(shè)計了圖偵工作的業(yè)務(wù)流程、關(guān)鍵業(yè)務(wù)交互順序、摘要索引業(yè)務(wù)流程和基本功能點,整合運用視頻結(jié)構(gòu)化、視頻摘要、視頻索引等先進技術(shù),進行了軟件的設(shè)計和實現(xiàn)。使用結(jié)果表明,基于視頻內(nèi)容結(jié)構(gòu)化開發(fā)的圖偵系統(tǒng),能夠?qū)崿F(xiàn)視頻監(jiān)控信息的全程篩選,防止有用信息的流失,再造了視頻監(jiān)控及研判應(yīng)用的信息流及業(yè)務(wù)流,能夠有效支撐了圖偵工作機制的轉(zhuǎn)型發(fā)展。第一章緒論1.1.研究的背景和意義隨著國家經(jīng)濟、社會的快速發(fā)展,人民群眾的安全防范意識不斷提高。特別是2005年以來,公安部大力推動"3111"工程和城市報警服務(wù)與監(jiān)控系統(tǒng)建設(shè),以"天網(wǎng)工程"、"平安城市"項目為引領(lǐng)的社會治安視頻監(jiān)控系統(tǒng)建設(shè)迅猛發(fā)展,保守估計全國各級公安機關(guān)可直接調(diào)控的視頻監(jiān)控攝像機已超百萬支[1]；各行各業(yè)、各重點企事業(yè)單位社會也廣泛開展視頻監(jiān)控系統(tǒng)建設(shè),加強對重點部位、重要場所的實時監(jiān)控。視頻監(jiān)控系統(tǒng)已經(jīng)成為維護社會穩(wěn)定、治安安定和創(chuàng)新社會管理的重要手段,在指揮決策、治安防控、偵查破案和執(zhí)法監(jiān)督等方面發(fā)揮著積極的作用。當前,視頻監(jiān)控系統(tǒng)已經(jīng)成為治安防控、偵查破案的重要手段。但是,由于視頻數(shù)據(jù)量龐大且格式復(fù)雜,存儲代價昂貴且難以管理,面對海量的視頻信息、非結(jié)構(gòu)化的數(shù)據(jù)形式和內(nèi)容的多義性,在案發(fā)后人工調(diào)閱方式耗時耗力,大量視頻未經(jīng)梳理而流失,嚴重影響了監(jiān)控系統(tǒng)的建設(shè)成效。2012年2月公安部下發(fā)《全國公安機關(guān)視頻圖像信息整合與共享工作任務(wù)書》,要求充分利用先進的視頻監(jiān)控、圖像處理技術(shù),深入開展視頻圖像信息共享應(yīng)用平臺建設(shè)。目前在安全防范領(lǐng)域中,有效分析、組織和管理視頻數(shù)據(jù),研究基于內(nèi)容的視頻應(yīng)用系統(tǒng)取代人工方式,提升監(jiān)控系統(tǒng)建設(shè)成效,已經(jīng)成為警務(wù)信息化工作的研究重點。為此,必須充分運用先進的圖像處理技術(shù),突破視頻監(jiān)控系統(tǒng)聯(lián)網(wǎng)、整合與共享工作中存在的發(fā)展瓶頸。原有監(jiān)控工作模式的不足,主要表現(xiàn)在"視頻圖像采集"、"視頻圖像檢索"和"視頻要素建庫"這三個環(huán)節(jié)?！?視頻圖像采集不規(guī)范按照公安機關(guān)對視頻監(jiān)控系統(tǒng)建設(shè)的相關(guān)規(guī)定,一般要求視頻監(jiān)控系統(tǒng)具備至少30天連續(xù)視頻圖像存儲能力,并能自動循環(huán)覆蓋存儲。在實際工作中,由于視頻圖像采集速度慢且過程繁瑣,原始視頻數(shù)據(jù)量龐大且格式復(fù)雜,備份海量視頻需要海量存儲空間等原因,難以建立起一套有效的視頻圖像信息采集機制,只有在查處大要案事件時,辦案部門才會調(diào)閱視頻監(jiān)控資源,查找嫌疑人或可疑物品,并隨案保存相應(yīng)視頻資料,99%以上的視頻圖像被自動循環(huán)覆蓋而沒有經(jīng)過圖像信息的梳理采集并保存使用,存在有價值的視頻圖像信息被覆蓋、被流失、被放棄等問題,嚴重降低了視頻監(jiān)控系統(tǒng)的建設(shè)成效。在傳統(tǒng)的視頻監(jiān)控系統(tǒng),即使建設(shè)了大量的攝像鏡頭,但是缺乏對數(shù)據(jù)的有效分析和利用,大量的有價信息被丟棄或湮沒于數(shù)據(jù)海洋中,成為數(shù)據(jù)垃圾,投資大、成效低。圖1-1描繪了原有視頻監(jiān)控圖像信息的完整生命周期,僅有不到1%的視頻信息經(jīng)過梳理研判,絕大部分的視頻監(jiān)控信息沒有經(jīng)篩選而直接流失。因此,充分運用先進的圖像處理技術(shù),特別是視頻信息的結(jié)構(gòu)化分析技術(shù),建立成熟、規(guī)范的視頻圖像信息采集、管理和研判、應(yīng)用機制已經(jīng)十分緊迫。圖1-1傳統(tǒng)視頻監(jiān)控圖像信息的完整生命周期分析在日常網(wǎng)上監(jiān)控巡邏工作中,由于缺乏一個可操作性的工作平臺,也沒有建立健全視頻圖像信息的采集、管理機制,視頻監(jiān)控有"巡"無"查",監(jiān)控操作人員缺乏有效的可操作性工作指標。因此,構(gòu)建規(guī)范化的視頻圖像采集機制對于提升視頻監(jiān)控系統(tǒng)運用價值具有積極意義?！?視頻圖像檢索困難當前,視頻監(jiān)控系統(tǒng)深度運用的另一個瓶頸是視頻調(diào)閱耗時耗力,以人工方式進行檢索,效率低下。主要表現(xiàn)在：在案發(fā)后對海量涉案視頻信息的調(diào)閱過程耗時嚴重,所需人員投入量巨大并隨著案情的復(fù)雜程度遞增；原始涉案視頻質(zhì)量參差不齊,有時還需要另外工具和受過專業(yè)圖像處理訓(xùn)練的人員。因此,對海量涉案視頻的調(diào)閱,對人的體能和精力都是極大的考驗,從而直接導(dǎo)致檢索效率下降,無法有效地快速瀏覽視頻、定位目標。運用視頻圖像轉(zhuǎn)碼技術(shù),可以將非標格式圖像轉(zhuǎn)換成標準格式,便于開展統(tǒng)一視頻圖像信息采集和建庫管理；基于視頻摘要技術(shù)處理后,整合形成的摘要視頻遠遠短于原始視頻,從而縮短了人工調(diào)閱的時間,便于快速鎖定目標,快速提取線索信息,截取可疑目標出現(xiàn)和消失的視頻片段,并與警務(wù)數(shù)據(jù)庫進行圖片或視頻的關(guān)聯(lián)標注保存。這樣當有案件需要檢索線索時可直接查看標注圖片或截取視頻,提高了檢索線索的效率?！?視頻對網(wǎng)絡(luò)帶寬的瓶頸制約隨著視頻監(jiān)控的聯(lián)網(wǎng)發(fā)展,警務(wù)人員在需要倒查錄像的時候,都會采用聯(lián)網(wǎng)下載的方式,這樣雖然提升了辦案的效率,但也帶來了一些弊端,例如對網(wǎng)絡(luò)帶寬的依賴,在倒查錄像的時候需要對錄像進行下載或者以流媒體的方式進行查看,無論采用何種方式,都會占用非常巨大的網(wǎng)絡(luò)帶寬資源,如果網(wǎng)絡(luò)無法正常工作或者出現(xiàn)網(wǎng)絡(luò)堵塞等情況,錄像文件往往還有可能出現(xiàn)數(shù)據(jù)丟失的情況,如何擺脫或者降低對網(wǎng)絡(luò)的依賴以成為了當前視頻監(jiān)控市場一個迫切需要解決的難題?！?視頻結(jié)構(gòu)化建庫不足目前,各地都在積極探索建立視頻信息庫,對各部門、警種關(guān)注的視頻圖像信息進行整理、分類存儲。但是,在實際工作中,由于視頻信息的非結(jié)構(gòu)化、多語義性,所建的視頻信息庫,只能對案件進行簡單標注,各地仍然以人工查看為主。近年來,視頻特征提取、視頻結(jié)構(gòu)化分析、視頻索引、視頻檢索等技術(shù)已經(jīng)取得了明顯的進步,但在整合應(yīng)用上還有距離,還沒有形成一個成熟的工作平臺和應(yīng)用體系。因此,充分利用視頻結(jié)構(gòu)化分析、視頻摘要等圖像處理技術(shù),從案事件證據(jù)的角度,建立案事件視頻證據(jù)庫,用來存儲從視頻監(jiān)控系統(tǒng)中提取的視頻片段和圖像特征信息,構(gòu)建以視頻圖像共享應(yīng)用為核心的工作平臺,對強化公安機關(guān)視頻圖像信息資源的綜合開發(fā)利用,提升公安機關(guān)的核心戰(zhàn)斗力具有積極的現(xiàn)實意義。圖偵系統(tǒng)是吳江市"1+X"視頻監(jiān)控系統(tǒng)項目建設(shè)的核心系統(tǒng),系統(tǒng)建設(shè)的部分成果,例如視頻摘要子系統(tǒng)、視頻檢測子系統(tǒng)等,已經(jīng)在吳江市公安局進行試用,效果滿足公安實戰(zhàn)需要,有關(guān)基層公安機關(guān)視頻巡邏、視頻取證、視頻研判、新機制也在逐步推進之中。1.2.項目研究的目的本文將整合運用視頻結(jié)構(gòu)化、視頻摘要和數(shù)據(jù)挖掘等先進技術(shù),研究構(gòu)建視頻圖像信息共享偵查應(yīng)用系統(tǒng)〔以下簡稱"圖偵系統(tǒng)",提供覆蓋視頻業(yè)務(wù)從"采集"、"研判"到"保存"、"管理"、"應(yīng)用"的全局能力支撐,使視頻圖像成為重要的案件偵破手段和情報來源,前瞻性地推進視頻監(jiān)控系統(tǒng)建設(shè)由"信息"到"情報"的演進,并將最終為基層公安民警提供一個"貼近實戰(zhàn)、研判高效、管理有序"全局性的視頻研判作業(yè)環(huán)境。主要目標如下：1、對接視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng),實現(xiàn)對聯(lián)網(wǎng)監(jiān)控視頻圖像的統(tǒng)一采集、調(diào)取,進行案事件視頻處理、研判、統(tǒng)一管理、圖像要素布控等提供技術(shù)手段。2、滿足案事件現(xiàn)場移動視頻圖像采集,實現(xiàn)案事件現(xiàn)場視頻圖像處理、現(xiàn)場研判；能夠快速對現(xiàn)場周邊圖像進行采集、視頻轉(zhuǎn)碼播放、視頻屬性編輯等。3、能夠?qū)崿F(xiàn)視頻的結(jié)構(gòu)化分析,具有視頻摘要、視頻索引、視頻檢索、視頻編輯、圖片處理等多種視頻圖像處理手段,提高視頻自動分析能力。4、實現(xiàn)基于PGIS系統(tǒng)資源,實現(xiàn)案事件視頻圖像軌跡標注、作案路線推演。同時通過電子地圖,快速調(diào)取需要關(guān)注的監(jiān)控點、監(jiān)控區(qū)域圖像以及警務(wù)資源。5、對接警務(wù)綜合信息系統(tǒng),建立視頻圖像信息證據(jù)數(shù)據(jù)庫,為全警日常警務(wù)工作中收集到的可疑或涉案圖像資源提供統(tǒng)一的資源管理及存儲空間。為重要信息的收集與查詢、關(guān)聯(lián)資源的碰撞、串并案分析研判提供基礎(chǔ)環(huán)境?？傊?通過構(gòu)建和部署應(yīng)用圖偵系統(tǒng),要求能夠：〔1快速鎖定突發(fā)事件的嫌疑目標；〔2快速標定嫌疑目標的運動軌跡；〔3發(fā)現(xiàn)潛在破案線索—可以有更多的機會審視更長的錄像文件,發(fā)現(xiàn)更多的破案信息。從而,使公安機關(guān)能夠：〔1縮短破案時間,節(jié)省辦案人員；〔2降低警員勞動強度,降低辦案成本；〔3極大提升辦案效率。1.3.國內(nèi)外應(yīng)用研究現(xiàn)狀在形式上,視頻數(shù)據(jù)具有非結(jié)構(gòu)化、內(nèi)容多義性和流媒體傳播的特征。因此,視頻數(shù)據(jù)不同于傳統(tǒng)數(shù)據(jù)庫所處理的數(shù)據(jù)類型,它不是一種簡單的數(shù)值或字符型數(shù)據(jù),傳統(tǒng)數(shù)據(jù)庫中對字符或數(shù)值型數(shù)據(jù)的處理方法己經(jīng)完全不能適應(yīng)對視頻數(shù)據(jù)的處理要求。長期以來,人們只能以流媒體的方式按時間段來存儲視頻數(shù)據(jù)。同時,由于數(shù)據(jù)量龐大、非結(jié)構(gòu)化形式,視頻數(shù)據(jù)存儲代價昂貴難以長期保存,也不具備傳統(tǒng)數(shù)據(jù)庫的結(jié)構(gòu)化管理能力,嚴重阻礙了用戶的交互操作使用。為此,隨著視頻監(jiān)控系統(tǒng)在社會治安防控體系中應(yīng)用的日益廣泛,視頻監(jiān)控系統(tǒng)的深度應(yīng)用研究越來越成為人們的關(guān)注和研究的熱點,國內(nèi)外許多研究機構(gòu)和單位開展相應(yīng)的研究。1.3.1國外應(yīng)用研究現(xiàn)狀在國外,對視頻結(jié)構(gòu)化分析、摘要技術(shù)的研究起步稍早一點,1994年,卡內(nèi)基梅隆大學(xué)就己經(jīng)開始研發(fā)視頻數(shù)據(jù)庫系統(tǒng),該系統(tǒng)在視頻摘要方面有非常系統(tǒng)而深入的研究。它更注重縮略視頻的生成,即怎樣從一段長視頻中抽取出視音頻信息生成能夠表達原視頻語義內(nèi)容的精簡視頻。特別地,它運用了熟知的TF-IDF方法從腳本中抽取文字。之后,Mannheim大學(xué)也做了與hiformed系統(tǒng)類似的研究。他們研究出的系統(tǒng)MOCA主要針對的是電影,能生成電影的精彩場景亦或是預(yù)告片[2]。近年來,國際上有許多研究機構(gòu)開展了深入的研究,有微軟研究院<張宏江、馬宇飛和YongRui等人>、IBM研究院<JohnR.Smith等人>、北卡州立大學(xué)<JianpingFan等人>、南洋理工大學(xué)<Yap-PengTan等人>等,并產(chǎn)生了一些"基于內(nèi)容"原型系統(tǒng)。例如,IBMAlmaden研究中心研究開發(fā)的QBIC系統(tǒng)[3],是"基于內(nèi)容"檢索系統(tǒng)的典型代表。QBIC系統(tǒng)允許使用例子圖像、用戶構(gòu)建的草圖和圖畫及其選擇的顏色和紋理模式、鏡頭和目標運動等圖形信息,對大型圖像和視頻數(shù)據(jù)庫進行查詢。QBIC技術(shù)集成語音識別的成果,形成CueVidco系統(tǒng)。WebSeek系統(tǒng)[4]是美國哥倫比亞大學(xué)研究開發(fā)的一種基于內(nèi)容的多媒體搜索引擎的原型系統(tǒng),它通過提取圖像/視頻的顏色、紋理以及文本等特征實現(xiàn)了運行于網(wǎng)絡(luò)環(huán)境下的基于內(nèi)容的圖像/視頻檢索[5]。目前,國外視頻內(nèi)容結(jié)構(gòu)化技術(shù)在警務(wù)工作中普及應(yīng)用、成熟應(yīng)用的案例仍鮮見報道。1.3.2國內(nèi)應(yīng)用研究現(xiàn)狀對于國內(nèi)來說,關(guān)于基于內(nèi)容的視頻結(jié)構(gòu)化技術(shù)的研究起步比較晚,從20世紀90年代后期開始,才逐漸受到多媒體研究領(lǐng)域的關(guān)注,因此,相應(yīng)的技術(shù)水平較國外有一定的差距。近年來,為滿足案件偵查、治安管理工作的需要,國內(nèi)一些公安機關(guān)還專門組建了視頻偵查部門,探索建立視頻數(shù)據(jù)庫,對視頻圖像信息進行整理、分類存儲。但是,目前由于視頻的非結(jié)構(gòu)化、多語義性和大數(shù)據(jù)量,加上案事件偵查對智能化手段應(yīng)用的嚴密性、成熟度要求高,在實際工作中仍然以人工調(diào)閱為主,在視頻信息的結(jié)構(gòu)化、體系化共享、整合應(yīng)用上還在探索、實踐階段,相關(guān)的產(chǎn)品和案例不多,還沒有形成統(tǒng)一的平臺應(yīng)用模式。具體表現(xiàn)在：〔1在視頻數(shù)據(jù)采集上,大量的視頻數(shù)據(jù)主要在案事件發(fā)生以后,根據(jù)案件進行事后視頻調(diào)閱、查看采集為主,而在線實時采集主要運用于道路通行車輛的車牌抓拍識別,對其他方面的識別運用較少?！?在視頻數(shù)據(jù)庫建設(shè)上,目前各地所建的視頻數(shù)據(jù)庫主要是對截取的視頻片段進行簡單的案件關(guān)聯(lián)標注,以原始視頻媒體的方式存儲,只能通過案件進行關(guān)聯(lián)查詢,視頻檢索仍然靠人工查看方式?！?在軟硬件產(chǎn)品上,受制于圖像識別、成像環(huán)境等的復(fù)雜性,目前國內(nèi)基于視頻圖像系統(tǒng)的設(shè)備大都以圖像傳輸為主的,用于視頻摘要、證據(jù)提取上的產(chǎn)品較少。目前,主要有XX省公安廳研發(fā)的VCS視頻圖像采集摘要比對器[1]、北京能通公司的S80視頻取證終端、XX索貝科技公司的i3DSP視頻偵查器等產(chǎn)品?！?在應(yīng)用平臺建設(shè)上,目前各地都在積極整合運用先進的視頻特征提取、結(jié)構(gòu)化分析、視頻摘要等技術(shù),結(jié)合警務(wù)工作,探索建立規(guī)范化、系統(tǒng)性視頻信息共享工作平臺。例如,XXXX、XX等地公安機關(guān)已經(jīng)在探索建立圖偵系統(tǒng),XX吳江市公安局研發(fā)的視頻圖像智能分析系統(tǒng),能夠?qū)?小時普通視頻錄像,經(jīng)處理形成不到5分鐘的摘要視頻,且不會丟失有效運動對象,便于快速定位嫌疑目標。2000年以來,國內(nèi)大學(xué)、研究機構(gòu)積極開展視頻內(nèi)容結(jié)構(gòu)化領(lǐng)域的理論與實踐研究,取得了一些積極成果。比較典型的視頻檢索系統(tǒng)有:國防科技大學(xué)研制開發(fā)的NewVidcoCAR和MIRC系統(tǒng)[6],主要用于對對新聞節(jié)目和多媒體數(shù)據(jù)庫進行查詢和檢索多媒體信息；由清華大學(xué)研發(fā)的TV-FI系統(tǒng)[7],是一個視頻節(jié)目綜合管理系統(tǒng),提供瀏覽、查詢等多種模式的視頻數(shù)據(jù)訪問方式；中科院計算技術(shù)研究所開發(fā)的MIRES<MultimediaInformationRetrievalSystern>系統(tǒng)[8],是一個基于特征的多媒體信息檢索系統(tǒng),該系統(tǒng)實現(xiàn)了基于內(nèi)容的圖像檢索及文本檢索,同時還可以應(yīng)用于視頻檢索等相關(guān)應(yīng)用領(lǐng)域。目前,國內(nèi)"基于內(nèi)容"視頻數(shù)據(jù)檢索方面,已經(jīng)形成了由視頻特征提取、結(jié)構(gòu)化分析、視頻摘要,以及視頻檢索和瀏覽等五項關(guān)鍵技術(shù)組成的視頻數(shù)據(jù)檢索系統(tǒng),其處理流程如圖1-2所示。圖1-2基于內(nèi)容的視頻數(shù)據(jù)檢索系統(tǒng)處理流程1.4.主要工作本文對視頻信息的規(guī)范化采集、結(jié)構(gòu)化存儲和全局性共享等問題進行了研究與分析,提出基于視頻內(nèi)容結(jié)構(gòu)化分析理論,整合先進的視頻特征提取、視頻結(jié)構(gòu)化、視頻摘要、視頻索引等圖像處理技術(shù),按照"一個證據(jù)中心,兩個核心應(yīng)用"方式來構(gòu)建圖偵系統(tǒng)的技術(shù)方案和應(yīng)用模式,使圖像處理技術(shù)成為案事件的偵破手段和情報來源,推進視頻圖像監(jiān)控系統(tǒng)建設(shè)由"信息"到"情報"的演進。主要工作包括：〔1分析了當前公安圖偵工作的困難和制約,研究了視頻圖像從采集、研判、管理的一體化應(yīng)用工作模式,基于視頻內(nèi)容結(jié)構(gòu)化分析技術(shù),提出了"視頻證據(jù)中心、視頻圖像取證、視頻研判分析"為框架網(wǎng)偵系統(tǒng)研發(fā)思路?！?針對當前圖偵工作信息化的迫切需求,結(jié)合警務(wù)實際,以視頻采集、證據(jù)管理、研判應(yīng)用為業(yè)務(wù)主線,從各個層面研究圖偵系統(tǒng)建設(shè)的總體技術(shù)方案,設(shè)計了系統(tǒng)研發(fā)的體系架構(gòu)、邏輯架構(gòu)、數(shù)據(jù)架構(gòu)、基本功能,以及與外部系統(tǒng)之間的關(guān)系?！?針對非結(jié)構(gòu)化視頻建庫的不足,從警務(wù)一體化的角度和人、車、物基本要素入手,研究并設(shè)計了視頻結(jié)構(gòu)化證據(jù)庫的建庫模型,包括證據(jù)庫的體系結(jié)構(gòu)、視頻數(shù)據(jù)結(jié)構(gòu)化定義、對外數(shù)據(jù)交互方式,以及證據(jù)庫管理的基本功能?！?為提升圖偵手段的應(yīng)用水平,研究分析了圖偵工作的關(guān)鍵業(yè)務(wù)角色、業(yè)務(wù)環(huán)節(jié)和主要業(yè)務(wù)流程,明確了視頻取證、情報研判對圖偵系統(tǒng)的基本功能需求,整合運用視頻結(jié)構(gòu)化、視頻摘要、視頻索引等先進技術(shù),進行了應(yīng)用軟件的設(shè)計和實現(xiàn)。使用結(jié)果表明,基于視頻結(jié)構(gòu)化開發(fā)的圖偵系統(tǒng),能夠?qū)崿F(xiàn)視頻監(jiān)控信息的全程篩選,防止有用信息的流失,再造了視頻監(jiān)控及研判應(yīng)用的信息流及業(yè)務(wù)流,有效地支撐了圖偵工作機制的轉(zhuǎn)型發(fā)展。第二章基礎(chǔ)技術(shù)概述2.1.視頻結(jié)構(gòu)化理論綜述視頻數(shù)據(jù)在形式上是一種完全沒有結(jié)構(gòu)性的數(shù)據(jù),但是在內(nèi)容上它又有著很強的邏輯結(jié)構(gòu)。一般來說,一段視頻由一些描述獨立故事單元的場景<也稱作故事單元>構(gòu)成：一個場景由一些語義相關(guān)的鏡頭組成,它們一般發(fā)生在相同的時間和地點,出現(xiàn)相同的人物或事件；一個鏡頭是由一些連續(xù)的視頻幀構(gòu)成,它由攝像機一次攝像的開始和結(jié)束所決定。視頻結(jié)構(gòu)化分析是指將視頻序列按照其語義內(nèi)容分割為鏡頭、鏡頭類、場景等語義單元,從而實現(xiàn)視頻序列的層次化組織,使之便于隨機訪問。根據(jù)內(nèi)容粒度的大小,視頻數(shù)據(jù)一般被結(jié)構(gòu)化為從大到小的4個層次：視頻、場景、鏡頭和圖像幀,如圖2-1所示。圖2-1視頻內(nèi)容的層次組織結(jié)構(gòu)在層次組織的結(jié)構(gòu)化視頻中,各層次的含義和屬性分為為：<1>視頻幀<Frame>：視頻流中的一幅靜態(tài)圖像。幀是視頻數(shù)據(jù)的最小視覺單位,時間上連續(xù)的幀合成動態(tài)圖像序列。幀的屬性有：直方圖、輪廓圖、DC和AC分量圖等。<2>鏡頭<Shot>：攝像機在一次從打開到關(guān)閉的操作過程中記錄的一組連續(xù)圖像幀。鏡頭是視頻數(shù)據(jù)的基本單位。鏡頭屬性有：持續(xù)時間、開始幀號、結(jié)束幀號、代表幀集合、特征空間等。<3>場景<scene>：在時間和空間上連續(xù)的視頻背景,由多個連續(xù)的鏡頭組成,描述一段具體的語義內(nèi)容。場景也稱為故事單元<StoryUnit>。場景的屬性有：標題、持續(xù)時間、鏡頭數(shù)目、開始鏡頭和結(jié)束鏡頭等。<4>視頻<Video>：原始的視頻數(shù)據(jù)?？梢园粋€或多個場景。視頻流的屬性有：場景個數(shù)和持續(xù)時間等。從時間軸上看,視頻是由一系列連續(xù)的圖像幀和相應(yīng)音頻構(gòu)成的集合,集合中的基本元素是圖像幀。視頻數(shù)據(jù)的結(jié)構(gòu)化就是對視頻在時間上的層次分割,完成原始的非結(jié)構(gòu)化的視頻流到結(jié)構(gòu)化的視頻實體的轉(zhuǎn)換。結(jié)構(gòu)化將視頻基本元素圖像幀劃分為多個子集,成為不同層次上的結(jié)構(gòu)實體。其中,視頻文件和幀是視頻數(shù)據(jù)本身所擁有的物理層次,而場景和鏡頭則是概念上的層次。劃分的基本問題是鏡頭邊界和場景邊界檢測問題<scene-change-Detection,SCD>,鏡頭檢測使用顏色直方圖、邊緣、運動以及統(tǒng)計信息的方法來識別攝像機的運動；場景識別可以通過鏡頭背景相似度和音頻特性的內(nèi)容來識別。越是高級層次的劃分越是困難,例如：故事單元的劃分,其物理特征的區(qū)別并不明顯,需要一些高級語義的輔助,其劃分的有效性依賴于知識庫以及基于知識的判斷等人工智能技術(shù)的發(fā)展。視頻的組織過程是從最底層的圖像幀開始,借助于鏡頭檢測,將圖像幀組合聚合為鏡頭；通過背景、音頻等特性將一系列語義相關(guān)、時間相鄰的鏡頭組合為場景；再通過一些高層的語義知識將場景結(jié)合為故事?？梢?視頻數(shù)據(jù)的組織劃分過程就是視頻流的不斷抽象的過程。2.1.1基于鏡頭的結(jié)構(gòu)化分析1993年Zhang[12]首次提出了鏡頭邊界檢測的思想,奠定了鏡頭邊界檢測的基礎(chǔ)?；究梢愿爬槿齻€步驟:視頻幀的特征提取,幀間差的計算,選取準則確定這些差異并判定鏡頭邊界,包括選取適當?shù)拈y值。直方圖特征的提取是應(yīng)用最為廣泛的特征,在多種顏色空間中,例如RGB,YUV或是HSV,把每一維的信息量化為N個槽<bin>,然后統(tǒng)計屬于每個槽內(nèi)的像素個數(shù),然后進行歸一化便得到幀的顏色直方圖特征。由于直方圖特征的統(tǒng)計特性,對顏色分布的很好描述,所以幀間差的計算方法多大依靠直方圖特征。一般情況下,當差值超過某一閾值時,認為存在一個鏡頭邊界。顏色直方圖的比較有如下比較方式,如式<2-1>,式<2-2>和式<2-3>所示。2.1.2基于關(guān)鍵幀的結(jié)構(gòu)化分析關(guān)鍵幀具有代表性,利用關(guān)鍵幀來描述鏡頭、場景或是整段視頻,以作為結(jié)構(gòu)化分析的基礎(chǔ)。這樣能保留視頻內(nèi)容的主要信息,可以減少冗余信息的計算。Taniguchi[16]采用等間隔采樣的方法,按照一定的時間段抽取關(guān)鍵幀。這種做法的優(yōu)點是計算簡單、速度快,但是造成選取的關(guān)鍵幀過多,且不具有代表性的缺點。后來,他[17]又直接選取每個鏡頭的第一幀或是最后一幀作為鏡頭的關(guān)鍵幀。Yeung[18]等人提出在一個鏡頭中先將第一幀作為關(guān)鍵幀,隨后的幀與當前的關(guān)鍵幀進行顏色特征的比較,超過某一閾值的,則再選取一個關(guān)鍵幀,重復(fù)上面的比較,就可完成鏡頭內(nèi)的關(guān)鍵幀的抽取。2.1.3基于場景聚類的結(jié)構(gòu)化分析場景就是具有相同語義特性的鏡頭組,許多研究者利用比較鏡頭相似度的方法,把相關(guān)的鏡頭聚類成場景[19],來進行場景分割。時間固定的鏡頭聚類算法[20]和時間自適應(yīng)分組法[21],也是場景分割算法的代表性工作。前者在一個特定時間窗口內(nèi),利用里邊的視頻幀來計算鏡頭的相似性,而窗口外的鏡頭的相似性則不予考慮,聚類效果由于時間的限制具有不完全的確定。后者提出了時間自適應(yīng)分組法,克服了固定時間聚類算法的不足,把兩個鏡頭之間的時間距離也作為鏡頭相似度的考慮因素,距離越大,相似度越小。另外,AlanHanjalic和WallapakTavanapong采用了圖像分塊的方法來計算鏡頭相似性度量,從而聚類算法來構(gòu)造場景,因為圖像的每個區(qū)域都從不同角度體現(xiàn)視頻場景的特征。Hanjalic對鏡頭的關(guān)鍵幀圖像合并,得到新的一幅圖像,并對其進行分塊,以塊為最小單元,這樣代表兩個鏡頭的兩幅新圖像,求出他們中距離相似度最大的N個塊的距離值,平均后作為鏡頭之間的相似度,鏡頭聚類是基于重疊鏈接的算法<OverlappingLinksConnectingSimilarShots>。他還介紹了一種用于自動提取視頻摘要的聚類方法。類似的,WallapakTavanapong則直接把靜態(tài)幀圖像分成幾個區(qū)域,然后通過依次比較對應(yīng)區(qū)域之間的相似度來確定鏡頭的相似度,也利用鏡頭鏈算法提取場景。Chong-wahNgo等[26]使用張量直方圖提取運動特征,再利用K-means算法來對體育視頻進行了聚類和檢索。Vailaya等提出了基于類別的視頻塊檢索方法。胡曉峰等[28]提出了基于HSV顏色直方圖特征提取的自校正鏡頭聚類算法。目前,國內(nèi)外學(xué)者對基于場景聚類的結(jié)構(gòu)化分析方法,如顏色、紋理、形狀、動態(tài)、頻度等視頻圖像特征,已經(jīng)進行了廣泛而深入的研究,取得了重大進展,為視頻內(nèi)容的結(jié)構(gòu)化分析技術(shù)的廣泛應(yīng)用奠定的強有力理論及技術(shù)基礎(chǔ)。2.2.視頻摘要技術(shù)綜述所謂"視頻摘要技術(shù)",簡單地說,就是通過計算機自動處理技術(shù),對視頻的內(nèi)容和結(jié)構(gòu)進行分析,并從原視頻內(nèi)容中提取出用戶需要的信息,通過再整合后形成摘要視頻。摘要視頻遠遠短于原始視頻,如果一個視頻摘要能夠做到盡量準確和充分,那么就能夠讓用戶在最短時間內(nèi)獲得最關(guān)鍵的信息,極大地提高效率。這樣,當發(fā)生重特大案事件時,需要調(diào)取大量監(jiān)控攝像頭的視頻錄像,按照原來人工的方式,需要安排數(shù)十上百民警不分晝夜連續(xù)觀看成千上萬小時的視頻錄像,以期發(fā)現(xiàn)短短幾秒的視頻線索,工作強度和壓力是巨大。近年來,國內(nèi)外在視頻摘要技術(shù)等方面的研究取得了快速進展,許多新技術(shù)應(yīng)用日益成熟。例如,顧諍、智敏、劉彩云等分別提出了一種新穎的基于近鄰傳播聚類和頻繁鏡頭、基于場景、對象的視頻摘要生成方法。依托先進的視頻摘要技術(shù),可以大大縮短視頻查看時間,可以快速提取線索、鎖定可疑目標。聯(lián)想在自然語言處理<NLP,NaturalLanguageProcessing>研究領(lǐng)域,"主題"是表示文本內(nèi)容的重要方式,文本的主題抽取在NLP中是的基礎(chǔ)性的工作,即從文本中抽取出特征詞組成若干主題句,用以概括文本的主要內(nèi)容。在視頻處理領(lǐng)域與文本的主題抽取類似,視頻摘要<VideoSynopsis>,又稱視頻主題抽取<VideoAbstraction,VideoSummarization>,即用一段很短的視頻對原始視頻中的內(nèi)容進行高度概括,通過觀看這段短視頻,就能知道整個視頻的大概內(nèi)容。根據(jù)摘要信息表現(xiàn)形式的不同,可以把視頻摘要技術(shù)分為靜態(tài)圖像摘要<VideoSummary>和動態(tài)圖像摘要<VideoSkim>兩種基本類型[32]。經(jīng)過摘要以后的縮略視頻由于含有豐富的時間以及音頻信息,因而更加符合用戶的感知。2.2.1靜態(tài)視頻摘要形式靜態(tài)視頻摘要是從原始視頻中剪取或生成的一小部分靜止圖像的集合,這些代表了原始視頻的圖像稱為關(guān)鍵幀<KeyFrame>。<1>標題<Titles>：是對視頻內(nèi)容的一段簡短的文字描述,這種文本方式的視頻摘要是最簡潔的形式,便于理解和建立索引,也是一種高度抽象的表達形式。標題形式的視頻摘要往往需要人工來完成,計算機不能自動生產(chǎn)能夠準確概括視頻片斷內(nèi)容的文字描述。通常也可以通過計算機自動字幕識別和視頻伴隨語音識別,來進一步分析生成摘要文字。<2>關(guān)鍵幀<KeyFrame>．是指從原視頻中抽取或生成一幅或幾幅靜態(tài)圖像,能夠部分地表達視頻的語義信息?；陉P(guān)鍵幀的摘要比標題形式的摘要更能從視覺的角度為用戶提供更加直觀的可視信息。但這種方式只能反映某一時刻視頻的靜態(tài)內(nèi)容,不能展示視頻的時間和動態(tài)特性。因此,它一般適合于表現(xiàn)景物內(nèi)容相似的鏡頭和場景的視覺特征。另外,關(guān)鍵幀形式的摘要對其他形式的靜態(tài)視頻摘要以及動態(tài)的縮略視頻的生成也有很大的參考價值,因此,多年來一直受到研究人員的關(guān)注。<3>故事板<StoryBoard>：將多幀從視頻片段中抽取出的圖像及標題按時間順序排列起來就形成了故事板。它可以向用戶提供視頻的總體描述,在瀏覽過程中也可以方便地定位到視頻中感興趣的部分。故事板不僅能表達視頻視覺上的信息,同時還能反映視頻的時間信息,更能體現(xiàn)視頻的豐富內(nèi)容。在實際應(yīng)用中故事本通常與文本標題相結(jié)合,更利于瀏覽和檢索。<4>場景轉(zhuǎn)移圖<STG>。場景轉(zhuǎn)移圖反映了視頻內(nèi)容的場景轉(zhuǎn)移,它用一種簡潔可視的方式來表現(xiàn)視頻數(shù)據(jù),可以對視頻進行層次化的非線性瀏覽。場景轉(zhuǎn)移圖是一個有向圖,節(jié)點代表含有相似鏡頭的聚類,兩個鏡頭之間的關(guān)系用邊來描述,表示鏡頭的先后順序。節(jié)點與邊共同構(gòu)成了場景圖,反映視頻內(nèi)容的場景轉(zhuǎn)移。場景轉(zhuǎn)移圖僅僅對視頻內(nèi)容進行了有效的靜態(tài)描述。<5>幻燈片<SlideShow>：音頻對于用戶理解視頻的內(nèi)容有著非常重要的作用,幻燈片是伴隨音頻的時間序列幀,它們是關(guān)鍵幀集合的子集?；脽羝峁┝艘环N相對動態(tài)的摘要機制,相對其他動態(tài)視頻摘要,比較適合在低帶寬的網(wǎng)絡(luò)環(huán)境下使用。2.2.2動態(tài)視頻摘要形式動態(tài)視頻摘要是由一些圖像序列以及對應(yīng)的音頻組成,它本身就是一個視頻片段,同時比原始視頻短的多。<1>縮略視頻<VideoSkim>：是對原視頻內(nèi)容的剪輯。它本身也是一段視頻,由原視頻中的一些片段拼接而成?？s略視頻保留了原視頻的基本風(fēng)格,具有更好的動態(tài)性和連貫性?？s略視頻是動態(tài)視頻摘要的主要形式,一般包含了原視頻中主要人物、主要事件片斷,故事的開頭和結(jié)尾和精彩片段,也會包含關(guān)鍵的字幕內(nèi)容?？s略視頻廣泛應(yīng)用于影視預(yù)告片、網(wǎng)絡(luò)視頻點播、交互電視和新聞節(jié)目制作等領(lǐng)域。<2>多媒體影片摘要<MultimediaFilmsSummary>：是在縮略視頻摘要的基礎(chǔ)上加入了文字、鏡頭圖像等其他信息,是一種由多種媒體形式組成的影片內(nèi)容表現(xiàn)方式。例如,在一個電影的主題網(wǎng)頁中,可能包含文字形式的簡介、聲音形式的精彩對白、視頻形式的精彩片段等。這種形式提供了更加豐富的影片內(nèi)容表現(xiàn),同時也為用戶提供了多種瀏覽和檢索影片的方式。2.2.3視頻摘要的生成過程盡管視頻摘要的形式有多種多樣,采用的算法也不相同,但視頻摘要的生成通常都經(jīng)過這樣幾個步驟：<1>視頻數(shù)據(jù)的結(jié)構(gòu)化分析：將原始的視頻流劃分為合理的結(jié)構(gòu)單位,形成視頻內(nèi)容的層次模型,并得到視頻內(nèi)容對象的相關(guān)描述。比如視頻數(shù)據(jù)采用不同的邊界檢測算法被分割為鏡頭、場景等。<2>視頻內(nèi)容的提?。阂曨l中包含了許多能夠為人類感官直接認知但不能被計算機直接識別的內(nèi)容,例如字幕、語音、人臉等等。還有一些是需要借助人類的高級思維才能被認知的信息,例如情感、氣氛等等,對這些信息,計算機更是無能為力。視內(nèi)容的抽取,就是采用模式識別或視頻結(jié)構(gòu)探測的方法,獲取能夠被計算機直接處理,或能夠被人的感觀直接感覺到的信息,是獲得視頻摘要的基本條件。目前,視頻內(nèi)容抽取技術(shù)主要包括自動語音識別技術(shù)、人臉探測與人物識別技術(shù)、字幕探側(cè)與識別技術(shù)、鏡頭運動探測技術(shù)、徽標探測與識別技術(shù)等。經(jīng)過多年的研究,這些領(lǐng)域均取得了一定的進展。例如,自動語音識別技術(shù)的一些產(chǎn)品比如Microsoft的speechSDK等,對于干擾較少、發(fā)音標準的語音已經(jīng)有了比較高的識別率;人臉探測、跟蹤與識別的研究更是開展得十分廣泛,技術(shù)也趨于成熟。<3>視頻內(nèi)容對象重要度的評判：以自動或人工提取的視頻內(nèi)容為基礎(chǔ),通過建立一定的重要度評判標準或評判模型,對視頻對象重要程度進行分級評判。根據(jù)不同需求,視頻內(nèi)容重要度的判定也有所不同。一般在生成視頻摘要的過程中,往往先對視頻進行結(jié)構(gòu)化分析,形成關(guān)于視頻內(nèi)容的層次模型,并得到關(guān)于一些對象的描述,然后根據(jù)具體的需求結(jié)合我們某些領(lǐng)域知識,對視頻內(nèi)容對象的重要程度進行判定,選取某些相關(guān)度高,概括性強而又重要程度高的視頻內(nèi)容形成縮略視頻。重要度的判定是一個比較主觀的過程,很難用一種定量的方法來描述摘要效果的好壞。目前研究的原型系統(tǒng)中,大多采用了用戶評估的方法。這種方法費時費力,能否找到一種合理的定量的視頻摘要評價標準,是一個值得研究的問題。<4>視頻摘要合成和表現(xiàn)：將選擇的重要視頻內(nèi)容對象以一定的方式組合起來,形成某種形式的視頻摘要,并以可視化的形式將摘要展現(xiàn)出來。以上四條就是視頻摘要的基本步驟,有關(guān)視頻摘要的研究都是圍繞著這幾個步驟展開的。例如,在視頻分割當中包含鏡頭探測、場景聚類、故事單元探測等技術(shù);在視頻內(nèi)容提取當中包含字幕識別,人臉識別等技術(shù)。它們?yōu)楹罄m(xù)的摘要工作提供鋪墊。它們涉及了自然語言處理、人工智能甚至心理學(xué)領(lǐng)域的知識,所用技術(shù)也相對比較復(fù)雜。2.3.視頻檢索技術(shù)綜述所謂"視頻檢索技術(shù)",就是通過對視頻內(nèi)容的分析、表示,提取視頻特征信息,建立視頻結(jié)構(gòu)化數(shù)據(jù)庫和特征索引,利用被檢索的圖像特征值與數(shù)據(jù)庫中圖像的特征值進行特征的相似性匹配,從而達到對圖像檢索的目的。因此,基于內(nèi)容的視頻圖像檢索技術(shù)首先要解決的問題就是視頻中圖像內(nèi)容的分析和表示[34]。視頻中圖像內(nèi)容的分析和表示指的是首先提取視頻段中的關(guān)鍵幀,關(guān)鍵幀是這一段視頻中能反映視頻段主要信息的圖像,通過對這張圖像像素的顏色、紋理、形狀信息以及像素的相互關(guān)聯(lián)進行分析,從而可以得到一系列數(shù)字特征或者描述特征,通過這些特征可以在一定程度上對圖像本身的內(nèi)容進行描述。然后,利用這些特征值可以對圖像建立索引,利用被檢索的圖像特征值與數(shù)據(jù)庫中圖像的特征值進行特征的相似性匹配,從而達到對圖像檢索的目的。因此,圖像內(nèi)容的描述問題實質(zhì)上是一個圖像特征值的提取問題。2.3.1視頻特征的提取從廣義上來說,圖像的特征信息包括文本<比如關(guān)鍵字、注釋>和視覺特征。圖像的視覺特征可分為兩類,一類為通用的視覺特征,另一類為和領(lǐng)域相關(guān)的視覺特征。第一類用于表示所有圖像共有的特征,與具體的圖像類型或內(nèi)容無關(guān),主要包括圖像的低級特征如顏色、紋理、形狀以及圖像的高級特征如圖像中的字幕等信息；另一類主要建立在對所表示圖像內(nèi)容的一些先驗知識的基礎(chǔ)上,與實際應(yīng)用緊密相關(guān),比如,人的指紋特征與面部特征等。從這個意義上來說,基于內(nèi)容的視頻檢索實質(zhì)上是基于視頻圖像特征檢索的過程。本文需要采用的是圖像中行人與車輛視覺特征的提取與匹配技術(shù),主要涉及到圖像的低級特征。通過對視頻進行結(jié)構(gòu)化分析,我們通?？梢缘玫剿姆N級別的視頻單元：場景、鏡頭、事故單元和關(guān)鍵幀。針對不同的級別單元,提取單元特征的方法也不完全相同。如果提取的視頻單元為場景,就要提取場景的故事情節(jié)；而對于鏡頭,就需要對運動對象的特定信息和視頻的運動信息進行提??；在對關(guān)鍵幀這一層進行處理時,一般需要對圖像提取一些低級特征,例如顏色、紋理、形狀等。因為事故單元可以由一個或多個關(guān)鍵幀來表示,因此在事故單元級別上的特征提取事實上也屬于關(guān)鍵幀特征提取的范疇。要在關(guān)鍵幀層次上提取這些低級特征,相對比較簡單,一般可以自動提取。而要在場景、鏡頭層次上提取那些屬于視頻高級語義的圖像特征,就目前的技術(shù)發(fā)展來看它的提取難度相對較大,即使可以提取出來,不僅需要大量的人工交互,提取結(jié)果也與關(guān)鍵幀本身的特征信息存在一定誤差。也就是說就目前而言,基于鏡頭或場景層次上的提取還不能實現(xiàn)完全的自動提取。2.3.2視頻數(shù)據(jù)庫技術(shù)在基于內(nèi)容的視頻檢索中,首先要解決的是視頻數(shù)據(jù)存儲與管理這個最基礎(chǔ)的問題,因為在基于內(nèi)容的視頻檢索中需要對大量的視頻圖像數(shù)據(jù)及圖像的特征描述信息進行存儲,而這就需要能夠?qū)@些數(shù)據(jù)特征信息支持的數(shù)據(jù)庫——視頻數(shù)據(jù)庫<VDB>來實現(xiàn)。視頻數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫最主要的區(qū)別在于所處理的數(shù)據(jù)不同。傳統(tǒng)的數(shù)據(jù)庫一般處理的是一些文本和數(shù)字,因此對存儲空間的要求不高,并且處理的數(shù)據(jù)都是結(jié)構(gòu)化的。而視頻數(shù)據(jù)庫一般處理的對象為視頻、圖片以及特征值等,它們對存儲空間有較高的要求,并且對數(shù)據(jù)庫的抽象與描述能力也有較高要求,因此視頻數(shù)據(jù)庫技術(shù)是視頻數(shù)據(jù)庫系統(tǒng)研究的重點。本文將結(jié)合公安圖偵工作需要,分析進行視頻圖像數(shù)據(jù)描述與存儲的視頻數(shù)據(jù)庫模型和數(shù)據(jù)庫體系結(jié)構(gòu)。根據(jù)視頻數(shù)據(jù)的特性,視頻數(shù)據(jù)庫系統(tǒng)應(yīng)該具有以下特點：<1>擴展性。視頻數(shù)據(jù)庫系統(tǒng)<VDB>體系結(jié)構(gòu)應(yīng)該是易于擴展的、靈活的,以便于支持對媒體對象或特征信息進行檢索。為了滿足視頻數(shù)據(jù)庫的這些特殊需求,通常VDB系統(tǒng)應(yīng)該包括大量的數(shù)據(jù)管理模塊和功能實現(xiàn)模塊,同時還要具備對系統(tǒng)進行更新或擴展時增加新管理模塊的要求。<2>分布性。因為視頻數(shù)據(jù)庫中存儲的信息量較大,而且不同的媒體對信息的使用和檢索方式也可能不同,所以要求VDB一般采用分布式的存儲方式。視頻與圖像的網(wǎng)絡(luò)通信對于視頻數(shù)據(jù)的分布式訪問和存儲具有重要作用。<3>查詢的多解性。傳統(tǒng)性數(shù)據(jù)庫查詢一般只對精確的數(shù)據(jù)進行查詢。但在視頻數(shù)據(jù)庫系統(tǒng)中不能只要求精確地數(shù)據(jù)查詢,同時相似性檢索和非精確性的匹配將占相當大甚至多于精確性的比重,尤其是在基于相似度的檢索中。<4>系統(tǒng)的長事務(wù)處理要求。傳統(tǒng)數(shù)據(jù)庫中處理的事務(wù)一般都是短小而且精悍的,而在視頻數(shù)據(jù)庫系統(tǒng)中,僅僅只有短事務(wù)已經(jīng)不能滿足視頻檢索的要求,尤其是在處理視頻圖像數(shù)據(jù)時,比如要對一段數(shù)小時長的視頻查詢結(jié)果進行播放,這就要對數(shù)據(jù)庫系統(tǒng)對處理長事務(wù)的能力有所要求。<5>系統(tǒng)用戶接口的支持。為了體現(xiàn)數(shù)據(jù)庫查詢的能力,就要求數(shù)據(jù)庫中面向用戶的接口能夠很好的描述和表示每一種媒體的性質(zhì)。視頻信息檢索的模糊性,就要求能夠提供給用戶方便檢索的描述接口。2.3.3網(wǎng)絡(luò)視頻訪問技術(shù)作為視頻數(shù)據(jù)管理和處理的技術(shù)手段,視頻圖像的存儲、傳輸和訪問技術(shù)在網(wǎng)絡(luò)環(huán)境下的應(yīng)用是實現(xiàn)視頻數(shù)據(jù)信息網(wǎng)絡(luò)化應(yīng)用的重要手段。本文闡述了視頻網(wǎng)絡(luò)應(yīng)用系統(tǒng)的三層結(jié)構(gòu)、視頻數(shù)據(jù)庫的網(wǎng)絡(luò)訪問方式以及如何利用流媒體技術(shù)實現(xiàn)視頻的網(wǎng)絡(luò)訪問、存儲和傳輸。如果從系統(tǒng)應(yīng)用的角度來看,要滿足處于不同地點和不同時間的用戶對同一數(shù)據(jù)庫進行檢索和訪問這一需求,視頻數(shù)據(jù)庫系統(tǒng)必須是存在于網(wǎng)絡(luò)環(huán)境下的分布式檢索系統(tǒng)。當前網(wǎng)絡(luò)數(shù)據(jù)庫系統(tǒng)的結(jié)構(gòu)主要有C/S<客戶/服務(wù)器>結(jié)構(gòu)和B/S<瀏覽器/服務(wù)器>結(jié)構(gòu)[40,41]。這些體系架構(gòu)都是為了解決網(wǎng)絡(luò)環(huán)境下分布式數(shù)據(jù)的存儲與訪問而提出的。B/S模式的三層或多層體系結(jié)構(gòu)在某種意義上彌補了傳統(tǒng)的C/S結(jié)構(gòu)開發(fā)周期長,可維護性和擴充性差等方面的不足之處。因此,基于Internet/Intranet的三層體系結(jié)構(gòu)是一種瀏覽器服務(wù)器<B/S>結(jié)構(gòu),它具有C/S結(jié)構(gòu)的所有優(yōu)點,但它又對C/S結(jié)構(gòu)進行了擴充,因此他們之間又存在一定的區(qū)別。B/S結(jié)構(gòu)中用戶可以直接通過瀏覽器工具向分布在網(wǎng)絡(luò)上的各個服務(wù)器發(fā)出請求,因此在客戶端機器上只需要安裝極少量的工具軟件,而其他更多的工作都留給服務(wù)器來擔負,這樣就簡化了客戶端的管理任務(wù)。B/S結(jié)構(gòu)的體系結(jié)構(gòu)在客戶機端只執(zhí)行顯示服務(wù),而應(yīng)用系統(tǒng)的執(zhí)行和數(shù)據(jù)庫的訪問將在服務(wù)器端上完成。2.4.視頻處理技術(shù)應(yīng)用綜述充分利用先進的視頻內(nèi)容結(jié)構(gòu)化分析、視頻摘要、視頻檢索等圖像處理技術(shù),可實現(xiàn)對活動目標進行提取,快速截圖原始視頻畫面或截取視頻片段,進行標注后保存至數(shù)據(jù)庫。主要應(yīng)用的基本功能點有：〔1視頻目標運動軌跡提取和數(shù)據(jù)庫存儲。對實時、已有始視頻圖像中的活動目標進行摘要分析并提取活動目標、時間標記等相關(guān)信息,能夠?qū)μ崛〉陌甘录畔⑦M行圖片編輯、標注,并保存至案事件證據(jù)管理中心數(shù)據(jù)庫?！?視頻目標快速自動提取及概要回放?？梢耘渲萌蝿?wù)對視頻目標進行自動處理,也可以通過手動上傳視頻方式進行視頻摘要處理,并保存在數(shù)據(jù)庫中,能夠回溯摘要視頻的原始視頻,實現(xiàn)對視頻文件中運動物體及其運行軌跡的環(huán)境剝離和存儲,實現(xiàn)將不同時空內(nèi)目標對象的集中展示?！?視頻信息自動分類及數(shù)據(jù)統(tǒng)計分析。支持人工設(shè)置或者從從視頻文件名解析出起始時間,對視頻文件時鐘校對；支持摘要后處理的視頻半結(jié)構(gòu)化數(shù)據(jù)以人、車、物的結(jié)構(gòu)化內(nèi)容加以描述,并保存到數(shù)據(jù)庫中,實現(xiàn)以時間、案件類型、區(qū)域、目標的描述元素等分類統(tǒng)計?！?海量視頻自動快速處理。一是海量視頻按用戶需求設(shè)定規(guī)則進行按任務(wù)方式處理,提供篩選出用戶關(guān)心的部分,以截圖、摘要視頻或者是視頻片段形式保存；二是對海量視頻處理進行智能化分配,優(yōu)化處理功能,同時顯示處理視頻的狀態(tài)和任務(wù)分配情況；三是可以控制處理視頻的優(yōu)先級和排隊順序。2.5.本章小結(jié)本章綜述了圖偵系統(tǒng)研發(fā)所涉及的視頻結(jié)構(gòu)化理論、視頻摘要及視頻檢索技術(shù)的相關(guān)知識。視頻內(nèi)容結(jié)構(gòu)化理論主要闡述了視頻內(nèi)容結(jié)構(gòu)化概念、結(jié)構(gòu)化層次架構(gòu),以及三種視頻內(nèi)容結(jié)構(gòu)化分析方法。在視頻摘要技術(shù)方面,闡述了視頻摘要技術(shù)的基本概念、研究的必要性,以及靜態(tài)視頻摘要和動態(tài)視頻摘要兩種視頻摘要形式,闡述了視頻摘要的一般生成過程。在視頻檢索技術(shù)方面,闡述了視頻檢索的基本概念,著重闡述了視頻特征的提取、視頻數(shù)據(jù)庫和網(wǎng)絡(luò)視頻訪問等關(guān)鍵技術(shù)內(nèi)容。最后,綜述了視頻圖像處理技術(shù)的主要應(yīng)用功能點。第三章總體技術(shù)方案設(shè)計3.1.設(shè)計思路研發(fā)圖偵系統(tǒng)應(yīng)充分考慮公安機關(guān)實戰(zhàn)業(yè)務(wù)需求,充分運用國內(nèi)外先進的視頻分析最新算法—視頻結(jié)構(gòu)化、視頻摘要、視頻檢索和圖偵工作經(jīng)驗,以"圍繞實戰(zhàn)、緊貼實戰(zhàn)、服務(wù)實戰(zhàn)"為著力點,以采集、研判、管理、應(yīng)用為業(yè)務(wù)主線,注重技術(shù)融合和業(yè)務(wù)整合,構(gòu)建一套"支撐全程,服務(wù)一線"的圖偵工作應(yīng)用系統(tǒng)。同時,要遵循標準和開放的原則,可隨圖偵業(yè)務(wù)和技術(shù)的進步而可持續(xù)發(fā)展。圖偵系統(tǒng)將利用本地已建的視頻圖像信息和業(yè)務(wù)數(shù)據(jù),充分考慮各警種圖偵業(yè)務(wù)工作經(jīng)驗,整合運用視頻結(jié)構(gòu)化、視頻摘要以及數(shù)據(jù)挖掘技術(shù),提供了覆蓋圖像偵查業(yè)務(wù)從"采集"、"研判"直至"保存發(fā)布"、"管理"、"應(yīng)用"的全局能力支撐,解決和彌補實戰(zhàn)中的各項問題和不足,規(guī)范、創(chuàng)新圖偵業(yè)務(wù)流程。圖偵系統(tǒng)將使視頻圖像處理技術(shù)成為重要的案件偵破手段和情報信息來源,提高案件偵破率。圖偵系統(tǒng)的應(yīng)用將前瞻性地推進視頻監(jiān)控系統(tǒng)建設(shè)由"信息"到"情報"的演進,提升視頻監(jiān)控系統(tǒng)的建設(shè)成效。通過圖偵系統(tǒng)的研發(fā)和運行,將進一步創(chuàng)新公安圖偵業(yè)務(wù)機制,提升圖偵工作效能,推動基層公安機關(guān)"視頻應(yīng)用"建設(shè)跨上一個新的發(fā)展臺階。3.2.體系架構(gòu)基于視頻結(jié)構(gòu)化的圖偵系統(tǒng)采用模塊化的體系結(jié)構(gòu),其技術(shù)體系架構(gòu)設(shè)計如圖3-1所示,分為接入層、處理層、業(yè)務(wù)層、表現(xiàn)層四層。其中,圖3-1基于視頻結(jié)構(gòu)化圖偵系統(tǒng)的體系架構(gòu)接入層,實現(xiàn)視頻圖像的獲取以及警務(wù)數(shù)據(jù)的同步數(shù)據(jù)交互,它可看作是與外部系統(tǒng)的接口層,包括視頻聯(lián)網(wǎng)系統(tǒng)、編解碼設(shè)備、IPC等視頻資源系統(tǒng)或設(shè)備,大情報系統(tǒng)、警綜平臺等業(yè)務(wù)系統(tǒng)。處理層,搭載視頻圖像研判的核心處理引擎,采用視頻摘要在線分析、離線處理、視頻特征分析、圖像增強等視頻應(yīng)用技術(shù)。業(yè)務(wù)層,提供業(yè)務(wù)數(shù)據(jù)交互接口,以及流程控制和業(yè)務(wù)數(shù)據(jù)分析引擎。它可實現(xiàn)證據(jù)提取、統(tǒng)計分析、案情研判等業(yè)務(wù)服務(wù)和數(shù)據(jù)流轉(zhuǎn)、信令轉(zhuǎn)發(fā)等過程控制能力。表現(xiàn)層,呈現(xiàn)面向用戶的人機交互界面和集成的軟件作業(yè)環(huán)境,包括了在線的圖像偵查應(yīng)用客戶端和離線的移動處理終端設(shè)備。3.3.邏輯架構(gòu)在邏輯架構(gòu)上,該圖偵系統(tǒng)可分為案事件視頻管理中心、視頻圖像取證和視頻研判分析三個邏輯單元,各單元之間相互耦合協(xié)調(diào),共同構(gòu)成一個"適應(yīng)各種研判環(huán)境,同步外部系統(tǒng),支撐總體流程"的圖偵應(yīng)用系統(tǒng)。如圖3-2所示。圖3-2基于視頻結(jié)構(gòu)化圖偵系統(tǒng)的邏輯架構(gòu)案事件視頻證據(jù)管理中心是一個綜合型的視頻圖像證據(jù)信息存儲、管理、分析以及應(yīng)用系統(tǒng)。它可實現(xiàn)視頻證據(jù)的集中存儲管理,并在此基礎(chǔ)上實現(xiàn)深度的數(shù)據(jù)挖掘分析為案件研判服務(wù)。案事件視頻證據(jù)管理中心提供標準證據(jù)傳輸接口,接收用戶上傳的視頻證據(jù),并可為視頻研判應(yīng)用系統(tǒng)提供數(shù)據(jù)檢索下載、統(tǒng)計查詢和研判分析服務(wù)。同時,它能實現(xiàn)與警綜平臺、大情報系統(tǒng)、PGIS等業(yè)務(wù)系統(tǒng)對接,同步數(shù)據(jù)交換。視頻研判分析單元提供公安網(wǎng)內(nèi)在線的圖像偵查作業(yè)環(huán)境,依托各類聯(lián)網(wǎng)數(shù)據(jù)和計算資源,可實現(xiàn)強大的圖像處理、智能研判分析能力,能夠處理視頻聯(lián)網(wǎng)系統(tǒng)的實時視頻數(shù)據(jù),在線獲取案事件視頻管理中心的數(shù)據(jù)服務(wù)。視頻圖像取證單元提供視頻監(jiān)控專網(wǎng)或者案事件現(xiàn)場作業(yè)環(huán)境,重點滿足基層監(jiān)控中心視頻證據(jù)、圖像信息采集的日常工作需求,也可獨立完成初級視頻研判分析等各項視頻圖像信息偵查業(yè)務(wù)。3.4.數(shù)據(jù)架構(gòu)圖偵系統(tǒng)的數(shù)據(jù)架構(gòu)主要包括數(shù)據(jù)源層、數(shù)據(jù)處理層、數(shù)據(jù)應(yīng)用層等三個部分組成。如圖3-3所示：圖3-3基于視頻結(jié)構(gòu)化圖偵系統(tǒng)的數(shù)據(jù)架構(gòu)源數(shù)據(jù)層主要包括社會面監(jiān)控資源、社會專網(wǎng)監(jiān)控資源、公安自有監(jiān)控資源等；數(shù)據(jù)處理層主要處理來自視頻監(jiān)控整合平臺中的原始視頻圖像,經(jīng)過實時的視頻智能分析處理以及事后的視頻摘要處理,將處理后的結(jié)果數(shù)據(jù)保存至數(shù)據(jù)庫中；數(shù)據(jù)應(yīng)用層實現(xiàn)數(shù)據(jù)處理層處理后的結(jié)果展示,通過應(yīng)用功能點,調(diào)取數(shù)據(jù)庫中的元數(shù)據(jù)。3.5.與外部系統(tǒng)之間關(guān)系圖偵系統(tǒng)與外部系統(tǒng)的業(yè)務(wù)關(guān)系如圖3-4所示。其中,〔1建立與警綜平臺、大情報系統(tǒng)、警務(wù)基礎(chǔ)平臺等公安業(yè)務(wù)系統(tǒng)的接口,實現(xiàn)警情、案事件、圖像等信息的數(shù)據(jù)交互?！?建立與PGIS系統(tǒng)的接口,通過PGIS系統(tǒng)提供的接口工具訪問地圖數(shù)據(jù),為實現(xiàn)圖偵系統(tǒng)的視頻數(shù)據(jù)檢索和軌跡分析和提供數(shù)據(jù)支撐?！?通過與視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)的接口,實現(xiàn)視頻數(shù)據(jù)的檢索、獲取。3.6.基本功能從公安圖偵工作業(yè)務(wù)聯(lián)系分析,所建圖偵系統(tǒng)的基本功能參見表3-1。表3-1基于視頻結(jié)構(gòu)化圖偵系統(tǒng)的基本功能點3.7.本章小結(jié)本章立足于創(chuàng)建基于視頻內(nèi)容結(jié)構(gòu)化的全局性的圖偵信息化工作環(huán)境,以視頻采集、證據(jù)管理、研判應(yīng)用為主線,從各個層面進行分析研究,設(shè)計了圖偵系統(tǒng)建設(shè)的總體技術(shù)方案。其中,從接入層、處理層、業(yè)務(wù)層、表現(xiàn)層四個層面研究分析了系統(tǒng)的體系架構(gòu),從視頻證據(jù)管理中心、視頻圖像取證、視頻研判分析及與外部系統(tǒng)關(guān)系分析了系統(tǒng)的邏輯架構(gòu),從源數(shù)據(jù)、數(shù)據(jù)處理、數(shù)據(jù)應(yīng)用三個層面分析了系統(tǒng)的數(shù)據(jù)架構(gòu),分析了圖偵系統(tǒng)與警綜平臺、大情報系統(tǒng)、監(jiān)控聯(lián)網(wǎng)系統(tǒng)、PGIS系統(tǒng)等外部系統(tǒng)之間的整合關(guān)系,研究確定了圖偵系統(tǒng)的視頻證據(jù)管理中心、圖像取證單元、研判分析單元三個基本功能單元。第四章案事件視頻證據(jù)管理中心設(shè)計4.1.設(shè)計概要案事件視頻證據(jù)管理中心是對視頻圖像取證、研判分析單元上傳發(fā)布的案事件圖像證據(jù)信息進行處理匯集、存儲、處理和管理的基本單元。該單元的核心是視頻圖像數(shù)據(jù)庫體系結(jié)構(gòu)及視頻情報的結(jié)構(gòu)化定義,并在此基礎(chǔ)上實施視頻圖像數(shù)據(jù)庫的管理,提供視頻圖像信息的共享服務(wù)。涉案視頻結(jié)構(gòu)化存儲的主要包含以下數(shù)據(jù)：〔1原始視頻文件；〔2視頻剪輯片段；〔3圖片；〔4結(jié)構(gòu)化圖像描述信息〔人、車、物；〔5案件基礎(chǔ)信息〔案件名稱、編號、案發(fā)描述等。視頻證據(jù)管理中心單元軟件采用B/S架構(gòu),支持通過瀏覽器直接訪問,負責(zé)對案事件證據(jù)的審批、統(tǒng)計分析、空間管理等處理,提供給用戶對案事件視頻圖像證據(jù)的查詢和調(diào)閱,并對大量的案事件視頻圖像證據(jù)進行比對碰撞,通過圖像信息的信息度進行串并關(guān)聯(lián),建立卷宗關(guān)聯(lián)。4.2.視頻證據(jù)中心體系結(jié)構(gòu)案事件視頻圖像證據(jù)庫主要匯集、存儲從視頻圖像數(shù)據(jù)中提取的視頻片段和圖像特征信息,并為各部門實戰(zhàn)業(yè)務(wù)提供特征識別、智能分析、智能檢索、交換共享等服務(wù)的支撐平臺。在功能上分為：數(shù)據(jù)采集、數(shù)據(jù)存儲、應(yīng)用服務(wù)和數(shù)據(jù)管理四部分,如圖4-1案事件視頻證據(jù)中心體系架構(gòu)所示。圖4-1案事件視頻證據(jù)中心體系架構(gòu)1、數(shù)據(jù)采集通過多種渠道、多種方式,從社會單位、公安自建等視頻監(jiān)控系統(tǒng),收集視頻、圖像、文檔、其它等視頻源數(shù)據(jù),并對實時或者事后的視頻源數(shù)據(jù)進行智能檢測及視頻摘要等技術(shù)處理,從中抽取圖像特征,再經(jīng)過對數(shù)據(jù)過濾、數(shù)據(jù)清洗、數(shù)據(jù)整合之后,保存到案事件視頻管理子系統(tǒng)中。2、數(shù)據(jù)存儲從數(shù)據(jù)采集接口導(dǎo)入視頻圖像信息,按照人、事、地、物和組織五要素進行邏輯規(guī)劃,并在五要素上歸納出具有某種特殊意義或者是在邏輯上有關(guān)聯(lián)關(guān)系的專業(yè)庫,如：車牌庫、特征庫、人像庫、指紋庫等,統(tǒng)一保存到云存儲中。3、數(shù)據(jù)服務(wù)案事件視頻證據(jù)庫分為基本功能、視頻處理、智能分析、智能檢索、共享交換五個模塊,對視頻圖像信息數(shù)據(jù)進行分解和處理,為視頻分析和視頻檢索提供示例特征,并結(jié)合案事件信息提供智能查詢接口和通用數(shù)據(jù)服務(wù)接口。4、系統(tǒng)管理系統(tǒng)管理是對案事件視頻管理子系統(tǒng)的軟硬件環(huán)境運行狀態(tài)進行監(jiān)控,能夠盡早發(fā)現(xiàn)有可能發(fā)生故障點,并采用相關(guān)的預(yù)防措施；系統(tǒng)的生命周期是采集、入庫、版本、檢索、刪除統(tǒng)一數(shù)據(jù)流程,再每一個環(huán)節(jié)上增加權(quán)限認證和日志的記錄,可以方便追述數(shù)據(jù)處理流程,主要體現(xiàn)在安全管理、日志管理、生命周期管理、運行狀態(tài)管理等。4.3.視頻情報結(jié)構(gòu)化定義基于視頻結(jié)構(gòu)化技術(shù),針對視頻分析產(chǎn)生的涉案圖片或視頻段落,進行視頻信息的結(jié)構(gòu)化定義和視頻結(jié)構(gòu)化信息的提取,既是視頻情報應(yīng)用的重要工作,更是實現(xiàn)視頻監(jiān)控系統(tǒng)由"信息"到"情報"演進的必然選擇,也是實現(xiàn)視頻證據(jù)數(shù)據(jù)庫管理的基石。4.3.1數(shù)據(jù)字典定義從案事件出發(fā),描述視頻結(jié)構(gòu)化語義的主要對象為：人、車、物。如圖4-2所示。圖4-2視頻證據(jù)中心數(shù)據(jù)字典視頻結(jié)構(gòu)化語義1、案件字典定義,如表4-1所示：注:每一種案件類型,可根據(jù)案件作案手段或情節(jié),在設(shè)計系統(tǒng)時可以自定義子分類<如殺人案,可分為持刀殺人案,持槍殺人案…>。2、涉案信息字典定義〔1人物信息語義定義,如表4-2所示。表4-2視頻證據(jù)中心人物情報語義定義表〔2車輛信息語義定義,如表4-3所示。表4-3視頻證據(jù)中心車輛情報語義定義表〔3物品信息語義定義,如表4-4所示。4.3.2視頻結(jié)構(gòu)化信息表1、視頻信息,如表4-5所示：表4-5視頻證據(jù)中心視頻信息定義表2、幀信息,如表4-6所示：表4-6視頻證據(jù)中心幀信息定義表3、對象信息,如表4-7所示：表4-7視頻證據(jù)中心對象信息定義4、片段信息,如表4-8所示：表4-8視頻證據(jù)中心片段信息定義表4.3.3證據(jù)中心數(shù)據(jù)建模從案事件與視頻信息的關(guān)聯(lián)出發(fā),設(shè)計了數(shù)據(jù)庫之間的實體－關(guān)系圖,定義了證據(jù)中心的數(shù)據(jù)對象、基數(shù)與形態(tài)的關(guān)系,如圖4-3所示?！?案事件信息表；〔2視頻圖像資源信息表；〔3視頻資源案事件相關(guān)事物〔物品信息表；〔4視頻資源相關(guān)車輛信息表；〔5視頻資源相關(guān)人員信息表。此外,還可以建立針對視頻資源的評論表。作為結(jié)構(gòu)化視頻證據(jù)庫,通過編寫數(shù)據(jù)庫字段,可以按自定的字段名稱,方便地建立視頻證據(jù)庫索引。圖4-2視頻證據(jù)中心實體-關(guān)系圖示例4.4.對外數(shù)據(jù)交互設(shè)計4.4.1對外數(shù)據(jù)交互關(guān)系案事件視頻證據(jù)中心需要整合多個業(yè)務(wù)部位和多個應(yīng)用系統(tǒng)的視頻、圖片、音頻、文件、結(jié)構(gòu)化數(shù)據(jù)等信息,涉及到與多個異構(gòu)數(shù)據(jù)庫、多種文件的數(shù)據(jù)交換。因此,應(yīng)根據(jù)業(yè)務(wù)需求制定相關(guān)數(shù)據(jù)交換標準,以確保數(shù)據(jù)交換的一致性。視頻證據(jù)管理中心與外部系統(tǒng)及各業(yè)務(wù)單位的數(shù)據(jù)交換關(guān)系,如圖4-3所示。圖4-3視頻證據(jù)管理中心對外數(shù)據(jù)交互關(guān)系1>建立與警綜系統(tǒng)的接口,實現(xiàn)警情、案事件、圖像等信息的數(shù)據(jù)交互。2>建立與PGIS系統(tǒng)的接口,通過PGIS系統(tǒng)提供的接口工具訪問地圖數(shù)據(jù),為實現(xiàn)圖偵系統(tǒng)的視頻資源檢索和軌跡分析和提供數(shù)據(jù)支撐。3>通過與視頻聯(lián)網(wǎng)系統(tǒng)的接口,實現(xiàn)視頻信息的檢索、獲取。4.4.2數(shù)據(jù)交互接口1、接口實現(xiàn)方式〔1采用數(shù)據(jù)庫接口,將外部系統(tǒng)的數(shù)據(jù)庫訪問接口開放給本系統(tǒng),視頻證據(jù)中心根據(jù)數(shù)據(jù)庫結(jié)構(gòu)獲取相關(guān)數(shù)據(jù),實現(xiàn)證據(jù)中心與外部系統(tǒng)之間的數(shù)據(jù)共享；〔2采用組件開發(fā)接口的方式,需要外部系統(tǒng)提供相應(yīng)的數(shù)據(jù)調(diào)用、數(shù)據(jù)查詢的二次開發(fā)組件,證據(jù)中心將直接調(diào)用該組件實現(xiàn)對接。2、通用接口要求〔1異構(gòu)數(shù)據(jù)庫服務(wù)接口：規(guī)定和描述訪問異構(gòu)數(shù)據(jù)庫的一組服務(wù),服務(wù)包括服務(wù)自描述、數(shù)據(jù)類型描述、服務(wù)操作及服務(wù)數(shù)據(jù)元素?！?數(shù)據(jù)訪問接口：根據(jù)數(shù)據(jù)庫的異構(gòu)特征,將上層服務(wù)轉(zhuǎn)換為信息訪問與調(diào)用服務(wù)的各種訪問驅(qū)動及服務(wù)接口映射實現(xiàn)?！?數(shù)據(jù)庫：包括關(guān)系型數(shù)據(jù)庫、文件數(shù)據(jù)庫,數(shù)據(jù)庫可以是集中的,也可以是分散的?！?提供開發(fā)套件,支持視頻證據(jù)管理中心整合和第三方系統(tǒng)的調(diào)用和嵌入。4.5.主要功能案事件視頻證據(jù)管理中心的基本功能,包括：案件證據(jù)審批、案件證據(jù)展示、案件同步關(guān)聯(lián)、個人證據(jù)管理、數(shù)據(jù)統(tǒng)計分析、信息時間設(shè)定與空間管理等業(yè)務(wù)功能。該單元的主要功能模塊,參見表4-9。表4-9案事件視頻證據(jù)管理中心的主要功能模塊4.6.本章小結(jié)本章從視頻證據(jù)庫的體系結(jié)構(gòu)、視頻情報的結(jié)構(gòu)化定義、對外數(shù)據(jù)交互和基本功能等方面,對案事件視頻證據(jù)管理中心進行了設(shè)計。其中,視頻證據(jù)中心體系結(jié)構(gòu),主要由數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)服務(wù)和數(shù)據(jù)管理四個部分構(gòu)成；從案事件出發(fā),定義了視頻結(jié)構(gòu)化語義的主要對象：人、車、物,以及視頻結(jié)構(gòu)化信息的一般數(shù)據(jù)屬性；設(shè)計了視頻證據(jù)管理中心與警綜系統(tǒng)、視頻聯(lián)網(wǎng)系統(tǒng),以及業(yè)務(wù)單位之間的數(shù)據(jù)交換關(guān)系和標準。最后,分析了視頻證據(jù)中心的主要功能點。第五章視頻圖像偵查系統(tǒng)應(yīng)用設(shè)計5.1.設(shè)計概要視頻圖像偵查系統(tǒng)應(yīng)用設(shè)計目的在于讓公安機關(guān)有效利用圖像進行深度研判,協(xié)助案件偵破。在現(xiàn)今公安機關(guān)的圖像使用當中,運用到了很多圖像智能分析處理的技術(shù),比如視頻摘要、圖像清晰化、車牌識別、人臉比對等等,但是大多數(shù)都是在獨立的進行應(yīng)用,沒有與日常公安業(yè)務(wù)進行一體化融合,特別是圖偵業(yè)務(wù)發(fā)揮實戰(zhàn)效用,所以先建立一套貼近公安的圖偵應(yīng)用流程,在此基礎(chǔ)上設(shè)計圖偵系統(tǒng),才能達到物盡其用的效果。1、從應(yīng)用模式角度,圖偵系統(tǒng)應(yīng)用設(shè)計包含在線和離線兩種應(yīng)用模式,在線式可以作為一套完整系統(tǒng)部署在公安專網(wǎng)或者公安視頻監(jiān)控專網(wǎng)內(nèi),還可以搭載在便攜式計算機設(shè)備上作為獨立系統(tǒng)在案事件現(xiàn)場進行離線應(yīng)用。作為在線式的圖像研判分析工作單元,它具備與視頻證據(jù)管理中心、視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)、警綜系統(tǒng),以及大情報系統(tǒng)等的通信接口,可實現(xiàn)涉案視頻的聯(lián)網(wǎng)視頻采集、視頻證據(jù)在線分析研判、案件業(yè)務(wù)數(shù)據(jù)的同步更新以及證據(jù)數(shù)據(jù)的實時管理,支撐圖偵業(yè)務(wù)的主要工作流程,提供完整的視頻圖像偵查業(yè)務(wù)的在線應(yīng)用環(huán)境。作為離線式的圖像研判分析工作單元,它具備將現(xiàn)場采集的視頻圖像信息進行快速的分析,從而獲取案事件的重要線索,并建立簡易的案事件證據(jù)庫,獨立支撐一線的偵查破案。2、從功能邏輯角度,圖偵系統(tǒng)應(yīng)用設(shè)計包括視頻圖像取證模塊和視頻研判分析兩大基本單元,前者主要負責(zé)初級視頻情報的采集、取證和保存；后者主要從事專業(yè)視頻研判工作。視頻圖像取證單元重點圍繞視頻證據(jù)管理中心的數(shù)據(jù)采集需求,從監(jiān)控聯(lián)網(wǎng)系統(tǒng)或者通過離線方式獲取原始視頻圖像,利用圖像處理技術(shù),從原始視頻圖像中提取結(jié)構(gòu)化、半結(jié)構(gòu)化的初級視頻情報信息,上傳到視頻證據(jù)管理中心數(shù)據(jù)庫中,提供共享應(yīng)用服務(wù)。視頻取證模塊具有視頻證據(jù)采集、視頻格式標準化轉(zhuǎn)換、視頻證據(jù)搜索、視頻結(jié)構(gòu)化存儲等主要功能。視頻研判分析單元作為一個視頻偵查、情報研判人員日常工作使用的模塊,既具有視頻圖像取證單元中除預(yù)警檢測外的主要功能,同時還具有視頻特征分析、視頻證據(jù)分析、案事件軌跡分析,以及同步警綜系統(tǒng)等更多的情報研判功能。因此,如果說,視頻證據(jù)管理中心側(cè)重于創(chuàng)建和采集存儲結(jié)構(gòu)化的視頻證據(jù)共享數(shù)據(jù)庫,那么,視頻圖像偵查應(yīng)用系統(tǒng)重點在于研判運用視頻證據(jù),發(fā)揮偵查破案、事件處置的實戰(zhàn)效能。顯然,前者是為后者提供服務(wù)和支撐,后者才是圖偵系統(tǒng)建設(shè)的根本。3、用戶使用圖偵系統(tǒng)從監(jiān)控聯(lián)網(wǎng)系統(tǒng)或者本地資源中導(dǎo)入原始視頻圖像,對取得的視頻圖像進行格式標準化轉(zhuǎn)換、視頻摘要分析、編輯和加注標簽,與案事件視頻證據(jù)管理中心進行數(shù)據(jù)交互,實現(xiàn)對結(jié)構(gòu)化視頻圖像信息的上傳、查看、瀏覽、下載和刪除,以及查看日志、證據(jù)檢索等操作。圖偵系統(tǒng)的主要功能模塊,如表5-1所示：表5-1基于視頻結(jié)構(gòu)化圖偵系統(tǒng)的主要功能模塊5.2.圖偵業(yè)務(wù)流程設(shè)計在整個圖偵系統(tǒng)的應(yīng)用當中,需要明確業(yè)務(wù)角色和業(yè)務(wù)環(huán)節(jié)。首先在業(yè)務(wù)角色上,圖偵系統(tǒng)針對不同使用層級的公安用戶定義了初級視頻研判人員和高級視頻研判人員兩種等級應(yīng)用環(huán)境。初級視頻研判人員主要是派出所、交巡警中隊等基層視頻監(jiān)控中心的監(jiān)控操作人員。高級視頻研判人員主要是公安機關(guān)從事視頻圖像偵查和情報信息研判工作的專業(yè)民警、職能民警。其次在業(yè)務(wù)環(huán)節(jié)上,圖偵可以分成以下幾個階段,每個階段都可以通過相應(yīng)的偵查措施方法以及圖像的智能工具來實現(xiàn)偵查研判的目的,如圖5-1所示。1、確定案事件偵查范圍。通過從接處警了解到的信息當中確認事發(fā)地點,再通過圖偵系統(tǒng)在PGIS地圖上進行搜索,列出相應(yīng)事發(fā)地點附近的監(jiān)控資源,可以通過地圖界定范圍確定案事件初步偵查區(qū)域。后期可以通過了解到的新信息,不斷修正劃定新的偵查區(qū)域。2、收集案事件信息。收集方式可以分為兩種,一是可以通過監(jiān)控聯(lián)網(wǎng)系統(tǒng)直接下載案事件相關(guān)的錄像資源；二是組織專業(yè)人員前往現(xiàn)場獲取相關(guān)圖像資源,在有條件的情況下配備獨立的便攜式離線圖偵系統(tǒng)單元進行工作。3、通過收集到的信息確定嫌疑人員、車輛。通過對視頻圖像信息的智能化分析處理得到進一步的線索,主要有以下幾種手段：〔1通過物體移動檢測來定位錄像中物體被移動的時間?！?通過警戒線來定位錄像中區(qū)域被人員、車輛進入的時間?！?通過車牌分析識別自動檢測記錄錄像中出現(xiàn)的所有車輛車牌?！?通過人臉定位分析來檢測記錄錄像中出現(xiàn)的所有人員正面的面部特征照片?！?通過視頻摘要將視頻中的背景和移動中的人員車輛等物體進行分離,對整段的錄像進行濃縮,實現(xiàn)在相當短的時間內(nèi)迅速瀏覽大段視頻,并快速定位嫌疑人員和車輛。對移動物體形成信息摘要,并可以判定其行進方向?！?通過人臉比對,實現(xiàn)圖像資源中截取的人臉和公安相關(guān)信息數(shù)據(jù)庫中存儲的人臉圖像進行比對,快速定位嫌疑人員身份。4、通過已有線索查尋人車信息。通過上述線索進一步查找嫌疑人車的活動范圍。5、人車行為、軌跡研判。對收集到的視頻圖像信息進行剪輯合并,在連續(xù)時間軸上分析出人、車的行為。根據(jù)收集到的案事件信息對人、車的軌跡在PGIS地圖上進行時空分析,串聯(lián)所有線索。6、通過案事件數(shù)據(jù)庫進行串并案分析。7、得出案事件研判分析報告。圖5-1視頻圖像偵查工作的業(yè)務(wù)流程圖5.3.關(guān)鍵業(yè)務(wù)交互視圖按照上述業(yè)務(wù)流程,圖偵系統(tǒng)的關(guān)鍵業(yè)務(wù)實體角色分為：圖偵人員、證據(jù)管理人員,研判客戶端、視頻聯(lián)網(wǎng)系統(tǒng)、視頻證據(jù)管理中心。圖偵人員在研判客戶端完成案事件的信息獲取和創(chuàng)建,并利用客戶端從監(jiān)控聯(lián)網(wǎng)系統(tǒng)完成案事件視頻的采集。研判客戶端為研判人員提供摘要分析、圖像增強處理、目標情報數(shù)據(jù)搜索等研判工具和能力,并生成研判結(jié)果,上傳至證據(jù)管理中心。管理人員登錄視頻證據(jù)管理中心,完成對所有視頻證據(jù)的發(fā)布審核,管理應(yīng)用權(quán)限和頁面模塊展現(xiàn)組合。定期開展全局圖偵業(yè)務(wù)工作的績效考核以及數(shù)據(jù)綜合分析,并在網(wǎng)站發(fā)布結(jié)果。圖偵系統(tǒng)的關(guān)鍵業(yè)務(wù)交互順序圖,如圖5-2所示。圖5-2圖偵系統(tǒng)關(guān)鍵業(yè)務(wù)交互順序圖5.4.與外部系統(tǒng)交互視圖圖偵系統(tǒng)與外部系統(tǒng)之間的業(yè)務(wù)交互順序圖,如圖5-3所示?！?圖偵系統(tǒng)在研判過程開始,將從警綜系統(tǒng)獲取案事件基本信息,在對圖像目標的研判過程中對發(fā)現(xiàn)的線索,利用警綜系統(tǒng)、大情報系統(tǒng)提供的目標情報數(shù)據(jù)進行綜合研判分析,驗證線索、情報?！?研判人員在圖偵系統(tǒng)直接進行視頻資源的查詢、下載。圖偵系統(tǒng)與視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)具備錄像的查詢、傳輸接口。圖5-3圖偵系統(tǒng)與外部系統(tǒng)交互順序圖5.5.摘要索引流程設(shè)計視頻摘要及檢索主要提供信息摘要、圖像壓縮和特征搜索等功能。當將視頻資源添加到視頻摘要工具后,依據(jù)摘要智能算法,通過人工設(shè)置顏色、人、車、物等摘要條件,建立.XML索引文件；同時通過對動態(tài)人、車、物等關(guān)鍵摘要內(nèi)容靜態(tài)圖片提取、固定的背景圖片提取,進而對用戶所關(guān)心的圖像提取、冗余圖像剝離進行有效壓縮。鑒于,壓縮后視頻文件的大小一般視場景的復(fù)雜度而定,復(fù)雜度低和變化少的圖像壓縮比例更高。目前平均大小為原始視頻的20%。經(jīng)過視頻摘要處理后,可以基于圖像中活動對象的顏色、尺寸、運動方向和活動范圍等特征,進行過濾搜索?？梢造o態(tài)圖片的形式展示,夠顯示嫌疑人或嫌疑車輛出現(xiàn)的時間,便于定位。如圖5-4所示。圖5-4視頻摘要索引業(yè)務(wù)處理流程視頻摘要及檢索系統(tǒng)的關(guān)鍵技術(shù)主要有:關(guān)鍵幀提取、圖像特征提取、圖像特征的相似性度量、查詢方式、以及視頻片段匹配等方法。1、關(guān)鍵幀提?。宏P(guān)鍵幀是用于描述一個鏡頭的關(guān)鍵圖像幀,它反映一個鏡頭的主要內(nèi)容。關(guān)鍵幀的選取一方面必須能夠反映鏡頭中的主要事件,因而描述應(yīng)盡可能地準確完全,另一方面要便于檢索。關(guān)鍵幀的選取方法很多,比較經(jīng)典的有幀平均法和直方圖平均法。2、圖像特征提?。禾卣魈崛】梢葬槍D像內(nèi)容的底層物理特征進行提取,如顏色直方圖、圖像輪廓特征等。特征的表示方式有三種:數(shù)值信息、關(guān)系信息和文字信息。目前,多數(shù)系統(tǒng)采用的都是數(shù)值信息。3、相似性度量：在鏡頭檢索上,早期的工作主要是從鏡頭中提取關(guān)鍵幀,把鏡頭檢索轉(zhuǎn)化為圖像檢索。例如通常情況下,圖像的特征向量可看作是多維空間中的一點,因此很自然的想法就是用特征空間中點與點之間的距離來代他們的匹配程度,距離度量是一個比較常用的方法,此外還有相關(guān)計算、關(guān)聯(lián)系數(shù)計算等。此外,目前研究的問題還在于怎樣對視頻中的時間信息充分進行利用。在片段檢索上,研究方法可以分為兩類：〔1把視頻片段分為片段、幀兩層考慮,片段的相似性利用組成它的幀的相似性來直接度量；〔2把視頻片段分為片段、鏡頭、幀3層考慮,片段的相似性通過組成它的鏡頭的相似性來度量,而鏡頭的相似性通過它的一個關(guān)鍵幀或所有幀的相似性來度量。方法〔1的缺點在于限制相似的片段必須遵守同樣的時間順序,同時這種基于每幀的比較,也使得檢索速度比較慢。方法〔2的思想比較合理,但這種方法在已有的研究中并沒有很好解決片段檢索的問題。4、查詢方式:由于圖像特征本身的復(fù)雜性,對查詢條件的表達也具有多樣性,使用的特征不同,對查詢的表達方式也不一樣。目前查詢方式基本上可歸納為以下幾種:底層物理特征查詢、自定義特征查詢、局部圖像查詢和語義特征查詢。5、視頻片斷的匹配:由于同一鏡頭連續(xù)圖像幀的相似性,使得經(jīng)常出現(xiàn)同一樣本圖像的多個相似幀的出現(xiàn),因而需要在查詢到的一系列視頻圖像中,找出最佳的匹配圖像序列。已經(jīng)有研究提出了最優(yōu)匹配法、最大匹配法和動態(tài)規(guī)劃算法等。5.6.視頻圖像取證單元設(shè)計5.6.1視頻檢測規(guī)則根據(jù)社會治安形勢的動態(tài)變化,落實打防管控一體化運作、警衛(wèi)安保任務(wù)、大型活動案件等工作的需要,充分利用絆線報警、流量統(tǒng)計和智能識別等檢測技術(shù),在活動現(xiàn)場及周邊、案事件現(xiàn)場及周邊、停車場等治安關(guān)鍵節(jié)點,進行視頻視頻監(jiān)控檢測的預(yù)警規(guī)則設(shè)定,保存到規(guī)則數(shù)據(jù)庫,并通過后臺服務(wù)器對接入端口的視頻監(jiān)控畫面進行實時智能檢測比對。目前,在公安工作中運用得較為成熟的視頻檢測技術(shù)有：車輛行為檢測、人體行為檢測、運動路徑檢測、絆線檢測、禁區(qū)入侵檢測、車牌識別；其次有：車輛流量統(tǒng)計、人員流量統(tǒng)計、遺留物品檢測、物品消失或移動檢測、攝像機信號檢測、人群聚集檢測等；在應(yīng)用探索中的有：人臉檢測/識別、速度異常檢測、車輛型號比對識別、車標識別等。5.6.2預(yù)警事件處理視頻檢測及分析服務(wù)器,對前端攝像頭下的車輛、行人的行為按預(yù)先設(shè)定的智能規(guī)則進行檢測、識別,發(fā)現(xiàn)異?，F(xiàn)象或者違規(guī)行為,即對現(xiàn)場圖片或視頻進行保存、識別,形成結(jié)構(gòu)化視頻證據(jù)信息,并進行報警提示。監(jiān)控值班人員進行核查后,屬于報警案事件的,即輸入處警結(jié)構(gòu)信息并上傳保存到警綜系統(tǒng)接處警模塊,形成的視頻證據(jù)進入視頻證據(jù)管理中心數(shù)據(jù)庫。如圖5-5所示。圖5-5視頻預(yù)警檢測數(shù)據(jù)采集處理示例5.6.3視頻圖像采集視頻圖像取證單元能夠在線獲取所需的視頻錄像文件,可從監(jiān)控聯(lián)網(wǎng)系統(tǒng)直接獲取鏡頭資源信息,并可以查詢和下載每個鏡頭的對應(yīng)錄像文件；也支持從PGIS地圖上直接選取鏡頭,選擇需要下載的時間段,并下載對應(yīng)的視頻文件。如圖5-6所示。根據(jù)案事件發(fā)生的地點、時間、嫌疑人特征,把視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)中或者本地的監(jiān)控信息,上傳到視頻圖像取證單元中,并可進行關(guān)鍵字標注。圖5-6在線視頻采集流程5.6.4視頻證據(jù)提取視頻取證單元對導(dǎo)入的視頻文件進行摘要分析處理,形成結(jié)構(gòu)化的案事件索引機制,以便快速定位案件線索,提升視頻研判效率。對確定涉嫌的視頻文件中嫌疑人〔車、物出現(xiàn)的圖片或視頻短片進行抓取、截取,生成新的證據(jù)文件。如圖5-7所示?！?證據(jù)圖片截?。褐С謴囊曨l中截取圖片作為證據(jù)；〔2證據(jù)圖片處理：支持對截取的圖片進行繪圖和文字的批注；〔3視頻短片截?。耗軌?qū)σ曨l中可做為證據(jù)線索的片段進行截??；同時,能夠?qū)?dǎo)入的視頻文件進行查詢播放、記錄刪除、信息編輯和案件關(guān)聯(lián)等操作。為提高視頻研判效率,一般要求視頻取證單元支持2-4路視頻的同時摘要處理。圖5-7視頻摘要處理示意圖同時,可以對證據(jù)圖像進行批注或進行亮度、色彩飽和度的調(diào)節(jié)和簡單的清晰化處理,讓模糊的圖像更易于識別。5.6.5證據(jù)信息標注獲取原始視頻圖像,或者進行摘要處理以后,上傳到視頻證據(jù)管理中心數(shù)據(jù)庫之前,可針對摘要結(jié)果中某一案事件〔物件導(dǎo)出原始視頻片段,或剪輯、抓拍案件關(guān)聯(lián)的圖像,并進行標注和結(jié)構(gòu)化證據(jù)描述,支持對研判結(jié)果進行編排,實現(xiàn)本地保存或上傳到證據(jù)管理中心。主要是針對截取出的證據(jù)元素進行人、車、物的文字信息描述,描述錄入的信息包括：標題、描述、涉人信息、涉車信息等,留下與案事件相關(guān)的視頻、圖片信息?！?人員信息錄入：支持對證據(jù)圖片或證據(jù)短片中的人員錄入文字描述信息,同一證據(jù)可以添加多個人物；〔2車輛信息錄入：支持對證據(jù)中涉及到的車輛錄入文字描述?！?物件信息錄入：支持對證據(jù)中涉及到的物品錄入文字描述?！?對圖片的標注：可直接在圖片上標注嫌疑的車輛或人員,上傳時必須將原始圖片與標注后的圖片同時上傳。要注意不可在原始圖片上進行編輯,因為這些圖片有可能作為證據(jù)來使用,上傳的圖片必須是原始的?！?對視頻的標注：包括視頻的剪輯1小時的錄像,其中5分鐘是有用的,把這5分鐘剪輯出來、視頻的截圖、時間標注等,標注視頻在什么時間段出現(xiàn)了問題,問題的相關(guān)描述等?！?地圖軌跡標注：一般需要與警用地理信息系統(tǒng)進行聯(lián)網(wǎng)開發(fā)后,才能使取證系統(tǒng)實現(xiàn)這一功能。5.6.6視頻格式標準化視頻取證單元集成了大部分主流廠家的視頻解碼器,對采集到的不同類型視頻文件能自動判定其編碼格式,匹配相應(yīng)編碼器進行播放。還可根據(jù)需要將導(dǎo)入的視頻數(shù)據(jù)轉(zhuǎn)碼成標準格式,進行保存或存儲到視頻證據(jù)管理中心。如圖5-8所示：圖5-8視頻格式標準化處理示意圖視頻格式標準化的實現(xiàn)算法有五個步驟,如圖5-9所示?！?原始視頻：各個廠商的原始視頻,各個廠商的私有格式,通用播放器不能播放?！?視頻分析模塊：分析各個廠商的原始視頻,是屬于哪個廠商,視頻格式是什么,此模塊根據(jù)各主流廠商的編碼特性,能快速的識別出主流廠商的碼流?！?窮舉分析模塊：對于視頻分析模塊分析不出來的碼流,則送入此模塊進行分析,主要用于非主流廠商的碼流分析。把送入的碼流與各種標準格式進行對比,從而分析出原始碼流的特性?！?解碼模塊：通過前面的分析,把原始碼流送入到相應(yīng)的解碼模塊