視頻監(jiān)控大數(shù)據(jù)的關(guān)鍵技術(shù)和應(yīng)用

1、視頻監(jiān)控大數(shù)據(jù)的關(guān)鍵技術(shù)和應(yīng)用Document serial number【KKGB-LBS98YT-BS8CB-BSUT-BST108】視頻監(jiān)控大數(shù)據(jù)的關(guān)鍵技術(shù)和應(yīng)用隨著全國各地平安城市、行業(yè)安防等項目的大規(guī)模建設(shè)，視頻監(jiān)控在安防領(lǐng)域中發(fā) 揮著越來越重要的作用，成為技術(shù)防范的最有力手段。而在新的技術(shù)條件和應(yīng)用需求的 推動下，視頻監(jiān)控將迎來系統(tǒng)融合和大數(shù)據(jù)的新時代，其產(chǎn)生的數(shù)據(jù)將會迅速地增長， 如何從這些數(shù)據(jù)中獲得有效的信息和服務(wù)，是我們必須要面對的重要問題。筆者認(rèn)為， 大數(shù)據(jù)處理技術(shù)的應(yīng)用，將成為下一代視頻監(jiān)控的發(fā)展關(guān)鍵。視頻監(jiān)控的大數(shù)據(jù)趨勢視頻監(jiān)控從最早的模擬閉路監(jiān)控系統(tǒng)開始，經(jīng)歷過模擬監(jiān)

2、控、數(shù)字監(jiān)控、網(wǎng)絡(luò)監(jiān)控 等重要發(fā)展階段，如今進入了大數(shù)據(jù)的時代，并面臨著一系列的挑戰(zhàn)。視頻監(jiān)控產(chǎn)生的數(shù)據(jù)正迅速增長視頻監(jiān)控數(shù)據(jù)的增長有三個主要的因素。首先，視頻監(jiān)控不再是一個獨立割裂的系 統(tǒng)，系統(tǒng)的融合將催生更豐富的數(shù)據(jù)。GB/T28181-2011標(biāo)準(zhǔn)的發(fā)布和實施，在很大程度 上改善了各大平臺廠家各自為戰(zhàn)、互不兼容的亂象，在“大聯(lián)網(wǎng)”的背景下，所有的視 頻監(jiān)控數(shù)據(jù)將能實現(xiàn)深度共享和統(tǒng)一處理。此外，安防監(jiān)控的發(fā)展趨勢是融合化，視頻 監(jiān)控平臺與其它多種系統(tǒng)之間如警綜、消防、卡口、門禁等，將實現(xiàn)資源和數(shù)據(jù)的無縫 整合，統(tǒng)一協(xié)作，形成社會化的大系統(tǒng)。其次，高清視頻的編解碼能力不斷提高，導(dǎo)致數(shù)據(jù)生成的

3、厚度和精度不斷提升，高 分辨率和高幀率已成為視頻監(jiān)控主流需求。再次，數(shù)據(jù)生成點的規(guī)模在不斷擴大，視頻監(jiān)控的覆蓋范圍和監(jiān)控點、卡口的數(shù)量 都以30%以上的增長率在快速增加。我國安裝的監(jiān)控攝像頭目前已超過3000萬個，每年 產(chǎn)生數(shù)萬PB的數(shù)據(jù)量。視頻監(jiān)控數(shù)據(jù)的管理存在瓶頸數(shù)據(jù)的爆炸式增長，意味著需要投入更多的資源以及付出更多的努力，才能在這些 體量龐大的數(shù)據(jù)中尋找到有價值的信息。目前對視頻監(jiān)控數(shù)據(jù)的管理能力較弱，其發(fā)展 沒能跟上數(shù)據(jù)增長的速度，體現(xiàn)在以下幾個方面：數(shù)據(jù)的存儲和管理視頻監(jiān)控數(shù)據(jù)具有高并發(fā)、大容量的特點。以1080P為例，在8Mbps的碼率下，每 個攝像頭每天產(chǎn)生的視頻數(shù)據(jù)約84GB，

4、中等城市的監(jiān)控規(guī)模一般為數(shù)千到數(shù)萬個攝像頭， 而且這些數(shù)據(jù)一般要求必須在系統(tǒng)中保存30天以上。存儲系統(tǒng)還必須具有高級別的容 錯性，存儲介質(zhì)的故障率通常較高，但故障發(fā)生時不應(yīng)造成監(jiān)控數(shù)據(jù)的丟失。此外，由 于安防項目本身在不斷發(fā)展，系統(tǒng)可能要進行在線擴容和升級，這就要求存儲系統(tǒng)具有 高度的可擴展性，可在系統(tǒng)中簡單便捷地增添存儲設(shè)備。目前主要采用分級集中存儲的方案，視頻數(shù)據(jù)按區(qū)域存儲在不同的子平臺中，通常 使用RAID來進行存儲。但RAID在性能、利用率、可靠性等方面很難達到理想的平衡， 而且成本偏高。另外，各區(qū)域的視頻數(shù)據(jù)被分割存放，數(shù)據(jù)共享流程繁瑣，不利于存儲 和計算資源的集中配置，也不利于數(shù)據(jù)

5、的統(tǒng)一分析。數(shù)據(jù)的智能分析圖像視頻的理解和識別一直是計算機視覺領(lǐng)域的難題，由于很難智能地分析出視頻 中蘊含的豐富內(nèi)容，我們?nèi)匀灰馁M大量的人力物力，在海量的視頻監(jiān)控數(shù)據(jù)中查找有 價值的信息。例如在“周克華”案中，為了查找嫌疑人線索，長沙警方投入約兩千名民 警，花了 1個多月的時間反復(fù)查看監(jiān)控錄像，視頻量相當(dāng)于83萬部電影。目前，雖然基于內(nèi)容的智能分析在安防領(lǐng)域得到了研究和推廣，但也僅限于較低層 次的應(yīng)用，例如人臉識別、車牌識別、物體檢測、人流統(tǒng)計、周界防范等。智能分析除 了受限于算法的發(fā)展，更受限于計算能力的發(fā)展，智能分析的算法復(fù)雜度較高，而且其 樣本數(shù)量龐大，非普通計算系統(tǒng)所能勝任。數(shù)據(jù)的融

6、合與協(xié)同應(yīng)用目前，視頻監(jiān)控系統(tǒng)與其它相關(guān)系統(tǒng)之間，只是基于視頻瀏覽等基礎(chǔ)功能進行有限 的對接。但如果能進行更深入的融合，通過對多種關(guān)聯(lián)數(shù)據(jù)進行分析，可以挖掘出更有 價值的應(yīng)用，例如刑偵線索分析、案件規(guī)律分析、社會輿情分析、金融詐騙分析、公共 交通優(yōu)化等。如何對這些海量的融合數(shù)據(jù)進行清洗和選擇，并建立有效的分析模型是一 個有趣的挑戰(zhàn)。大數(shù)據(jù)處理的關(guān)鍵技術(shù)大數(shù)據(jù)在近幾年成了炙手可熱的流行詞匯，并經(jīng)常和云計算聯(lián)系在一起，它是指大 小超出了常用的軟件工具在運行時間內(nèi)可以承受的收集、管理、處理數(shù)據(jù)能力的數(shù)據(jù) 集。一般將大數(shù)據(jù)歸納為三個特征，即3V：體量巨大（Volumn）、類型多樣（Variety）、快

7、速處理（Velocity）。在大數(shù)據(jù)中，絕大部分由非結(jié)構(gòu)化數(shù)據(jù)組成。 據(jù)統(tǒng)計，目前在全球所有大數(shù)據(jù)中占主導(dǎo)地位的是圖像視頻數(shù)據(jù)，2012年其占比已達到 了 80%，2013年預(yù)計接近90%。大數(shù)據(jù)的關(guān)鍵技術(shù)涵蓋了數(shù)據(jù)采集、傳輸、存儲、處理、應(yīng)用等各個環(huán)節(jié)，本文主 要圍繞視頻大數(shù)據(jù)的存儲和處理來進行闡述。傳統(tǒng)的數(shù)據(jù)處理方法是以處理器為中心， 而大數(shù)據(jù)具有海量和分布性的特點，需要采取以數(shù)據(jù)為中心的模式，將計算任務(wù)分配到 數(shù)據(jù)所在的節(jié)點中執(zhí)行，減少數(shù)據(jù)移動帶來的龐大開銷。云計算是大數(shù)據(jù)處理的核心技 術(shù)，是大數(shù)據(jù)挖掘的主流方式。在業(yè)界，很多公司已經(jīng)意識到大數(shù)據(jù)挖掘的重要意義， 研發(fā)了一系列針對大數(shù)據(jù)進

8、行處理的云計算技術(shù)，其中最具代表性的是開源的Hadoop 及其周邊的生態(tài)系統(tǒng)。及其生態(tài)系統(tǒng)Hadoop是一個開源的分布式基礎(chǔ)架構(gòu)，可以讓用戶輕松構(gòu)建云計算平臺。Hadoop的 優(yōu)勢在于它的靈活性、擴展性、經(jīng)濟性、可靠性，適合對大容量、高速率、多樣化的大 數(shù)據(jù)進行分布式的處理，而且具有很高的性能。例如Visa公司需要計算兩年的記錄， 包括730億筆交易、高達36TB的數(shù)據(jù)。如果用傳統(tǒng)方法需要1個月，而采用基于 Hadoop的處理技術(shù)只要13分鐘。Hadoop由HDFS分布式文件系統(tǒng)和MapReduce計算模型組成，可以滿足大數(shù)據(jù)存儲 和處理的需要。而且，圍繞Hadoop 已經(jīng)構(gòu)建了一個龐大的生態(tài)

9、系統(tǒng)，如圖1所示。圖1 Hadoop及其生態(tài)系統(tǒng)其中，HBase是面向列存儲的分布式數(shù)據(jù)庫，Zookeeper是分布式協(xié)同工作系統(tǒng)， Avro是數(shù)據(jù)序列化系統(tǒng)，Pig和Hive是基于Hadoop的數(shù)據(jù)挖掘語言和工具， Cascading是封裝了 Hadoop細(xì)節(jié)的數(shù)據(jù)處理工作流API，Mahout是機器學(xué)習(xí)領(lǐng)域經(jīng)典算 法在Hadoop 上的實現(xiàn)，Sqoop可以在HDFS和RDBMS之間轉(zhuǎn)換數(shù)據(jù)，F(xiàn)lume是海量日志 采集系統(tǒng)。下面將簡單介紹較為關(guān)鍵的HDFS、HBase、MapReduce。HDFS的系統(tǒng)架構(gòu)如圖2所示。HDFS中包括1個NameNode節(jié)點，用于記錄文件的元 數(shù)據(jù)；還包括多個

10、DataNode節(jié)點，提供實際的存儲塊。存儲在HDFS中的文件被分成 塊，然后將這些塊復(fù)制到多個DataNode，以提高數(shù)據(jù)的并發(fā)吞吐量。存儲塊的大?。ㄍ?常為64MB）和副本的數(shù)量在創(chuàng)建文件時由客戶機決定，由此保證數(shù)據(jù)的可靠性。 NameNode可以控制所有文件操作，它與DataNode之間通過心跳來傳遞狀態(tài)信息。HDFS 內(nèi)部的所有通信都基于標(biāo)準(zhǔn)的TCP/IP協(xié)議。圖2 HDFS的系統(tǒng)架構(gòu)視頻監(jiān)控數(shù)據(jù)具有如下特點：1）需要存儲大量GB級甚至TB級的大文件；2）文件 具有一次寫多次讀的特點；3）文件讀操作以大規(guī)模的流式讀和小規(guī)模的隨機讀構(gòu)成； 4）系統(tǒng)需要有效處理并發(fā)的追加寫操作。這些特點正

11、好與HDFS的設(shè)計理念相符合。因 此HDFS可用于對以視頻監(jiān)控為主的海量數(shù)據(jù)提供分布式存儲和管理。HBase是構(gòu)建在HDFS之上的NoSQL數(shù)據(jù)庫。NoSQL數(shù)據(jù)庫是無模式、非關(guān)系型的， 能支持對海量數(shù)據(jù)的高并發(fā)存儲和訪問，可以靈活地處理非結(jié)構(gòu)性的數(shù)據(jù)，而不需要事 先定義它們，因此具有良好的可擴展性。NoSQL在事務(wù)的嚴(yán)格一致性、數(shù)據(jù)實時同步、 支持復(fù)雜的查詢等方面不具有優(yōu)勢，但在大數(shù)據(jù)時代，這些特點變得不那么重要。在數(shù)據(jù)管理方面，HBase將一整張數(shù)據(jù)表拆分成許多存儲于HDFS下的子表，并由 Zookeeper負(fù)責(zé)數(shù)據(jù)一致性管理。在數(shù)據(jù)模型方面，HBase以行名、列名、時間戳建立 索引，表中

12、的數(shù)據(jù)項由無結(jié)構(gòu)的字節(jié)數(shù)組表示。這種靈活的數(shù)據(jù)模型保證HBase適用于 多種不同應(yīng)用環(huán)境。在安防系統(tǒng)中，HBase可適用于各類融合數(shù)據(jù)的存儲和訪問，為視 頻監(jiān)控與其它不同系統(tǒng)的深度整合提供良好的數(shù)據(jù)平臺。MapReduce是由Google提出的一個軟件架構(gòu)，是目前云計算平臺上實際公認(rèn)的并行 編模型標(biāo)準(zhǔn)，運行于HDFS和HBase系統(tǒng)之上。其執(zhí)行過程如圖3所示。圖3 MapReduce的執(zhí)行過程MapReduce包括Map（映射）和Reduce （化簡）兩個階段，首先將待處理的海量數(shù) 據(jù)分割后執(zhí)行map操作，然后對其輸出內(nèi)容進行合并、排序，再執(zhí)行reduce操作，將 最終結(jié)果進行匯總。整個執(zhí)行過

13、程的各種細(xì)節(jié)在MapReduce框架中自動處理，包括任務(wù) 調(diào)度、負(fù)載均衡、數(shù)據(jù)分配、容錯機制、網(wǎng)絡(luò)通信、本地化計算等?？梢哉f，HDFS和HBase實現(xiàn)了對海量數(shù)據(jù)高效的分布式存儲，而MapReduce在此基 礎(chǔ)上提供由編程框架自動控制的、對用戶透明的計算資源和數(shù)據(jù)資源的并行調(diào)度和數(shù)據(jù) 同步機制，可根據(jù)業(yè)務(wù)規(guī)模自動伸縮、從而為程序開發(fā)者屏蔽了底層的復(fù)雜性，簡化了 分布式并行處理業(yè)務(wù)的編程開發(fā)工作。一個典型的MapReduce計算處理通常可以分布到 上千個計算節(jié)點中來處理上TB的數(shù)據(jù)，這對海量視頻監(jiān)控數(shù)據(jù)的并行處理尤為重要。大數(shù)據(jù)技術(shù)在視頻監(jiān)控中的應(yīng)用視頻監(jiān)控產(chǎn)生的數(shù)據(jù)增長很快，需要構(gòu)建一個彈性而

14、高效的處理平臺，主要解決兩 方面的問題：1）數(shù)據(jù)的存儲、管理、訪問；2）數(shù)據(jù)的處理和分析，包括轉(zhuǎn)換、挖掘、 搜索、智能識別等?；谝陨辖榻B的Hadoop，可以實現(xiàn)一個視頻監(jiān)控大數(shù)據(jù)的應(yīng)用框 架，將其部署在可擴展的存儲和計算資源之上，以滿足大數(shù)據(jù)所帶來的各種新的業(yè)務(wù)需 求。視頻監(jiān)控大數(shù)據(jù)的應(yīng)用框架應(yīng)用框架包括了負(fù)責(zé)對數(shù)據(jù)進行存儲和處理的大數(shù)據(jù)平臺、支持高并發(fā)訪問的視頻 分發(fā)網(wǎng)絡(luò)、面向應(yīng)用的平臺調(diào)度和服務(wù)接口。如圖4所示。圖4視頻監(jiān)控大數(shù)據(jù)的應(yīng)用框架其中，大數(shù)據(jù)平臺基于Hadoop集群來實現(xiàn)，是整個應(yīng)用框架的核心部分，它接入并 存儲視頻監(jiān)控數(shù)據(jù)和其它各類安防數(shù)據(jù)，然后根據(jù)指令對其進行處理。視頻分發(fā)

15、網(wǎng)絡(luò)則 是為了滿足視頻訪問的需要，這些訪問可能是跨地域分布的，因此應(yīng)考慮網(wǎng)絡(luò)帶寬的優(yōu) 化。平臺調(diào)度和服務(wù)則是面向業(yè)務(wù)和應(yīng)用的，是大數(shù)據(jù)平臺和用戶之間溝通的橋梁，它 可以通知大數(shù)據(jù)平臺即時執(zhí)行來自業(yè)務(wù)系統(tǒng)的請求，也可以通過設(shè)定任務(wù)的執(zhí)行策略， 自動觸發(fā)大數(shù)據(jù)平臺進行指定數(shù)據(jù)的處理。此外，與平臺管理相關(guān)的結(jié)構(gòu)化信息保存在 關(guān)系型數(shù)據(jù)庫中。大數(shù)據(jù)平臺大數(shù)據(jù)平臺中有兩層對外的接口，分別是統(tǒng)一數(shù)據(jù)接入層、統(tǒng)一存儲和計算接口 層。統(tǒng)一數(shù)據(jù)接入層負(fù)責(zé)采集視頻監(jiān)控數(shù)據(jù)和來自其它業(yè)務(wù)系統(tǒng)的安防數(shù)據(jù)，它通過配 置不同的適配器來接入種類不一的數(shù)據(jù)類型，對這些數(shù)據(jù)進行清洗和轉(zhuǎn)換之后，存入 HDFS或HBase中。對于

16、視頻監(jiān)控數(shù)據(jù)的接入來說，應(yīng)支持多種規(guī)范，例如GB/T 28181、ONVIF、PSIA 等主流協(xié)議。統(tǒng)一存儲和計算接口層封裝了云計算處理框架中的復(fù)雜細(xì)節(jié)，向應(yīng)用層提供簡單易 用的開發(fā)接口。為了高效支撐日益豐富的數(shù)據(jù)和應(yīng)用，未來的云計算處理框架中可能同 時采用多種相異的技術(shù)，例如對存儲來說，可以同時支持HDFS、NoSQL、對象存儲等， 而這些不同技術(shù)類型的差異，將被屏蔽在接口層之下，應(yīng)用層不需要關(guān)心具體數(shù)據(jù)的存 儲方式和位置。云計算處理框架構(gòu)建了一個可擴展的Hadoop集群，可以實現(xiàn)大數(shù)據(jù)的海量存儲和并 行處理。Hadoop生產(chǎn)環(huán)境的部署較為繁瑣，需要開發(fā)自動化的配置和管理工具，保障平 臺的快

17、速部署和良好運作。HDFS可用于存儲視頻監(jiān)控錄像，HBase則用于存儲卡口數(shù)據(jù)、告警數(shù)據(jù)、檢測數(shù) 據(jù)、案件數(shù)據(jù)、分析數(shù)據(jù)等半結(jié)構(gòu)化的信息。MapReduce對存儲在HDFS和HBase中的數(shù) 據(jù)進行分割，然后進行大規(guī)模的并行處理、分析，從價值密度很低的監(jiān)控大數(shù)據(jù)中挖掘 出有意義的信息。大數(shù)據(jù)平臺在處理功能上不存在限制，只需要開發(fā)好相應(yīng)的處理算 法，就可以裝載到云計算處理框架中執(zhí)行。針對安防監(jiān)控行業(yè)，典型的處理可以歸納為 視頻轉(zhuǎn)碼、智能分析、融合挖掘、信息檢索等。視頻轉(zhuǎn)碼視頻轉(zhuǎn)碼是安防監(jiān)控中常見的需求，可在空域、時域上進行重采樣后重新壓縮，或 者轉(zhuǎn)換成更高級別的編碼標(biāo)準(zhǔn)，從而可以更有效地利用存儲

18、資源、適應(yīng)更豐富的終端類 型。利用Hadoop的特點，能實現(xiàn)對視頻轉(zhuǎn)碼的并行處理，而且由于MapReduce框架對 GPU平臺的適應(yīng)性很好，將它們結(jié)合起來可作為視頻轉(zhuǎn)碼的有效手段。智能分析對于存儲在HDFS中的視頻錄像和其它各類數(shù)據(jù)，可以通過MapReduce并行分析它 們的特征，例如人臉特征、指紋特征、物體特征、行為特征等，將特征庫保存在HBase 中，為后續(xù)的特征比對做準(zhǔn)備?；蛘哚槍σ曨l錄像進行分析，提取視頻中的要素，作為 視頻的語義描述。進一步形成的視頻摘要，也存儲在HDFS中。融合挖掘在一個融合的監(jiān)控系統(tǒng)中，除了視頻監(jiān)控數(shù)據(jù)，其它安防類的監(jiān)控數(shù)據(jù)也蘊含了豐 富的信息，而且它們之間可能存

19、在某些關(guān)聯(lián)，這就需要我們設(shè)計有效的模型對其進行挖 掘，通過Hadoop能很好滿足類似的各種應(yīng)用。信息檢索在海量的視頻錄像和繁多的安防數(shù)據(jù)中查找相關(guān)的內(nèi)容，是一項艱巨的挑戰(zhàn)。結(jié)合 智能分析獲得的視頻描述，以及從其它各類數(shù)據(jù)中提取的描述，可以通過Hadoop平臺 為其建立索引，并計算它們之間的相關(guān)性，向業(yè)務(wù)系統(tǒng)提供信息檢索服務(wù)。視頻分發(fā)網(wǎng)絡(luò)視頻監(jiān)控的首要應(yīng)用是對視頻錄像進行瀏覽和查看，其特點是高并發(fā)、跨地域訪 問、隨機性強、熱點相對集中、播放控制手段多。HDFS雖然支持高并發(fā)的訪問，但對隨 機讀取的支持較弱，不適合直接向用戶提供視頻錄像的瀏覽訪問，可以通過構(gòu)建視頻分 發(fā)網(wǎng)絡(luò)來解決這個問題。視頻分發(fā)

20、網(wǎng)絡(luò)從大數(shù)據(jù)平臺中讀取視頻錄像，根據(jù)訪問情況將視頻分發(fā)到相應(yīng)的節(jié) 點，供用戶進行瀏覽和訪問，而且很方便地實現(xiàn)多樣化的播放控制。在視頻分發(fā)網(wǎng)絡(luò) 中，通過內(nèi)容分布、負(fù)載均衡、傳輸優(yōu)化、緩存管理等技術(shù)，使用戶獲得良好的訪問體 驗。平臺調(diào)度和服務(wù)平臺調(diào)度和服務(wù)承擔(dān)著如何有效管理和使用整個大數(shù)據(jù)平臺的重任，包括面向上層 業(yè)務(wù)的應(yīng)用接入服務(wù)和面向大數(shù)據(jù)平臺的任務(wù)調(diào)度管理。應(yīng)用接入服務(wù)是上層各種業(yè)務(wù)系統(tǒng)的入口，它接收到大數(shù)據(jù)處理的請求之后，下發(fā) 給任務(wù)調(diào)度管理，通過大數(shù)據(jù)平臺來執(zhí)行相應(yīng)的處理，并向業(yè)務(wù)系統(tǒng)返回處理的結(jié)果。任務(wù)調(diào)度管理負(fù)責(zé)觸發(fā)、終止、監(jiān)控大數(shù)據(jù)平臺中的處理任務(wù)，既接受來自應(yīng)用接 入服務(wù)的請求，也維護周期性的計劃任務(wù)，通過智能化的任務(wù)策略對其進行調(diào)度。除了視頻監(jiān)控數(shù)據(jù)、其它安防業(yè)務(wù)數(shù)據(jù)等之外，系統(tǒng)中需要維護另一種數(shù)據(jù)，即支 撐業(yè)務(wù)運行的管理信息，例如用戶信息、權(quán)限信息、設(shè)備信息、任務(wù)計劃等。這些大多 是結(jié)構(gòu)化的數(shù)據(jù)，我們將其保存在傳統(tǒng)的關(guān)系型數(shù)據(jù)庫中。不足和挑戰(zhàn)以上介紹的大數(shù)據(jù)處理平臺可以很好地實現(xiàn)視頻監(jiān)控大數(shù)據(jù)的存儲、處理，并且由 于其架構(gòu)在可動態(tài)擴展的硬件資源和軟件系統(tǒng)之上，可以彈性地滿足日益增長的數(shù)據(jù)和 相應(yīng)的業(yè)務(wù)需求。但也存在一些不足和挑