大數(shù)據(jù)與視頻監(jiān)控

大數(shù)據(jù)與視頻監(jiān)控大數(shù)據(jù)的背景就是“信息爆炸”，隨著物聯(lián)網(wǎng)、電子商務(wù)、視頻網(wǎng)站、平安城市視頻監(jiān)控、微博、微信等應(yīng)用的迅速發(fā)展，數(shù)據(jù)信息呈爆炸性增長。據(jù)統(tǒng)計(jì)，2012年，全球的電腦用戶平均每天創(chuàng)造200多億GB數(shù)據(jù)；沃爾瑪僅每小時處理的客戶交易就超過100萬次；每天亞馬遜上將產(chǎn)生600萬筆訂單；Twitter上每天發(fā)布5千萬多條消息；Facebook上的照片有400億張；YouTube網(wǎng)站用戶每分鐘上傳50小時時長的視頻；Google每天處理的搜索量超過30億次；安裝有20萬高清攝像頭的平安城市，每天至少產(chǎn)生1P的視頻數(shù)據(jù)。這些被學(xué)術(shù)界分為結(jié)構(gòu)化、非結(jié)構(gòu)化以及半結(jié)構(gòu)化的海量的各類數(shù)據(jù)，統(tǒng)稱“大數(shù)據(jù)”(BigData)。大數(shù)據(jù)是指無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合，大數(shù)據(jù)技術(shù)被設(shè)計(jì)用于在成本可承受（Economically）的條件下，通過非?？焖伲╒elocity）的采集、發(fā)現(xiàn)和分析，從大量化（Volume）、多類別（Variety）的數(shù)據(jù)中提取出價值（Value），大數(shù)據(jù)融合云計(jì)算是IT領(lǐng)域新一代的技術(shù)與架構(gòu)。大數(shù)據(jù)的應(yīng)用分以下幾個步驟：數(shù)據(jù)采集、核實(shí)與過濾；在數(shù)據(jù)倉庫內(nèi)的分類和儲存；數(shù)據(jù)挖掘以找到數(shù)據(jù)所隱含的規(guī)律和數(shù)據(jù)間的關(guān)聯(lián)；數(shù)據(jù)模型建立和參數(shù)調(diào)整；基于數(shù)據(jù)的應(yīng)用開發(fā)和決策支持。行業(yè)一般認(rèn)為，云計(jì)算的核心是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供了保管、訪問的場所和渠道。如何挖掘數(shù)據(jù)資產(chǎn)，使其為商業(yè)經(jīng)營、企業(yè)決策乃至公共安全服務(wù)，是大數(shù)據(jù)的核心議題，也是云計(jì)算內(nèi)在的靈魂和必然的發(fā)展方向。大數(shù)據(jù)技術(shù)將是IT領(lǐng)域新一代的技術(shù)與架構(gòu)，他將幫助人們從大體量，高復(fù)雜的數(shù)據(jù)中提取價值。簡言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力，就是大數(shù)據(jù)技術(shù)。目前看，通過用戶行為分析實(shí)現(xiàn)精準(zhǔn)營銷是大數(shù)據(jù)的典型而比較成功的應(yīng)用目前看，通過用戶行為分析實(shí)現(xiàn)精準(zhǔn)營銷是大數(shù)據(jù)的典型而比較成功的應(yīng)用，但是大數(shù)據(jù)在各行各業(yè)特別是公共服務(wù)領(lǐng)域具有廣闊的應(yīng)用前景，包括安全、氣象、醫(yī)療甚至軍事。高清監(jiān)控目前存在的問題(1)海量數(shù)據(jù)存儲&擴(kuò)展問題(2)海量數(shù)據(jù)智能計(jì)算&分析問題(3)系統(tǒng)高可靠性&冗余問題大數(shù)據(jù)視頻監(jiān)控的優(yōu)勢以Hadoop為主的大數(shù)據(jù)技術(shù)，核心特點(diǎn)是分布式存儲架構(gòu)(HDFS)及分布式計(jì)算框架（Map-Reduce），Hadoop架構(gòu)非常適合一次寫入，多次讀取、高效計(jì)算、海量數(shù)據(jù)的存儲及分析計(jì)算，而高清網(wǎng)絡(luò)視頻監(jiān)控應(yīng)用正好契合這些特點(diǎn)，視頻監(jiān)控資源通過網(wǎng)絡(luò)進(jìn)行分布存儲（到不同節(jié)點(diǎn)），視頻數(shù)據(jù)一旦寫入，很少需要修改，但是可能需要多次讀?。ㄤ浵窕胤牛?，并有高效計(jì)算需求（視頻實(shí)時分析及二次分析，檢索等需求。結(jié)合視頻監(jiān)控業(yè)務(wù)特點(diǎn)，引入Hadoop的架構(gòu)，以實(shí)現(xiàn)大數(shù)據(jù)網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)，將會解決很多目前視頻監(jiān)控系統(tǒng)存在的問題，當(dāng)然，也有一些新問題需要克服。大數(shù)據(jù)的監(jiān)控應(yīng)用探討基于云計(jì)算的視頻監(jiān)控架構(gòu)基于Hadoop的視頻存儲架構(gòu)基于Hadoop的視頻分析基于Hadoop的大規(guī)模視頻分析應(yīng)用利用Hadoop平臺的HDFS架構(gòu)實(shí)現(xiàn)算法的多節(jié)點(diǎn)并行化分析處理是提高視頻分析處理速度的關(guān)鍵。首先HDFS系統(tǒng)將海量視頻分布存儲在集群的所有數(shù)據(jù)節(jié)點(diǎn)中，在客戶端提交了任務(wù)后，Hadoop遵循了“移動計(jì)算比移動數(shù)據(jù)更經(jīng)濟(jì)”的原則將任務(wù)分發(fā)到集群的各個DataNode節(jié)點(diǎn)的TaskTracker中；每個TaskTracker將運(yùn)行各自的任務(wù)，調(diào)用本地DataNode上的視頻進(jìn)行處理。由于Hadoop利用了集群的處理能力，因此大大加快了海量視頻的處理?；贖adoop的視頻轉(zhuǎn)碼視頻轉(zhuǎn)碼（VideoTranscoding）是指將已經(jīng)壓縮編碼的視頻碼流轉(zhuǎn)換成另一個視頻碼流（格式、分辨率、幀率），以適應(yīng)不同的網(wǎng)絡(luò)帶寬、不同的終端處理能力和不同的用戶需求。視頻轉(zhuǎn)碼技術(shù)主要應(yīng)用于視頻廣播轉(zhuǎn)碼、媒體網(wǎng)管、多媒體會議、醫(yī)療影像和視頻監(jiān)控等企業(yè)級應(yīng)用中，也被用于包括數(shù)字媒體適配器、高清視頻會議終端、高級數(shù)字機(jī)頂盒、IP視頻電話和高清網(wǎng)絡(luò)攝像機(jī)等消費(fèi)類產(chǎn)品中。轉(zhuǎn)碼本質(zhì)上是一個先解碼，再編碼的過程，因此轉(zhuǎn)換前后的碼流可能遵循相同的視頻編碼標(biāo)準(zhǔn)，也可能不遵循相同的視頻編碼標(biāo)準(zhǔn)。視頻轉(zhuǎn)碼過程需要大量的計(jì)算資源，因此比較適合分布式存儲及計(jì)算架構(gòu)的Hadoop系統(tǒng)實(shí)施?？偨Y(jié)Hadoop作為一個重量級的分布式開源框架已經(jīng)在大數(shù)據(jù)處理領(lǐng)域有所作為，企業(yè)希望利用Hadoop來規(guī)劃其自身未來數(shù)據(jù)處理的藍(lán)