存儲模塊化方案CVRSAN

1、?？低暯Y(jié)合在安防行業(yè)領(lǐng)先的技術(shù)優(yōu)勢和存儲方面的專業(yè)研究，基于通用的存儲產(chǎn)品和技術(shù)的基礎(chǔ)上推出了更貼近安防應(yīng)用的基于流媒體傳輸協(xié)議的存儲技術(shù)和產(chǎn)品。1.1 流媒體直寫技術(shù)概述流媒體是指以流的方式在網(wǎng)絡(luò)中傳輸音頻、視頻和多媒體文件的形式，常見的流媒體協(xié)議有RTSP/SIP（GB/T28181）/ONVIF/PSIA等標準流媒體協(xié)議或私有SDK流媒體協(xié)議。?？低曉跇I(yè)內(nèi)率先提出的中心流媒體直寫，是基于TCP/IP或UDP網(wǎng)絡(luò)傳輸協(xié)議，前端IPC/DVR/DVS/NVR等編碼設(shè)備以流媒體協(xié)議，通過網(wǎng)絡(luò)直接寫入存儲設(shè)備的技術(shù)。存儲設(shè)備集成前端設(shè)備管理，視頻存儲，實時流轉(zhuǎn)發(fā)、預(yù)覽，歷史視頻查詢、檢索、回

2、放、下載等功能，可獨立構(gòu)建小規(guī)模視頻管理平臺，亦可結(jié)合視頻管理服務(wù)平臺（?？礽VMS或第三方管理平臺）組建大中型視頻綜合管理系統(tǒng)。?？低曋С至髅襟w直寫的存儲產(chǎn)品統(tǒng)稱為CVR（Center Video Record）。1.1.1 視頻存儲流程視頻流直寫存儲系統(tǒng)可通過直連前端編碼設(shè)備或流媒體（VTDU）方式實現(xiàn)前端設(shè)備視頻數(shù)據(jù)的存儲。視頻流直寫存儲分析各通道的碼流的信息，建立索引信息，同時將碼流數(shù)據(jù)及索引信息寫入存儲設(shè)備內(nèi)。1.1.2 實時流轉(zhuǎn)發(fā)流程視頻流直寫存儲系統(tǒng)內(nèi)部嵌入了一個流媒體服務(wù)器（VTDU），從前端設(shè)備獲取碼流數(shù)據(jù)，轉(zhuǎn)發(fā)給遠程實時監(jiān)控客戶端。1.1.3 實時流預(yù)覽流程遠程實時監(jiān)控客

3、戶端可通過VTDU轉(zhuǎn)發(fā)，直連前端設(shè)備，登錄CVR存儲系統(tǒng)三種方式實現(xiàn)實時視頻預(yù)覽。1.2 流媒體直寫技術(shù)優(yōu)勢1.2.1 低成本l 省去視頻存儲服務(wù)器（PCNVR）、流媒體轉(zhuǎn)發(fā)服務(wù)器（只支持海康流媒體）；l 支持低價的監(jiān)控級硬盤作單盤模式或組建RAID；l 支持視頻抽幀存儲，可節(jié)省存儲空間1.2.2 高性能l 支持高達350路2M碼流并發(fā)寫入l 視頻流無需打包成文件，可即時回放查看、快速定位，檢索效率高l 采用專用數(shù)據(jù)管理結(jié)構(gòu)，無文件系統(tǒng)，規(guī)避長期循環(huán)覆蓋寫產(chǎn)生的文件碎片而引起的系統(tǒng)性能下降的問題l 對外提供大容量錄像卷1.2.3 高穩(wěn)定l 規(guī)避斷網(wǎng)斷電情況下，出現(xiàn)文件不可讀或丟失的問題l 由于

4、省去了存儲服務(wù)器，簡化了系統(tǒng)架構(gòu)，降低了系統(tǒng)單點故障1.2.4 高可靠l 設(shè)備級保護，支持N+1備機冗余，當在線設(shè)備故障時，備機自動接管其業(yè)務(wù)l 斷網(wǎng)補錄（ANR），當前端設(shè)備與CVR設(shè)備之間的網(wǎng)絡(luò)中斷時，錄像可自動保存在前端，待網(wǎng)絡(luò)恢復(fù)后再回傳到CVR設(shè)備l 數(shù)據(jù)備份，可支持前端設(shè)備錄像備份，錄像數(shù)據(jù)本地備份和異地備份l 錄像丟失檢測報警，支持實時數(shù)據(jù)的丟幀報警（取流失敗持續(xù)15秒報警）和歷史數(shù)據(jù)丟失報警（每小時定時檢測）1.2.5 架構(gòu)開放前端IPC/DVR/DVS/NVR等編碼設(shè)備以RTSP/SIP（GB/T28181）/ONVIF/PSIA等標準流媒體協(xié)議或SDK私有流媒體協(xié)議，直接通

5、過網(wǎng)絡(luò)寫入存儲設(shè)備1.3 關(guān)鍵技術(shù)和重點功能1.3.1 流數(shù)據(jù)管理結(jié)構(gòu)視頻流直寫存儲采用流數(shù)據(jù)結(jié)構(gòu)進行底層數(shù)據(jù)管理，實現(xiàn)基于裸空間的預(yù)分配策略，規(guī)避文件系統(tǒng)損壞引起的文件不可讀或丟失的問題，同時避免因文件碎片累積造成的覆蓋寫入性能衰減，保證性能穩(wěn)定。l “合流”技術(shù)：無論多少個視頻流進入存儲后結(jié)合海康Smart Sequence in Cache技術(shù)完全匯聚成一個寫入磁盤的順序數(shù)據(jù)流，實現(xiàn)并發(fā)隨機轉(zhuǎn)化為順序錄像，優(yōu)化錄像性能。為了實現(xiàn)合流技術(shù)，CVR內(nèi)部維護了一個全局虛擬化的映射表完成隨機到順序的數(shù)據(jù)映射。l “流存”技術(shù)裸空間直接存儲視頻流，循環(huán)寫入時視頻流不斷從頭到尾覆蓋整個存儲空間，消除

6、文件系統(tǒng)損壞問題帶來的隱患，同時完全消除循環(huán)覆蓋帶來的文件碎片問題，徹底解決因文件碎片導(dǎo)致的寫入性能下降問題。1.3.2 豐富的部署方式和錄像方式l 支持從IPC/DVS/DVR/NVR直接取流錄像；l 支持從流媒體服務(wù)器取流錄像和在存儲中進行流媒體轉(zhuǎn)發(fā)；l 支持主子碼流錄像，并可自動或手動切換l 報警錄像、定時錄像、手動錄像、移動偵測錄像、信號量報警錄像、視頻丟失報警錄像等多種錄像方式1.3.3 抽幀存儲針對安防應(yīng)用的特性，對過去一定時間的數(shù)據(jù)可進行抽幀存儲，減少存儲容量需求，抽幀后的錄像數(shù)據(jù)仍然可以播放，錄像質(zhì)量不會降低。支持按1/2、1/4、1/8的剩余容量比例和抽I幀的不同策略抽幀方式

7、。1.3.4 N+1模式系統(tǒng)運行時間較長時，難免不出現(xiàn)設(shè)備級故障。N+1備機冗余功能保證工作機故障時，錄像業(yè)務(wù)不中斷，數(shù)據(jù)不丟失，提供設(shè)備級保護，提升系統(tǒng)可靠性。其工作原理如下：指定一臺存儲設(shè)備作為監(jiān)控主機，對網(wǎng)域內(nèi)其他存儲設(shè)備（工作主機）啟動監(jiān)控功能，當發(fā)現(xiàn)被監(jiān)控的工作主機出現(xiàn)異常成為故障主機時，此臺監(jiān)控主機主動接管故障主機的工作，可以實現(xiàn)取流，存儲，下載，回放等功能，同時繼續(xù)監(jiān)控故障主機，當發(fā)現(xiàn)故障主機恢復(fù)正常成為工作主機時，則停止所有的接管工作，并將接管期間的錄像數(shù)據(jù)回遷到工作主機中。1.3.5 數(shù)據(jù)完整性1.3.5.1 智能補錄前端與數(shù)據(jù)中心網(wǎng)絡(luò)異常時，前端設(shè)備啟動錄像并保存在本地存儲

8、設(shè)備上（SD卡，硬盤等）；網(wǎng)絡(luò)恢復(fù)后，錄像自動回傳到中心CVR存儲，保證數(shù)據(jù)的完整性。同時，CVR設(shè)備支持回傳策略設(shè)定，可選擇在業(yè)務(wù)空閑時（例如下班時間）進行回傳，解決業(yè)務(wù)繁忙時錄像數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)的帶寬競爭問題。1.3.5.2 錄像丟失檢測報警針對惡劣的網(wǎng)絡(luò)環(huán)境，經(jīng)常出現(xiàn)網(wǎng)絡(luò)中斷導(dǎo)致視頻數(shù)據(jù)丟幀或整段錄像丟失的問題，為提升系統(tǒng)的可靠性和安全性，方便客戶即時發(fā)現(xiàn)數(shù)據(jù)的不完整性，海康威視提出錄像丟失檢測及報警技術(shù)，該技術(shù)支持實時流檢測機制和歷史數(shù)據(jù)定時檢測兩種機制。實時流即時檢測，當錄像取流失敗持續(xù)15秒以上則觸發(fā)報警機制；歷史數(shù)據(jù)固定每小時檢測一次，當發(fā)現(xiàn)在策略調(diào)度時間段內(nèi)或者手動錄像時間段內(nèi)存

9、在錄像丟失，則報警，同時恢復(fù)策略錄像。1.3.6 數(shù)據(jù)可靠性1.3.6.1 數(shù)據(jù)備份l 多種數(shù)據(jù)備份模式：與前端共同實現(xiàn)雙重備份、存儲本地備份以及存儲間的異地備份。l 雙重備份：帶存儲功能的前端設(shè)備實現(xiàn)本地錄像存儲，可同時吐流存入存儲設(shè)備，實現(xiàn)數(shù)據(jù)前端和存儲雙重備份；l 存儲本地備份：存儲設(shè)備從前端設(shè)備取流后，將流數(shù)據(jù)寫到錄像卷的同時，自動將流數(shù)據(jù)備份到存檔卷，不占用外部數(shù)據(jù)帶寬，也無需平臺干預(yù)。由于存檔卷不會被循環(huán)覆蓋，這增加了重要通道數(shù)據(jù)的安全性。l 存儲間異地備份：是指將存儲A機器上的錄像數(shù)據(jù)備份到B機器的存檔卷中，防止A機器因為異?；蜾浵窬硌h(huán)覆蓋而造成重要錄像數(shù)據(jù)的丟失，可實現(xiàn)跨局域

10、網(wǎng)備份，無需平臺干預(yù)。1.3.6.2 錄像鎖定針對關(guān)鍵視頻，需要超過錄像周期時也不被循環(huán)覆蓋。海康威視CVR存儲設(shè)備可自動或按照策略對視頻進行鎖定。鎖定方式： 根據(jù)鎖定策略,錄像的同時實現(xiàn)加鎖；手動執(zhí)行鎖定錄像段。鎖定周期過后，自動解鎖，同時支持隨時手動解鎖。1.4 解決方案?？低暩鶕?jù)安防行業(yè)的發(fā)展趨勢和當前面臨的問題與挑戰(zhàn)，深入研究行業(yè)和客戶的真實需求，針對不同的應(yīng)用環(huán)境推出了不同的組網(wǎng)方案。1.4.1 SAN組網(wǎng)1.4.1.1 組網(wǎng)架構(gòu)該組網(wǎng)模式下，海康威視存儲系統(tǒng)通過標準的iSCSI協(xié)議（FCP協(xié)議）或NAS功能對外提供存儲服務(wù)。存儲空間直接掛載在存儲服務(wù)器或應(yīng)用服務(wù)器上，上層應(yīng)用和原

11、來一樣直接訪問存儲服務(wù)器或者應(yīng)用服務(wù)器。該模式適用于視頻數(shù)據(jù)存儲系統(tǒng)和業(yè)務(wù)數(shù)據(jù)存儲系統(tǒng)。1.4.1.2 基本組成單元存儲系統(tǒng)、存儲（應(yīng)用）服務(wù)器、千兆交換機（或光纖交換機）1.4.1.3 主要特點l 集中存儲，統(tǒng)一管理：采用中心集中存儲模式，前端視頻資源集中存儲，系統(tǒng)資源統(tǒng)一管理；l 同時提供SAN和NAS：SAN提供高性能塊級數(shù)據(jù)訪問，NAS兼容多種文件存儲協(xié)議，滿足異構(gòu)環(huán)境下文件共享需求；l 兼容性好：存儲設(shè)備通過標準的存儲協(xié)議與第三方服務(wù)器、平臺實現(xiàn)連接；l 擴展便利：可實現(xiàn)LUN卷、RAID空間和整機設(shè)備的在線擴容，擴容過程不影響原系統(tǒng)應(yīng)用；l 帶寬預(yù)留功能：實現(xiàn)任一個客戶端到存儲的帶

12、寬預(yù)留，優(yōu)化帶寬競爭時的系統(tǒng)性能；l 多設(shè)備統(tǒng)一管理：提供集中管理監(jiān)控軟件，可以統(tǒng)一管理和監(jiān)測多臺設(shè)備。1.4.2 流媒體直寫組網(wǎng)1.4.2.1 組網(wǎng)架構(gòu)?？低旵VR存儲系統(tǒng)作為視頻錄像和回放的中心節(jié)點，前端編碼器以視頻流的方式直接寫入CVR存儲系統(tǒng)，錄像回放由CVR存儲系統(tǒng)直接回放至客戶端和解碼器，錄像和回放不通過中轉(zhuǎn)環(huán)節(jié)。同時CVR存儲系統(tǒng)可內(nèi)嵌流媒體，集成轉(zhuǎn)發(fā)功能。1.4.2.2 基本組成單元CVR存儲系統(tǒng)、視頻前端、管理服務(wù)器、千兆交換機。1.4.2.3 主要特點l 流媒體直寫：前端、平臺采用流媒體協(xié)議與存儲直接交互，提高系統(tǒng)性能，精簡存儲服務(wù)器，消除服務(wù)器單點故障和性能瓶頸；l 集

13、成視頻轉(zhuǎn)發(fā)功能：視頻流可通過存儲系統(tǒng)轉(zhuǎn)發(fā)，進一步精簡流媒體服務(wù)器；l 流媒體存儲技術(shù)：底層采用流媒體管理結(jié)構(gòu)，可保證斷電斷網(wǎng)等情況下系統(tǒng)的穩(wěn)定性，并基本完全消除覆蓋讀寫情況下的文件碎片；l 秒級檢索、快速回放、批量下載；l 數(shù)據(jù)歸檔：提供錄像鎖定、錄像數(shù)據(jù)本地備份和異地備份等多種數(shù)據(jù)歸檔功能；l N+1備機冗余：工作機故障時，備機即時接管錄像服務(wù)；故障機恢復(fù)后，服務(wù)和數(shù)據(jù)自動回遷；l 智能補錄：斷網(wǎng)期間，前端在內(nèi)置存儲介質(zhì)上錄像，網(wǎng)絡(luò)恢復(fù)后，錄像上傳存儲設(shè)備；l 雙碼流錄像：支持主子碼流錄像，并可通過策略靈活切換。1.5 存儲容量計算單個通道24小時存儲1天的計算公式(GB)碼流大?。∕bps

14、）÷8×3600秒×24小時×1天÷1024。1.5.1 標清D1格式按1.5Mbps碼流計算，存放1天的數(shù)據(jù)總?cè)萘?1.5Mbps÷8×3600秒×24小時 ×（1天）÷102415.8GB。 30天需要的容量(GB)15.8GB×30天474GB以20個標清通道為例：20個通道的容量(TB)474×20÷10009.48TB1.5.2 高清130萬格式按4Mbps碼流計算，存放1天的數(shù)據(jù)總?cè)萘?4Mbps÷8× 3600秒×24小時 ×（1天）÷102442.2GB。 30天需要的容量(GB)42.2GB×30天1266GB以20個高清130萬通道為例：20個通道