CDS云存儲(chǔ)解決方案

1、目錄1 CDS云存儲(chǔ)系統(tǒng)概述-2-1.1 CDS簡(jiǎn)介-2-1.2 CDS系統(tǒng)架構(gòu)-2-1.3與安防常用存儲(chǔ)的對(duì)比-3-CDS組成部件-4-3實(shí)時(shí)業(yè)務(wù)設(shè)計(jì)-6-3.1視頻CDS云存儲(chǔ)-6-3.2圖片CDS云存儲(chǔ)-7-3.3數(shù)據(jù)讀取-8-3.4數(shù)據(jù)生命周期管理-9-3.4.1細(xì)粒度的數(shù)據(jù)冗余策略-9-3.4.2數(shù)據(jù)逐級(jí)退化，有效提升留存空間比-10-CDS云存儲(chǔ)可靠性設(shè)計(jì)-12-3.5.1從低到上的全棧數(shù)據(jù)高可用性-12-3.5.2跨數(shù)據(jù)中心級(jí)的業(yè)務(wù)可靠性保障-13-3.5 CDS云存儲(chǔ)安全設(shè)計(jì)-13-CDS運(yùn)維管理設(shè)計(jì)-14-3.7.1集中運(yùn)維，統(tǒng)一管理-14-3.7.2事件告警管理-16-4系

2、統(tǒng)優(yōu)勢(shì)總述-17-4.1海量數(shù)據(jù)秒級(jí)檢索，永無碎片-17-4.2統(tǒng)一管理，彈性伸縮-19-4.3系統(tǒng)高可用性-20-4.4帶外架構(gòu)，安全可靠-21-1CDS云存儲(chǔ)系統(tǒng)概述1.1CDS簡(jiǎn)介CDS(CloudDirectStorage)是宇視科技在提出“NGN(NextGenerationNetwork)"為核心架構(gòu)的IMOS監(jiān)控云平臺(tái)后，為滿足海量音視頻數(shù)據(jù)、智能交通類行車圖片、監(jiān)控個(gè)體特征圖片、安防大數(shù)據(jù)、智能業(yè)務(wù)以及多相關(guān)部門并發(fā)讀取等安防行業(yè)發(fā)展的需求，推出的一套面向監(jiān)控領(lǐng)域媒體文件的SAN®集群系統(tǒng)。CD破取了傳統(tǒng)監(jiān)控存儲(chǔ)主流設(shè)備如NVF®作的易用性，同時(shí)基

3、丁對(duì)視頻監(jiān)控的理解，結(jié)合SANO中存儲(chǔ)高可靠穩(wěn)定性的基礎(chǔ)，引入了云的架構(gòu)，海量存儲(chǔ)，易丁維護(hù)。和常見的文件集群系統(tǒng)所構(gòu)造的通用“云”存儲(chǔ)相比，整套SAN®集群系統(tǒng)既實(shí)現(xiàn)了性能和容量線性增長(zhǎng)，乂保留了宇視一代云“塊直存”的安全性和高性能，海量音視頻秒級(jí)檢索，這些是通用云在監(jiān)控業(yè)務(wù)方面所不具備的優(yōu)勢(shì)。CDS:百億級(jí)索引的秒級(jí)檢索么存儲(chǔ)2。百億級(jí)CDS云存儲(chǔ)】,o+云存儲(chǔ)1.0億級(jí)干萬級(jí)iSCSI埃直存N+M年代1.2CDS系統(tǒng)架構(gòu)宇視科技云存儲(chǔ)CDS系統(tǒng)基丁云架構(gòu)進(jìn)行開發(fā)，采用面向用戶業(yè)務(wù)應(yīng)用的設(shè)計(jì)思路，融合SAN!群部署、負(fù)載均衡、資源池化、全局共享空間、數(shù)據(jù)切片等技術(shù)，可將網(wǎng)絡(luò)中大量

4、各種不同類型的存儲(chǔ)設(shè)備通過專業(yè)應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供高性能、高可靠、不間斷的數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問服務(wù)。云存儲(chǔ)系統(tǒng)的結(jié)構(gòu)模型由存儲(chǔ)層、基礎(chǔ)管理層、應(yīng)用接口層、訪問層組成。NGN架構(gòu)：信令和業(yè)務(wù)讀與分離咔口號(hào)接口倍冷理厲口DATANODEMETADATA寅源池管理率塊資源管押I/O管畔案引管理在視頻云存儲(chǔ)系統(tǒng)的架構(gòu)設(shè)計(jì)中，采用的核心技術(shù)包括：采用存儲(chǔ)虛擬化技術(shù)，對(duì)具有海量存儲(chǔ)需求的用戶提供透明存儲(chǔ)構(gòu)架，可持續(xù)擴(kuò)容避免瓶頸限制，可以更有效的進(jìn)行資源管理，靈活增減空間，達(dá)到最大程度上合理利用空間的效果。采用SAN集群技術(shù)，解決單/多節(jié)點(diǎn)失效問題，并利用負(fù)載均衡技術(shù)充分利用各存儲(chǔ)節(jié)點(diǎn)的性能

5、，提升系統(tǒng)的可靠性和安全性。采用數(shù)據(jù)切片技術(shù)，保障了用戶高效的讀寫的同時(shí)保證了業(yè)務(wù)的持續(xù)性。采用統(tǒng)一完善的接口，降低對(duì)接成本、平臺(tái)維護(hù)成本和用戶管理的復(fù)雜度。采用開放的集成構(gòu)架,使其可兼容業(yè)界各類SAN存儲(chǔ)設(shè)備，保護(hù)用戶現(xiàn)有存儲(chǔ)投資資源。采用數(shù)據(jù)本地/異地備份保護(hù)技術(shù)，保證云存儲(chǔ)中的數(shù)據(jù)不丟失，確證云存儲(chǔ)服務(wù)的安全穩(wěn)定。1.3與安防常用存儲(chǔ)的對(duì)比目前安防行業(yè)內(nèi)常用的存儲(chǔ)方式包括以下幾種：1、硬盤錄像機(jī)方式（DVRNVR;2、集中類存儲(chǔ)，包括FCSANIPSAN;3、文件服務(wù)器類存儲(chǔ)，通用NAS4、高端存儲(chǔ)，通常為多控架構(gòu)存儲(chǔ)；5、安防云存儲(chǔ)，如宇視的CDS對(duì)比項(xiàng)NVR（網(wǎng)絡(luò)視頻錄像機(jī)FCSAN

6、（光纖通道集中存儲(chǔ)）NAS（文件服務(wù)器）IPSAN（IP集中存儲(chǔ)）多控制器架構(gòu)高端存儲(chǔ)CDS云存儲(chǔ)接入性能低中中中高最高讀取性能低中中中高最高平臺(tái)對(duì)接方式GB28181/SDK對(duì)接，功能缺失，弱耦合流媒體服務(wù)器訪問，性能瓶頸通用文件協(xié)議訪問，無安防定制功能流媒體服務(wù)器訪問，性能瓶頸流媒體服務(wù)器訪問，性能瓶頸無需流媒體服務(wù)器，緊耦合網(wǎng)絡(luò)建設(shè)分布式，設(shè)計(jì)復(fù)雜FC組網(wǎng)成本高，難以與IP網(wǎng)絡(luò)融合，信息孤島較集中較集中較集中最集中，易維護(hù)，高性價(jià)比擴(kuò)容性無中低中高最高故障切換無，需要額外增加軟硬件，成本高無需要增加額外軟硬件，成本高有，低延時(shí)但成本高低延時(shí)，高性價(jià)比運(yùn)維管理設(shè)備多，人力投入大專業(yè)程度高專

7、業(yè)程度局專業(yè)程度高專業(yè)程度高界面化統(tǒng)一管理，易運(yùn)維總體造價(jià)低高高中最高中2CDS組成部件CDS存儲(chǔ)方案主要由視頻云存儲(chǔ)管理軟件（CDM,CloudDataManagement）、視頻云存儲(chǔ)服務(wù)節(jié)點(diǎn)（CDV,CloudDataStorageVirtualService）、視頻回放服務(wù)器（VOD,Videoondemand）等幾個(gè)主要部件組成。云存儲(chǔ)管理軟件CDM:CDM云存儲(chǔ)管理服務(wù)器負(fù)責(zé)整個(gè)系統(tǒng)的運(yùn)行與調(diào)度工作，主要職能是響應(yīng)上層平臺(tái)業(yè)務(wù)請(qǐng)求，對(duì)外提供業(yè)務(wù)響應(yīng)接口，負(fù)責(zé)整合系統(tǒng)內(nèi)多臺(tái)存儲(chǔ)節(jié)點(diǎn)信息，對(duì)業(yè)務(wù)整合成帶優(yōu)先級(jí)控制的統(tǒng)一虛擬化存儲(chǔ)池，同時(shí)，維護(hù)系統(tǒng)運(yùn)轉(zhuǎn)，統(tǒng)一調(diào)度、協(xié)調(diào)云存儲(chǔ)系統(tǒng)的運(yùn)行與維

8、護(hù)，具體功能范疇包括集群管理、虛擬化管理、存儲(chǔ)資源管理、存儲(chǔ)策略管理、存儲(chǔ)設(shè)備管理等。云存儲(chǔ)節(jié)點(diǎn)CDV:負(fù)責(zé)存儲(chǔ)節(jié)點(diǎn)上存儲(chǔ)空間的虛擬化，將單臺(tái)存儲(chǔ)節(jié)點(diǎn)空間格式化為對(duì)象存儲(chǔ)空間提供給外部使用。其主要職能是接入各種類型的存儲(chǔ)設(shè)備、進(jìn)行云存儲(chǔ)設(shè)備層整合，對(duì)本機(jī)存儲(chǔ)空間進(jìn)行對(duì)象化處理，對(duì)外提供本設(shè)備的虛擬化存儲(chǔ)池，負(fù)責(zé)本機(jī)設(shè)備管理、存儲(chǔ)空間管理和維護(hù)工作，提供WebService接口，提供直接圖片等數(shù)據(jù)訪問，具體功能范疇包括視頻錄像、圖片存儲(chǔ)、視頻圖片下載等。視頻回放服務(wù)器VOD:負(fù)責(zé)回放業(yè)務(wù)的提供，其接入客戶端RTSP的標(biāo)準(zhǔn)視頻點(diǎn)播請(qǐng)求，轉(zhuǎn)換為對(duì)存儲(chǔ)內(nèi)容的讀取并封裝為客戶端能識(shí)別的碼流。3實(shí)時(shí)業(yè)務(wù)設(shè)

9、計(jì)3.1視頻CDS云存儲(chǔ)EC/IPC視頻CDS云存儲(chǔ)組網(wǎng)圖視頻云存儲(chǔ)組網(wǎng)，采用scale-out結(jié)構(gòu)，分離數(shù)據(jù)平面和控制平面，即媒體流帶外的方式，從IPC到CDV（存儲(chǔ)節(jié)點(diǎn)）直接寫入，中間無需其他服務(wù)器的介入。視頻云存儲(chǔ)組網(wǎng)中IPC主動(dòng)的管理存儲(chǔ)計(jì)劃和前端智能數(shù)據(jù)告警，可以及時(shí)觸發(fā)告警錄像，同時(shí)簡(jiǎn)化了后端云存儲(chǔ)架構(gòu)，降低了存儲(chǔ)業(yè)務(wù)壓力，可以讓云存儲(chǔ)系統(tǒng)專注讀寫，更好的滿足用戶的存儲(chǔ)需求。應(yīng)該說，CDS存儲(chǔ)模式是在宇視塊直存基礎(chǔ)上延伸出來的云存儲(chǔ)模式，汲取了SAN共享技術(shù)及分布式文件系統(tǒng)的塊分配策略，突出解決了空間按需占有、彈性擴(kuò)容及負(fù)載均衡等問題。Cam3300GCam2iHSANCam150

10、0GCam1Cam1Cam3Cam1500GIPSANcam3cam4600GIPSANcam3cam4cam4IPSANIPSANcam4cam2IPSANIPSAN3.2圖片CDS云存儲(chǔ)EC/IPC心血圖片云存儲(chǔ)組網(wǎng)圖圖片云存儲(chǔ)組網(wǎng)相對(duì)視頻增加了TMS（智能交通管理服務(wù)器），主要負(fù)責(zé)圖片智能數(shù)據(jù)分析、黑白名單及研判等業(yè)務(wù)，在IPC完成一定數(shù)量的圖片存儲(chǔ)后，以事務(wù)的方式上傳卡口智能數(shù)據(jù)到TMS服務(wù)器。對(duì)丁圖片來說，大小從幾KByte到上MByte不等，大量的圖片小文件對(duì)元數(shù)據(jù)的操作開銷非常大，既增加了總體數(shù)據(jù)的寫入數(shù)量，也增加了磁盤的隨機(jī)讀寫，同時(shí)也容易產(chǎn)生磁盤碎片。為此，CD敬底層重新設(shè)計(jì)

11、了塊分配及元數(shù)據(jù)的組織算法，通過重組的方法將圖片流化處理，充分利用視頻存儲(chǔ)的塊組織模式CameraACameraBT1TnTnFATAIr,l1"°rFileSysternHLyerFAT0ClusterrHAT口基于文件的存儲(chǔ)模型出丁通用應(yīng)用需求，文件系統(tǒng)層的抽象屏蔽了后端塊資源的分配，但也正因?yàn)榇硕鵁o法感知應(yīng)用數(shù)據(jù)的寫入特征，通過引入統(tǒng)一分配層，直接管理塊設(shè)備上的空間分配，通過對(duì)存儲(chǔ)時(shí)間和空間的一定預(yù)測(cè)保證分配的空間盡可能的連續(xù)化,將有效空間率從文件系統(tǒng)的低丁93蜓高避免長(zhǎng)期循環(huán)覆蓋情況下，性能和穩(wěn)定性的下降，而且有應(yīng)用針對(duì)性的進(jìn)行優(yōu)化,也很大程度上降低了空間管理的消耗

12、，到97.8%。3.3數(shù)據(jù)讀取數(shù)據(jù)讀取流程CDS云存儲(chǔ)當(dāng)前提供了兩種最常用的數(shù)據(jù)讀取服務(wù)，RTSP點(diǎn)播回放服務(wù)（針對(duì)視頻業(yè)務(wù)）和Http服務(wù)（針對(duì)圖片業(yè)務(wù)）。Http服務(wù)直接部署在CDV上，客戶端通過URL地址就可以顯示和下載圖片。這種方式的帶來的好處是減少數(shù)據(jù)讀取的中間環(huán)節(jié)，而且由丁數(shù)據(jù)分布上在寫入時(shí)經(jīng)過客戶段負(fù)載均衡后，大批量下載可以充分利用多CDV節(jié)點(diǎn)的讀取能力。RTSP點(diǎn)播服務(wù)中引入了VOD集群功能，即用戶可以隨需配置，從而滿足大規(guī)模的點(diǎn)播和下載需要，而且VOD集群會(huì)進(jìn)行一定的數(shù)據(jù)緩存處理，從而在一定程度上降低對(duì)后端存儲(chǔ)的壓力，同時(shí)起到一定的CDN（內(nèi)容分發(fā)網(wǎng)絡(luò)）功能，提升播放體驗(yàn)。3

13、.4數(shù)據(jù)生命周期管理宇視CDS安防云存儲(chǔ)方案，一方面對(duì)存儲(chǔ)空間進(jìn)行池化處理，另一方面也對(duì)安防數(shù)據(jù)業(yè)務(wù)進(jìn)行了更合理的空間規(guī)劃和數(shù)據(jù)可靠性保障。3.4.1細(xì)粒度的數(shù)據(jù)冗余策略通用云存儲(chǔ)都是在一個(gè)統(tǒng)一的存儲(chǔ)層面，比如設(shè)定目錄或是節(jié)點(diǎn)的冗余策略，常見的如多副本策略或是糾刪碼等方式，這種方式是割離了計(jì)算，單純從存儲(chǔ)層面進(jìn)行的數(shù)據(jù)保障措施，但其粒度過大，性能開銷大，存儲(chǔ)設(shè)備硬盤配置要求高的缺陷也在一定程度上轉(zhuǎn)嫁給了客戶投資。而CDS,將安防業(yè)務(wù)中密切與存儲(chǔ)或是媒體相關(guān)的功能進(jìn)行了合理抽象，能將數(shù)據(jù)的冗余策略精確到更細(xì)粒度的時(shí)間片段數(shù)據(jù)，或是某一張圖片文件，并通過告警或是事件聯(lián)動(dòng)的業(yè)務(wù)入口，提供給客戶更靈活

14、的可定制流程。管理平臺(tái)流媒體分發(fā)及點(diǎn)播服務(wù)器3.4.2數(shù)據(jù)逐級(jí)退化，有效提升留存空間比宇視CDS去存儲(chǔ)依然保留了對(duì)攝像機(jī)存儲(chǔ)計(jì)劃及留存期設(shè)定等過程，但在內(nèi)部存儲(chǔ)時(shí)，由丁所有的存儲(chǔ)空間均被CDS虛擬化，使得存儲(chǔ)空間的組織和退化，均能從總體上來考慮。這個(gè)帶來幾層含義，一方面，留存期的維護(hù)是錄像過程相對(duì)公平，同時(shí)也是系統(tǒng)容量可預(yù)測(cè)可配置的保障，另一方面，由丁存儲(chǔ)空間的池化處理，充分利用共享化容量來盡可能的拉長(zhǎng)錄像的留存期是實(shí)實(shí)在在的節(jié)約用戶投資的手段，因此，所謂留存空間比，就是以盡可能少的存儲(chǔ)空間來獲取更長(zhǎng)的留存期。通過在存儲(chǔ)面引入諸如抽幀存儲(chǔ)、錄像活洗等手段來對(duì)事件類、超時(shí)效范圍（如30天留存期中

15、后15天錄像）進(jìn)行錄像空間的壓縮，既能保證重要錄像的不丟失，乂能降低用戶存儲(chǔ)空間的總需求。抽幀存儲(chǔ)抽幀存儲(chǔ)是在盡量保證數(shù)據(jù)完整性的情況下將備份的錄像數(shù)據(jù)壓縮到最小，以提供高效完整，節(jié)省存儲(chǔ)空間的目的。當(dāng)前IPC使用SVC即ScaledVideoCoding可分層視頻編解碼技術(shù)，就是在時(shí)間，空間，質(zhì)量上會(huì)進(jìn)行劃分，輸出多層碼流（包括基本層和增強(qiáng)層），其中基本層的數(shù)據(jù)可以使解碼器完全正常的解碼出基本視頻內(nèi)容，但是基本層的數(shù)據(jù)獲得的視頻圖像可能幀率較低，分辨率較低，或者說質(zhì)量較低，而增強(qiáng)層乂是可以多層編碼的，這就意味著，在視頻碼流總碼率的范圍內(nèi)，接收到的碼率越大，視頻質(zhì)量越好。也就是說通過定制抽取的

16、規(guī)則，比如設(shè)定某個(gè)攝像機(jī)存儲(chǔ)空間規(guī)則為15天全幀存儲(chǔ)、超15天抽幀存儲(chǔ)，并確定抽幀規(guī)則為只保留I幀、1/2抽幀、1/4抽幀等。如下是只保留I幀的實(shí)測(cè)數(shù)據(jù)，僅作參考：視頻碼率配置原女同像/天抽幀備份錄像/天比例2Mb/s21GB7GB33%4Mb/s42GB12GB28%6Mb/s63GB16GB25%錄像活洗錄像活洗服務(wù)是結(jié)合前端設(shè)備的告警，如移動(dòng)偵測(cè)等觸發(fā)，來掃描這個(gè)時(shí)間點(diǎn)一定范圍內(nèi)的錄像，然后根據(jù)錄像中的移動(dòng)量是否超過設(shè)定的閾值，來進(jìn)行錄像的抽取和活洗。可以分別配置警前留存時(shí)間和警后留存時(shí)間，警前錄像取值范圍05分鐘，缺省1分鐘，警后錄像取值范圍130分鐘，缺省5分鐘。此時(shí)錄像空間的濃縮比

17、例視告警的發(fā)生概率而來。CDS云存儲(chǔ)可靠性設(shè)計(jì)3.5.1從低到上的全棧數(shù)據(jù)高可用性CDS云存儲(chǔ)并不是重新發(fā)明宇視存儲(chǔ)，而是充分利用已有積累，在充分考量了數(shù)據(jù)路徑的每一個(gè)環(huán)節(jié)合理性的同時(shí)，對(duì)每個(gè)環(huán)節(jié)進(jìn)行了強(qiáng)化處理。嶂巖牛枷有島哲M的智財(cái)-n奏媒體對(duì)象存儲(chǔ)系統(tǒng)預(yù)測(cè)娘建條余Said"如快照樁建整?羿特蝕、防闕初房臉w異常域區(qū)北平均故障率從3%降至3.5.2跨數(shù)據(jù)中心級(jí)的業(yè)務(wù)可靠性保障也也一本地目&業(yè)即門2畚y血商聊監(jiān)擰區(qū)域1監(jiān)控區(qū)域2監(jiān)控區(qū)域3在業(yè)務(wù)流程設(shè)計(jì)上，分級(jí)自建的監(jiān)控機(jī)房不一定能達(dá)到運(yùn)營(yíng)商機(jī)房的可靠性,當(dāng)發(fā)生機(jī)房斷電、網(wǎng)絡(luò)異常等情況下，利用前端IPC的網(wǎng)絡(luò)可達(dá)性，將IPC的

18、存儲(chǔ)流引到更上級(jí)的部署機(jī)房存儲(chǔ)，然后當(dāng)本地機(jī)房恢復(fù)后，再將錄像回傳到本地機(jī)房存儲(chǔ)空間中。3.5 CDS云存儲(chǔ)安全設(shè)計(jì)云存儲(chǔ)的開放性的系統(tǒng)特點(diǎn)導(dǎo)致面臨一系列安全問題，CDS采用一種以云存儲(chǔ)為核心的在線分布存儲(chǔ)系統(tǒng)，該系統(tǒng)有效結(jié)合數(shù)據(jù)分散存儲(chǔ)管理技術(shù)以及數(shù)據(jù)自動(dòng)恢復(fù)技術(shù)，來更好的保證云存儲(chǔ)數(shù)據(jù)的安全性。（一）應(yīng)用接口層到訪問層的設(shè)計(jì)。為了有效提高云存儲(chǔ)系統(tǒng)的安全性，CDS采用訪問控制、身份認(rèn)證以及ssl加密技術(shù)來對(duì)云存儲(chǔ)的數(shù)據(jù)進(jìn)行保護(hù)，使數(shù)據(jù)在網(wǎng)絡(luò)傳輸中能有效避免各種安全威脅。同時(shí)通過實(shí)現(xiàn)云存儲(chǔ)服務(wù)器與用戶之間的相互認(rèn)證，對(duì)雙方的身份進(jìn)行有效鑒別后用戶代理通過安全應(yīng)用程序接口來和云存儲(chǔ)服務(wù)器建立通

19、信連接,然后進(jìn)行數(shù)據(jù)存儲(chǔ)服務(wù)。（二）基礎(chǔ)管理層的設(shè)計(jì)。在進(jìn)行基礎(chǔ)管理層的設(shè)計(jì)時(shí)CDSFU用數(shù)據(jù)分片把存儲(chǔ)的數(shù)據(jù)信息進(jìn)行分片處理，從而使這些完整的數(shù)據(jù)變成一系列的數(shù)據(jù)片段，這樣就不能被那些沒有得到認(rèn)證的系統(tǒng)識(shí)別。這樣能夠保證云存儲(chǔ)的數(shù)據(jù)進(jìn)行分片后就不會(huì)產(chǎn)生數(shù)據(jù)被竊取的現(xiàn)象，從而可以有效提高云儲(chǔ)存數(shù)據(jù)的安全性。（三）存儲(chǔ)層的設(shè)計(jì)。為了保證數(shù)據(jù)存儲(chǔ)的安全，可以有效利用數(shù)據(jù)分散存儲(chǔ)技術(shù)來滿足用戶大量的存儲(chǔ)數(shù)據(jù)的要求。因?yàn)殡S著存儲(chǔ)系統(tǒng)存儲(chǔ)容量的增加，存儲(chǔ)數(shù)據(jù)的出錯(cuò)率就會(huì)相應(yīng)的增加。而數(shù)據(jù)分散存儲(chǔ)技術(shù)能有效確保云存儲(chǔ)數(shù)據(jù)的可靠性和可用性，因?yàn)榛?shù)據(jù)分散存儲(chǔ)技術(shù)的系統(tǒng)存儲(chǔ)層中的設(shè)備是分布部置的，這些設(shè)備之

20、間有一定冗余機(jī)制，從而可以有效提高設(shè)備的存儲(chǔ)利用率及其容錯(cuò)能力。CDS運(yùn)維管理設(shè)計(jì)3.7.1集中運(yùn)維，統(tǒng)一管理針對(duì)CD8存儲(chǔ)系統(tǒng)及各項(xiàng)軟硬件的數(shù)據(jù)采集，運(yùn)維管理平臺(tái)對(duì)整個(gè)系統(tǒng)進(jìn)行監(jiān)控并收集數(shù)據(jù)、匯總、生成報(bào)告。主要對(duì)云存儲(chǔ)的以下部分?jǐn)?shù)據(jù)進(jìn)行采集：管理服務(wù)器數(shù)據(jù)采集；云存儲(chǔ)節(jié)點(diǎn)數(shù)據(jù)采集；該系統(tǒng)支持云存儲(chǔ)部署環(huán)境的綜合數(shù)據(jù)采集及檢測(cè)，能對(duì)系統(tǒng)平臺(tái)服務(wù)器、存儲(chǔ)設(shè)備以及支持SNMPJ、議的終端設(shè)備和網(wǎng)絡(luò)設(shè)備進(jìn)行全面的深入的數(shù)據(jù)采集管理。系統(tǒng)使系統(tǒng)管理人員能在日趨復(fù)雜的IT環(huán)境中即時(shí)快速方便的了解整個(gè)系統(tǒng)的運(yùn)行狀況，從而能從應(yīng)用層對(duì)IT系統(tǒng)的關(guān)鍵資源、應(yīng)用進(jìn)行全方位的實(shí)時(shí)監(jiān)控管理。對(duì)丁詳細(xì)的數(shù)據(jù)采集（及

21、監(jiān)控）要求如下所述：管理服務(wù)器數(shù)據(jù)采集系統(tǒng)可以從多個(gè)方面對(duì)管理服務(wù)器服務(wù)器的硬件設(shè)備、操作系統(tǒng)進(jìn)行監(jiān)控管理。通過采集相應(yīng)服務(wù)器的CPU內(nèi)存、磁盤、網(wǎng)卡等硬件的關(guān)鍵運(yùn)行參數(shù)，軟件和應(yīng)用程序的進(jìn)程、服務(wù)、端口的運(yùn)行狀況，系統(tǒng)能夠及時(shí)對(duì)影響平臺(tái)服務(wù)器運(yùn)行性能的故障事件發(fā)送報(bào)警，并采取相應(yīng)的故障處理措施，保證服務(wù)器的正常安全運(yùn)行。系統(tǒng)中提供的與服務(wù)器相關(guān)監(jiān)控指標(biāo)主要包括CPU內(nèi)存、磁盤空間、服務(wù)、進(jìn)程、網(wǎng)卡、錯(cuò)誤日志、事件日志、LOGC件等。對(duì)平臺(tái)管理服務(wù)器主機(jī)的監(jiān)測(cè)主要包括如下性能指標(biāo):處理器CPU利用率內(nèi)存內(nèi)存使用率邏輯磁盤邏輯磁盤剩余空間邏輯磁盤使用率磁盤IO傳輸速率每秒讀取字節(jié)數(shù)每秒寫入字節(jié)數(shù)

22、網(wǎng)絡(luò)適配器輸入錯(cuò)誤數(shù)據(jù)包數(shù)輸入總的數(shù)據(jù)包數(shù)輸出錯(cuò)誤數(shù)據(jù)包數(shù)輸出總的數(shù)據(jù)包數(shù)進(jìn)程系統(tǒng)中關(guān)鍵進(jìn)程數(shù)量目錄系統(tǒng)中特定目錄下文件數(shù)量錯(cuò)誤日志系統(tǒng)中指定日志中的錯(cuò)誤條數(shù)進(jìn)程排名系統(tǒng)中CPU使用率第一的進(jìn)程名系統(tǒng)中CPU使用率第二的進(jìn)程名系統(tǒng)中CPU使用率第三的進(jìn)程名存儲(chǔ)設(shè)備數(shù)據(jù)采集及監(jiān)控系統(tǒng)可以對(duì)存儲(chǔ)設(shè)備進(jìn)行監(jiān)控，監(jiān)控方式主要是采用SNMpfr議，監(jiān)測(cè)的具體指標(biāo)如下：設(shè)備基本信息，包括處理器、磁盤、設(shè)備使用的端口信息等；設(shè)備性能信息，包括磁盤的讀寫速率以及字節(jié)數(shù)，磁盤緩存性能，處理器狀態(tài)、磁盤狀態(tài)等數(shù)據(jù)；其他方面，包括：設(shè)備溫度，風(fēng)扇狀態(tài)等。其他類型的設(shè)備可以根據(jù)用戶要求提供定制開發(fā)。3.7.2事件告警

23、管理CD繇統(tǒng)可以實(shí)現(xiàn)非常靈活的事件及警告管理功能。在管理平臺(tái)中對(duì)丁事件告警管理采用如下流程：告警推送-告警分析一一告警處理。告警推送系統(tǒng)可以收集CD繇統(tǒng)各節(jié)點(diǎn)的告警信息、文本文件格式的日志、NT事件日志、SNM厚件、SNMPTrap消息、Syslog、WM事件，并且提供了基丁SNMPSocket、WM等標(biāo)準(zhǔn)協(xié)議的采集接口，為用戶提供了靈活的、可擴(kuò)展的事件采集方式。通過這些接口用戶可以采集自定義事件而不需要進(jìn)行二次開發(fā)。告警分析系統(tǒng)對(duì)采集到的事件數(shù)據(jù)提供了分析規(guī)則，規(guī)則主要分為兩種：預(yù)定義規(guī)則、自定義規(guī)則。預(yù)定義規(guī)則是指和管理包一起發(fā)布的，已經(jīng)定義好的規(guī)則，自定義規(guī)則是指在預(yù)定義規(guī)則不能滿足用戶

24、分析過濾的需求時(shí)，所提供的接口，通過使用自定義規(guī)則用戶可以定制自己的事件分析規(guī)則。事件分析規(guī)則主要由事件源、過濾條件、報(bào)警信息組成。告警處理系統(tǒng)根據(jù)事件過濾表達(dá)式對(duì)事件進(jìn)行過濾后，生成統(tǒng)一'的事件格式并保存在系統(tǒng)的數(shù)據(jù)庫中。事件數(shù)據(jù)主要包括：事件范圍、級(jí)別、事件數(shù)據(jù)、消息、編號(hào)、事件參數(shù)等字段。其中事件級(jí)別包括：成功、信息、警告、錯(cuò)誤、認(rèn)證成功、認(rèn)證失敗六個(gè)級(jí)別，事件參數(shù)用丁保存用戶自定義的字段，并且支持多個(gè)自定義屆性，事件數(shù)據(jù)展示時(shí)將以統(tǒng)計(jì)報(bào)表形式展現(xiàn)。系統(tǒng)中的事件數(shù)據(jù)存儲(chǔ)在報(bào)表數(shù)據(jù)庫，運(yùn)行時(shí)數(shù)據(jù)庫中的事件數(shù)據(jù)供實(shí)時(shí)查看使用，報(bào)表數(shù)據(jù)庫中的事件數(shù)據(jù)為歷史數(shù)據(jù)供生長(zhǎng)報(bào)表以及分析時(shí)使用。

25、事件在處理過程中不進(jìn)行事件壓縮，而是只針對(duì)該事件產(chǎn)生的報(bào)警進(jìn)行壓縮和抑制。4系統(tǒng)優(yōu)勢(shì)總述見頻云存儲(chǔ)特點(diǎn)統(tǒng)一管理)丑項(xiàng)云有儲(chǔ)特點(diǎn)4.1海量數(shù)據(jù)秒級(jí)檢索，永無碎片CDS云存儲(chǔ)系統(tǒng)可擴(kuò)展至上白PB級(jí)，音視頻數(shù)據(jù)量過億條，但是依然能夠具備高效、準(zhǔn)確、快速的數(shù)據(jù)檢索能力。1) 一體化索引設(shè)計(jì)CDSS存儲(chǔ)系統(tǒng)的索引管理遵循宇視一代云“數(shù)據(jù)塊直存”的思路。所有與用戶業(yè)務(wù)相關(guān)的索引信息統(tǒng)一由云存儲(chǔ)系統(tǒng)的存儲(chǔ)管理節(jié)點(diǎn)進(jìn)行管理。視頻云存儲(chǔ)管理集群在對(duì)索引的一體化設(shè)計(jì)上將海量數(shù)據(jù)索引查找、篩選進(jìn)行了全面的優(yōu)化,大大的提高了查找速度。在規(guī)模不斷擴(kuò)大時(shí)性能幾乎相同，均能做到毫秒級(jí)耗時(shí)。2）與平臺(tái)的應(yīng)用設(shè)計(jì)CD辰存儲(chǔ)系統(tǒng)

26、本著安防云存儲(chǔ)系統(tǒng)的特有性，在視頻、圖片的某些專有信息上也進(jìn)行了獨(dú)特的設(shè)計(jì)。平臺(tái)可以根據(jù)監(jiān)控點(diǎn)位案件發(fā)生頻率，調(diào)整錄像的存儲(chǔ)時(shí)長(zhǎng)；也可以與大數(shù)據(jù)、智能分析業(yè)務(wù)聯(lián)動(dòng)，滿足平臺(tái)的易用性。3）塊級(jí)存儲(chǔ)，永無文件碎片傳統(tǒng)文件存儲(chǔ)的數(shù)據(jù)存儲(chǔ)過程是：數(shù)據(jù)->文件系統(tǒng)->卷->RAID->磁盤數(shù)據(jù)塊整個(gè)過程中每份數(shù)據(jù)存儲(chǔ)、讀取都需要在單臺(tái)存儲(chǔ)設(shè)備上經(jīng)過以上的流程，存在性能瓶頸也較多。安防行業(yè)中在設(shè)備層面還會(huì)更多的增加流媒體服務(wù)器這個(gè)環(huán)節(jié)。CDS云存儲(chǔ)通過SANft群的設(shè)計(jì)，通過解決lun資源共享問題，對(duì)數(shù)據(jù)存儲(chǔ)過程進(jìn)行了優(yōu)化，通過優(yōu)化存儲(chǔ)過程減少瓶頸、提高存儲(chǔ)效率，優(yōu)化后的數(shù)據(jù)存儲(chǔ)過

27、程是：視頻/圖片->Raid>磁盤數(shù)據(jù)塊整個(gè)存儲(chǔ)流程簡(jiǎn)化，速率更快，對(duì)數(shù)據(jù)塊的地址控制則由視頻云存儲(chǔ)管理服務(wù)器唯一進(jìn)行控制。I.CDS.無牌片、一存4.2統(tǒng)一管理，彈性伸縮CD辰存儲(chǔ)系統(tǒng)具有高效靈活的空間管理能力。為了突破傳統(tǒng)存儲(chǔ)在存儲(chǔ)容量和系統(tǒng)性能上的矛盾，在管理大容量空間時(shí)通過SANB群的設(shè)計(jì)將系統(tǒng)的管理資源進(jìn)行整合，并根據(jù)負(fù)載均衡算法提供全高效并發(fā)處理機(jī)制，大大地提高了系統(tǒng)的整體性能。1）存儲(chǔ)資源的虛擬化CDS系統(tǒng)將全域各存儲(chǔ)節(jié)點(diǎn)的資源進(jìn)行虛擬化，向用戶呈現(xiàn)出一個(gè)持續(xù)的、超大的數(shù)據(jù)資源池，將其稱之為存儲(chǔ)資源池。存儲(chǔ)資源池的整合過程完全透明，由系統(tǒng)算法自行完成，將用戶從繁瑣的空間管理和配置中解脫出來，提高了管理效率。2）存儲(chǔ)資源的在線擴(kuò)展當(dāng)存儲(chǔ)資源無法滿足用戶的容量需求，需要進(jìn)行存儲(chǔ)資源的擴(kuò)展時(shí)，CD8存儲(chǔ)系統(tǒng)能為用戶提供十分便易的操作。只需要在集群內(nèi)添加新增存儲(chǔ)設(shè)備的IP地址，系統(tǒng)會(huì)自動(dòng)辨別新增設(shè)備，對(duì)新增設(shè)備進(jìn)行虛擬化整合，這樣新增設(shè)備的容量就能融入集群，并作為集群內(nèi)全部存儲(chǔ)資源的一部分為用戶所用；同時(shí)，在整個(gè)存儲(chǔ)資源的擴(kuò)展過程中，在線業(yè)務(wù)正常運(yùn)行，保障用戶不會(huì)因?yàn)橄到y(tǒng)的擴(kuò)容而中斷正在進(jìn)行的正常業(yè)務(wù)，從而實(shí)現(xiàn)存儲(chǔ)資源的在線擴(kuò)展，秒級(jí)交付。云存儲(chǔ)的系統(tǒng)架