視頻云存儲系統(tǒng)設(shè)計

視頻云存儲系統(tǒng)設(shè)計系統(tǒng)概述結(jié)合目前視頻存儲系統(tǒng)技術(shù)發(fā)展的主要方向，本次視頻存儲系統(tǒng)的建設(shè)需要達成以下目標(biāo)：采用目前技術(shù)領(lǐng)先的視頻云存儲方式，新建視頻云存儲系統(tǒng)，有效解決海量高清視頻圖像數(shù)據(jù)的存儲和管理需求，實現(xiàn)分布式存儲，虛擬化集中管理。為充分利舊，將原有的視頻存儲系統(tǒng)改造融入視頻云存儲系統(tǒng)，實現(xiàn)全縣范圍內(nèi)可利用視頻資源的統(tǒng)一存儲、統(tǒng)一管理、統(tǒng)一調(diào)閱，避免重復(fù)投資。視頻云存儲系統(tǒng)提供高速數(shù)據(jù)接口，為應(yīng)用平臺提供視頻數(shù)據(jù)高效檢索、快速調(diào)取等服務(wù)功能，為公安業(yè)務(wù)應(yīng)用提供有力支撐。視頻云存儲系統(tǒng)提供標(biāo)準(zhǔn)的運維接口，維護便捷，實現(xiàn)高效實用的管理及使用機制。存儲技術(shù)選擇視頻監(jiān)控數(shù)據(jù)的存儲系統(tǒng)歷經(jīng)了多個階段的發(fā)展，傳統(tǒng)的視頻存儲技術(shù)主要有DVR存儲、IPSAN存儲等存儲模式。而新興的視頻云存儲模式基于云架構(gòu)開發(fā)，采用面向用戶業(yè)務(wù)應(yīng)用的設(shè)計思路，融合了集群應(yīng)用、負載均衡、虛擬化、云結(jié)構(gòu)化、離散存儲等技術(shù)，可將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備，通過專業(yè)應(yīng)用軟件集合起來協(xié)同工作，共同對外提供高性能、高可靠、不間斷的視頻、圖片數(shù)據(jù)存儲和業(yè)務(wù)訪問服務(wù)。總的來說，相比于傳統(tǒng)的存儲模式，云存儲模式具有以下優(yōu)勢：視頻監(jiān)控云存儲與傳統(tǒng)存儲對比表項項目傳統(tǒng)視頻監(jiān)控存儲視頻監(jiān)控云存儲可管理性單設(shè)備獨立存儲或多設(shè)備堆疊存儲；管理維護相對麻煩。統(tǒng)一管理，虛擬化集群服務(wù)，基于統(tǒng)一的管理平臺，對多設(shè)備狀態(tài)、資源、報警、升級、擴展進行集中管控?？煽啃訰AID技術(shù)、部件級冗余系統(tǒng)級+設(shè)備級+部件級冗余，RAID技術(shù)性能性能基于設(shè)備局部性能優(yōu)化并發(fā)性能提升，智能性能負載，文件系統(tǒng)優(yōu)化，集群協(xié)調(diào)工作節(jié)能RAID級節(jié)能技術(shù)設(shè)備級+RAID級節(jié)能技術(shù)服務(wù)任務(wù)不可分割存儲任務(wù)和分析任務(wù)分割可擴充性設(shè)備級配置，過程復(fù)雜系統(tǒng)級在線配置、容量/性能擴充方便數(shù)據(jù)安全備份、容災(zāi)N+m設(shè)備冗余，遠程容災(zāi)，關(guān)鍵數(shù)據(jù)多個副本可用性掌握IP/FC存儲技術(shù)對用戶完全透明成本綜合成本高綜合成本低，可節(jié)省大量錄像服務(wù)器投入因此，根據(jù)項目實際情況，基于視頻監(jiān)控應(yīng)用對存儲系統(tǒng)的要求，著眼于技術(shù)的先進性和用戶使用的便捷性，視頻存儲系統(tǒng)的建設(shè)推薦采用新型監(jiān)控云存儲技術(shù)來實現(xiàn)。存儲系統(tǒng)架構(gòu).1視頻云存儲技術(shù)架構(gòu)視頻云存儲系統(tǒng)采用分層結(jié)構(gòu)，整個系統(tǒng)從邏輯上分為五層，分別為設(shè)備層、存儲層、管理層、接口層、應(yīng)用層。系統(tǒng)技術(shù)架構(gòu)如下：視頻云存儲技術(shù)架構(gòu)圖視頻云存儲技術(shù)架構(gòu)圖1)設(shè)備層設(shè)備層是云存儲最基礎(chǔ)、最底層的部分，該層由標(biāo)準(zhǔn)的物理設(shè)備組成，支持標(biāo)準(zhǔn)的IP-SAN、FC-SAN存儲設(shè)備。在系統(tǒng)組成中，存儲設(shè)備可以是SAN架構(gòu)下的FC光纖通道存儲設(shè)備或iSCSI協(xié)議下的IP存儲設(shè)備。2)存儲層將存儲設(shè)備透明化管理，統(tǒng)一資源虛擬化管理，并設(shè)計視頻流式文件系統(tǒng)，實現(xiàn)存儲傳輸協(xié)議和標(biāo)準(zhǔn)存儲設(shè)備之間的邏輯卷或磁盤陣列的映射，實現(xiàn)數(shù)據(jù)（視頻、圖片、附屬流）和設(shè)備層存儲設(shè)備之間的通信連接，完成數(shù)據(jù)高效的寫入、讀取和調(diào)用等服務(wù)。同時存儲層實現(xiàn)視頻流數(shù)據(jù)的塊級離散存儲，支持?jǐn)?shù)據(jù)的高效存儲和快速提取(回放、下載、查詢)；實現(xiàn)圖片流數(shù)據(jù)的存儲，支持按車道時間段和http協(xié)議提?。粚崿F(xiàn)附屬流數(shù)據(jù)的存儲，支持視頻流分析的結(jié)構(gòu)化數(shù)據(jù)存儲。3)管理層在管理層，融合了索引管理、計劃管理、調(diào)度管理、資源管理、集群管理、設(shè)備管理等多種核心的管理功能。可以實現(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理、錄像計劃的主動下發(fā)、以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護等?？蓪崿F(xiàn)整個存儲系統(tǒng)的虛擬化的統(tǒng)一管理，實現(xiàn)上層服務(wù)（視頻錄像、回放、查詢、智能分析數(shù)據(jù)請求等）的響應(yīng)。接口層應(yīng)用接口層是云存儲最靈活多變的部分，面向用戶應(yīng)用提供完善以及統(tǒng)一的訪問接口。接口類型可分為WebService接口、API接口、Mibs接口，可以根據(jù)實際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。實現(xiàn)和應(yīng)用平臺、融合平臺、運維平臺的對接、實現(xiàn)和智能分析處理系統(tǒng)之間的對接，可實現(xiàn)視頻數(shù)據(jù)的存儲、檢索、回放、瀏覽轉(zhuǎn)發(fā)等操作，實現(xiàn)關(guān)鍵視頻數(shù)據(jù)的遠程容災(zāi)、實現(xiàn)設(shè)備以及服務(wù)的監(jiān)控和運維等。應(yīng)用層從邏輯上劃分，除了應(yīng)用層外，剩下的四層都屬于通常云存儲的范疇，但是在云存儲系統(tǒng)中，為了將云存儲系統(tǒng)與視頻監(jiān)控系統(tǒng)的建設(shè)和應(yīng)用更加緊密的結(jié)合，更加符合用戶的業(yè)務(wù)需求，我們將應(yīng)用層納入了整個系統(tǒng)架構(gòu)中，從根本上提高云存儲系統(tǒng)的針對性?？蓪⒐蚕砥脚_通過相應(yīng)的接口與云存儲系統(tǒng)對接，實現(xiàn)與云存儲系統(tǒng)之間的數(shù)據(jù)以及信令的交互。共享平臺可對云存儲系統(tǒng)進行配置錄像計劃、配置存儲策略、檢索視頻資源、重要錄像的備份存儲等指令的交互，輔助流數(shù)據(jù)、視頻數(shù)據(jù)、圖片數(shù)據(jù)的存取。.2視頻云存儲邏輯架構(gòu)視頻云存儲系統(tǒng)采用前端攝像機直寫存儲設(shè)備的方式，使用集群方案解決單節(jié)點失效問題，并利用負載均衡技術(shù)充分利用各存儲節(jié)點的性能；采用統(tǒng)一接口與平臺對接，降低平臺維護和用戶管理的復(fù)雜度。平臺管理中心僅和云存儲系統(tǒng)中的云存儲管理集群完成各種具體業(yè)務(wù)的信令交互工作，其他數(shù)據(jù)存儲和讀取工作直接由存儲節(jié)點完成。采用信令和視頻數(shù)據(jù)的完全分離，降低整個系統(tǒng)的網(wǎng)絡(luò)壓力，提高整體性能。視頻云存儲邏輯架構(gòu)圖視頻云存儲邏輯架構(gòu)圖.3視頻云存儲部署架構(gòu)當(dāng)項目中的前端攝像機通道數(shù)量超過1024路時可采用管理服務(wù)器集群模式。集群部署可以保持規(guī)模與性能的線性增長，三臺管理服務(wù)器集群可以支撐4000路以內(nèi)的攝像機通道規(guī)模。如果攝像機通道規(guī)模更大可以通過增加管理服務(wù)器臺數(shù)來提高集群的性能，如5臺管理服務(wù)器可支撐6000路、7臺管理服務(wù)器可支撐8000路。管理服務(wù)器的數(shù)量必須為奇數(shù)。無論集群內(nèi)有多少臺服務(wù)器，對外呈現(xiàn)為唯一的IP地址。管理節(jié)點集群部署是一種高可靠性、高穩(wěn)定性的部署方式，此種方式是采用三臺或三臺以上奇數(shù)臺服務(wù)器組成，安裝視頻云存儲管理軟件并運行集群工作模式，形成視頻云存儲管理集群。此種集群工作模式，可實現(xiàn)單臺或多臺服務(wù)器應(yīng)用的故障切換和負載均衡，提高了視頻云存儲管理節(jié)點的可靠性和穩(wěn)定性，系統(tǒng)性能也得到了很大的提高，是大型視頻監(jiān)控項目首選的部署方式。集群部署物理拓撲如下圖所示：管理節(jié)點集群部署方式管理節(jié)點集群部署方式管理節(jié)點集群部署內(nèi)容設(shè)備名稱數(shù)量安裝軟件備注服務(wù)器N視頻云存儲管理軟件（CVM）服務(wù)器數(shù)量為N≥3的奇數(shù)存儲設(shè)備M視頻云存儲軟件（CVS）視頻云接入軟件（CVA）本次項目設(shè)計在縣局總控中心機房采用兩臺服務(wù)器部署視頻云存儲管理后臺軟件進行雙機熱備管理，保證系統(tǒng)的安全性和可靠性，實現(xiàn)全縣所有監(jiān)控點的視頻云存儲管理。前端各類監(jiān)控點根據(jù)實際情況接入到就近的匯聚設(shè)備，由各匯聚設(shè)備將前端監(jiān)控點通過全千兆光纖網(wǎng)絡(luò)上連到縣局，統(tǒng)一到視頻云存儲管理軟件注冊。存儲系統(tǒng)設(shè)計為解決傳統(tǒng)視頻存儲系統(tǒng)遇到的問題，本次將在縣中心機房建設(shè)基于視頻云技術(shù)的視頻存儲系統(tǒng)，由中心平臺統(tǒng)一管理，實現(xiàn)接入視頻全天24小時存儲、采用25幀率錄像保存30天；同時將原有存儲系統(tǒng)改造為視頻云存儲子系統(tǒng)，并進行系統(tǒng)和數(shù)據(jù)的遷移，組建完整的視頻監(jiān)控云存儲系統(tǒng)。.1.1軟件設(shè)計海康威視視頻云存儲系統(tǒng)主要由四大部件組成：云存儲管理軟件（CVM），云存儲軟件（CVS），云存儲接入軟件（CVA）以及云存儲異構(gòu)軟件（ASS）。下面分別介紹四大軟件內(nèi)部結(jié)構(gòu)及功能。1)視頻云存儲管理軟件CVM視頻云存儲管理軟件：CVM（CloudVideoManage）整套軟件，主要功能包括視頻云存儲系統(tǒng)內(nèi)資源管理、存儲節(jié)點管理、集群管理、策略調(diào)度、運維監(jiān)控等。軟件包含六大功能模塊，分別為：索引管理模塊、調(diào)度管理模塊、集群管理模塊、計劃管理模塊、資源管理模塊、輔助管理模塊，整體軟件架構(gòu)如下圖所示：CVM軟件架構(gòu)索引管理模塊索引管理模塊集群化管理集群中的全部管理節(jié)點，能并發(fā)響應(yīng)用戶的檢索、插入、修改和刪除操作情況，提供一體化、高并發(fā)、快響應(yīng)的索引服務(wù)。同時，索引管理模塊提供視頻索引、標(biāo)注索引服務(wù)，支持以通道號、時間段、錄像類型和鎖定狀態(tài)為條件的視頻信息檢索服務(wù)，支持以通道號和時間段為條件插入、修改、刪除和檢索標(biāo)注的功能，以及根據(jù)標(biāo)注關(guān)鍵字檢索視頻的特色功能。調(diào)度管理模塊調(diào)度管理模塊根據(jù)集群中設(shè)備的負載狀況，靈活的調(diào)度集群資源為應(yīng)用業(yè)務(wù)提供支撐。作為集群系統(tǒng)中的邏輯引擎根據(jù)不同的邏輯策略執(zhí)行不同的調(diào)度算法，提供資源分配調(diào)度、分散策略調(diào)度、循環(huán)覆蓋調(diào)度、錄像計劃調(diào)度等服務(wù)。集群管理模塊集群管理模塊統(tǒng)一管理集群中分布式設(shè)備節(jié)點，包括管理節(jié)點和存儲節(jié)點。它負責(zé)管理節(jié)點之間關(guān)鍵信息的實時同步，保證集群中不同管理節(jié)點信息的一致性，無差異化的對外提供服務(wù)。同時也負責(zé)管理存儲節(jié)點，將存儲節(jié)點加入到集群中作為存儲資源的一部分，集群管理模塊維護集群中設(shè)備節(jié)點的實時狀態(tài)信息，對外提供設(shè)備狀態(tài)查詢接口便于管理和了解集群的整體運行狀態(tài)信息。計劃管理模塊計劃管理模塊負責(zé)錄像計劃的管理、下發(fā)、切換，保存監(jiān)控平臺下發(fā)的錄像計劃，調(diào)度系統(tǒng)中的錄像計劃并執(zhí)行錄像計劃，當(dāng)接入服務(wù)器異常時負責(zé)動態(tài)切換錄像計劃到其它接入服務(wù)器。資源管理模塊資源管理模塊負責(zé)對集群中所有存儲設(shè)備的存儲空間進行統(tǒng)一管理，根據(jù)入網(wǎng)存儲設(shè)備上報的資源信息計算出集群存儲總?cè)萘亢涂臻e容量，負責(zé)創(chuàng)建、刪除錄像池，為存儲業(yè)務(wù)分配合適的存儲資源。同時能動態(tài)的調(diào)整錄像池的大小，彈性的對錄像池進行擴容或者縮減，將集群存儲空間切分成細小獨立的存儲單元，再根據(jù)用戶需要，將很多個存儲單元有機組合后虛擬化成錄像池對外提供存儲服務(wù)。輔助管理模塊輔助管理模塊包含日志管理、運維管理、數(shù)據(jù)遷移等功能，日志管理為其他模塊提供日志打印服務(wù)，對外具備日志查詢和日志文件下載功能，包含調(diào)試日志、事件提示日志、錯誤日志、告警日志和重要日志。運維管理云視頻管理節(jié)點的運行參數(shù)獲取接口，供運維平臺獲取管理節(jié)點的實時運行信息。數(shù)據(jù)遷移功能對外提供將第三方數(shù)據(jù)遷移到本視頻云存儲系統(tǒng)中保存的功能。視頻云存儲軟件CVS視頻云存儲軟件：CVS視頻云存儲軟件：CVS（CloudVideoStorage）是視頻云存儲系統(tǒng)中的重要模塊，主要負責(zé)執(zhí)行具體的視頻數(shù)據(jù)讀寫操作。CVS集成在視頻云存儲節(jié)點（CVSN）上，每一臺存儲設(shè)備上都必須裝載該軟件模塊。視頻云存儲軟件（CVS）接受視頻云存儲管理軟件（CVM）的管理，從視頻云接入軟件（CVA）接收海量視頻數(shù)據(jù)，高效無誤的存放在本機指定的數(shù)據(jù)塊中。在一套視頻云存儲系統(tǒng)中，視頻云存儲存儲管理軟件（CVM）會均衡分配多臺視頻云存儲軟件（CVS）的業(yè)務(wù)負載量，使整個系統(tǒng)的讀寫性能達到最佳。視頻云存儲軟件按照功能模塊化設(shè)計，整體軟件架構(gòu)如下圖所示：CVS軟件架構(gòu)通信模塊本模塊主要是負責(zé)和CVA及CVM進行數(shù)據(jù)信息的交互，采用多線程并發(fā)接收和發(fā)送數(shù)據(jù)的方式，高效完成跨機器的數(shù)據(jù)交互。運維管理本模塊主要是負責(zé)和視頻云運維軟件進行交互，采集系統(tǒng)數(shù)據(jù)及程序運行數(shù)據(jù)，并按照特定協(xié)議格式發(fā)送給視頻云運維部件，方便平臺對整個云存儲系統(tǒng)運行狀態(tài)進行實時監(jiān)控，如有故障出現(xiàn)，及時報警提醒相關(guān)人員進行處理。視頻接入本模塊主要是負責(zé)處理從CVA傳輸進來的視頻數(shù)據(jù)，并按分類進行一定的邏輯處理。采用多線程的處理方式，可同時支持?jǐn)?shù)百路的視頻數(shù)據(jù)接入。日志管理本模塊主要是負責(zé)對CVS的日志進行統(tǒng)一管理，記錄一些重要事件，方便事件回溯，對外提供日志查詢和日志下載功能。視頻文件系統(tǒng)本模塊根據(jù)視頻的特性，定義流式存儲結(jié)構(gòu)，主要是負責(zé)視頻數(shù)據(jù)的高效讀、寫。數(shù)據(jù)庫管理本模塊主要是負責(zé)對CVS系統(tǒng)運行時需要臨時存放的一些重要數(shù)據(jù)進行保存，可以方便的以SQL接口提供插入和查詢，簡化數(shù)據(jù)存放和獲取的機制。視頻云存儲接入軟件CVA視頻云接入軟件CVA（CloudVideoAccess）也是整個云存儲系統(tǒng)的重要組成部分，主要包括錄像任務(wù)管理、錄像服務(wù)、設(shè)備狀態(tài)管理和部分流媒體轉(zhuǎn)發(fā)服務(wù)等功能。視頻云接入軟件支持定時錄像、移動偵測錄像和事件錄像（如：手動錄像），其中事件錄像的優(yōu)先級要高于定時錄像和移動偵測錄像。視頻云接入軟件實時檢測用戶配置的錄像計劃任務(wù)信息表，當(dāng)接入軟件檢測到有通道需要執(zhí)行錄像任務(wù)時，接入軟件首先通知流媒體服務(wù)從前端設(shè)備讀取視頻數(shù)據(jù)，然后根據(jù)錄像類型執(zhí)行相關(guān)錄像。視頻云接入軟件按照功能模塊化設(shè)計，軟件包括六大功能模塊：錄像任務(wù)管理、流媒體服務(wù)、設(shè)備狀態(tài)管理、負載信息管理、錄像服務(wù)、視頻幀分析。整體軟件架構(gòu)如下圖所示：CVACVA軟件架構(gòu)1、錄像任務(wù)管理錄像任務(wù)管理功能主要包括定時錄像管理、移動偵測錄像管理和事件錄像管理等功能。定時錄像和移動偵測錄像是用戶設(shè)置的計劃錄像，事件錄像是用戶計劃外的錄像。錄像管理功能需要按照用戶的需求從前端設(shè)備獲取視頻數(shù)據(jù)、執(zhí)行錄像、停止錄像和停止從前端設(shè)備取流等操作。移動偵測錄像，錄像管理功能首先需要對前端設(shè)備布防，并監(jiān)控前端設(shè)備的報警狀態(tài)，同時還可以根據(jù)用戶的需求提前從前端設(shè)備獲取視頻數(shù)據(jù)，通過預(yù)先獲取數(shù)據(jù)流保證了視頻的完整性，當(dāng)接入軟件收到前端設(shè)備的移動偵測報警命令后，立即執(zhí)行錄像。事件錄像，錄像管理功能接收到事件錄像命令，首先檢索當(dāng)前通道是否有定時錄像或移動偵測錄像，如果沒有上述兩種錄像，立即執(zhí)行錄像，事件錄像的優(yōu)先級要高于移動偵測錄像和定時錄像。2、流媒體服務(wù)流媒體服務(wù)主要包括流媒體轉(zhuǎn)發(fā)模塊和流控制管理模塊，流媒體服務(wù)具有穩(wěn)定和高效等特點，整個系統(tǒng)提供持續(xù)的視頻數(shù)據(jù)支持。流媒體服務(wù)傳輸視頻數(shù)據(jù)支持RTSP、TCP和UDP協(xié)議，可以根據(jù)不同環(huán)境選擇合適當(dāng)前網(wǎng)絡(luò)性能的傳輸方式。流媒體服務(wù)視頻流轉(zhuǎn)發(fā)功能：流媒體服務(wù)從前端設(shè)備獲取到視頻流后可以根據(jù)用戶的需要將視頻流轉(zhuǎn)發(fā)給多個用戶或設(shè)備。通過視頻轉(zhuǎn)發(fā)功能降低了前端設(shè)備的壓力，節(jié)省了網(wǎng)絡(luò)帶寬，極大的提高了系統(tǒng)性能。設(shè)備狀態(tài)管理設(shè)備狀態(tài)管理是云存儲接入軟件的基礎(chǔ)功能，它主要包括監(jiān)控前端設(shè)備狀態(tài)、布防狀態(tài)和取視頻數(shù)據(jù)流的狀態(tài)。前端設(shè)備狀態(tài)監(jiān)控：狀態(tài)管理功能實時獲取前端設(shè)備的狀態(tài)，當(dāng)檢測到前端設(shè)備異常，接入軟件會及時上報。設(shè)備布防狀態(tài)監(jiān)控：狀態(tài)管理功能實時監(jiān)控前端設(shè)備的布防狀態(tài)，當(dāng)前端設(shè)備布防失敗，接入軟件會及時上報。讀取視頻流狀態(tài)監(jiān)控：狀態(tài)管理功能實時監(jiān)控流媒體服務(wù)的工作狀態(tài)、如果流媒體服務(wù)取視頻流時發(fā)生異常，接入軟件會及時上報。負載信息管理負載信息管理功能主要是接入軟件實時監(jiān)控當(dāng)前服務(wù)器的內(nèi)存和CPU使用情況，并定時上報當(dāng)前資源使用信息，云存儲管理軟件（CVM）根據(jù)上報的資源使用信息均衡分配錄像計劃到云存儲接入軟件（CVA）。錄像服務(wù)錄像服務(wù)包括取流管理模塊和執(zhí)行錄像服務(wù)模塊兩個部分。錄像服務(wù)接收錄像任務(wù)管理模塊下發(fā)的錄像信令，當(dāng)錄像服務(wù)接收到錄像任務(wù)管理模塊開啟錄像信令后，首先通過取流模塊向流媒體服務(wù)發(fā)送取流信令，然后將流媒體轉(zhuǎn)發(fā)的視頻數(shù)據(jù)發(fā)送到云視頻存儲軟件為一次錄像的開始。當(dāng)錄像服務(wù)接收到錄像任務(wù)管理模塊下發(fā)的停止錄像信令，錄像服務(wù)首先向流媒體服務(wù)發(fā)送停止取流的信令，然后通知云視頻存儲軟件停止錄像為一次錄像的結(jié)束。視頻幀分析幀分析模塊主要是對流媒體服務(wù)讀取的視頻數(shù)據(jù)進行幀分析，從視頻數(shù)據(jù)中分析出關(guān)鍵幀等信息，為系統(tǒng)提供關(guān)鍵幀查詢和關(guān)鍵幀回放提供技術(shù)支持。4)視頻云存儲異構(gòu)軟件ASS異構(gòu)存儲軟件ASS異構(gòu)存儲軟件ASS（AsynchronousStorageService）主要負責(zé)接入第三方iSCSI/FC標(biāo)準(zhǔn)存儲設(shè)備，軟件集成安裝在ASSN節(jié)點內(nèi)，具體負責(zé)接入第三方iSCSI/FC存儲設(shè)備的工作。軟件主要由三個模塊實現(xiàn)，分別為識別模塊、掛載模塊和管理模塊；主要和CVS交互。通過識別模塊和掛載模塊實現(xiàn)對第三方標(biāo)準(zhǔn)存儲設(shè)備的兼容工作。通過管理模塊與存儲設(shè)備以及上層CVS之間進行交互。整體軟件架構(gòu)如下圖所示：ASS軟件架構(gòu)7、識別模塊探測到異構(gòu)設(shè)備后獲取其相關(guān)系統(tǒng)信息，將其視作為存儲設(shè)備，在設(shè)備目錄中添加相應(yīng)節(jié)點。8、掛載模塊將新加的設(shè)備節(jié)點轉(zhuǎn)化為通用存儲設(shè)備節(jié)點，并掛載到軟件系統(tǒng)中以備CVS使用。9、管理模塊本模塊的功能是：將本機內(nèi)存儲設(shè)備和異構(gòu)設(shè)備統(tǒng)一管理，實現(xiàn)設(shè)備的加入和退出，以及相關(guān)狀態(tài)的保存和記錄。除上述三項軟件外，在云存儲系統(tǒng)內(nèi)部實現(xiàn)了運維信息的收集與告警機制。該機制負責(zé)對云儲存系統(tǒng)內(nèi)的設(shè)備和資源的運行情況進行統(tǒng)一監(jiān)控，以標(biāo)準(zhǔn)的SNMP協(xié)議與將機器運行狀態(tài)以及產(chǎn)品特性運行指標(biāo)反饋給運維系統(tǒng)。實現(xiàn)對設(shè)備狀態(tài)實時檢測，對異常狀態(tài)實時報警，如：硬盤丟失、CPU/內(nèi)存使用率過高、存儲空間不足、設(shè)備溫度過高、管理服務(wù)器運行異常、設(shè)備下線等。.2硬件設(shè)計?？低曇曨l云存儲系統(tǒng)由存儲管理服務(wù)器（存儲管理節(jié)點CVMN）、存儲設(shè)備（存儲節(jié)點CVSN）及異構(gòu)服務(wù)器（第三方存儲服務(wù)節(jié)點ASSN）組成。1)視頻云存儲管理節(jié)點CVMN視頻云存儲管理節(jié)點：CVMN（CloudVideoManageNode）在云存儲標(biāo)配服務(wù)器上集成安裝視頻云管理軟件CVM（CloudVideoManger），其主要功能包括視頻云存儲系統(tǒng)內(nèi)資源管理、存儲節(jié)點管理、集群管理、策略調(diào)度、運維監(jiān)控等。根據(jù)視頻云存儲系統(tǒng)的規(guī)模情況和可靠性要求管理節(jié)點部署可分為：HA部署和集群部署兩種模式。其中HA部署模式適用于1024路以內(nèi)監(jiān)控前端視頻讀寫規(guī)模，通過兩臺服務(wù)器做雙機熱備；集群部署模式適用于較大型的視頻云存儲系統(tǒng)，可以進行三臺或三臺以上配備，集群部署的服務(wù)器臺數(shù)必須是奇數(shù)增加。集群部署的優(yōu)勢在于通過視頻云存儲管理節(jié)點內(nèi)部集群功能將協(xié)調(diào)各節(jié)點設(shè)備資源，將用戶配置、數(shù)據(jù)庫信息、策略計劃進行統(tǒng)一進行調(diào)度，整體性能呈現(xiàn)線性增長。同時也增加了系統(tǒng)的可靠性，多臺設(shè)備的故障不會影響到系統(tǒng)的運行。無論是HA部署模式還是集群部署模式，視頻云存儲都使用唯一的虛擬IP地址對外提供服務(wù)。2)視頻云存儲節(jié)點CVSN視頻云存儲節(jié)點：CVSN（CloudVideoStorageNode）在存儲設(shè)備上集成安裝視頻云存儲軟件CVS（CloudVideoStorage）和視頻云接入軟件CVA（CloudVideoAccess）作為存儲節(jié)點。主要是響應(yīng)視頻云存儲管理節(jié)點（CVMN）和應(yīng)用層的錄像、查詢、下載等操作申請，以及管理物理存儲設(shè)備和空間，視頻云存儲節(jié)點模塊具有以下功能：負責(zé)根據(jù)接收云存儲管理節(jié)點下發(fā)的錄像計劃，并根據(jù)錄像計劃向?qū)?yīng)的前端攝像頭進行取流操作。負責(zé)將接收到的錄像數(shù)據(jù)寫入到存儲底層或從存儲底層讀取數(shù)據(jù)，通過協(xié)議接口主要向API提供錄像、查詢、回放及下載服務(wù)。提供存儲設(shè)備的狀態(tài)檢測和信息上報功能。存儲底層：使用Raid技術(shù)來保證數(shù)據(jù)安全，支持節(jié)能的磁盤休眠功能。3)3)第三方存儲服務(wù)節(jié)點ASSN第三方存儲服務(wù)節(jié)點：ASSN（AsynchronousStorageServiceNode）在服務(wù)器上集成安裝異構(gòu)存儲軟件ASS（AsynchronousStorageService）、視頻云存儲軟件CVS（CloudVideoStorage）、視頻云接入軟件CVA（CloudVideoAccess）的接入第三方存儲服務(wù)節(jié)點。其主要功能是通過安裝異構(gòu)軟件（ASS）完成對第三方iSCSI/FC標(biāo)準(zhǔn)存儲設(shè)備的接入，實現(xiàn)對項目已有資源的兼容性利用。使得第三方存儲設(shè)備通過ASSN的整合后，具備與CVSN同樣的功能。存儲系統(tǒng)功能海康威視視頻云存儲系統(tǒng)面向視頻、圖片應(yīng)用定制化開發(fā)，提供了豐富的功能接口供上層視頻監(jiān)控平臺調(diào)用，主要功能如下圖所示：視頻云存儲系統(tǒng)具有以下幾個方面的功能：視頻云存儲系統(tǒng)功能設(shè)計表功能項功能說明集群管理索引集群管理視頻錄像索引采用集群方式，無單點故障，保證索引數(shù)據(jù)的安全性。集群采用一級索引管理，能根據(jù)用戶的各種查詢條件(錄像類型、鎖定類型、報警類型、時間段等)進行快速定位。負載均衡管理負載均衡管理集群前端采用虛擬IP技術(shù)，對外提供統(tǒng)一的入口IP形式，將集群的訪問在集群中根據(jù)各種算法進行分?jǐn)?，降低單個節(jié)點的訪問壓力。后端存儲節(jié)點壓力進行實時監(jiān)控，當(dāng)單臺存儲節(jié)點壓力過大時能根據(jù)智能算法將業(yè)務(wù)平滑遷移至其他存儲節(jié)點，達到整個集群間負載均衡目的。虛擬化管理支持將整個存儲端統(tǒng)一管理，虛擬化為資源池，且將虛擬資源劃分為塊進行管理。對用戶重要數(shù)據(jù)，通過虛擬塊之間的相互復(fù)制技術(shù)，達到多份備份目的。使用戶數(shù)據(jù)處于長期在線狀態(tài)自動精簡管理集群內(nèi)部將不同類型存儲設(shè)備接入，對外提供統(tǒng)一接口控制。分散存儲管理將前端數(shù)據(jù)通過特定算法，平滑分散至各個存儲幾點，從而降低大量回放對單臺存儲節(jié)點的壓力。分布式數(shù)據(jù)庫索引服務(wù)器采用分布式數(shù)據(jù)庫，保證索引數(shù)據(jù)的安全性。視頻功能視頻錄像系統(tǒng)可以按照用戶制定的計劃保存前端設(shè)備采集的錄像數(shù)據(jù)，錄像類型、錄像頭由用戶指定，存儲開啟相關(guān)的資源。補錄：斷網(wǎng)等條件下，前端設(shè)備能夠?qū)⒈镜乇４娴臄?shù)據(jù)補錄到系統(tǒng)中。動態(tài)修訂錄像類型：前端采集視頻數(shù)據(jù)過程中，按報警類型可以修改錄像的類型，修改后采集的視頻數(shù)據(jù)即時保存到系統(tǒng)中，并在數(shù)據(jù)保存類型上得到反映。周期覆蓋：系統(tǒng)保存的歷史錄像數(shù)據(jù)可以按照指定的循環(huán)覆蓋策略進行刪除。視頻檢索用戶可以按監(jiān)控點編號、錄像類型、時間組合、鎖定、標(biāo)注等條件查詢錄像數(shù)據(jù)。視頻回放支持根據(jù)編碼器名稱以及時間段、錄像類型對錄像數(shù)據(jù)進行回放。支持根據(jù)編碼器名稱以及時間段對錄像數(shù)據(jù)進行回放時間定位。支持快放、慢放。支持倒序回放。支持I幀回放。支持手動停止回放。視頻下載視頻下載支持根據(jù)編碼器名稱以及時間段對錄像數(shù)據(jù)進行下載。支持?jǐn)帱c續(xù)傳。視頻鎖定支持指定的錄像片段進行鎖定，鎖定后的數(shù)據(jù)不被循環(huán)覆蓋掉。支持已鎖定的錄像片段鎖定時長到期自動解鎖。視頻刪除支持根據(jù)監(jiān)控點編號、錄像時間、錄像類型刪除視頻錄像。周期存儲按策略支持按周期、容量進行錄像數(shù)據(jù)的周期覆蓋式存儲。圖片功能圖片寫入支持按照用戶制定的計劃保存前端設(shè)備采集的圖片數(shù)據(jù)圖片下載支持按時間段下載圖片。支持http的URL方式下載圖片。圖片壓縮支持圖片大小壓縮和尺寸縮放。圖片鎖定支持指定的錄像片段進行鎖定，鎖定后的數(shù)據(jù)不被循環(huán)覆蓋掉。支持已鎖定的錄像片段鎖定時長到期自動解鎖。圖片刪除支持單張圖片URL方式刪除。支持按照時間段刪除圖片。周期覆蓋按策略支持按周期、容量進行圖片數(shù)據(jù)的周期覆蓋式存儲。http訪問支持用戶使用瀏覽器直接查看圖片。運維管理系統(tǒng)信息獲取支持系統(tǒng)信息：版本、CPU、內(nèi)存、網(wǎng)卡、磁盤等信息的獲取。系統(tǒng)故障告警支持系統(tǒng)故障(CPU、內(nèi)存等超過閾值)主動告警到運維平臺。存儲設(shè)備告警支持設(shè)備故障、掉線主動告警到運維平臺。標(biāo)準(zhǔn)協(xié)議對接支持標(biāo)準(zhǔn)的SNMP協(xié)議對接，采用Mibs文件。接口功能云認(rèn)證接口視頻云存儲對外提供登陸、認(rèn)證接口，保證系統(tǒng)安全性。視頻存儲接口提供統(tǒng)一的視頻存儲相關(guān)的接口：視頻寫入、視頻檢、索視頻下載、視頻回放等。視頻管理接口提供統(tǒng)一的視頻管理相關(guān)的接口：視頻鎖定、解鎖、刪除等。圖片存儲接口提供統(tǒng)一的圖片存儲相關(guān)的接口：圖片寫入、圖片下載等。圖片管理接口提供統(tǒng)一的圖片管理相關(guān)的接口：視頻鎖定、解鎖、刪除等。存儲空間管理存儲空間管理提供統(tǒng)一的圖片管理相關(guān)的接口：創(chuàng)建/刪除/修訂資源池。系統(tǒng)功能遠程配置通過web管理界面，用戶可完成節(jié)點的初始化配置?？煽啃韵到y(tǒng)可以提供7*24小時不間斷的服務(wù)，不會因系統(tǒng)內(nèi)部分服務(wù)器宕機，造成系統(tǒng)服務(wù)中斷。管理服務(wù)器采用集群方案保證系統(tǒng)的穩(wěn)定性。單節(jié)點故障不影響系統(tǒng)業(yè)務(wù)的持續(xù)性。可用性歷史視頻圖像的點擊回放的延遲時間小于s1，圖像無卡頓現(xiàn)象，播放清晰、流暢。視頻數(shù)據(jù)檢索秒級響應(yīng)。安全性云存儲子系統(tǒng)管理采用權(quán)限、密碼驗證機制可維護性系統(tǒng)支持在線擴容，云存儲集群規(guī)模調(diào)整支持不中斷業(yè)務(wù)模式下進行系統(tǒng)升級存儲業(yè)務(wù)流程.1視頻存儲業(yè)務(wù)流程1)視頻存儲流程視頻數(shù)據(jù)存儲由視頻監(jiān)控平臺向視頻云存儲子系統(tǒng)的管理服務(wù)器下發(fā)視頻錄像計劃，管理服務(wù)器根據(jù)各存儲的負載狀況，給存儲服務(wù)器的接入服務(wù)軟件下發(fā)錄像計劃。接入服務(wù)軟件獲取錄像計劃后，直連監(jiān)控點IPC，獲取視頻數(shù)據(jù)后調(diào)用數(shù)據(jù)管理軟件將數(shù)據(jù)寫入存儲服務(wù)器中。當(dāng)監(jiān)控點錄像計劃發(fā)生變更時需及時通知管理服務(wù)器；由管理服務(wù)器統(tǒng)一控制并分發(fā)給接入服務(wù)軟件。接入服務(wù)軟件定期向管理服務(wù)器獲取錄像計劃并上報自身狀態(tài)。視頻云存儲子系統(tǒng)：數(shù)據(jù)存儲流程圖視頻云存儲子系統(tǒng)：數(shù)據(jù)存儲流程圖如上圖所示，視頻存儲流程為：1、平臺向管理服務(wù)器下發(fā)計劃；2、管理服務(wù)器向存儲服務(wù)器同步錄像計劃；3、存儲服務(wù)器向前端取流；4、存儲服務(wù)器向管理服務(wù)器同步取流信息。2)視頻檢索流程視頻監(jiān)控平臺檢索視頻錄像信息時向視頻云存儲子系統(tǒng)管理服務(wù)器發(fā)送檢索指令，管理服務(wù)器查詢本地數(shù)據(jù)庫后直接將檢索信息發(fā)送到視頻監(jiān)控平臺，整個流程采用一級檢索方案完成。視頻云存儲子系統(tǒng)：數(shù)據(jù)檢索流程圖視頻云存儲子系統(tǒng)：數(shù)據(jù)檢索流程圖如上圖所示，視頻檢索流程為：1、平臺向管理服務(wù)器下發(fā)檢索指令；2、管理服務(wù)器向平臺返回檢索信息。3)視頻獲取流程用戶通過視頻監(jiān)控平臺查看監(jiān)控點視頻數(shù)據(jù)時視頻監(jiān)控平臺向視頻云存儲子系統(tǒng)發(fā)送獲取數(shù)據(jù)請求，管理服務(wù)器轉(zhuǎn)發(fā)請求到存儲節(jié)點，由存儲節(jié)點的數(shù)據(jù)管理服務(wù)軟件將視頻數(shù)據(jù)發(fā)送到用戶。視頻云存儲子系統(tǒng)：數(shù)據(jù)獲取流程圖視頻云存儲子系統(tǒng)：數(shù)據(jù)獲取流程圖如上圖所示，視頻檢索流程為：1、平臺向管理服務(wù)器下發(fā)檢索指令；2、管理服務(wù)器向平臺返回檢索信息。.2圖片存儲業(yè)務(wù)流程1)圖片存儲流程圖片存儲流程由卡口抓拍設(shè)備發(fā)起，抓拍機抓取圖片后主動寫入云存儲中。寫入完成后將云存儲返回的URL地址上傳至平臺的接入服務(wù)器，由接入服務(wù)器寫入數(shù)據(jù)庫中保存。存儲節(jié)點設(shè)備之間能夠自動進行均衡負載，保證在故障時做到自動切換，不間斷的提供圖片數(shù)據(jù)的存儲業(yè)務(wù)。詳細的圖片存儲流程如下圖所示：圖片直存流程圖片直存流程流程優(yōu)點：1、圖片數(shù)據(jù)由前端抓拍機直寫入云存儲，節(jié)省了大量接入服務(wù)器。2、圖片數(shù)據(jù)的存儲方案提供前端較高的兼容性能，能夠支持多廠商前端的圖片寫入。3、圖片數(shù)據(jù)是分散存儲，將接入服務(wù)器推送的圖片按照算法分散到不同的存儲服務(wù)器上，提高數(shù)據(jù)寫的速度，在可靠性和安全性上得到了加強。2)圖片檢索流程圖片數(shù)據(jù)的索引數(shù)據(jù)是存儲在平臺自身的數(shù)據(jù)庫中，包含云存儲URL地址、過車信息等。因此圖片檢索流程由平臺完成。3)圖片下載流程圖片數(shù)據(jù)下載：用戶通過視頻監(jiān)控平臺下載監(jiān)控點圖片時，視頻監(jiān)控平臺向視頻云存儲系統(tǒng)發(fā)送下載數(shù)據(jù)的請求，存儲管理服務(wù)器轉(zhuǎn)發(fā)請求到存儲節(jié)點，數(shù)據(jù)從存儲節(jié)點由數(shù)據(jù)管理服務(wù)軟件直接（或轉(zhuǎn)發(fā)）送至視頻監(jiān)控平臺。詳細的圖片下載流程如下圖所示：圖片下載流程圖片下載流程流程優(yōu)點：圖片數(shù)據(jù)是分散存儲的，便于數(shù)據(jù)的快速提取及分析，提高了數(shù)據(jù)讀取的速度，在可靠性和安全性上得到了加強。存儲容量估算.1視頻圖像存儲容量估算系統(tǒng)支持高清200萬及更高像素圖像的實時存儲和管理，新建視頻監(jiān)控系統(tǒng)存儲容量按照1920*1080（P1080），4Mbps碼流；1280*720(720P)，2Mbps碼流；如采用H.265標(biāo)準(zhǔn)進行編碼的，按照1920*1080（1080P），2Mbps碼流；1280*720(720P)，1.5Mbps碼流計算。存儲空間計算公式：單路實時視頻的存儲容量(GB)＝【視頻碼流大小(Mb)×60秒×60分×24小時×存儲天數(shù)/8】/1024；以一路視頻圖像在7天、15天、30天所需要的占用空間為例：存儲天數(shù)視頻規(guī)格7天15天30天H.264：295.3GB632.8GB1265.6GB1920*1080(1080P),41920*1080(1080P),4Mb碼流H.264：1280*720(720P),2Mb碼流147.65GB316.4GB632.8GBH.265：Mb1920*1080(1080P),2碼流147.65GBGB316.4632.8GBH.265：1280*720(720P),1.5Mb碼流110.74GB237.3GBGB4.7.2過車圖片存儲容量估算車輛圖片信息采用JPEG編碼格式，符合ISO/IEC1544∶2000要求，壓縮因子不高于70，300萬高清攝像機輸出照片文件平均大小為400K，按單車道日均2000輛流量估算，每條車道的圖片信息按不同存儲時間的容量計算公式如下：2000輛×0.4MB×1車道×30天/月×N個月/1024＝**GB單個車道按不同保存時間的數(shù)據(jù)存儲容量