高清視頻數(shù)字監(jiān)控存儲(chǔ)系統(tǒng)設(shè)計(jì)方案

高清視頻數(shù)字監(jiān)控存儲(chǔ)系統(tǒng)設(shè)計(jì)方案1.1.1視頻存儲(chǔ)的時(shí)間與方式的選擇對(duì)于監(jiān)控資料的保存時(shí)間，各種行業(yè)和各種應(yīng)用都有不同的規(guī)定，通常規(guī)定保留期限在7天至1年不等。但是由于傳統(tǒng)監(jiān)控存儲(chǔ)系統(tǒng)的約束，在實(shí)際使用中，一般監(jiān)控資料的保存時(shí)間都被約束在30天左右，在本系統(tǒng)中，要求保存的時(shí)間長(zhǎng)達(dá)1個(gè)月，存儲(chǔ)系統(tǒng)的約束尤其在大型監(jiān)控系統(tǒng)的設(shè)計(jì)和使用上表現(xiàn)得比較明顯，其約束主要體現(xiàn)在以下幾個(gè)方面：1）設(shè)備的容量限制：傳統(tǒng)設(shè)備很難提供高容量的連續(xù)存儲(chǔ)空間，給監(jiān)控資料的存儲(chǔ)和檢索帶來(lái)很大的困難；2）設(shè)備使用模式的限制：傳統(tǒng)的DAS為直接連接存儲(chǔ)，無(wú)法做到多設(shè)備共享存儲(chǔ)；傳統(tǒng)的NAS設(shè)備為網(wǎng)絡(luò)共享存儲(chǔ)，可以提供多臺(tái)硬盤錄像機(jī)同時(shí)使用，但是其性能低下，需要錄制的監(jiān)控信號(hào)達(dá)到一定數(shù)量后便會(huì)擁塞并導(dǎo)致不可用；3）設(shè)備擴(kuò)展的限制：系統(tǒng)在設(shè)計(jì)時(shí)很難準(zhǔn)確的準(zhǔn)確預(yù)估系統(tǒng)發(fā)展情況，而在使用中，根據(jù)實(shí)際情況的需要，經(jīng)常性的會(huì)對(duì)監(jiān)控資料保存時(shí)間、需要錄制的監(jiān)控點(diǎn)、新的監(jiān)控點(diǎn)等進(jìn)行調(diào)整，這些調(diào)整將直接對(duì)存儲(chǔ)空間提出新的要求。DAS、NAS設(shè)備其擴(kuò)展性相對(duì)較差，同時(shí)，擴(kuò)展時(shí)數(shù)據(jù)遷移、擴(kuò)容的時(shí)間周期和相當(dāng)繁瑣擴(kuò)容方式會(huì)對(duì)應(yīng)用造成很大的影響。所以存儲(chǔ)設(shè)備所造成擴(kuò)展限制非常嚴(yán)重。在實(shí)際使用中，由于受到存儲(chǔ)設(shè)備的種種限制，用戶在節(jié)目質(zhì)量和存儲(chǔ)時(shí)間之間要進(jìn)行艱難的抉擇，在通常使用中，一般會(huì)采取使用較低碼流、減少錄制點(diǎn)、減少錄制時(shí)間等方式來(lái)滿足對(duì)監(jiān)控資料保存時(shí)間的規(guī)定，甚至于減少資料保存得時(shí)間來(lái)遷就存儲(chǔ)系統(tǒng)的不足。而這種方式不可避免所帶來(lái)后果就是在需要監(jiān)控資料時(shí)因?yàn)橘Y料的缺失而受到影響。1.2數(shù)據(jù)存儲(chǔ)技術(shù)的選擇集中存儲(chǔ)主要有以下幾種方式：DAS——即直接連接存儲(chǔ)，采用SCSI和FC技術(shù)，將外置存儲(chǔ)設(shè)備通過(guò)光纖鏈接，直接連接到一臺(tái)計(jì)算機(jī)上，數(shù)據(jù)存儲(chǔ)是整個(gè)服務(wù)器結(jié)構(gòu)的一部分。NAS——即網(wǎng)絡(luò)附加存儲(chǔ)，是一種專業(yè)的網(wǎng)絡(luò)文件服務(wù)器，或稱為網(wǎng)絡(luò)直聯(lián)存儲(chǔ)設(shè)備，使用NFS或CIFS協(xié)議，通過(guò)TCP/IP進(jìn)行文件級(jí)訪問(wèn)。SAN——即存儲(chǔ)區(qū)域網(wǎng)絡(luò)，以數(shù)據(jù)存儲(chǔ)為中心的專用存儲(chǔ)網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)可伸縮，可實(shí)現(xiàn)存儲(chǔ)設(shè)備和應(yīng)用服務(wù)器之間數(shù)據(jù)塊級(jí)的I/O數(shù)據(jù)訪問(wèn)。按照所使用的協(xié)議和介質(zhì)，SAN分為FC—SAN、IP—SAN、IB—SAN。IP-SAN/NAS在SAN結(jié)構(gòu)下使用的iSCSI協(xié)議，作為在IP網(wǎng)絡(luò)上訪問(wèn)數(shù)據(jù)塊級(jí)（Block-level）的新的InternetSCSI標(biāo)準(zhǔn)，在SAN和NAS之間架設(shè)了一道橋梁。iSCSI最初是由Cisco和IBM兩家公司發(fā)起的，之后提交給Internet工程任務(wù)組(IETF)將其標(biāo)準(zhǔn)化。是融合NAS和SAN的技術(shù)。是可在TCP/IP網(wǎng)絡(luò)發(fā)送、接收Block（數(shù)據(jù)塊）級(jí)數(shù)據(jù)的存儲(chǔ)服務(wù)器。各種存儲(chǔ)系統(tǒng)的比較如下：類型項(xiàng)目DASNASFCSANIPSAN性能高低高高可擴(kuò)充性低低高高周邊設(shè)備SCSI卡以太網(wǎng)卡、以太網(wǎng)交換機(jī)光纖通道卡、光纖通道交換機(jī)以太網(wǎng)卡、以太網(wǎng)交換機(jī)共享能力低高高高價(jià)格低低高低市場(chǎng)定位中低高中高選擇存儲(chǔ)方案時(shí)主要考慮到：采用H.264或MPEG-4/2視頻格式，但各種編碼器都有各自的播放庫(kù)。數(shù)字視頻數(shù)量影響到存儲(chǔ)容量和存儲(chǔ)性能需求。視頻流帶寬/記錄時(shí)間：影響到存儲(chǔ)容量和性能需求。一般視頻流帶寬的范圍是從1Mbps-8Mbps。在監(jiān)控記錄的時(shí)間上，有全天時(shí)記錄和部分時(shí)間記錄（工作時(shí)間）的區(qū)分。視頻錄像保持30天的存儲(chǔ)。視頻流的記錄方式：影響到存儲(chǔ)空間的接口。目前了解到信息，各種DVS/NVS/編碼器全部使用文件系統(tǒng)記錄視頻流（錄像），方法為按固定的時(shí)間間隔生產(chǎn)視頻文件。穩(wěn)定可靠性要求：一些視頻監(jiān)控系統(tǒng)對(duì)監(jiān)控業(yè)務(wù)連續(xù)性要求很高，要求設(shè)備故障不能影響到當(dāng)前的監(jiān)視和記錄。隨著業(yè)務(wù)發(fā)展，存儲(chǔ)視頻存儲(chǔ)的擴(kuò)容。系統(tǒng)設(shè)計(jì)選用IP-SAN作為網(wǎng)絡(luò)存儲(chǔ)設(shè)備。1.3IPSAN存儲(chǔ)技術(shù)IP-SAN，即基于IP以太網(wǎng)絡(luò)的SAN存儲(chǔ)架構(gòu)，隨著以太網(wǎng)技術(shù)的發(fā)展，使IP-SAN對(duì)SAN技術(shù)進(jìn)一步的拓展。它使用iSCSI協(xié)議代替光纖通道（FC）協(xié)議來(lái)傳輸數(shù)據(jù)，直接在IP網(wǎng)絡(luò)上進(jìn)行存儲(chǔ)，iSCSI協(xié)議就是把SCSI命令包在TCP/IP包中傳輸，即為SCSIoverTCP/IP。

IP-SAN架構(gòu)不必使用昂貴的光纖網(wǎng)絡(luò)、FC-HBA卡和光纖通道存儲(chǔ)設(shè)備，而是使用IP以太網(wǎng)絡(luò)、以太網(wǎng)卡和iSCSI存儲(chǔ)設(shè)備。因此，相比FC-SAN，IP-SAN存儲(chǔ)架構(gòu)要廉價(jià)的多，而且實(shí)施起來(lái)更容易。與FC-SAN類似，IP-SAN也可以將存儲(chǔ)設(shè)備分成一個(gè)或多個(gè)卷，并導(dǎo)出給前端應(yīng)用客戶端，客戶端計(jì)算機(jī)可以對(duì)這些導(dǎo)過(guò)來(lái)的卷進(jìn)行新建文件系統(tǒng)（格式化）操作。客戶端計(jì)算機(jī)對(duì)這些卷的訪問(wèn)方式為設(shè)備級(jí)的塊訪問(wèn)，IP-SAN通過(guò)把數(shù)據(jù)分成多個(gè)數(shù)據(jù)塊(Block)并行寫入/讀出磁盤，塊級(jí)訪問(wèn)的特性決定了iSCSI數(shù)據(jù)訪問(wèn)的高I/O性能和傳輸?shù)脱舆t。IP-SAN繼承了IP網(wǎng)絡(luò)開(kāi)放、高性能、高可靠性、易管理、可擴(kuò)展性強(qiáng)、自適應(yīng)性強(qiáng)的優(yōu)點(diǎn)，存儲(chǔ)方式靈活，實(shí)現(xiàn)存儲(chǔ)網(wǎng)絡(luò)與應(yīng)用網(wǎng)絡(luò)的無(wú)縫連接，并提供了優(yōu)良的遠(yuǎn)程數(shù)據(jù)復(fù)制和容災(zāi)特性。IP-SAN存儲(chǔ)具有如下特點(diǎn)：具有高帶寬“塊”級(jí)數(shù)據(jù)傳輸?shù)膬?yōu)勢(shì)。基于TCP/IP，IP網(wǎng)絡(luò)技術(shù)成熟，具有TCP/IP的所有優(yōu)點(diǎn)，如可靠傳輸，可路由等，減少了配置、維護(hù)、管理的復(fù)雜度?？梢酝ㄟ^(guò)以太網(wǎng)來(lái)部署iSCSI存儲(chǔ)網(wǎng)絡(luò)，易部署，成本低。易于擴(kuò)展，當(dāng)需要增加存儲(chǔ)空間時(shí)，只需要增加存儲(chǔ)設(shè)備即可完全滿足，擴(kuò)展性高。數(shù)據(jù)遷移和遠(yuǎn)程鏡像容易，只要網(wǎng)絡(luò)帶寬支持，基本沒(méi)有距離限制，更好的支持備份和異地容災(zāi)。1.4FCSAN與IPSAN的比較及其在監(jiān)控應(yīng)用中的選擇1.4.1模式分析1）FCSAN模式分析傳統(tǒng)的存儲(chǔ)網(wǎng)絡(luò)多采用光纖通道(FC，F(xiàn)iberChannel)的方式，整個(gè)系統(tǒng)包括每個(gè)服務(wù)器端的光纖通道卡，光纖線，光纖通道交換機(jī)等。開(kāi)放的、標(biāo)準(zhǔn)化的光纖通道技術(shù)使得FCSAN非常靈活。FCSAN克服了傳統(tǒng)上與SCSI相連的線纜限制，極大地拓展了服務(wù)器和存儲(chǔ)之間的距離，從而增加了更多連接的可能性。改進(jìn)的擴(kuò)展性還簡(jiǎn)化了服務(wù)器的部署和升級(jí)，保護(hù)了原有硬件設(shè)備的投資。FCSAN以其高性能、高穩(wěn)定性和高安全性在金融、政府、數(shù)據(jù)中心等高端應(yīng)用場(chǎng)合廣泛被使用，但是其本身固有的缺點(diǎn)使其在占絕大多數(shù)的中低端客戶中應(yīng)用并不廣泛。FCSAN的缺點(diǎn)：（1）成本高，這是FCSAN的最大缺點(diǎn)。光纖交換機(jī)、HBA光纖卡、光纖硬盤等設(shè)備都十分昂貴，每片光纖通道卡以及每個(gè)光纖通道交換機(jī)端口的價(jià)格是普通千兆以太網(wǎng)的10至20倍以上，加上光纖的鋪設(shè)在中國(guó)大部分地區(qū)不是十分普及，整個(gè)系統(tǒng)的建設(shè)費(fèi)用非常昂貴；（2）異構(gòu)性。除了高價(jià)外，最主要的問(wèn)題是它與應(yīng)用網(wǎng)絡(luò)的異構(gòu)性。FCSAN是一種獨(dú)立的網(wǎng)絡(luò)架構(gòu)和技術(shù)模式，其和現(xiàn)在已經(jīng)十分發(fā)達(dá)的IP網(wǎng)絡(luò)完全不同，這種異構(gòu)性使得占市場(chǎng)大多數(shù)的中低端客戶，因面對(duì)相對(duì)陌生、復(fù)雜的FC技術(shù)望而卻步。（3）容易形成存儲(chǔ)孤島。由于FCSAN受它的物理機(jī)理決定，它無(wú)法使存儲(chǔ)設(shè)備隨它在Internet上運(yùn)行，從而無(wú)法滿足應(yīng)用前端對(duì)存儲(chǔ)數(shù)據(jù)"無(wú)時(shí)不有、無(wú)處不在"的要求。要有鋪設(shè)光纖的地方，才可以部署FCSAN服務(wù)網(wǎng)絡(luò)，同時(shí)SAN的物理覆蓋有限，不超過(guò)50公里，這樣容易形成存儲(chǔ)孤島。（4）管理難度大，人力成本高。FCSAN與現(xiàn)在的IP網(wǎng)絡(luò)完全不同，一般來(lái)說(shuō)，F(xiàn)CSAN多半需要特定的工具軟件來(lái)操作管理，所以需要對(duì)人員進(jìn)行一定時(shí)間的教育訓(xùn)練，而且費(fèi)用不低。（5）設(shè)備的兼容性問(wèn)題。由于標(biāo)準(zhǔn)的不統(tǒng)一，各個(gè)FCSAN產(chǎn)品的生產(chǎn)廠家所生產(chǎn)的設(shè)備之間不兼容。對(duì)各行各業(yè)的IT技術(shù)人員而言，網(wǎng)絡(luò)技術(shù)是基于Ethernet及TCP/IP構(gòu)筑的，它們的許多應(yīng)用已建立在Internet的架構(gòu)之上，并期待著存儲(chǔ)網(wǎng)絡(luò)化最終會(huì)向這個(gè)方向邁進(jìn)。過(guò)去IT發(fā)展的歷史已經(jīng)說(shuō)明，包括Token-Ring、FDDI、ATM以及Bell發(fā)明了一百余年的、面向連接的語(yǔ)音交換技術(shù)，都將統(tǒng)一融合到TCP/IP為基本架構(gòu)的Internet上去。SAN也將向基于IP網(wǎng)絡(luò)方向發(fā)展。2）IPSAN模式分析IPSAN是近些年來(lái)新興的網(wǎng)絡(luò)存儲(chǔ)技術(shù)，它希望用TCP/IP以太網(wǎng)替代光纖通道網(wǎng)絡(luò)。IPSAN的好處在于：使用以太網(wǎng)絡(luò)，保護(hù)了用戶現(xiàn)有的投資；以太網(wǎng)系統(tǒng)造價(jià)低；以太網(wǎng)是成熟的技術(shù)，具有良好的兼容性；以太網(wǎng)絡(luò)可以擴(kuò)展到遠(yuǎn)端，便于系統(tǒng)的做遠(yuǎn)程的容災(zāi)備份；以太網(wǎng)上現(xiàn)有的軟件也可以直接使用，例如IPSAN可以直接加上IPsec軟件，以達(dá)到存儲(chǔ)網(wǎng)絡(luò)加密的目的；千兆以太網(wǎng)絡(luò)的廣泛使用，也使得IPSAN的性能得到提高?？傊?，采用IPSAN存儲(chǔ)網(wǎng)絡(luò)，可以達(dá)到好兼容性和最高的性能價(jià)格比。iSCSI協(xié)議是IPSAN中最為流行的協(xié)議，是IP存儲(chǔ)的典型代表。iSCSI（InternetSCSI，互聯(lián)網(wǎng)小型計(jì)算機(jī)系統(tǒng)接口）是一種在Internet協(xié)議網(wǎng)絡(luò)上，特別是以太網(wǎng)上進(jìn)行數(shù)據(jù)塊傳輸?shù)臉?biāo)準(zhǔn)。它是由多家存儲(chǔ)廠商發(fā)起的，并且得到了IP存儲(chǔ)技術(shù)擁護(hù)者的大力支持。iSCSI是一個(gè)供硬件設(shè)備使用的，可以在IP協(xié)議上運(yùn)行的SCSI指令集。簡(jiǎn)單地說(shuō)，iSCSI是可以在IP網(wǎng)絡(luò)上運(yùn)行的SCSI協(xié)議。FiberChannel搭建的FCSAN與利用iSCSI搭建的IPSAN的區(qū)別：在IPSAN中，千兆以太網(wǎng)交換機(jī)代替了價(jià)格昂貴且只有FCSAN專用的光纖交換機(jī),客戶端的Initiator或iSCSI卡代替了價(jià)格較高的主機(jī)HBA卡，具有iSCSI接口的高性價(jià)比的存儲(chǔ)設(shè)備代替了光纖磁盤陣列。當(dāng)然，兩者的區(qū)別還不僅如此。FCSAN具有良好的擴(kuò)展性，IPSAN的擴(kuò)展性更加出色。我們可以在IPSAN中使用SCSI、FC、SATA、SAS等多種磁盤陣列來(lái)擴(kuò)展IPSAN的容量。即使是比較大數(shù)據(jù)塊傳輸?shù)男阅?，基于多個(gè)千兆以太網(wǎng)口的IPSAN與基于4Gb/s光纖的FCSAN差距也越來(lái)越小，隨著10Gb以太網(wǎng)的逐步普及，甚至?xí)^(guò)FCSAN網(wǎng)絡(luò)。在安全性方面，iSCSI規(guī)范包含了Initiator和目標(biāo)驗(yàn)證(使用CHAP、SRP、Kerberos和SPKM)，以防止未經(jīng)授權(quán)的訪問(wèn)，同時(shí)只允許可信賴的節(jié)點(diǎn)訪問(wèn)。作為補(bǔ)充，IPSec可以提供安全保證，防止偵聽(tīng)。光纖通道協(xié)議是工作在第二層的協(xié)議，原本并沒(méi)有建立相應(yīng)的安全機(jī)制以及安全通用協(xié)議，只不過(guò)是基于邏輯上的數(shù)據(jù)通道綁定。由于IP技術(shù)的普及和發(fā)展，利用iSCSI技術(shù)搭建的IPSAN可以隨著網(wǎng)絡(luò)延伸至全球任意一個(gè)角落，從根本上解決了信息孤島的問(wèn)題。我們甚至可以通過(guò)IPSAN來(lái)連接各個(gè)FCSAN的孤島。利用標(biāo)準(zhǔn)化的數(shù)據(jù)傳輸通道、標(biāo)準(zhǔn)的接口以及虛擬存儲(chǔ)管理技術(shù)，IPSAN存儲(chǔ)網(wǎng)絡(luò)幾乎可與所有種類的磁盤陣列兼容。產(chǎn)品互操作性的問(wèn)題迎刃而解。IPSAN優(yōu)點(diǎn)：（1）成本投入小。iSCSI所使用的適配卡、交換機(jī)和纜線這些產(chǎn)品的價(jià)格比FCSAN所選用的硬件產(chǎn)品價(jià)格要低，并且iSCSI可以在現(xiàn)有的網(wǎng)絡(luò)上直接安裝，并不需要更改企業(yè)的網(wǎng)絡(luò)體系，這樣就大量節(jié)約資金投入。（2）管理門檻及維護(hù)成本更低。一般來(lái)說(shuō)，F(xiàn)CSAN多半需要特定的工具軟件來(lái)操作管理，所以需要對(duì)人員進(jìn)行一定時(shí)間的教育訓(xùn)練，而且費(fèi)用不低。iSCSISAN乃透過(guò)IP網(wǎng)絡(luò)來(lái)傳輸數(shù)據(jù)及分配存儲(chǔ)資源，所以只要使用網(wǎng)絡(luò)現(xiàn)有的管理功能即可，比較起來(lái)，的確可以省下大筆管理人力及訓(xùn)練成本。（3）無(wú)距離限制。由于iSCSISAN是一種基于IP網(wǎng)絡(luò)的存儲(chǔ)技術(shù)，它會(huì)隨著IP網(wǎng)絡(luò)的延生而將存儲(chǔ)距離不斷擴(kuò)大，因此iSCSISAN是無(wú)距離限制的。（4）組建方式靈活，可擴(kuò)展性高。由于iSCSISAN存儲(chǔ)系統(tǒng)可以直接在現(xiàn)有的網(wǎng)絡(luò)系統(tǒng)中進(jìn)行組建，并不需要改變網(wǎng)絡(luò)體系，加上運(yùn)用交換機(jī)來(lái)連接存儲(chǔ)設(shè)備，對(duì)于需要增加存儲(chǔ)空間的圖書館來(lái)說(shuō)，只需要增加存儲(chǔ)設(shè)備就可完全滿足，因此，iSCSISAN存儲(chǔ)系統(tǒng)的可擴(kuò)展性高。（5）傳輸速度快。拜GE以太網(wǎng)絡(luò)之賜，理論上，iSCSISAN的速度越來(lái)越高。更重要的是，一旦下世代的10GB以太網(wǎng)絡(luò)普及的時(shí)候，iSCSISAN就可能以10GB的高速狂飆，比FCSAN的下代版本——8GB還要快。（6）人才較多。隨著因特網(wǎng)的日益興盛，造就了取之不盡、用之不竭的TCP/IP網(wǎng)絡(luò)人才，比起門坎較高的FCSAN來(lái)說(shuō)，這對(duì)于專走IP網(wǎng)絡(luò)Base的iSCSISAN而言，可說(shuō)是一大優(yōu)勢(shì)。1.5監(jiān)控應(yīng)用中的模式選擇1.1.1從監(jiān)控實(shí)際應(yīng)用性能上考慮在監(jiān)控應(yīng)用中，由于其應(yīng)用的特殊性，性能瓶頸在硬盤上而不是主機(jī)接口。以3Gb/sSATA盤為例，在監(jiān)控模擬應(yīng)用中的測(cè)試性能約為40MB左右，按照實(shí)際應(yīng)用性能可以達(dá)到測(cè)試性能的70-80%計(jì)算，即可以支持500路CIF碼流；考慮的做RAID后性能的提升，實(shí)際應(yīng)用中也僅可以支持到的1000-1500路CIF碼流，換算成帶寬也就是65-95MB/s之間。單4Gb/s的FC主機(jī)接口帶寬為500MB，2個(gè)千兆主機(jī)接口帶寬為250MB，主機(jī)接口帶寬均遠(yuǎn)大于65-95MB，即使按照主機(jī)接口應(yīng)用帶寬約為理論帶寬的50%，也大于硬盤在監(jiān)控應(yīng)用中的實(shí)際性能，即采用FC或者IP接口對(duì)監(jiān)控應(yīng)用中的整體性能幾乎沒(méi)有什么影響。因此，考慮性能要求和投入成本，在監(jiān)控應(yīng)用中我們使用IP存儲(chǔ)設(shè)備。通過(guò)實(shí)際測(cè)試也可以看到采用FC和IP的存儲(chǔ)性能相差無(wú)幾。IP網(wǎng)絡(luò)存儲(chǔ)單設(shè)備可以支持約400路D1碼流并發(fā)寫入。在RAID5降級(jí)情況下對(duì)實(shí)際性能幾乎無(wú)影響，RAID5重構(gòu)情況下性能僅下降15%以內(nèi)。1.1.2從監(jiān)控應(yīng)用特點(diǎn)上考慮由于監(jiān)控視頻數(shù)據(jù)需要反復(fù)的覆蓋寫入，采用傳統(tǒng)的文件系統(tǒng)會(huì)產(chǎn)生大量的磁盤碎片。傳統(tǒng)的磁盤陣列，由于附屬于前端的操作系統(tǒng)，對(duì)磁盤碎片是無(wú)法處理的，只能依靠前端操作系統(tǒng)中文件系統(tǒng)的處理機(jī)制來(lái)處理（例如，NTFS和EXT3）。而傳統(tǒng)的文件系統(tǒng)設(shè)計(jì)的時(shí)候考慮更多的是在磁盤沒(méi)有寫滿的情況下如何更快的響應(yīng)一般客戶操作或者數(shù)據(jù)庫(kù)的請(qǐng)求，對(duì)于類似監(jiān)控類型的反復(fù)覆蓋訪問(wèn)方式不是很適用。在長(zhǎng)時(shí)間使用之后，性能和磁盤利用率均會(huì)大幅下降，并且還會(huì)造成磁盤加速損壞，縮短磁盤壽命。IP存儲(chǔ)系統(tǒng)應(yīng)采用磁盤預(yù)分配與延遲分配技術(shù)相結(jié)合，首先查找空閑空間區(qū)域并用于存儲(chǔ)新數(shù)據(jù)的過(guò)程，最大程度地提高系統(tǒng)性能和避免磁盤碎片。同時(shí)，結(jié)合高效的碎片整理程序，在系統(tǒng)空閑時(shí)對(duì)磁盤碎片進(jìn)行整理，能夠減少90%以上的文件碎片，大幅改善系統(tǒng)的性能。1.6存儲(chǔ)容量計(jì)算關(guān)于錄像文件大小的計(jì)算，采用如下方式：對(duì)數(shù)字圖像實(shí)現(xiàn)每天24小時(shí)的不間斷存儲(chǔ)，采用4Mbps碼流，數(shù)據(jù)保存周期為30天。共計(jì)1路視頻，則所需硬盤容量計(jì)算方式如下：視頻碼流÷8（轉(zhuǎn)換為字節(jié)）×3600（得到一小時(shí)存儲(chǔ)容量）×24（得到一天存儲(chǔ)容量）×30（得到30天存儲(chǔ)容量）×1（得到30天1路視頻存儲(chǔ)容量）÷1024（轉(zhuǎn)化單位為GB）÷0.9（考慮到格式化后的硬盤損失10%）÷1024（轉(zhuǎn)化單位為TB）4Mbps÷8×3600×24×30×1÷1024÷0.9÷1024≈1.37TB1.7存儲(chǔ)設(shè)備配置以交管局指揮中心原有的200路圖像為例，改建200路模擬圖像為720p高清圖像，采用4Mbps碼率，錄像時(shí)間為30天，則4Mbps÷8×3600×24×30×200÷1024÷0.9÷1024≈274.66TB根據(jù)計(jì)算，共計(jì)需要存儲(chǔ)空間2754TB。則需要2TB硬盤138塊?？紤]到數(shù)據(jù)安全性，需要對(duì)磁盤陣列做RAID5，原則上10塊—14塊存儲(chǔ)硬盤做一個(gè)1個(gè)RAID5陣列，則每個(gè)RAID5陣列還需要檢驗(yàn)盤1塊，熱備盤1塊。所以需要部署4臺(tái)48盤位磁盤陣列，2TB企業(yè)級(jí)硬盤共158塊。其他大隊(duì)可采用類似方法計(jì)算。1.7.1存儲(chǔ)可靠性設(shè)計(jì)視頻監(jiān)控圖像存儲(chǔ)應(yīng)具備高度的可靠性，不允許出現(xiàn)需要回放某一時(shí)間某一地點(diǎn)的錄像時(shí)，出現(xiàn)沒(méi)有錄像或不能回放的情形。存儲(chǔ)系統(tǒng)的設(shè)計(jì)和配置需要從以下幾個(gè)方面提高系統(tǒng)的可靠性：存儲(chǔ)服務(wù)器的冗余技術(shù)，確保存儲(chǔ)管理不間斷工作。存儲(chǔ)磁盤陣列控制器的冗余技術(shù)。磁盤的冗余技術(shù)，采用各種RAID機(jī)制。磁盤在線更新機(jī)制，采用熱備盤實(shí)現(xiàn)故障的自動(dòng)替換。對(duì)重點(diǎn)錄像進(jìn)行備份存儲(chǔ)。磁盤陣列應(yīng)采用成熟的Intel硬件平臺(tái)，加上穩(wěn)定的StorOS操作系統(tǒng)的配合，從而具有穩(wěn)定的產(chǎn)品性能。1）產(chǎn)品應(yīng)具備Raid0，1，5，6，10，50，JBOD和熱備盤技術(shù)等熱備技術(shù)；采用常用的RAID5+1片熱備盤的冗余機(jī)制時(shí)，當(dāng)盤組里任何一片盤損壞時(shí)，通過(guò)校驗(yàn)數(shù)據(jù)塊計(jì)算壞盤的數(shù)據(jù)，保障了出現(xiàn)壞盤情況下的數(shù)據(jù)不丟失以及持續(xù)可訪問(wèn)性。配合熱備盤技術(shù)，熱備盤自動(dòng)頂替壞盤，并由Raid組中的其它工作盤自動(dòng)計(jì)算壞盤的數(shù)據(jù)并寫入熱備盤，實(shí)現(xiàn)對(duì)壞盤數(shù)據(jù)的重構(gòu)；RAID重構(gòu)對(duì)整體性能的影響在15%以下。2）冗余熱插拔風(fēng)扇、冗余電源屏蔽了這些部件的故障導(dǎo)致的設(shè)備故障，同時(shí)這些部件支持在線更換。3）UPS保護(hù)UPS掉電數(shù)據(jù)保護(hù)技術(shù)，產(chǎn)品能檢測(cè)到UPS的供電狀態(tài)，當(dāng)出現(xiàn)掉電的情況，產(chǎn)品能夠按預(yù)先設(shè)置的策略實(shí)現(xiàn)數(shù)據(jù)從緩存回寫到磁盤上，保證了的數(shù)據(jù)的完整性。一般的磁盤陣列都具有上述可靠性保護(hù)技術(shù)，這些技術(shù)也解決了用戶大部分的數(shù)據(jù)丟失的安全隱患，但是不夠徹底。例如當(dāng)磁盤的損壞突破了RAID機(jī)制的磁盤冗余的極限，冗余硬件全部出現(xiàn)故障，UPS保護(hù)時(shí)間不夠等情況，都可能導(dǎo)致整個(gè)系統(tǒng)的服務(wù)中斷。為了解決以上的相對(duì)極端的問(wèn)題，存儲(chǔ)系統(tǒng)也應(yīng)提供相應(yīng)的措施來(lái)保證服務(wù)連續(xù)性和數(shù)據(jù)不丟失。N+m備機(jī)模式該模式下，N臺(tái)存儲(chǔ)設(shè)備為編碼器提供在線存儲(chǔ)服務(wù)，同時(shí)配置m臺(tái)(這里以1臺(tái)為例)存儲(chǔ)設(shè)備作為備機(jī)。通過(guò)底層系統(tǒng)，備機(jī)會(huì)實(shí)時(shí)監(jiān)測(cè)在線存儲(chǔ)設(shè)備的工作狀況，當(dāng)在線存儲(chǔ)出現(xiàn)服務(wù)中斷（多磁盤故障、硬件部件故障等）時(shí)，備機(jī)會(huì)接替故障機(jī)所有的前端(編碼器)配置信息，繼續(xù)提供存儲(chǔ)服務(wù)，保證整個(gè)系統(tǒng)的服務(wù)持續(xù)性。當(dāng)在線存儲(chǔ)恢復(fù)后，會(huì)繼續(xù)提供在線存儲(chǔ)服務(wù)，備機(jī)停止服務(wù)。1.8智能斷網(wǎng)錄像IP存儲(chǔ)系統(tǒng)可以結(jié)合前端編碼設(shè)備，在前端設(shè)備配置SD卡，在存儲(chǔ)系統(tǒng)服務(wù)中斷期間實(shí)現(xiàn)錄像接管，并在網(wǎng)絡(luò)恢復(fù)時(shí)將前端視頻數(shù)據(jù)透明化復(fù)制至磁盤陣列保證視頻數(shù)據(jù)不丟失，提升網(wǎng)絡(luò)存儲(chǔ)的可靠性與靈活性，實(shí)現(xiàn)數(shù)據(jù)雙備份。1.8.1存儲(chǔ)系統(tǒng)I/O要求在監(jiān)控的存儲(chǔ)系統(tǒng)中，存儲(chǔ)系統(tǒng)的I/O吞吐能力也是一個(gè)極為重要的參數(shù)，在大規(guī)模監(jiān)控系統(tǒng)中，由于同時(shí)存儲(chǔ)的數(shù)據(jù)量較大，需要存儲(chǔ)系統(tǒng)能夠提供較為強(qiáng)大的I/O吞吐能力才能正常進(jìn)行數(shù)據(jù)的存儲(chǔ)，否則既有可能因?yàn)榇鎯?chǔ)系統(tǒng)的I/O能力不足，在存儲(chǔ)系統(tǒng)中形成性能瓶頸而造成資料無(wú)法存儲(chǔ)、已存儲(chǔ)的資料丟失、甚至于整個(gè)系統(tǒng)的崩潰。此處計(jì)算結(jié)果為實(shí)際需要值，而且為存儲(chǔ)系統(tǒng)寫入處理的能力，并且為多文件同時(shí)寫入，對(duì)于存儲(chǔ)系統(tǒng)的要求極為苛刻。通常在存儲(chǔ)設(shè)備的參數(shù)中，所提供的技術(shù)參數(shù)一般為實(shí)驗(yàn)室測(cè)試環(huán)境中的理想測(cè)試值，在實(shí)際使用中會(huì)有較大幅度的衰減，一般來(lái)說(shuō)，存儲(chǔ)設(shè)備的讀取速度會(huì)高于寫入速度，在進(jìn)行參數(shù)對(duì)比時(shí)需要注意區(qū)分。在選擇監(jiān)控存儲(chǔ)產(chǎn)品時(shí)，同樣需要考慮到存儲(chǔ)系統(tǒng)I/O能力的冗余，與存儲(chǔ)空間不同的是，數(shù)據(jù)存儲(chǔ)的動(dòng)作是時(shí)刻在進(jìn)行的，而且非常的關(guān)鍵，一旦發(fā)生I/O阻塞，其后果不堪設(shè)想。所以，選擇時(shí)應(yīng)該至少為I/O留出50%以上的性能冗余。各大隊(duì)分控中心配置的千兆網(wǎng)絡(luò)交換機(jī)（端口帶寬1000M），同時(shí)其他大隊(duì)的監(jiān)控點(diǎn)位少于230個(gè)點(diǎn)上，因此千兆光纖上傳鏈路同樣可以滿足帶寬傳輸?shù)男枨蟆?.8.2存儲(chǔ)管理策略1.9存儲(chǔ)管理服務(wù)器在派出所和區(qū)縣監(jiān)控中心部署存儲(chǔ)管理服務(wù)器，內(nèi)嵌平臺(tái)軟件的網(wǎng)絡(luò)存儲(chǔ)管理服務(wù)軟件，是針對(duì)大型網(wǎng)絡(luò)監(jiān)控系統(tǒng)環(huán)境的專用存儲(chǔ)管理軟件模塊，實(shí)現(xiàn)遠(yuǎn)程所有圖像的實(shí)時(shí)錄像、報(bào)警錄像、中心集中備份和事后檢索查詢服務(wù)，計(jì)劃錄像下支持補(bǔ)錄。支持DAS、NAS、SAN等多種存儲(chǔ)方式，對(duì)于視頻文件存儲(chǔ)我們建議采用IPSAN存儲(chǔ)方式。網(wǎng)絡(luò)存儲(chǔ)管理服務(wù)器根據(jù)實(shí)際需求部署，一臺(tái)存儲(chǔ)管理服務(wù)器可以管理的視頻路數(shù)不限，但是同時(shí)并發(fā)存儲(chǔ)處理的視頻路數(shù)受到服務(wù)器性能限制，目前測(cè)試的結(jié)果是在1000M網(wǎng)絡(luò)環(huán)境下一臺(tái)IPSAN存儲(chǔ)設(shè)備可以并發(fā)響應(yīng)380路CIF格式的視頻流，256路D1格式視頻。網(wǎng)絡(luò)存儲(chǔ)服務(wù)器軟件通過(guò)網(wǎng)絡(luò)獲取系統(tǒng)中所有視頻源的信息，存儲(chǔ)到大容量的存儲(chǔ)設(shè)備中。系統(tǒng)可以支持n臺(tái)計(jì)算機(jī)組成的分布式集群存儲(chǔ)結(jié)構(gòu)。在這些計(jì)算機(jī)的通訊底層是我們的高性能通訊平臺(tái)技術(shù)。在正常運(yùn)作的情況下，每一臺(tái)存儲(chǔ)計(jì)算機(jī)負(fù)責(zé)存儲(chǔ)整個(gè)系統(tǒng)中的某些錄像信息。首先我們需要定義存儲(chǔ)組，每一個(gè)存儲(chǔ)組有n路圖像組成。我們把一個(gè)存儲(chǔ)組綁定到一臺(tái)存儲(chǔ)服務(wù)器，這樣全系統(tǒng)的圖像將通過(guò)不同的存儲(chǔ)服務(wù)器進(jìn)行存儲(chǔ)。存儲(chǔ)管理服務(wù)器管理的對(duì)象可以是PC服務(wù)器存儲(chǔ)設(shè)備、DVR設(shè)備、IP網(wǎng)絡(luò)攝像機(jī)，也可以是磁盤陣列或磁帶庫(kù)。1.9.1容錯(cuò)技術(shù)首先系統(tǒng)體系結(jié)構(gòu)上的容錯(cuò)技術(shù)。我們的系統(tǒng)支持分布式的集群技術(shù)，簡(jiǎn)單地講，每臺(tái)服務(wù)器正常執(zhí)行當(dāng)前的存儲(chǔ)任務(wù)，但是同時(shí)又作為其他服務(wù)器的后備集群節(jié)點(diǎn)。當(dāng)集群系統(tǒng)某一節(jié)點(diǎn)出現(xiàn)故障，那么我們的底層通訊協(xié)議能夠準(zhǔn)確地監(jiān)測(cè)到這臺(tái)機(jī)器的問(wèn)題，這就是所謂的成員離開(kāi)事件，成員離開(kāi)事件將被可信協(xié)議遞交到集群中的每一個(gè)節(jié)點(diǎn)，它的備份服務(wù)器將立刻承擔(dān)起失敗節(jié)點(diǎn)的責(zé)任，進(jìn)行錄像。這就是容錯(cuò)功能。而當(dāng)失敗的節(jié)點(diǎn)修復(fù)后重新啟動(dòng)并開(kāi)始錄像，底層通訊協(xié)議能夠把這個(gè)重新加入的時(shí)間遞交給每一個(gè)節(jié)點(diǎn)，這是所謂的成員加入事件。備份服務(wù)器接收到這個(gè)時(shí)間以后就停止錄像。這就是錯(cuò)誤恢復(fù)功能。另外，在錄像分包時(shí)，每一個(gè)錄像文件結(jié)束和一個(gè)新的錄像文件開(kāi)始，系統(tǒng)都被冗余一部分?jǐn)?shù)據(jù)，以保證沒(méi)有任何圖像幀丟失。1.9.2錄像清盤策略當(dāng)系統(tǒng)發(fā)現(xiàn)存儲(chǔ)的容量超過(guò)系統(tǒng)規(guī)定的最高警戒線，將開(kāi)始啟動(dòng)清盤任務(wù)，這個(gè)工作是由存儲(chǔ)管理服務(wù)器來(lái)管理的，存儲(chǔ)管理服務(wù)器將定時(shí)檢查磁盤的情況，進(jìn)行磁盤的清理、自動(dòng)導(dǎo)出等功能。系統(tǒng)提供集中清盤策略，包括先進(jìn)先出，最近訪問(wèn)，最多訪問(wèn)，以及保留優(yōu)先權(quán)。在先進(jìn)先出的情況下，所有最先錄制的圖像數(shù)據(jù)將被刪除。而在最近訪問(wèn)策略中，越最近訪問(wèn)的錄像資料將被保留越久，越多訪問(wèn)策略則考慮整個(gè)系統(tǒng)用戶對(duì)資料的訪問(wèn)頻度，訪問(wèn)的人越多，錄像資料保留得越久。在所有這些策略中，都可以定義保留優(yōu)先級(jí)，如果某一通道的優(yōu)先保留權(quán)越高，那么它的數(shù)據(jù)將被越后刪除，并且系統(tǒng)可以定義保留的時(shí)間長(zhǎng)度。1.9.3監(jiān)控資料后期檢索方式監(jiān)控資料的后期檢索也是監(jiān)控系統(tǒng)中的一個(gè)非常重要的環(huán)節(jié)。在監(jiān)控中的，實(shí)時(shí)監(jiān)控圖像固然重要，錄制下來(lái)的監(jiān)控資料也會(huì)在關(guān)鍵時(shí)候發(fā)揮更大的作用，如：交通監(jiān)控中，錄制下來(lái)的監(jiān)控資料可以作為交通違章的證據(jù)；在治安監(jiān)控中，錄制下來(lái)的監(jiān)控資料可以作為不法分子的犯罪證據(jù)；在企業(yè)監(jiān)控中，錄制下來(lái)的監(jiān)控資料可以作為意外事件中的分析資料等等。完善的監(jiān)控系統(tǒng)會(huì)提供多種監(jiān)控資料的后期檢索方式以供選擇，一般會(huì)分為簡(jiǎn)單檢索功能和復(fù)雜的檢索功能。通常在簡(jiǎn)單監(jiān)控系統(tǒng)中，可以直接通過(guò)硬盤錄像機(jī)的檢索回放功能即可檢索到所需資料，而在大型監(jiān)控系統(tǒng)中，例如公安治安監(jiān)控，由于需要經(jīng)常性的檢索監(jiān)控歷史資料，并且同一時(shí)間可能會(huì)有很多相關(guān)人員進(jìn)行檢索。本系統(tǒng)將提供功能完善的檢索查詢系統(tǒng)，包括多種查詢方式。但需要注意的是