存儲(chǔ)系統(tǒng)利舊云化改造方案V1.0

1、存儲(chǔ)利舊云化改造方案目錄1. 方案概述22. 現(xiàn)狀分析與挑戰(zhàn)22.1. 現(xiàn)狀分析22.2. 面臨挑戰(zhàn)23. 解決方案設(shè)計(jì)43.1. 指導(dǎo)思想43.2. 總體框架43.3. 系統(tǒng)組成53.4. 系統(tǒng)優(yōu)勢(shì)74. 客戶價(jià)值95. 案列分享101、方案概述隨著國(guó)家對(duì)社會(huì)治安的越來(lái)越重視，在平安城市的建設(shè)中視頻圖像也越來(lái)越高清化，原來(lái)視頻點(diǎn)位已不能滿足現(xiàn)實(shí)需求，因此有了平安城市二期和三期的建設(shè)。在大量視頻點(diǎn)投入和視頻高清化后，原有的存儲(chǔ)系統(tǒng)也不能滿足現(xiàn)實(shí)需求，如果重新建設(shè)新的存儲(chǔ)系統(tǒng)就會(huì)占用大量資源，而且原有資源也不能再利用造成大量的浪費(fèi)，基于對(duì)城市存儲(chǔ)系統(tǒng)的深入分析，我們推薦使用云存儲(chǔ)改造為公安局架設(shè)

2、統(tǒng)一云存儲(chǔ)系統(tǒng)，通過(guò)其高性能、高IO、高可靠、易擴(kuò)展、易管理的五大特性，從存儲(chǔ)底層來(lái)保障公安行業(yè)相關(guān)應(yīng)用的安全穩(wěn)定可靠的運(yùn)行。2、現(xiàn)狀分析與挑戰(zhàn)（1）現(xiàn)狀分析舊存儲(chǔ)為 XX 品牌，XX 年采購(gòu)，共計(jì) XXT 存儲(chǔ)容量， 架構(gòu)為 SAN+NAS，一個(gè)機(jī)頭+3 個(gè)盤柜，F(xiàn)C 交換機(jī)為 XX 品牌。目前放到分局使用，容量已不夠，現(xiàn)階段迫切需要解決的問(wèn)題是存儲(chǔ)空間擴(kuò)容的問(wèn)題，同時(shí)對(duì)陳舊設(shè)備整合有一定要求，保護(hù)現(xiàn)有投資。（2）面臨挑戰(zhàn)警務(wù)平臺(tái)現(xiàn)階段用戶所面臨的瓶頸依然是性能問(wèn)題、安全性問(wèn)題、擴(kuò)展性問(wèn)題以及管理問(wèn)題1、性能瓶頸針對(duì)智能分析等應(yīng)用數(shù)以萬(wàn)計(jì)的小文件使得存儲(chǔ)系統(tǒng)針對(duì)個(gè)別文件的索引速度降低，往往查

3、找數(shù)據(jù)和讀取數(shù)據(jù)需要等待很長(zhǎng)的時(shí)間。2、安全隱患視頻監(jiān)控平臺(tái)，智能分析平臺(tái)等海量數(shù)據(jù)下，傳統(tǒng) Raid 安全難以保證在磁盤故障率越來(lái)越高的情況下數(shù)據(jù)的安全，且硬盤級(jí)別的安全機(jī)制已不適用于大規(guī)模的數(shù)據(jù)存儲(chǔ)平臺(tái)。3、擴(kuò)展問(wèn)題長(zhǎng)時(shí)間保存的視頻文件，案件資料等海量數(shù)據(jù)占用空間每時(shí)每刻都在增長(zhǎng)，越來(lái)越龐大的數(shù)據(jù)規(guī)模如果擴(kuò)展存儲(chǔ)平臺(tái)將是越來(lái)越多警務(wù)平臺(tái)存儲(chǔ)所面臨的問(wèn)題。4、管理問(wèn)題海量數(shù)據(jù)下如何做到統(tǒng)一管理和統(tǒng)一分配空間是傳統(tǒng)存儲(chǔ)所不能及的。5、投資保護(hù)新設(shè)備的加入無(wú)法保證舊設(shè)備的高利用率，無(wú)法保護(hù)現(xiàn)有建設(shè)的投資。現(xiàn)階段存儲(chǔ)容量已不夠，迫切需要解決的問(wèn)題是存儲(chǔ)空間擴(kuò)容的問(wèn)題，同時(shí)對(duì)陳舊設(shè)備整合有一定要求，

4、保護(hù)現(xiàn)有投資。3、解決方案設(shè)計(jì)（1）指導(dǎo)思想1充分利用原有存儲(chǔ)設(shè)備不浪費(fèi)。2新存儲(chǔ)設(shè)備和原有存儲(chǔ)設(shè)備通過(guò)云平臺(tái)改造可以通用，實(shí)現(xiàn)一體化管理。3云平臺(tái)建設(shè)要突出安全性高、高性能、擴(kuò)展性強(qiáng)、高可用性強(qiáng)、操作簡(jiǎn)便、易整合等特點(diǎn)。（2）總體框架云存儲(chǔ)平臺(tái)架構(gòu)應(yīng)用了國(guó)際領(lǐng)先的分布式HxStor 全局文件系統(tǒng)作為支撐，可支持海量的環(huán)境信息數(shù)據(jù)處理。計(jì)算性能與數(shù)據(jù)處理規(guī)模可以動(dòng)態(tài)伸縮。未來(lái)可以自由的擴(kuò)展，滿足不斷增長(zhǎng)的應(yīng)用需求 。將所有硬件資源構(gòu)建成一個(gè)大的集群資源池，將處理性能、緩存、帶寬聚合按需分配資源。服務(wù)應(yīng)用不再與硬件一一綁定，即一個(gè)硬件不再單獨(dú)為一個(gè)硬件服務(wù)，資源從專有獨(dú)占的方式轉(zhuǎn)變?yōu)橥耆蚕矸绞?/p>

5、，現(xiàn)實(shí)自動(dòng)化的管理，故障自動(dòng)遷移恢復(fù)，不需人工干涉。通過(guò) DRS 技術(shù)自動(dòng)合理分配資源，自動(dòng)休眠。透明的 IT 資產(chǎn)管理，清晰的網(wǎng)絡(luò)運(yùn)維情況，在線人數(shù)檢測(cè) ，設(shè)備使用率在線檢測(cè)。原有存儲(chǔ)云改造：原有存儲(chǔ)兩臺(tái) SNA 設(shè)備分別掛接到兩臺(tái) PC 服務(wù)器和新增兩臺(tái) X86 架構(gòu)存儲(chǔ)一體機(jī)構(gòu)成云節(jié)點(diǎn)，PC 服務(wù)器和 X86 架構(gòu)存儲(chǔ)一體機(jī)上分別部署互信 HxStor 云存儲(chǔ)平臺(tái)軟件共同組成云存儲(chǔ)池，為應(yīng)用平臺(tái)提供存儲(chǔ)空間。（3）系統(tǒng)組成1原有存儲(chǔ) SAN 設(shè)備掛到 PC 服務(wù)器下，作為云改造節(jié)點(diǎn)。2X86 架構(gòu)存儲(chǔ)一體機(jī)（16、24、32 等盤位）做為新增云節(jié)點(diǎn)。3云平臺(tái)軟件(HxStor)構(gòu)成：應(yīng)用

6、系統(tǒng)應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)存儲(chǔ)集群訪問(wèn)客戶端HxStor AP（POSIX、NFS、iSCSI）虛擬存儲(chǔ)池元數(shù)據(jù)集群管理引擎存儲(chǔ)系統(tǒng)交換網(wǎng)絡(luò)MDSCIB、1GbE、對(duì)象存儲(chǔ)集群管理引擎10GbEOSSCA. 元數(shù)據(jù)服務(wù)集群管理模塊：存放整個(gè)文件系統(tǒng)的元數(shù)據(jù)，管理整個(gè)文件系統(tǒng)的名字空間。提供單一的系統(tǒng)映像，部署在一組通用 X86 結(jié)構(gòu)的 PC 服務(wù)器上。B. 對(duì)象存儲(chǔ)集群管理模塊：存儲(chǔ)應(yīng)用系統(tǒng)的文件數(shù)據(jù)，具有故障探測(cè)、自我修復(fù)功能，內(nèi)置獨(dú)特的文件存儲(chǔ)與備份機(jī)制，每個(gè)文件被系統(tǒng)分割成多塊后按一定規(guī)則存放在多個(gè)存儲(chǔ)服務(wù)器中，并且每塊文件在其他服務(wù)器中至少有 1 份備份（根據(jù)安全和性能需求可設(shè)定為多份），這

7、些軟件部署在一組通用 X86 結(jié)構(gòu)的 PC 服務(wù)器上。C. 訪問(wèn)客戶端：對(duì)上層提供標(biāo)準(zhǔn) POSIX 語(yǔ)義的訪問(wèn)接口和統(tǒng)一的文件系統(tǒng)映像，響應(yīng)上層應(yīng)用對(duì)文件訪問(wèn)請(qǐng)求并通過(guò)內(nèi)部私有協(xié)議高速訪問(wèn)后端集群存儲(chǔ)上的文件數(shù)據(jù)，形成對(duì)上層統(tǒng)一的虛擬存儲(chǔ)池。訪問(wèn)客戶端軟件可以安裝在應(yīng)用系統(tǒng)服務(wù)器上，對(duì)應(yīng)用系統(tǒng)提供訪問(wèn)存儲(chǔ)的文件支撐，也可以單獨(dú)安裝在一組服務(wù)器上并與 NFS 或 iSCSI 系統(tǒng)結(jié)合。為了更好的支持高性能計(jì)算或虛擬機(jī)應(yīng)用場(chǎng)景下對(duì)高 IOPS 的要求，（HxStor）提供高速緩存模塊SOCache（SuperIOCache），利用高性能的 SSD 盤做訪問(wèn)客戶端的二級(jí)緩存，大幅提高性能，同時(shí)在兩個(gè)

8、訪問(wèn)客戶端之間使用 InfiniBand 實(shí)現(xiàn)高速緩存同步，即時(shí)備份和保護(hù)用戶數(shù)據(jù)。SOCache 部署在 HxStor AP 的服務(wù)器上，可根據(jù)用戶實(shí)際需求進(jìn)行選擇。標(biāo)準(zhǔn)訪問(wèn)客戶端HxStor集群存儲(chǔ)對(duì)象存儲(chǔ)集群管理引擎高性能訪問(wèn)客戶端SOCache元數(shù)據(jù)集群管理引擎IB（4）系統(tǒng)優(yōu)勢(shì)1在線擴(kuò)容能力A、存儲(chǔ)支持在線擴(kuò)展，當(dāng)存儲(chǔ)空間不夠后，直接增加新的存儲(chǔ)設(shè)備，就可以看到存儲(chǔ)空間的增加，應(yīng)用不用進(jìn)行停機(jī)操作。而傳統(tǒng)存儲(chǔ)，由于提供的為卷設(shè)備，無(wú)法進(jìn)行方便的擴(kuò)展，擴(kuò)展的時(shí)候需要將大量數(shù)據(jù)導(dǎo)出增加設(shè)備數(shù)據(jù)倒入的操作，在擴(kuò)容的時(shí)候需要停止應(yīng)用且擴(kuò)容周期較長(zhǎng)。B、隨擴(kuò)容性能提升，HxStor 的架構(gòu)對(duì)決

9、定其存儲(chǔ)訪問(wèn)效率與存儲(chǔ)設(shè)備數(shù)量有直接關(guān)系，隨著存儲(chǔ)設(shè)備的增多其訪問(wèn)效率也將近線性增加。傳統(tǒng)磁盤陣列，架構(gòu)所限，后端盤柜的擴(kuò)展并不能影響機(jī)頭的能力，無(wú)法實(shí)現(xiàn)存儲(chǔ)性能的近線性增加。2原有存儲(chǔ)改造可以將現(xiàn)有磁盤陣列接入系統(tǒng)。對(duì)于磁盤陣列起到利舊作用，同時(shí)依靠數(shù)據(jù)副本技術(shù)提高其可靠性，同時(shí)可以對(duì)所有納入HxStor存儲(chǔ)的空間進(jìn)行統(tǒng)一管理。3數(shù)據(jù)副本高可用存儲(chǔ)系統(tǒng)采用數(shù)據(jù)副本技術(shù)，準(zhǔn)許15臺(tái)設(shè)備同時(shí)故障而不影響應(yīng)用訪問(wèn)。例如有10臺(tái)我們當(dāng)存儲(chǔ)設(shè)備，對(duì)于關(guān)鍵數(shù)據(jù)我們做了6份副本，如果有5臺(tái)存儲(chǔ)設(shè)備完全故障，對(duì)于該關(guān)鍵應(yīng)用來(lái)說(shuō)也將不受任何影。4HxStor存儲(chǔ)系統(tǒng)可以輸出多種接口Linux Posix 接口

10、，用于 Linux 系統(tǒng)應(yīng)用使用，文件級(jí)別接口，效率高。 ISCSI 接口，用于支持桌面虛擬化，特點(diǎn)為高 IOPS。可 NFS、CIFS，windows、unix 操作系統(tǒng)訪問(wèn)使用，windows、unix 操作系統(tǒng)可以獲得海量數(shù)據(jù)存儲(chǔ)能力。4、客戶價(jià)值1保護(hù)原有投資針對(duì)原有存儲(chǔ)系統(tǒng)有效整合，讓原有投資不浪費(fèi)，繼續(xù)發(fā)揮存儲(chǔ)作用。2數(shù)據(jù)高安全性HxStor 系統(tǒng)不僅可以把存儲(chǔ)安全級(jí)別從硬盤 RAID 級(jí)別提升到物理節(jié)點(diǎn)級(jí)安全，徹底顛覆了傳統(tǒng)存儲(chǔ)系統(tǒng)架構(gòu)，更加有力的保障了存儲(chǔ)數(shù)據(jù)的安全性。3滿足高性能要求在實(shí)際應(yīng)用環(huán)境中，多臺(tái)應(yīng)用服務(wù)器同時(shí)并發(fā)訪問(wèn)存儲(chǔ)時(shí)，對(duì)存儲(chǔ)的性能要求十分高，本套集群存儲(chǔ)系統(tǒng)聚

11、合所有網(wǎng)絡(luò)帶寬，對(duì)外提供服務(wù)，正好滿足了對(duì)存儲(chǔ)系統(tǒng)性能的要求。4提高業(yè)務(wù)連續(xù)性在存儲(chǔ)系統(tǒng)安全性得到保障的同時(shí)，大大的提高了前端應(yīng)用服務(wù)器訪問(wèn)后端存儲(chǔ)設(shè)備的安全，減少了故障發(fā)生的概率，大大的提高了業(yè)務(wù)連續(xù)性。5應(yīng)用場(chǎng)景介紹平安城市公安分局存儲(chǔ)擴(kuò)容改造、市局存儲(chǔ)擴(kuò)容改造、公安網(wǎng)、視頻專網(wǎng)、社會(huì)資源接入網(wǎng)存儲(chǔ)擴(kuò)容改造、智能分析等海量數(shù)據(jù)存儲(chǔ)。5、案列分享HxStor 在 CNGI 科學(xué)數(shù)據(jù)云中云存儲(chǔ)改造的應(yīng)用:1項(xiàng)目背景概述面向科學(xué)數(shù)據(jù)管理的云存儲(chǔ)環(huán)境（簡(jiǎn)稱科學(xué)數(shù)據(jù)云）作為中國(guó)下一代互聯(lián)網(wǎng)示范工程(CNGI 項(xiàng)目)的 CNG-CstNet的重要組成部分，主要為科學(xué)院系統(tǒng)遍布全國(guó)的 100 多個(gè)科研院

12、所、八萬(wàn)多科研人員以及上萬(wàn)個(gè)課題組服務(wù)，為這些單位用戶、個(gè)人用戶、集體用戶提供基礎(chǔ)的虛擬資源存儲(chǔ)服務(wù)，同時(shí)考慮各地現(xiàn)在存儲(chǔ)設(shè)備利用通過(guò)云存儲(chǔ)改造逐步建設(shè)適應(yīng)科學(xué)數(shù)據(jù)管理的數(shù)據(jù)交互、數(shù)據(jù)處理、數(shù)據(jù)備份服務(wù)，為將來(lái)科學(xué)數(shù)據(jù)歸檔中心建設(shè)奠定基礎(chǔ)。2項(xiàng)目總體結(jié)構(gòu)在 CNGI 國(guó)家科學(xué)數(shù)據(jù)云項(xiàng)目中北京互信互通信息技術(shù)有限公司根據(jù)現(xiàn)實(shí)情況充分利用了各區(qū)域的現(xiàn)在存儲(chǔ)設(shè)備，通過(guò)和 PC 服務(wù)器對(duì)接和新增 X86 架構(gòu)造體機(jī)一起成為云存儲(chǔ)平臺(tái)節(jié)點(diǎn)，全面采用了 HxStor 集群存儲(chǔ)系統(tǒng)，為科學(xué)數(shù)據(jù)云平臺(tái)提供方便高效的存儲(chǔ)支撐、應(yīng)用訪問(wèn)支撐。目前已經(jīng)采購(gòu) HxStor 集群文件系統(tǒng)多套（共計(jì)容量 5PB），形成了比較完善的協(xié)議棧，滿足不同類型用戶的需要和未來(lái)應(yīng)用擴(kuò)展的需要。3應(yīng)用與部署情況l 分布式集群存儲(chǔ)系統(tǒng) HxStor 將根據(jù)需求部署中科院多個(gè)分院數(shù)據(jù)中心。l 每套 HxStor 集群存儲(chǔ)系統(tǒng)均基于標(biāo)準(zhǔn) X86 存儲(chǔ)服務(wù)器構(gòu)建。l 數(shù)據(jù)中心間通過(guò)科技網(wǎng)（IPV6/IPV4）網(wǎng)絡(luò)高速互聯(lián)。l 建立統(tǒng)一存儲(chǔ)