H3C分布式存儲及應用場景介紹

H3C分布式存儲及應用場景介紹H3C分布式存儲場景分析010203非結(jié)構(gòu)數(shù)據(jù)形勢分析H3C分布式存儲介紹如何應對數(shù)據(jù)的爆炸式增長？20052015201020178.5ZB2.8ZB1.2ZB0.1ZB202044ZB非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)85%15%非結(jié)構(gòu)化數(shù)據(jù)以每年60%-80%的速率飛速增長對象存儲適應的場景當非結(jié)構(gòu)化的文件超過百萬級以上，對象存儲的協(xié)議特點明顯。據(jù)Gatner分析，以下五個場景適用于對象存儲：分析、歸檔、備份、內(nèi)容分發(fā)和云存儲分布式NASVS對象存儲自愈和數(shù)據(jù)可用性(糾刪碼/Hash/自修復等)多站點分布式架構(gòu)和擴展性更低的系統(tǒng)擴展成本低原生的多租戶設計及自服務云存儲架構(gòu)用戶自定義的元數(shù)據(jù)及搜索引擎軟件定義的架構(gòu)，支持各種存儲介質(zhì)(磁盤、磁帶、公有云)低運營成本(集中+分布式靈活部署)應用場景–側(cè)重數(shù)據(jù)長效性長期留存/合規(guī)要求的非結(jié)構(gòu)化數(shù)據(jù),如PACS、票據(jù)、合同掃描、檔案、錄音/視頻、媒資庫等支撐云端應用的存儲,如網(wǎng)盤，移動客戶端歸檔或備份云存儲,如備份系統(tǒng)和郵件歸檔私有/混合/公有云存儲,如各行業(yè)業(yè)務云對象存儲POSIX兼容的文件訪問方式，無需應用二次開發(fā)混合的負載下更好的性能支持文件的在線修改實時的數(shù)據(jù)一致性簡單的文件共享方式簡單且易讀的文件系統(tǒng)元數(shù)據(jù)高級數(shù)據(jù)服務，如數(shù)據(jù)備份、病毒掃描、克隆、快照等應用場景–側(cè)重數(shù)據(jù)即時性性能要求高的非結(jié)構(gòu)化過程數(shù)據(jù)存放，如視頻渲染、后期制作、CAD設計等沒有長期留存要求的海量非結(jié)構(gòu)化數(shù)據(jù)即時操作，如視頻播放、在線媒資、視頻監(jiān)控等高性能計算或大數(shù)據(jù)Hadoop計算用存儲空間的擴展等分布式NAS存儲H3C分布式存儲系統(tǒng)應云而生應對日益增長的非結(jié)構(gòu)化數(shù)據(jù)需求，提供全新的分布式架構(gòu)系統(tǒng)。全面滿足廣電、視頻監(jiān)控、科研教育等行業(yè)針對容量及性能的不同需求。規(guī)格豐富性能及容量隨著節(jié)點的增加而線性增長。

海量存儲監(jiān)控監(jiān)控非編及媒資庫高可用高可靠高性能高擴展分布式緩存副本及糾刪碼存儲資源池備份及歸檔負載均衡全對稱架構(gòu)自研分布式文件系統(tǒng)易維護大型視頻監(jiān)控H3C分布式存儲應用場景H3C分布式存儲場景分析010203非結(jié)構(gòu)數(shù)據(jù)形勢分析H3C分布式存儲介紹分布式架構(gòu)傳統(tǒng)架構(gòu)動力單元負載分布式架構(gòu)介紹機頭擴展柜動力+負載動力+負載動力+負載性能+容量性能+容量性能+容量高速以太網(wǎng)高速以太網(wǎng)LinuxWindowsNFS自研文件系統(tǒng)MDSMACOS業(yè)務層文件系統(tǒng)層存儲層OSDMONCIFSFTPH3C分布式存儲系統(tǒng)架構(gòu)Handy管理系統(tǒng)權(quán)限管理故障管理日志管理實時監(jiān)控ClientH3C分布式存儲特點---兩級緩存分布式二級緩存池機械硬盤控制器一級緩存池接口模塊控制器緩存SSD緩存客戶端高速交換網(wǎng)絡數(shù)據(jù)寫入至緩存中即返回IO完成寫加速：優(yōu)先從緩存搜索數(shù)據(jù)和讀取數(shù)據(jù)讀加速：H3C分布式存儲特點---副本、糾刪碼NODE1NODE2NODE3多副本數(shù)據(jù)的每個切片在不同節(jié)點保留多份，單個副本損壞依然可用糾刪碼NODE1NODE2NODE3數(shù)據(jù)被切成N片的同時通過冗余算法計算出M位校驗位，糾刪碼N+M多用于生產(chǎn)系統(tǒng)，性能和可靠性要求高用于冷數(shù)據(jù)存儲，例如備份，歸檔等，對空間利用率高文件一文件二副本一副本二副本三校驗位切片一切片二三副本2+1糾刪碼H3C分布式存儲特點-保護域/故障域從縱向、橫向雙重保障系統(tǒng)可靠性保護域：不同的保護域可以設置不同的冗余策略，所有相關(guān)數(shù)據(jù)（包括副本或者分片）保存在同一保護域內(nèi)，本保護域內(nèi)硬件故障造成的數(shù)據(jù)數(shù)據(jù)重構(gòu)只在本域內(nèi)，不影響其他域的數(shù)據(jù)使用。保護域單位是機架或者節(jié)點。故障域：故障域是集群數(shù)據(jù)分布的最小單元。所有相關(guān)數(shù)據(jù)（包括副本或者分片）落在不同的故障域內(nèi)，故障域單位是機架或者節(jié)點。當有發(fā)生整機柜斷電或者機柜級故障時，不會造成集群業(yè)務中斷或數(shù)據(jù)丟失保護域一保護域二單一集群H3C分布式存儲特點---負載均衡、磁盤重構(gòu)NODE1NODE2NODE3NODE4負載均衡文件一文件二文件二文件二IO請求依次被分配到不同節(jié)點上，使各個節(jié)點負載均衡磁盤重構(gòu)NODE1NODE2NODE3文件一讀取源數(shù)據(jù)塊和糾刪碼計算出損壞數(shù)據(jù)，保存在多個磁盤的剩余空間中提高系統(tǒng)整體效率，保證高可用磁盤損壞后依然可訪問，多對多重構(gòu)效率高H3C分布式存儲特點--統(tǒng)一監(jiān)控平臺簡化流程安裝，60秒快速上線集群化部署，一鍵掃描多臺主機同時添加簡單易用的配置管理平臺，使用門檻低存儲資源監(jiān)控全面，報表豐富集群健康度實時監(jiān)測，及時告警統(tǒng)一運維直觀的集群監(jiān)控，便于快速定位硬件故障機柜級的故障域劃分，便于策略分配部署監(jiān)控運維H3C分布式存儲場景分析010203非結(jié)構(gòu)數(shù)據(jù)形勢分析H3C分布式存儲介紹公安氣象互聯(lián)網(wǎng)企業(yè)圖書館高校醫(yī)院政務云H3C分布式存儲海量數(shù)據(jù)---存儲資源池方案亮點數(shù)據(jù)的爆炸性增長：非結(jié)構(gòu)化數(shù)據(jù)快速增長帶來的新老設備采購，利舊問題，需要構(gòu)建一套可彈性增長的存儲平臺。數(shù)據(jù)安全性要求：保證PB級數(shù)據(jù)存儲的安全性難點?？焖俅鎯?、提取：提升海量數(shù)據(jù)的讀寫性能，保證數(shù)據(jù)的時效性。降低整體運維成本：解決海量數(shù)據(jù)的分級存儲，通過數(shù)據(jù)生命周期管理，合理規(guī)劃部署數(shù)據(jù)分級?？蛻粜枨髲椥詳U展能力：支持系統(tǒng)橫向擴展，性能及容量隨節(jié)點增加線性增長，單一命名空間擴展可達50PB。數(shù)據(jù)高可靠：存儲系統(tǒng)實現(xiàn)節(jié)點及數(shù)據(jù)冗余，數(shù)據(jù)支持多副本及N+4糾刪碼的技術(shù)進行數(shù)據(jù)保護，保證數(shù)據(jù)的高可靠性。

讀寫高性能：通過并行節(jié)點共同負載的方式提升了整體的吞吐性能。存儲節(jié)點類型豐富：存儲系統(tǒng)包含5款型號，容量型及性能型可以實現(xiàn)部署在同一個命名空間下，實現(xiàn)數(shù)據(jù)分級。存儲資源池應用廣電行業(yè)--新聞編輯制作系統(tǒng)存儲系統(tǒng)內(nèi)容創(chuàng)意AppleFCP/AvidMC配音工作站審片工作站審片內(nèi)容獲取收錄服務器上下載工作站包裝渲染渲染集群合成工作站方案亮點系統(tǒng)穩(wěn)定可靠：新聞“實時性”的重要地位，決定了存儲系統(tǒng)7*24小時在線的運營穩(wěn)定性及可用性的要求。資源的及時提取及共享：新聞編輯的”時新興“對于信息的快速提取及共享有明確的時間需求。時間是新聞發(fā)布的關(guān)鍵元素。高清制作的高性能：從傳統(tǒng)的標清到高清發(fā)展，對于IT的能力要求在逐年提升?？蛻粜枨蟾呖煽浚翰捎梅植际郊軜?gòu)，萬兆互聯(lián)，節(jié)點及數(shù)據(jù)冗余，N+4模式數(shù)據(jù)保護，有效保證業(yè)務的連續(xù)性。

實時共享：系統(tǒng)支持NFSCIFSFTP等多種文件共享協(xié)議。支持多種終端的實時共享需求。高性能：通過大洋的測試X10516，14盤位的設備可以支持90路100Mbps以上的視頻流并發(fā)編輯系統(tǒng)使用。彈性擴展能力：支持系統(tǒng)橫向擴展，性能及容量隨節(jié)點增加線性增長，單一命名空間擴展可達50PB。廣電行業(yè)—媒資管理系統(tǒng)方案亮點媒體資源的安全性：媒體資源是廣電行業(yè)的重要資產(chǎn)。保證長期存儲的多樣化數(shù)據(jù)安全可靠的存儲，是媒資管理的重點需求。媒資快速提取：保證長期存儲的數(shù)據(jù)，存得好、找得著、調(diào)得出。增強時效性，提升整體媒資管理能力。降低整體運維成本：解決海量數(shù)據(jù)的分級存儲，通過數(shù)據(jù)生命周期管理，合理規(guī)劃部署數(shù)據(jù)分級?？蛻粜枨髷?shù)據(jù)高可靠：存儲系統(tǒng)實現(xiàn)節(jié)點及數(shù)據(jù)冗余，數(shù)據(jù)支持多副本及N+4糾刪碼的技術(shù)進行數(shù)據(jù)保護，保證數(shù)據(jù)的高可靠性。

搜索高性能：通過并行節(jié)點共同負載的方式提升了整體的吞吐性能。通過AMA（媒資管理系統(tǒng)）可以快速提取歸檔的媒資數(shù)據(jù)。存儲節(jié)點類型豐富：存儲系統(tǒng)包含了5款型號，容量型及性能型可以實現(xiàn)部署在同一個命名空間下，實現(xiàn)媒資數(shù)據(jù)隨著熱度不同而實現(xiàn)動態(tài)的數(shù)據(jù)遷移。采集系統(tǒng)編目、檢索、上下載工作站編轉(zhuǎn)碼集群歸檔服務器遷移服務器DB/WEB服務器在線媒體庫近線媒體庫離線媒體庫視頻監(jiān)控平臺高清及保存時間的要求，提高了存儲容量：720P及1080P監(jiān)控攝像頭的廣泛應用和密集部署，使得存儲容量迅速增長。圖片和視頻兩種類型數(shù)據(jù)集中存儲：圖片和視頻兩種類型數(shù)據(jù)的差異化存儲要求，增加了存儲系統(tǒng)的可用性要求。系統(tǒng)穩(wěn)定可靠：視頻及圖像數(shù)據(jù)可靠性要求高。運行狀態(tài)預警：要求快速預知隱患、及時定位問題、系統(tǒng)預修復?？蛻粜枨蠛Ａ看鎯ζ脚_：支持系統(tǒng)橫向擴展，性能及容量隨節(jié)點增加線性增長，快速橫向擴展。單一命名空間擴展可達50PB。業(yè)務驅(qū)動型存儲平臺：靈活的系統(tǒng)配置，可以根據(jù)應用系統(tǒng)的要求動態(tài)調(diào)整配置屬性。