云存儲(chǔ)架構(gòu)的發(fā)展

云存儲(chǔ)架構(gòu)的發(fā)展內(nèi)容體驗(yàn)存儲(chǔ)技術(shù)發(fā)展簡(jiǎn)史金山云存儲(chǔ)的技術(shù)路線簡(jiǎn)單的存儲(chǔ)系統(tǒng)架構(gòu)討論主要開(kāi)源方案簡(jiǎn)介部分新技術(shù)點(diǎn)的簡(jiǎn)介存儲(chǔ)技術(shù)發(fā)展簡(jiǎn)史主要階段存儲(chǔ)設(shè)備DAS/SAN/NAS控制器架構(gòu)存儲(chǔ)集群控制器架構(gòu)的基本原理硬盤級(jí)別數(shù)據(jù)冗余RAID5/6和LUNRS碼糾錯(cuò)熱備盤條帶化RAIDRAID6N+2容錯(cuò)控制器實(shí)現(xiàn)復(fù)雜，效率降低，較少使用云存儲(chǔ)集群的基本原理多臺(tái)服務(wù)器集群物理設(shè)備級(jí)別冗余內(nèi)網(wǎng)修復(fù)金山云存儲(chǔ)技術(shù)路線需求按部署模型區(qū)分公有云存儲(chǔ)私有云存儲(chǔ)混合云存儲(chǔ)按使用場(chǎng)景區(qū)分高性能計(jì)算虛擬機(jī)平臺(tái)（云主機(jī)/VDI/etc）Key-Value對(duì)象存儲(chǔ)（網(wǎng)盤/Hadoop/etc）冷數(shù)據(jù)（備份/視頻監(jiān)控/etc）其他需求按分布模型分集中式異地容災(zāi)式有主控分布式對(duì)等分布式需求維度功能性能可靠性價(jià)格發(fā)展歷程2008年存儲(chǔ)實(shí)驗(yàn)室2009年WPS在線辦公空間2010年金山快盤2011年小米Cloud2012年金山云技術(shù)路線規(guī)劃開(kāi)源軟件部分定制完全自主開(kāi)發(fā)簡(jiǎn)單存儲(chǔ)架構(gòu)討論存儲(chǔ)集群的基礎(chǔ)架構(gòu)API[Scheduler/調(diào)度器]Namenode/元數(shù)據(jù)節(jié)點(diǎn)Datanode/存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)集群的基礎(chǔ)架構(gòu)調(diào)度與元數(shù)據(jù)靜態(tài)Hash一致性Hash彈性Hash[一致性Hash]錯(cuò)誤檢測(cè)和修復(fù)R+W>NLoggingFixonreading數(shù)據(jù)塊組織大文件條帶化小文件塊組織快速元數(shù)據(jù)管理快速元數(shù)據(jù)管理多機(jī)房主控式對(duì)等式異步備份獨(dú)立設(shè)備/物理位置獨(dú)立兼顧寫(xiě)入效率和帶寬現(xiàn)狀具有較好的獨(dú)立容錯(cuò)性原子版本功能適合對(duì)數(shù)據(jù)保全要求高的領(lǐng)域開(kāi)源方案簡(jiǎn)介較多使用的開(kāi)源方案HDFS數(shù)據(jù)分析場(chǎng)景：HadoopMapReduce/HIVE適用于大文件流式追加和讀取非通用接口LustreGlusterFS使用NFS/CIFS代理提供通用服務(wù)使用Hash而不是元數(shù)據(jù)服務(wù)效率問(wèn)題，大規(guī)模應(yīng)用案例缺失CephFUSEZFS各存儲(chǔ)方案基本原理HDFS各存儲(chǔ)方案基本原理GlusterFS各存儲(chǔ)方案基本原理Ceph部分新技術(shù)點(diǎn)簡(jiǎn)介鏡像模式VSErasureCode鏡像模式優(yōu)勢(shì)速度快，不論寫(xiě)入和恢復(fù)結(jié)構(gòu)簡(jiǎn)單，易實(shí)現(xiàn)和維護(hù)EC較少冗余ErasurecodeVandermonde-RSandCauchy-RS常用開(kāi)源庫(kù)J