百度個(gè)人云存儲(chǔ)架構(gòu)與實(shí)踐

1、百度個(gè)人云存儲(chǔ)架構(gòu)與實(shí)踐內(nèi)容綱要百度個(gè)人云存儲(chǔ)簡(jiǎn)介百度ObjectStore系統(tǒng)集群部署實(shí)踐百度個(gè)人云存儲(chǔ)免費(fèi)大空間、海量存儲(chǔ)。支持文件、目錄及縮略圖管理。多終端自動(dòng)同步。輕松的文件分享功能?；诙喾N平臺(tái)提供豐富的SDK。專(zhuān)業(yè)的技術(shù)支持團(tuán)隊(duì)。百度ObjectStore系統(tǒng)通用的object存儲(chǔ)系統(tǒng)一致性模型最終一致性，支持強(qiáng)一致性查詢(xún)靈活的存儲(chǔ)方案EC編碼、多副本對(duì)外接口Put(UINT128 key,BYTE* value)Get(UINT128 key,BYTE* value)Delete(UINT128 key)Object數(shù)據(jù)組織ObjectStore系統(tǒng)架構(gòu)PIS架構(gòu)RBS架構(gòu)EC編

2、碼Reed-Solomon Coding : RS(k,m)基于伽羅華域的運(yùn)算k個(gè)data塊,生成m個(gè)parity塊k+m塊中任意丟失至多m個(gè)都可修復(fù)k,m的選擇數(shù)據(jù)可靠性不能低于3副本模型k/m盡可能小，降低數(shù)據(jù)冗余度k+m盡可能小，降低元數(shù)據(jù)存儲(chǔ)k越大，網(wǎng)絡(luò)和磁盤(pán)IO越大系統(tǒng)部署環(huán)境PIS和RBS混合部署Intel X86服務(wù)器 (12*3T SATA, 64GB Mem)系統(tǒng)部署環(huán)境ARM服務(wù)器2U6(4*3T SATA, 8GB Mem, 4 Core) 10Gbps存儲(chǔ)密度高、低功耗存儲(chǔ)密度提升75%，TCO降低25%系統(tǒng)部署環(huán)境Intel Avaton服務(wù)器1U(18 * 4T SATA, 自主整機(jī)柜架構(gòu))存儲(chǔ)密度高、低功耗、低成本存儲(chǔ)密度提升50%，TCO降低40%RBS實(shí)踐優(yōu)化磁盤(pán)預(yù)警和數(shù)據(jù)預(yù)修復(fù)周期性采集硬盤(pán)運(yùn)行時(shí)S.M.A.R.T數(shù)據(jù)對(duì)S.M.A.R.T數(shù)據(jù)預(yù)測(cè)磁盤(pán)故障根據(jù)磁盤(pán)故障預(yù)警，提前遷移part數(shù)據(jù)，降低EC降級(jí)讀和數(shù)據(jù)修復(fù)代價(jià)IDC集群部署方案鏡像集群雙集群鏡像冗余存儲(chǔ)，提高數(shù)據(jù)可靠性主副集群主集群全量數(shù)據(jù)存儲(chǔ)，副集群緩存最新寫(xiě)入，數(shù)據(jù) 過(guò)期失效降低存儲(chǔ)成本，保證數(shù)據(jù)可靠性，快速驗(yàn)證新集群混合集群object元數(shù)據(jù)和object數(shù)據(jù)合并存儲(chǔ)object元數(shù)據(jù)和object數(shù)據(jù)混部跨地域多IDCCDN外部流量調(diào)度內(nèi)部