大規(guī)模分布式數(shù)據(jù)的管理.ppt

大規(guī)模分布式數(shù)據(jù)的管理,高能所計算中心 程耀東 中國貴陽 2010-8-15,主要內(nèi)容,數(shù)據(jù)管理需求,1,分布式數(shù)據(jù)管理技術(shù),2,網(wǎng)格環(huán)境下的數(shù)據(jù)管理,3,云計算存儲模式,4,數(shù)據(jù)快速增長,數(shù)據(jù)量增長到底有多快？視頻、音頻、圖片 EMC&IDC報告“數(shù)字宇宙十年你是否準備好（2010.5.5）”稱2010年數(shù)據(jù)量相當于750億部16GB的iPad： 擺滿北京國家體育場(鳥巢)15.5次， 倫敦溫布利體育場 41次， 臺北101大樓23次， LHC隧道151次 全球每人平均擁有11臺iPad ?？怂闺娨暸_熱門電視連續(xù)劇 24小時連續(xù)播放1.25億年 數(shù)據(jù)量達到1.2ZB 1MB=1024KB 1GB=1024MB 1TB=1024GB 1PB=1024TB 1EB=1024PB 1ZB=1024EB,高能物理數(shù)據(jù)量,Hepix 2010 14個主要站點在線存儲空間達到87PB，而2007年才14PB，增加了5倍多 WLCG 在線存儲：62PB，近線存儲：58PB 大型實驗 LHC: 15PB/year BES: 累積5PB,5PB光盤,數(shù)據(jù)管理需求,數(shù)據(jù)量大 存的下 高速訪問 取得到 廣域分布 易分享 長期保存 存的妥,數(shù)據(jù)存儲技術(shù),在IT界，存儲技術(shù)一直很火，為什么？ 看似簡單的需求，實際上要求很高 數(shù)據(jù)存儲技術(shù)從軟件到硬件都在不斷發(fā)展，以滿足需求 存儲連接方式 單機存儲（DAS） 網(wǎng)絡(luò)存儲（NAS, SAN） 存儲管理軟件 本地存儲系統(tǒng) 分布式網(wǎng)絡(luò)存儲系統(tǒng),存儲連接方式,直接連接存儲 DAS: Direct-Attached Storage 計算與存儲集中,網(wǎng)絡(luò)存儲 FAS: Fabric-Attached Storage 存儲與計算分離（一場革命）,存儲設(shè)備,文件系統(tǒng),應(yīng)用軟件,存儲設(shè)備,文件系統(tǒng),應(yīng)用軟件,存儲設(shè)備,文件系統(tǒng),應(yīng)用軟件,網(wǎng)絡(luò),FC/GbE,DAS,NAS,SAN,存儲管理軟件,存儲設(shè)備連接方式的變化，存儲管理軟件也隨之發(fā)展 本地文件系統(tǒng) 管理本地的存儲系統(tǒng)，為本地的應(yīng)用服務(wù) 在DAS以及SAN服務(wù)器上比較常見 分布式網(wǎng)絡(luò)存儲管理系統(tǒng) 將分布在網(wǎng)絡(luò)上的存儲設(shè)備統(tǒng)一管理，為多個連接在網(wǎng)絡(luò)上的應(yīng)用服務(wù) NAS服務(wù)器上的網(wǎng)絡(luò)文件系統(tǒng)（NFS,CIFS）以及分布式文件系統(tǒng)（AFS, Lustre）等 趨勢：數(shù)據(jù)量爆炸性的增長、計算模式的集群化發(fā)展、開放標準的存儲設(shè)備，導致存儲系統(tǒng)朝著集群化、分布式的方向發(fā)展,典型的高能物理存儲環(huán)境,計算集群,計算網(wǎng)絡(luò),存儲網(wǎng)絡(luò),磁盤服務(wù)器,磁帶庫,磁帶服務(wù)器,存儲設(shè)備連接,磁盤陣列,存儲網(wǎng)絡(luò)與計算網(wǎng)絡(luò)分離； 存儲設(shè)備與存儲服務(wù)器是網(wǎng)絡(luò)分布的； 普遍采用基于磁盤-磁帶的分級存儲； 采用分布式存儲管理軟件來管理存儲空間,分布式存儲系統(tǒng)典型結(jié)構(gòu),用戶態(tài),內(nèi)核態(tài),客戶端,元數(shù)據(jù)服務(wù)器,I/O服務(wù)器,傳輸流與控制流的分離 I/O服務(wù)器集群化分布，易于實現(xiàn)性能和容量的雙向增長 元數(shù)據(jù)服務(wù)器統(tǒng)一管理，提供統(tǒng)一存儲空間,存儲管理的功能組件,分布式存儲管理系統(tǒng),共享Home目錄 AFS, NFS 大型實驗數(shù)據(jù)空間 GPFS, LUSTRE, XROOTD, dCACHE, CASTOR, HPSS 磁帶遷移 HPSS, TSM, ENSTORE, CASTOR/STAGER,困惑,有這么多的系統(tǒng)可以選擇，是否值得高興呢？ 值得高興是肯定的，因為有系統(tǒng)可以用，但是同樣也有不少困惑 困惑一：如何選擇？ 可擴展性 客戶端訪問協(xié)議 軟件是否能夠長期維護？ 困惑二： 眾多的存儲系統(tǒng)，在網(wǎng)格環(huán)境下如何管理？ 網(wǎng)格強調(diào)：局部自治，全局統(tǒng)一 因此，對于這點，不再僅僅是困惑，而是一個必須要解決的問題！,SRM,既然大家不能統(tǒng)一使用同一個存儲系統(tǒng)，就只能通過標準化來解決 CERN, FNAL, DESY, INFN等單位成立標準工作組，制定了SRM（Storage Resource Manager ）接口標準 包括了空間管理、文件管理、數(shù)據(jù)傳輸、協(xié)議發(fā)現(xiàn)等多組函數(shù),dCache (FNAL),DPM (IHEP),CASTOR (CERN),SRM,通過統(tǒng)一的SRM接口同各種存儲系統(tǒng)交互； 可以在目標系統(tǒng)預留空間； 可以調(diào)用相應(yīng)的協(xié)議傳輸文件 ,LUSTRE (CNAF),WLCG網(wǎng)格存儲管理,VO 數(shù)據(jù)管理系統(tǒng),文件傳輸服務(wù) FTS (Tier 0),網(wǎng)格文件目錄,文件傳輸服務(wù) FTS(Tier 1),Tier 0,站點存儲 (CASTOR),SRM 接口,Tier 1,站點存儲 (dCache),SRM 接口,Tier 2,站點存儲 (Lustre),SRM 接口,大規(guī)模數(shù)據(jù)傳輸,通信與認證,高速網(wǎng)絡(luò)(10Gb),高速網(wǎng)絡(luò)(1Gb),其它領(lǐng)域,以上的方案在高能物理領(lǐng)域應(yīng)用非常廣泛 高能物理只是大規(guī)模分布式數(shù)據(jù)應(yīng)用的其中一個，還有更多的領(lǐng)域，比如搜索、社交網(wǎng)站、WEB2.0等等 每個領(lǐng)域的解決方案各有不同，但是核心都是采用分布式數(shù)據(jù)管理技術(shù) 隨著數(shù)據(jù)量的快速增長以及計算模式的改變，Google、Yahoo等公司，推出了以GFS、HDFS等為代表云計算存儲 試想這么一個例子： 從一個1TB的文件中統(tǒng)計包含“IHEP”的行，如何來做？ 僅網(wǎng)絡(luò)傳輸數(shù)據(jù)就需要大量時間!,Hadoop,Hadoop文件系統(tǒng)HDFS將文件分成若干個數(shù)據(jù)塊，并將它們放置在服務(wù)器群的計算節(jié)點中MapReduce就可以在它們所在的節(jié)點上處理這些數(shù)據(jù),MapReduce簡單過程,傳統(tǒng)的做法 Cat input | grep IHEP | sort| uniq c |cat output MapReduce Input | Map | shuffle&sort | Reduce | Output,Input0,Input1,Input2,Map0,Map0,Map0,Reduce0,Reduce1,Out1,shuffle,計算與存儲的協(xié)同,以GFS、HDFS等為代表云計算存儲系統(tǒng)在設(shè)計時普遍遵守一個前提： “移動計算比移動數(shù)據(jù)劃算” 存儲系統(tǒng)在存儲數(shù)據(jù)時把數(shù)據(jù)切成小塊，任務(wù)調(diào)度器把計算任務(wù)正好調(diào)度到有數(shù)據(jù)的地方，直接在本地做計算，免去網(wǎng)絡(luò)傳輸 計算與存儲的協(xié)同統(tǒng)一，是一次新的變革。事物的發(fā)展總是波浪式前進、螺旋式的上升,其它特點,可靠性設(shè)計 設(shè)計時認為：”硬件故障是常態(tài)” 存儲系統(tǒng)有成千上百個節(jié)點組成，壞掉任何一個對系統(tǒng)運行沒有任何影響 機架感知的復制策略 故障檢測：心跳包、塊報告、 完整性檢測 存儲空間自動平衡 存儲節(jié)點需要頻繁更換或增加 新增節(jié)點或更換節(jié)點，副本 會自動增加，并保證各個 節(jié)點間的水位平衡 簡單一致性模型 以支持“一次寫入多次讀取”的訪問模型為主，大大簡化數(shù)據(jù)一致性問題，使得高吞吐量的數(shù)據(jù)訪問成為可能,小結(jié),數(shù)據(jù)爆炸性增長對存儲系統(tǒng)提出了持續(xù)的需求，網(wǎng)絡(luò)存儲以及分布式數(shù)據(jù)管理技術(shù)已成為當前的趨勢