云計算之HDFS課件

1主要內(nèi)容Hadoop項目簡介HDFS體系結(jié)構(gòu)HDFS關(guān)鍵運行機制HadoopVS.Google（分布式文件系統(tǒng)）HadoopAPIHadoop環(huán)境搭建2Hadoop項目簡介吃水不忘挖井人DougCutting簡介：Lucene（開源的全文檢索包人）、Nutch（開源搜索引擎）、hadoop創(chuàng)始人。曾經(jīng)在是雅虎搜索工程師，后面加入Cloudera,發(fā)展hadoop的企業(yè)級應用。一位盜火者，把高深的搜索引擎技術(shù)帶給普通大眾。3Hadoop項目簡介Apache的解決方案Google云計算MapReduceBigTableGFSChubbyGFS-->HDFSMapReduce-->Hadoop

BigTable-->HBase

5

HDFS體系結(jié)構(gòu)

NameNodeMasterDataNodeChunksever6一個名字節(jié)點和多個數(shù)據(jù)節(jié)點數(shù)據(jù)復制（冗余機制）

--存放的位置（機架感知策略）故障檢測--數(shù)據(jù)節(jié)點心跳包（檢測是否宕機）塊報告（安全模式下檢測）數(shù)據(jù)完整性檢測（校驗和比較）--名字節(jié)點（日志文件，鏡像文件）空間回收機制

HDFS關(guān)鍵運行機制

--保障可靠性的措施7HDFS關(guān)鍵運行機制

--寫文件流程客戶端緩存流水線復制并發(fā)寫控制流程：1.客戶端把數(shù)據(jù)緩存到本地臨時文件夾2.臨時文件夾數(shù)據(jù)超過64M，客戶端聯(lián)系NameNode，NameNode分配DataNode，DataNode依照客戶端的位置被排列成一個有著最近物理距離和最小的序列3.與序列的第一個數(shù)據(jù)服務器建立Socket連接，發(fā)送請求頭，然后等待回應，依次下傳，客戶端得到回包，流水線建立成功，4.正式發(fā)送數(shù)據(jù)，以4K為大小傳送9HDFSVS.GFS總體架構(gòu)的比較數(shù)據(jù)結(jié)構(gòu)化管理組件：Hbase→BigTable并行計算模型：MapReduce→MapReduce分布式文件系統(tǒng)：HDFS→GFSHadoop缺少分布式鎖服務ChubbyHBaseMapReduceHDFSBigTableMapReduceGFSHadoop云計算應用Google云計算應用10HDFSVS.GFSHDFS與GFS比較中心服務器模式的差異GFS：多臺物理服務器，選擇一臺對外服務，損壞時可選擇另外一臺提供服務HDFS：單一中心服務器模式，存在單點故障原因：Hadoop缺少分布式鎖服務11HDFSVS.GFSHDFS與GFS比較子服務器管理模式差異GFS：ChunkServer在Chubby中獲取獨占鎖表示其生存狀態(tài)，Master通過輪詢這些獨占鎖獲知ChunkServer的生存狀態(tài)HDFS：DataNode通過心跳的方式告知NameNode其生存狀態(tài)GFS中，Master損壞時，替補服務器可以快速獲知ChunkServer的狀態(tài)HDFS中，NameNode損壞后，NameNode恢復時需要花費一段時間獲知DataNode的狀態(tài)在添加數(shù)據(jù)存儲節(jié)點時，GFS的伸縮性較HDFS要好原因：Hadoop缺乏分布式鎖服務13HDFSVS.GFSHDFS與GFS比較HDFS具備空間回收機制文件刪除時，僅刪除目錄結(jié)構(gòu)實際數(shù)據(jù)的刪除在等待一段時間后實施優(yōu)點：便于恢復文件14HDFS

API簡單的HDFSAPI：

hdfs.copyFromLocalFile(pathsrcPath,pathdstPath)

上傳本地文件到HDFS的指定位置上eg: 1.Configurationconfig=newConfiguration();

2.hdfs=(config);

3.PathsrcPath=newPath(srcFile);

4.PathdstPath=newPath(dstFile);

5.hdfs.copyFromLocal,dstPath);

hdfs.create(pathpath)

創(chuàng)建HDFS文件 1.Configurationconfig=newConfiguration();

2.hdfs=(config);

3.Pathpath=newPath();

4.FSDataOutputStreamoutputStream=hdfs.create(path);

5.outputStream.write(buff,0,buff.length);15HDFS

API常用的HDFSAPI：hdfs.rename(PathfromPath,PathtoPath) 重命名hdfs文件hdfs.delete(Pathf,Booleanrecursive) 刪除指定HDFS文件hdfs.exists(Pathpath) 檢查指定路徑是否存在

17HDFS

--安防行業(yè)的應用前景HDFS存儲相對傳統(tǒng)存儲的優(yōu)勢海量數(shù)據(jù)存儲傳統(tǒng)存儲：海量視頻存儲對硬盤要求過高，不能動態(tài)增加硬盤容量，擴展容量方便HDFS存儲：可以動態(tài)增加容量，容量抽象為沒有上限，流式存儲很適合視頻數(shù)據(jù)。18HDFS

--安防行業(yè)的應用前景HDFS存儲相對傳統(tǒng)存儲的優(yōu)勢海量數(shù)據(jù)分析傳統(tǒng)存儲：從海量視頻數(shù)據(jù)存儲中分析數(shù)據(jù)基本無法實現(xiàn)。HDFS存儲：和hadoop另外的MapReduce分布式計算架構(gòu)配合，可以進行海量視頻數(shù)據(jù)的分析。19HDFS

--安