e403.hadoop的起源和體系3課件

基于GreenplumHadoop分布式平臺的大數(shù)據(jù)解決方案GreenplumHadoop講師：迪倫（北風(fēng)網(wǎng))Hadoop的起源和體系(3)Hadoop的架構(gòu)Hadoop的思想課程目標(biāo)Hadoop的架構(gòu)NamenodeHDFS的守護程序紀(jì)錄文件是如何分割成數(shù)據(jù)塊的，以及這些數(shù)據(jù)塊被存儲到哪些節(jié)點上對內(nèi)存和I/O進行集中管理是個單點，發(fā)生故障將使集群崩潰SecondaryNamenode監(jiān)控HDFS狀態(tài)的輔助后臺程序每個集群都有一個與NameNode進行通訊，定期保存HDFS元數(shù)據(jù)快照當(dāng)NameNode故障可以作為備用NameNode使用DataNode每臺從服務(wù)器都運行一個負(fù)責(zé)把HDFS數(shù)據(jù)塊讀寫到本地文件系統(tǒng)JobTracker用于處理作業(yè)（用戶提交代碼）的后臺程序決定有哪些文件參與處理，然后切割task并分配節(jié)點監(jiān)控task，重啟失敗的task（于不同的節(jié)點）每個集群只有唯一一個JobTracker，位于Master節(jié)點TaskTracker位于slave節(jié)點上，與datanode結(jié)合（代碼與數(shù)據(jù)一起的原則）管理各自節(jié)點上的task（由jobtracker分配）每個節(jié)點只有一個tasktracker，但一個tasktracker可以啟動多個JVM，用于并行執(zhí)行map或reduce任務(wù)與jobtracker交互Master與SlaveMaster：Namenode、SecondaryNamenode、Jobtracker。瀏覽器（用于觀看管理界面），其它Hadoop工具Slave：Tasktracker、DatanodeMaster不是唯一的日志分析系統(tǒng)-原有系統(tǒng)架構(gòu)日志分析系統(tǒng)-客戶問題數(shù)據(jù)量巨大擴容困難（每日數(shù)億日志）。復(fù)雜分析模型單機較難運算?？捎嬎愕臄?shù)據(jù)量不夠大、覆蓋不夠廣導(dǎo)致結(jié)果不準(zhǔn)確?，F(xiàn)有系統(tǒng)缺乏自我知識成長。(URL分類)隨之?dāng)?shù)據(jù)量增加查詢性能越來越差數(shù)據(jù)安全性較低單節(jié)點系統(tǒng)穩(wěn)定性沒有保證前沿的業(yè)務(wù)需求無法滿足日志分析系統(tǒng)-hadoop解決方案數(shù)據(jù)分析者面臨的問題數(shù)據(jù)日趨龐大，無論是入庫和查詢，都出現(xiàn)性能瓶頸用戶的應(yīng)用和分析結(jié)果呈整合趨勢，對實時性和響應(yīng)時間要求越來越高使用的模型越來越復(fù)雜，計算量指數(shù)級上升數(shù)據(jù)分析者期待的解決方案完美解決性能瓶頸，在可見未來不容易出現(xiàn)新瓶頸過去所擁有的技能可以平穩(wěn)過渡。比如SQL、R轉(zhuǎn)移平臺的成本有多高？平臺軟硬件成本，再開發(fā)成本，技能再培養(yǎng)成本，維護成本Hadoop的思想WhynotHadoop？Java