大數(shù)據(jù)及Hadoo技術(shù)簡介

“大”時代的到來

大數(shù)據(jù)及Hadoop技術(shù)陳亮anch3or@大數(shù)據(jù)及大數(shù)據(jù)技術(shù)大數(shù)據(jù)特點大數(shù)據(jù)產(chǎn)業(yè)及應(yīng)用

Google的數(shù)據(jù)中心

Hadoop體系結(jié)構(gòu)

大數(shù)據(jù)

Hadoop技術(shù)目錄下一代大規(guī)模計算集群的資源管理框架親，隨便聊聊吧。Q&A大數(shù)據(jù)及大數(shù)據(jù)技術(shù)大數(shù)據(jù)一系列大規(guī)模、高復(fù)雜度的數(shù)據(jù)集合，它的規(guī)模和復(fù)雜程度已經(jīng)無法通過現(xiàn)有的數(shù)據(jù)庫管理工具或是傳統(tǒng)的數(shù)據(jù)處理應(yīng)用在合理的時間內(nèi)對其進行獲取、管理、存儲、檢索、分享、傳輸、分析和可視化。/wiki/Big_data大數(shù)據(jù)技術(shù)大數(shù)據(jù)技術(shù)作為新一代技術(shù)和體系架構(gòu)，將能夠利用較低的成本，通過高速捕獲，發(fā)現(xiàn)并對超大量、眾多類型的數(shù)據(jù)進行分析，以獲得信息的價值

。/prodserv/detail.jsp?id=NTAx

大數(shù)據(jù)特點4VBigData格式多樣來源多樣

響應(yīng)速度快增長速度快-1秒鐘-18個月

數(shù)據(jù)量大計算量大GB->TB->PB->EB->ZB價值密度低到2020年，全球數(shù)據(jù)將達到35ZB。（IDC數(shù)據(jù)）淘寶2010年部分運營數(shù)據(jù)：每日PV：超過20億次在線商品：8億種每分鐘銷售商品：4.8萬件淘寶雙十一部分技術(shù)數(shù)據(jù)：41億次事物/285億次SQL/15TB日志/1931億次內(nèi)存訪問結(jié)構(gòu)化/半結(jié)構(gòu)化/非結(jié)構(gòu)化文本/音頻/圖片/視頻微博/郵件/機器日志/金融記錄/短信/通話/醫(yī)療設(shè)備/物聯(lián)網(wǎng)設(shè)備/傳感器/移動設(shè)備-沙里淘金-為了發(fā)現(xiàn)金子，要保存全部沙子大數(shù)據(jù)產(chǎn)業(yè)及應(yīng)用互聯(lián)網(wǎng)金融保險公共管理醫(yī)療衛(wèi)生能源數(shù)字城市

物聯(lián)網(wǎng)重感知智慧城市大數(shù)據(jù)重分析終端設(shè)備多樣應(yīng)用服務(wù)豐富行業(yè)融合緊密交通銀行中信銀行平安保險民生銀行醫(yī)療數(shù)據(jù)挖掘臨床決策支持疾病模式分析疫情監(jiān)測相應(yīng)能源勘探能源利用大數(shù)據(jù)為我們提供了預(yù)測未來的能力！電力行業(yè)應(yīng)用場景環(huán)節(jié)應(yīng)用場景發(fā)電間歇性電源發(fā)電預(yù)測生產(chǎn)經(jīng)營數(shù)據(jù)分析發(fā)電設(shè)備故障分析及預(yù)測配煤方案優(yōu)化輸電輸電塔環(huán)境影響分析及預(yù)測線損分析及預(yù)測輸電塔、線故障分析及預(yù)測輸電網(wǎng)規(guī)劃優(yōu)化變電變電設(shè)備電磁環(huán)境影響電器設(shè)備誤操作分析變電設(shè)備故障分析及預(yù)測變電運行分析配電電器配電分析配電網(wǎng)絡(luò)分析及優(yōu)化配電設(shè)備故障分析及預(yù)測配電側(cè)購電分配分析用電用電負荷分析及預(yù)測用電方案優(yōu)化用電模型分析用電用戶行為分析調(diào)度電力調(diào)度模型分析及優(yōu)化電力調(diào)度數(shù)據(jù)網(wǎng)分析數(shù)據(jù)可視化在電力調(diào)度中的應(yīng)用電力調(diào)度方式及決策模型分析電力設(shè)備故障檢測及預(yù)測Google數(shù)據(jù)中心這貨是Google服務(wù)器？沒錯，這貨就是Google的服務(wù)器！這層機箱殼完全是為了宣傳廣告才裹上的。在機房里就是“裸奔”！CPU插槽：2個Intel/AMD芯片內(nèi)存插槽：8個硬盤：4塊主板：技嘉內(nèi)接12伏特電池（專利）Google數(shù)據(jù)中心一個機柜容納1160臺服務(wù)器一個數(shù)據(jù)中心由幾十個機柜組成數(shù)據(jù)中心一般都建在郊區(qū)靠近水源的地方Hadoop體系結(jié)構(gòu)Hadoop體系結(jié)構(gòu)——Hadoop

Hadoop項目開發(fā)一套可靠的、可伸縮的、分布式計算的開源軟件系統(tǒng)。HDFS分布式文件系統(tǒng)高容錯主要部署在廉價商業(yè)硬件高可伸縮任意增加、刪除節(jié)點MapReduce

編程模型用于大數(shù)據(jù)并行計算Map過程實現(xiàn)映射Reduce過程實現(xiàn)化簡實現(xiàn)對HDFS上大數(shù)據(jù)的運算Hadoop體系結(jié)構(gòu)——MapReduce單詞計數(shù)問題：輸入：文本文件（PB級）。輸出：統(tǒng)計文本中各個單詞出現(xiàn)的次數(shù)。Map映射過程：Map(Stringkey，Stringvalue)：//key:docname;value:doccontentforeachwordwinvalueEmitIntermediate(w，“1”)；Reduce化簡過程：Reduce(Stringkey，Iteratorvalues)：//key:oneword;values:countlistintresult=0：foreachvinvalues：result+=Parselnt(v)；Emit(AsString(result))；Hadoop體系結(jié)構(gòu)——HBase

HBase是一種分布式的、可擴展的、大數(shù)據(jù)存儲的“NoSQL”數(shù)據(jù)庫。HBase可在廉價PC集群上搭建起大規(guī)模結(jié)構(gòu)化存儲系統(tǒng)。HBase是GoogleBigtable的開源實現(xiàn)。以Bigtable作為數(shù)據(jù)可以在集群上托管有幾億行、幾百萬列的大表。HBase利用HadoopHDFS作為其文件存儲系統(tǒng)。HBase利用MapReduce來處理大數(shù)據(jù)。NoSQL（NoSQL=NotonlySQL），意即“不僅僅是SQL”。HBase是一種非關(guān)系型數(shù)據(jù)庫。HBase缺少大多數(shù)關(guān)系型數(shù)據(jù)的很多特性，比如列類型、輔助索引、觸發(fā)器和高級查詢語言。Hbase更像是一個數(shù)據(jù)存儲（DataStore）系統(tǒng)，而非數(shù)據(jù)庫（DataBase）系統(tǒng)。Hadoop體系結(jié)構(gòu)——Hive

Hive是建立在Hadoop之上的數(shù)據(jù)倉庫基礎(chǔ)架構(gòu)，為從分布式存儲中查詢和管理大數(shù)據(jù)提供方便。Hive支持下列特性或方法：方便于數(shù)據(jù)提取、傳輸、裝載的工具（ETL)一種對多樣性數(shù)據(jù)進行結(jié)構(gòu)化的格式化機制從HDFS或是其他，比如Hbase，數(shù)據(jù)存儲系統(tǒng)訪問文件通過MapReduce的擴展查詢機制（HQL)Hive定義了一種簡單的類SQL的查詢語言，HQL。HQL可以使用戶像使用SQL一樣查詢數(shù)據(jù)。并且允許使用MapReduce框架的程序員嵌入其自定義的mapper過程和reducer過程，以完成MapReduce框架內(nèi)建功能完成不了的復(fù)雜分析。Hadoop體系結(jié)構(gòu)——SparkSharkApacheSpark?

isafastandgeneralengineforlarge-scaledataprocessing./SharkisanopensourcedistributedSQLqueryengineforHadoopdata.Itbringsstate-of-the-artperformanceandadvancedanalyticstoHiveusers.數(shù)據(jù)挖掘利器——RRisafreesoftwareenvironmentforstatisticalcomputingandgraphics./下一代大規(guī)模計算集群的資源管理框架Hadoop集群應(yīng)用1Hadoop集群應(yīng)用2其他集群應(yīng)用3Borg:/What-is-Borg-at-GoogleYARN:/developerworks/cn/opensource/os-cn-hadoop-yarn/Mesos:Torca:/thread-29998-1-2.htmlCorona:/hadoop-c