大學計算機-計算思維視角 課件 5.7 大數據應用及關鍵技術

大數據應用及關鍵技術數據庫與大數據章名：節(jié)名：大數據的應用大數據的關鍵技術12大數據無處不在，社會各行各業(yè)都已經融入了大數據的印跡。大數據應用領域業(yè)務流程優(yōu)化監(jiān)控身體情況智能醫(yī)療研發(fā)智能汽車研發(fā)實時掌控交通情況金融交易理解滿足用戶需求大數據的應用大數據的應用案例1：連續(xù)劇的拍攝影視劇的投拍有風險

花巨額資金投拍卻得不到用戶關注，中國每年大部分的影視劇都會面臨這樣的厄運。

方式：不具備科學性，盲目跟風。亮劍(2005年)→抗日題材劇驟然活躍，中國橫店影視城每天群

眾演員不夠用(日本鬼子)。通過大數據分析團隊的分析結果才著手投拍。

風靡美國的知名影視劇。大數據的應用大數據的應用凱文·史派西奧斯卡影帝大衛(wèi)·芬奇金牌導演《紙牌屋》英國最火同名小說案例2：谷歌預測流感傳統預測方式各醫(yī)療結構層層上報醫(yī)療病例專家匯總分析發(fā)布報告問題：比真實預警滯后一到兩周。大數據的應用谷歌預測方式

美國公民通常遇到小病，首先求助搜索引擎，其次才是醫(yī)院。

搜索引擎實時收集各類生病用戶的查詢信息。

優(yōu)點：實時性高出很多。案例2：谷歌預測流感大數據的應用大數據的應用數據采集數據存儲與管理數據處理與分析數據隱私與安全1234V大數據的關鍵技術兩大核心技術大數據核心技術分布式存儲分布式處理大數據的關鍵技術大數據的關鍵技術分布式存儲：解決海量數據的存儲問題一臺計算機存儲不下，只能借助整個集群網絡進行存儲。分布式處理：解決海量數據的處理問題

海量數據的實時處理與分析，單機無法完成，也要借助整個集群網絡進行處理。分布式存儲與分布式處理均是以谷歌技術為代表。大數據的關鍵技術主要核心技術分布式數據庫BigTable分布式并行處理技術MapReduce分布式文件系統GFS分布式存儲分布式處理不同的計算模式需要使用不同的產品正如不同的鎖需要使用不同的鑰匙，企業(yè)中不同的應用場景屬于不同的計算模式，需要使用不同的大數據技術。批處理實時計算圖計算交互式計算大數據的關鍵技術大數據的關鍵技術批處理計算模式典型代表：MapReduce不適合做實時的交互式計算不可能實現秒級響應典型代表：Spark開發(fā)者：加州大學伯克利分校(2015)比MapReduce的實時性更好可高效地進行迭代計算(如：數據挖掘)流計算模式專門針對流數據的實時計算。如：日志流、用戶點擊流流計算需要進行實時處理，給出實時響應，否則分析結果將會失去商業(yè)價值。代表產品：S4、Storm、Flume實現秒級的針對實時數據流的響應。大數據的關鍵技術圖計算模式高效處理圖結構數據，如：社交網絡數據、地理信息系統數據。查詢分析計算模式實現交互式實時分析查詢，代表產品：GoogleDremel大數據的關鍵技術大數據的關鍵技術大數據計算模式解決問題代表產品批處理計算針對大規(guī)模數據的批量處理MapReduce、Spark等流計算針對流數據的實時計算Storm、S4、Flume、Streams、Puma、DStream、SuperMario、銀河流數據處理平臺等圖計算針對大規(guī)模圖結構數據的處理Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等查詢分析計算大規(guī)模數據的存儲管理和查詢分