大數(shù)據(jù)技術(shù)原理與應用（第2版）

大數(shù)據(jù)技術(shù)原理與應用（第2版）讀書筆記模板01思維導圖讀書筆記目錄分析內(nèi)容摘要精彩摘錄作者介紹目錄0305020406思維導圖第版原理技術(shù)大數(shù)據(jù)技術(shù)數(shù)據(jù)概念框架圖小結(jié)第章習題大數(shù)據(jù)應用實驗編程數(shù)據(jù)庫領(lǐng)域管理生態(tài)系統(tǒng)本書關(guān)鍵字分析思維導圖內(nèi)容摘要內(nèi)容摘要（1）概念篇：介紹當前緊密關(guān)聯(lián)的最新IT領(lǐng)域技術(shù)云計算、大數(shù)據(jù)和物聯(lián)網(wǎng)。（2）大數(shù)據(jù)存儲與管理篇：介紹分布式數(shù)據(jù)存儲的概念、原理和技術(shù)，包括HDFS、HBase、NoSQL數(shù)據(jù)庫、云數(shù)據(jù)庫。（3）大數(shù)據(jù)處理與分析篇：介紹MapReduce分布式編程框架、基于內(nèi)存的分布式計算框架Spark、圖計算、流計算、數(shù)據(jù)可視化。（4）大數(shù)據(jù)應用篇：介紹基于大數(shù)據(jù)技術(shù)的推薦系統(tǒng)。讀書筆記讀書筆記天吶，我居然看完了。這是一本偏專業(yè)的書籍。值得一看，個中內(nèi)容，源代碼及實踐部門太專業(yè)而跳過，但原理及詳述部分，非常詳細，搭配：百度+其他同內(nèi)容書，一起食用，真香！作為半業(yè)務(wù)半技術(shù)的數(shù)據(jù)分析師，值得好好了解，體會開發(fā)和大數(shù)據(jù)同行的處理思維！。四顆星。大數(shù)據(jù)技術(shù)發(fā)展日新月異，這本書中的一些內(nèi)容已經(jīng)有點過時了，不過通篇讀下來還是能對大數(shù)據(jù)領(lǐng)域有一個整體認識。沒記錯的話這本書是學?！按髷?shù)據(jù)開發(fā)技術(shù)基礎(chǔ)”的教材，上這門課前的寒假2021年2月初讀完了這本書。還記得這門課上課也沒怎么聽，就平時做做實驗，然后臨近期末考試才買了紙質(zhì)書從頭一頁一頁的復習備考。精彩摘錄精彩摘錄大數(shù)據(jù)的4個“V”，或者說是大數(shù)據(jù)的4個特點，包含4個層面：數(shù)據(jù)量大（Volume）、數(shù)據(jù)類型繁多（Variety）、處理速度快（Velocity）和價值密度低（Value）。大數(shù)據(jù)技術(shù)主要包括數(shù)據(jù)采集與預處理、數(shù)據(jù)存儲和管理、數(shù)據(jù)處理與分析、數(shù)據(jù)安全和隱私保護等幾個層面的內(nèi)容在思維方式方面，大數(shù)據(jù)具有“全樣而非抽樣、效率而非精確、相關(guān)而非因果”三大顯著特征流數(shù)據(jù)（或數(shù)據(jù)流）是指在時間分布和數(shù)量上無限的一系列動態(tài)數(shù)據(jù)集合體，數(shù)據(jù)的價值隨著時間的流逝而降低，因此必須采用實時計算的方式給出秒級響應。HBase是一個提供高可靠性、高性能、可伸縮、實時讀寫、分布式的列式數(shù)據(jù)庫，一般采用HDFS作為其底層數(shù)據(jù)存儲。大數(shù)據(jù)時代最大的轉(zhuǎn)變就是思維方式的3種轉(zhuǎn)變：全樣而非抽樣、效率而非精確、相關(guān)而非因果。所謂大數(shù)據(jù)技術(shù)，是指伴隨著大數(shù)據(jù)的采集、存儲、分析和應用的相關(guān)技術(shù)，是一系列使用非傳統(tǒng)的工具來對大量的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行處理，從而獲得分析和預測結(jié)果的一系列數(shù)據(jù)處理和分析技術(shù)。目錄分析第2章大數(shù)據(jù)處理架構(gòu)Hadoop第1章大數(shù)據(jù)概述第一篇大數(shù)據(jù)基礎(chǔ)第1章大數(shù)據(jù)概述1.1大數(shù)據(jù)時代1.2大數(shù)據(jù)的概念1.3大數(shù)據(jù)的影響1.4大數(shù)據(jù)的應用1.5大數(shù)據(jù)關(guān)鍵技術(shù)1.6大數(shù)據(jù)計算模式1.7大數(shù)據(jù)產(chǎn)業(yè)1.8大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)1.9本章小結(jié)第2章大數(shù)據(jù)處理架構(gòu)Hadoop2.1概述2.2Hadoop生態(tài)系統(tǒng)2.3Hadoop的安裝與使用2.4本章小結(jié)2.5習題實驗1安裝Hadoop第3章分布式文件系統(tǒng)HDFS第4章分布式數(shù)據(jù)庫HBase第5章NoSQL數(shù)據(jù)庫第6章云數(shù)據(jù)庫第二篇大數(shù)據(jù)存儲與管理第3章分布式文件系統(tǒng)HDFS3.1分布式文件系統(tǒng)3.2HDFS簡介3.3HDFS的相關(guān)概念3.4HDFS體系結(jié)構(gòu)3.5HDFS的存儲原理3.6HDFS的數(shù)據(jù)讀寫過程3.7HDFS編程實踐3.8本章小結(jié)3.9習題第4章分布式數(shù)據(jù)庫HBase4.1概述4.2HBase訪問接口4.3HBase數(shù)據(jù)模型4.4HBase的實現(xiàn)原理4.5HBase運行機制4.6HBase編程實踐4.7本章小結(jié)4.8習題實驗3熟悉常用的HBase操作第5章NoSQL數(shù)據(jù)庫5.1NoSQL簡介5.2NoSQL興起的原因5.3NoSQL與關(guān)系數(shù)據(jù)庫的比較5.4NoSQL的四大類型5.5NoSQL的三大基石5.6從NoSQL到NewSQL數(shù)據(jù)庫5.7本章小結(jié)5.8習題第6章云數(shù)據(jù)庫6.1云數(shù)據(jù)庫概述6.2云數(shù)據(jù)庫產(chǎn)品6.3云數(shù)據(jù)庫系統(tǒng)架構(gòu)6.4云數(shù)據(jù)庫實踐6.5本章小結(jié)6.6習題實驗4熟練使用RDSforMySQL數(shù)據(jù)庫第7章MapReduce第9章Spark第8章Hadoop再探討第三篇大數(shù)據(jù)處理與分析第10章流計算第12章數(shù)據(jù)可視化第11章圖計算第三篇大數(shù)據(jù)處理與分析第7章MapReduce7.1概述7.2MapReduce的工作流程7.3實例分析：WordCount7.4MapReduce的具體應用7.5MapReduce編程實踐7.6本章小結(jié)7.7習題實驗5MapReduce編程初級實踐第8章Hadoop再探討8.1Hadoop的優(yōu)化與發(fā)展8.2HDFS2.0的新特性8.3新一代資源管理調(diào)度框架YARN8.4Hadoop生態(tài)系統(tǒng)中具有代表性的功能組件8.5本章小結(jié)8.6習題第9章Spark9.1概述9.2Spark生態(tài)系統(tǒng)9.3Spark運行架構(gòu)9.4Spark的部署和應用方式9.5Spark編程實踐9.6本章小結(jié)9.7習題第10章流計算10.1流計算概述10.2流計算的處理流程10.3流計算的應用10.4開源流計算框架Storm10.5SparkStreaming10.6本章小結(jié)10.7習題第11章圖計算11.1圖計算簡介11.2Pregel簡介11.3Pregel圖計算模型11.4Pregel的C++API11.5Pregel的體系結(jié)構(gòu)11.6Pregel的應用實例11.7Pregel和MapReduce實現(xiàn)PageRank算法的對比11.8本章小結(jié)11.9習題第12章數(shù)據(jù)可視化12.1可視化概述12.2可視化工具12.3可視化典型案例12.4本章小結(jié)12.5習題第13章大數(shù)據(jù)在互聯(lián)網(wǎng)領(lǐng)域的應用第15章大數(shù)據(jù)的其他應用第14章大數(shù)據(jù)在生物醫(yī)學領(lǐng)域的應用第四篇大數(shù)據(jù)應用第13章大數(shù)據(jù)在互聯(lián)網(wǎng)領(lǐng)域的應用13.1推薦系統(tǒng)概述13.2協(xié)同過濾13.3協(xié)同過濾實踐13.4本章小結(jié)13.5習題第14章大數(shù)據(jù)在生物醫(yī)學領(lǐng)域的應用14.1流行病預測14.2智慧醫(yī)療14.3生物信息學14.4案例：基于大數(shù)據(jù)的綜合健康服務(wù)平臺14.5本章小結(jié)14.6習題第15章大數(shù)據(jù)的其他應用15.1大數(shù)據(jù)在物流領(lǐng)域中的應用15.2大數(shù)據(jù)在城市管理中的應用15.3大數(shù)據(jù)在金融行業(yè)中的應用15.4大數(shù)據(jù)在汽車行