第一章 大數(shù)據(jù)開篇

第一章大數(shù)據(jù)開篇1分布式技術(shù)大數(shù)據(jù)課程導(dǎo)論2目錄數(shù)據(jù)是事實(shí)或觀察的結(jié)果是對(duì)客觀事物的邏輯歸納是用于表示客觀事物的未經(jīng)加工的原始素材數(shù)據(jù)的產(chǎn)生對(duì)客觀事物的計(jì)量和記錄產(chǎn)生數(shù)據(jù)數(shù)據(jù)存儲(chǔ)單位1Byte=8bit1K(千)=1024Byte1MB（兆)=1024K1G(吉)=1024M1T(太)=1024G1P(拍)=1024T1E(艾)=1024P1Z(澤)=1024E1Y(堯)=1024Z1B(布)=1024Y1N(諾)=1024B1D(刀)=1024N大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)概念大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)概念大數(shù)據(jù)（bigdata）是指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)時(shí)代

最早提出“大數(shù)據(jù)”時(shí)代到來(lái)的是全球知名咨詢公司麥肯錫，其稱：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)。”央視《大數(shù)據(jù)時(shí)代》紀(jì)錄片

國(guó)內(nèi)首部大數(shù)據(jù)產(chǎn)業(yè)題材紀(jì)錄片，節(jié)目細(xì)致而生動(dòng)地講述了大數(shù)據(jù)技術(shù)在政府治理、民生服務(wù)、數(shù)據(jù)安全、工業(yè)轉(zhuǎn)型、未來(lái)生活等方面給我們帶來(lái)的改變和影響。大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)概念大數(shù)據(jù)場(chǎng)景下海量數(shù)據(jù)如何存儲(chǔ)的問(wèn)題海量數(shù)據(jù)如何計(jì)算的問(wèn)題大數(shù)據(jù)課程導(dǎo)論數(shù)據(jù)是客觀事實(shí)或觀察的結(jié)果通過(guò)計(jì)量和記錄客觀事件而產(chǎn)生數(shù)據(jù)科技發(fā)展邁向了大數(shù)據(jù)時(shí)代大數(shù)據(jù)時(shí)代技術(shù)方面的挑戰(zhàn)：存儲(chǔ)、計(jì)算大數(shù)據(jù)概念大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)的特點(diǎn)（5V特征）VarietyValueVelocity低價(jià)值密度速度快采集數(shù)據(jù)量大存儲(chǔ)數(shù)據(jù)量大計(jì)算數(shù)據(jù)量大TB、PB級(jí)別起步信息海量但是價(jià)值密度低深度復(fù)雜的挖掘分析需要機(jī)器學(xué)習(xí)參與數(shù)據(jù)增長(zhǎng)速度快獲取數(shù)據(jù)速度快數(shù)據(jù)處理速度快VolumeVeracity種類、來(lái)源多樣化數(shù)據(jù)體量大數(shù)據(jù)的質(zhì)量種類：結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化來(lái)源：日志文本、圖片、音頻、視頻數(shù)據(jù)的準(zhǔn)確性數(shù)據(jù)的可信賴度電商領(lǐng)域精準(zhǔn)廣告位、個(gè)性化推薦、大數(shù)據(jù)殺熟傳媒領(lǐng)域精準(zhǔn)營(yíng)銷、猜你喜歡、交互推薦金融領(lǐng)域信用評(píng)估、風(fēng)險(xiǎn)管控、客戶細(xì)分、精細(xì)化營(yíng)銷大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)應(yīng)用場(chǎng)景交通領(lǐng)域擁堵預(yù)測(cè)、智能紅綠燈、導(dǎo)航最優(yōu)規(guī)劃電信領(lǐng)域基站選址優(yōu)化、輿情監(jiān)控、客戶用戶畫像安防領(lǐng)域犯罪預(yù)防、天網(wǎng)監(jiān)控醫(yī)療領(lǐng)域智慧醫(yī)療、疾病預(yù)防、病源追蹤大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)應(yīng)用場(chǎng)景大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟數(shù)據(jù)展現(xiàn)明確分析目的和思路報(bào)告撰寫數(shù)據(jù)收集數(shù)據(jù)處理數(shù)據(jù)分析Step1：明確分析目的和思路目的是整個(gè)分析流程的起點(diǎn)：

為數(shù)據(jù)的收集、處理及分析提供清晰的指引方向思路是使分析框架體系化：

先分析什么，后分析什么，使各分析點(diǎn)之間具有邏輯聯(lián)系

保證分析維度的完整性，分析結(jié)果的有效性以及正確性數(shù)據(jù)分析方法論：營(yíng)銷管理相關(guān)理論用戶行為理論、PEST分析法、5W2H分析法等大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟Step2：數(shù)據(jù)收集數(shù)據(jù)從無(wú)到有的過(guò)程

比如傳感器收集氣象數(shù)據(jù)、埋點(diǎn)收集用戶行為數(shù)據(jù)數(shù)據(jù)傳輸搬運(yùn)的過(guò)程

比如采集數(shù)據(jù)庫(kù)數(shù)據(jù)到數(shù)據(jù)分析平臺(tái)大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟業(yè)務(wù)數(shù)據(jù)日志數(shù)據(jù)爬蟲數(shù)據(jù)RDBMS服務(wù)器、應(yīng)用日志爬蟲數(shù)據(jù)庫(kù)互聯(lián)網(wǎng)公開數(shù)據(jù)行業(yè)、政府網(wǎng)站Step3：數(shù)據(jù)處理對(duì)收集到的數(shù)據(jù)進(jìn)行加工整理，形成適合數(shù)據(jù)分析的樣式

主要包括數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)提取、數(shù)據(jù)計(jì)算保證數(shù)據(jù)的一致性和有效性大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟Step4：數(shù)據(jù)分析用適當(dāng)?shù)姆治龇椒肮ぞ?，?duì)處理過(guò)的數(shù)據(jù)進(jìn)行分析，提取有價(jià)值的信息，形成有效結(jié)論的過(guò)程需要掌握各種數(shù)據(jù)分析方法，還要熟悉數(shù)據(jù)分析軟件的操作數(shù)據(jù)挖掘本質(zhì)是一種高級(jí)的數(shù)據(jù)分析方法

數(shù)據(jù)挖掘側(cè)重解決四類數(shù)據(jù)分析問(wèn)題:分類、聚類、關(guān)聯(lián)和預(yù)測(cè)，重點(diǎn)在尋找模式和規(guī)律。大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟Step5：數(shù)據(jù)展現(xiàn)分析結(jié)果直觀展示，人類是視覺動(dòng)物數(shù)據(jù)是通過(guò)表格和圖形的方式來(lái)呈現(xiàn)，用圖表說(shuō)話大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟Step6：報(bào)告撰寫數(shù)據(jù)分析報(bào)告是對(duì)整個(gè)數(shù)據(jù)分析過(guò)程的一個(gè)總結(jié)與呈現(xiàn)把數(shù)據(jù)分析的起因、過(guò)程、結(jié)果及建議完整地呈現(xiàn)出來(lái)，供決策者參考需要有明確的結(jié)論，最好有建議或解決方案大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟分析步驟的核心：一切圍繞著數(shù)據(jù)通俗描述：數(shù)據(jù)從哪里來(lái)、數(shù)據(jù)到哪里去核心步驟:采集、處理、分析、應(yīng)用大數(shù)據(jù)業(yè)務(wù)分析基本步驟大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)部門組織架構(gòu)1分布式技術(shù)大數(shù)據(jù)課程導(dǎo)論2科學(xué)技術(shù)的發(fā)展推動(dòng)下

應(yīng)用和系統(tǒng)架構(gòu)的變遷：?jiǎn)螜C(jī)單一架構(gòu)邁向多機(jī)分布式架構(gòu)

分布式技術(shù)為什么需要分布式技術(shù)數(shù)據(jù)大爆炸，海量數(shù)據(jù)處理場(chǎng)景面臨問(wèn)題

分布式技術(shù)為什么需要分布式技術(shù)如何存儲(chǔ)?如何計(jì)算？單機(jī)存儲(chǔ)有瓶頸多臺(tái)機(jī)器分布式存儲(chǔ)單機(jī)計(jì)算能力有限多臺(tái)機(jī)器分布式計(jì)算分布式系統(tǒng)是一個(gè)硬件或軟件組件分布在不同的網(wǎng)絡(luò)計(jì)算機(jī)上彼此之間僅僅通過(guò)消息傳遞進(jìn)行通信和協(xié)調(diào)的系統(tǒng)一群互相獨(dú)立計(jì)算機(jī)集合共同對(duì)外提供服務(wù)對(duì)于系統(tǒng)的用戶來(lái)說(shuō)，就像是一臺(tái)計(jì)算機(jī)在提供服務(wù)樣分布式技術(shù)分布式系統(tǒng)概述分布式、集群是不同的概念口語(yǔ)中經(jīng)?；煜?/p>

分布式技術(shù)分布式（Distributed）、集群（Cluster）分布式集群多臺(tái)機(jī)器每臺(tái)機(jī)器上部署不同組件多臺(tái)機(jī)器每臺(tái)集群部署相同組件分布式、集群的共同點(diǎn)是：多臺(tái)機(jī)器因此口語(yǔ)中混淆兩者概念的時(shí)候都是相對(duì)于單機(jī)來(lái)說(shuō)的

分布式技術(shù)分布式（Distributed）、集群（Cluster）將負(fù)載（工作任務(wù)）進(jìn)行平衡、分?jǐn)偟蕉鄠€(gè)操作單元上進(jìn)行運(yùn)行解決了單個(gè)無(wú)法處理所有任務(wù)，多個(gè)一起處理的問(wèn)題分布式技術(shù)負(fù)載均衡（LoadBalance）當(dāng)活動(dòng)的服務(wù)或應(yīng)用意外終止時(shí)，快速啟用冗余或備用的服務(wù)器、系統(tǒng)、硬件或者網(wǎng)絡(luò)接替它們工作故障轉(zhuǎn)移系統(tǒng)也稱之為容錯(cuò)系統(tǒng)，所謂容錯(cuò)指的是可以容忍錯(cuò)誤的發(fā)生故障轉(zhuǎn)移的核心是設(shè)置備份出現(xiàn)故障時(shí)主備切換主備切換的前提是數(shù)據(jù)狀態(tài)保持一致分布式技術(shù)故障轉(zhuǎn)移（FailOver