第1章 Python 數(shù)據(jù)分析概述

1、大數(shù)據(jù)，成就未來大數(shù)據(jù)，成就未來Python數(shù)據(jù)分析概述數(shù)據(jù)分析概述2018/1/8 2大數(shù)據(jù)挖掘?qū)＜?熟悉Python數(shù)據(jù)分析的工具安裝 Python 的 Anaconda 發(fā)行版掌握 Jupyter Notebook 常用功能目錄目錄認(rèn)識數(shù)據(jù)分析234 3大數(shù)據(jù)挖掘?qū)＜?廣義的數(shù)據(jù)分析包括狹義數(shù)據(jù)分析和數(shù)據(jù)挖掘。廣義的數(shù)據(jù)分析包括狹義數(shù)據(jù)分析和數(shù)據(jù)挖掘。 狹義的數(shù)據(jù)分析狹義的數(shù)據(jù)分析是指根據(jù)分析目的，采用對比分析、分組分析、交叉分析和回歸分析等分析方法，對收集來的數(shù)據(jù)進(jìn)行處理與分析，提取有價(jià)值的信息，發(fā)揮數(shù)據(jù)的作用，得到一個(gè)特征統(tǒng)計(jì)量結(jié)果的過程。 數(shù)據(jù)挖掘數(shù)據(jù)挖掘則是從大量的、不完全的、有

2、噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，通過應(yīng)用聚類、分類、回歸和關(guān)聯(lián)規(guī)則等技術(shù)，挖掘潛在價(jià)值的過程。數(shù)據(jù)分析的概念數(shù)據(jù)分析的概念 4大數(shù)據(jù)挖掘?qū)＜覕?shù)據(jù)分析的流程數(shù)據(jù)分析的流程典型的數(shù)據(jù)分析的流程 5大數(shù)據(jù)挖掘?qū)＜?需求分析：數(shù)據(jù)分析中的需求分析也是數(shù)據(jù)分析環(huán)節(jié)的第一步和最重要的步驟之一，決定了后續(xù)的分析的方向、方法。 數(shù)據(jù)獲?。簲?shù)據(jù)是數(shù)據(jù)分析工作的基礎(chǔ)，是指根據(jù)需求分析的結(jié)果提取，收集數(shù)據(jù)。 數(shù)據(jù)預(yù)處理：數(shù)據(jù)預(yù)處理是指對數(shù)據(jù)進(jìn)行數(shù)據(jù)合并，數(shù)據(jù)清洗，數(shù)據(jù)變換和數(shù)據(jù)標(biāo)準(zhǔn)化，數(shù)據(jù)變換后使得整體數(shù)據(jù)變?yōu)楦蓛粽R，可以直接用于分析建模這一過程的總稱。 分析與建模：分析與建模是指通過對比分析、分組分析、交

3、叉分析、回歸分析等分析方法和聚類、分類、關(guān)聯(lián)規(guī)則、智能推薦等模型與算法發(fā)現(xiàn)數(shù)據(jù)中的有價(jià)值信息，并得出結(jié)論的過程。 模型評價(jià)與優(yōu)化：模型評價(jià)是指對已經(jīng)建立的一個(gè)或多個(gè)模型，根據(jù)其模型的類別，使用不同的指標(biāo)評價(jià)其性能優(yōu)劣的過程。 部署：部署是指將通過了正式應(yīng)用數(shù)據(jù)分析結(jié)果與結(jié)論應(yīng)用至實(shí)際生產(chǎn)系統(tǒng)的過程。數(shù)據(jù)分析的流程數(shù)據(jù)分析的流程典型的數(shù)據(jù)分析的流程 6大數(shù)據(jù)挖掘?qū)＜?主要是客戶的基本數(shù)據(jù)信息進(jìn)行商業(yè)行為分析，首先界定目標(biāo)客戶，根據(jù)客戶的需求，目標(biāo)客戶的性質(zhì)，所處行業(yè)的特征以及客戶的經(jīng)濟(jì)狀況等基本信息使用統(tǒng)計(jì)分析方法和預(yù)測驗(yàn)證法，分析目標(biāo)客戶，提高銷售效率。 其次了解客戶的采購過程，根據(jù)客戶采購類

4、型、采購性質(zhì)進(jìn)行分類分析制定不同的營銷策略。 最后還可以根據(jù)已有的客戶特征，進(jìn)行客戶特征分析、客戶忠誠分析、客戶注意力分析、客戶營銷分析和客戶收益分析。了解數(shù)據(jù)分析應(yīng)用場景了解數(shù)據(jù)分析應(yīng)用場景1. 客戶分析 7大數(shù)據(jù)挖掘?qū)＜?產(chǎn)品分析產(chǎn)品分析主要是競爭產(chǎn)品分析，通過對競爭產(chǎn)品的分析制定自身產(chǎn)品策略。 價(jià)格分析價(jià)格分析又可以分為成本分析和售價(jià)分析，成本分析的目的是降低不必要成本，售價(jià)分析的目的是制定符合市場的價(jià)格。 渠道分析渠道分析目的是指對產(chǎn)品的銷售渠道進(jìn)行分析，確定最優(yōu)的渠道配比。 廣告與促銷分析廣告與促銷分析則能夠結(jié)合客戶分析，實(shí)現(xiàn)銷量的提升，利潤的增加。了解數(shù)據(jù)分析應(yīng)用場景了解數(shù)據(jù)分析應(yīng)

5、用場景2. 營銷分析： 囊括了產(chǎn)品分析，價(jià)格分析，渠道分析，廣告與促銷分析這四類分析。 8大數(shù)據(jù)挖掘?qū)＜?以不同社交媒體渠道生成的內(nèi)容為基礎(chǔ)，實(shí)現(xiàn)不同社交媒體的用戶分析，訪問分析，互動分析等。同時(shí)，還能為情感和輿情監(jiān)督提供豐富的資料。 用戶分析用戶分析主要根據(jù)用戶注冊信息，登錄平臺的時(shí)間點(diǎn)和平時(shí)發(fā)表的內(nèi)容等用戶數(shù)據(jù)，分析用戶個(gè)人畫像和行為特征。 訪問分析訪問分析則是通過用戶平時(shí)訪問的內(nèi)容，分析用戶的興趣愛好，進(jìn)而分析潛在的商業(yè)價(jià)值。 互動分析互動分析根據(jù)互相關(guān)注對象的行為預(yù)測該對象未來的某些行為特征。了解數(shù)據(jù)分析應(yīng)用場景了解數(shù)據(jù)分析應(yīng)用場景3. 社交媒體分析 9大數(shù)據(jù)挖掘?qū)＜?新型的病毒防御系

6、統(tǒng)可使用數(shù)據(jù)分析技術(shù)，建立潛在攻擊識別分析模型，監(jiān)測大量網(wǎng)絡(luò)活動數(shù)據(jù)和相應(yīng)的訪問行為，識別可能進(jìn)行入侵的可疑模式，做到未雨綢繆。了解數(shù)據(jù)分析應(yīng)用場景了解數(shù)據(jù)分析應(yīng)用場景4. 網(wǎng)絡(luò)安全 10大數(shù)據(jù)挖掘?qū)＜?通過物聯(lián)網(wǎng)技術(shù)能夠收集和分析設(shè)備上的數(shù)據(jù)流，包括連續(xù)用電、零部件溫度、環(huán)境濕度和污染物顆粒等無數(shù)潛在特征，建立設(shè)備管理模型，從而預(yù)測設(shè)備故障，合理安排預(yù)防性的維護(hù)，以確保設(shè)備正常作業(yè)，降低因設(shè)備故障帶來的安全風(fēng)險(xiǎn)。了解數(shù)據(jù)分析應(yīng)用場景了解數(shù)據(jù)分析應(yīng)用場景5. 設(shè)備管理 11大數(shù)據(jù)挖掘?qū)＜襌PythonMATLAB語言學(xué)習(xí)難易程度語言學(xué)習(xí)難易程度入門難度低入門難度一般入門難度一般使用場景使用場景

7、數(shù)據(jù)分析，數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)，數(shù)據(jù)可視化等。數(shù)據(jù)分析，機(jī)器學(xué)習(xí)，矩陣運(yùn)算，科學(xué)數(shù)據(jù)可視化，數(shù)字圖像處理，web應(yīng)用，網(wǎng)絡(luò)爬蟲，系統(tǒng)運(yùn)維等。矩陣計(jì)算，數(shù)值分析，科學(xué)數(shù)據(jù)可視化，機(jī)器學(xué)習(xí)，符號計(jì)算，數(shù)字圖像處理，數(shù)字信號處理，仿真模擬等。第三方支持第三方支持擁有大量的Packages，能夠調(diào)用C，C+，F(xiàn)ortran，Java等其他程序語言。擁有大量的第三方庫，能夠簡 便 地 調(diào) 用 C ， C + + ，F(xiàn)ortran，Java等其他程序語言。擁有大量專業(yè)的工具箱，在新版本中加入了對C，C+，Java的支持。流行領(lǐng)域流行領(lǐng)域工業(yè)界學(xué)術(shù)界工業(yè)界學(xué)術(shù)界工業(yè)界學(xué)術(shù)界軟件成本軟件成本開源免費(fèi)開源免費(fèi)商業(yè)

8、收費(fèi)了解數(shù)據(jù)分析常用工具了解數(shù)據(jù)分析常用工具目前主流的數(shù)據(jù)分析語言有R，Python，MATLAB三種程序語言。 12大數(shù)據(jù)挖掘?qū)＜?物流是物品從供應(yīng)地向接收地的實(shí)體流動。通過業(yè)務(wù)系統(tǒng)和GPS定位系統(tǒng)獲得數(shù)據(jù)，對于客戶使用數(shù)據(jù)構(gòu)建交通狀況預(yù)測分析模型，有效預(yù)測實(shí)時(shí)路況、物流狀況、車流量、客流量和貨物吞吐量，進(jìn)而提前補(bǔ)貨，制定庫存管理策略。了解數(shù)據(jù)分析應(yīng)用場景了解數(shù)據(jù)分析應(yīng)用場景6. 交通物流分析 13大數(shù)據(jù)挖掘?qū)＜?身份信息泄露盜用事件逐年增長，隨之而來的是欺詐行為和交易的增多。公安機(jī)關(guān)，各大金融機(jī)構(gòu)，電信部門可利用用戶基本信息，用戶交易信息，用戶通話短信信息等數(shù)據(jù)，識別可能發(fā)生的潛在欺詐交易

9、，做到提前預(yù)防未雨綢繆。了解數(shù)據(jù)分析應(yīng)用場景了解數(shù)據(jù)分析應(yīng)用場景7. 欺詐行為檢測 14大數(shù)據(jù)挖掘?qū)＜野惭b Python 的 Anaconda 發(fā)行版掌握 Jupyter Notebook 常用功能目錄目錄341熟悉Python數(shù)據(jù)分析的工具認(rèn)識數(shù)據(jù)分析2 15大數(shù)據(jù)挖掘?qū)＜?語法簡單精練。對于初學(xué)者來說，比起其他編程語言，Python更容易上手。 有很強(qiáng)大的庫?？梢灾皇褂肞ython這一種語言去構(gòu)建以數(shù)據(jù)為中心的應(yīng)用程序。 功能強(qiáng)大。Python是一個(gè)混合體，豐富的工具集使它介于傳統(tǒng)的腳本語言和系統(tǒng)語言之間。Python不僅具備所有腳本語言簡單和易用的特點(diǎn)，還提供了編譯語言所具有的高級軟件工

10、程工具。 不僅適用于研究和原型構(gòu)建，同時(shí)也適用于構(gòu)建生產(chǎn)系統(tǒng)。研究人員和工程技術(shù)人員使用同一種編程工具，會給企業(yè)帶來非常顯著的組織效益，并降低企業(yè)的運(yùn)營成本。 Python是一門膠水語言。Python程序能夠以多種方式輕易地與其他語言的組件“粘接”在一起。了解了解Python數(shù)據(jù)分析的優(yōu)勢數(shù)據(jù)分析的優(yōu)勢Python 數(shù)據(jù)分析主要包含以下 5 個(gè)方面優(yōu)勢 16大數(shù)據(jù)挖掘?qū)＜?是一個(gè)增強(qiáng)的Python shell，目的是提高編寫、測試、調(diào)試Python代碼的速度。 主要用于交互式數(shù)據(jù)并行處理，是分布式計(jì)算的基礎(chǔ)架構(gòu)。 提供了一個(gè)類似于Mathematica的HTML筆記本，一個(gè)基于Qt框架的GUI

11、控制臺，具有繪圖、多行編輯以及語法高亮顯示等功能。了解了解Python數(shù)據(jù)分析常用類庫數(shù)據(jù)分析常用類庫1IPython科學(xué)計(jì)算標(biāo)準(zhǔn)工具集的組成部分 17大數(shù)據(jù)挖掘?qū)＜?快速高效的多維數(shù)組對象 ndarray。 對數(shù)組執(zhí)行元素級的計(jì)算以及直接對數(shù)組執(zhí)行數(shù)學(xué)運(yùn)算的函數(shù)。 讀寫硬盤上基于數(shù)組的數(shù)據(jù)集的工具。 線性代數(shù)運(yùn)算、傅里葉變換，以及隨機(jī)數(shù)生成的功能。 將 C、C+、Fortran 代碼集成到 Python 的工具。了解了解Python數(shù)據(jù)分析常用類庫數(shù)據(jù)分析常用類庫2NumPy(Numerical Python) Python 科學(xué)計(jì)算的基礎(chǔ)包 18大數(shù)據(jù)挖掘?qū)＜襍ciPy 主要包含了 8 個(gè)

12、模塊，不同的子模塊有不同的應(yīng)用，如插值、積分、優(yōu)化、圖像處理和特殊函數(shù)等。 egrate 數(shù)值積分例程和微分方程求解器 scipy.linalg 擴(kuò)展了由 numpy.linalg 提供的線性代數(shù)例程和矩陣分解功能 scipy.optimize 函數(shù)優(yōu)化器（最小化器）以及根查找算法 scipy.signal 信號處理工具 scipy.sparse 稀疏矩陣和稀疏線性系統(tǒng)求解器 scipy.special SPECFUN（這是一個(gè)實(shí)現(xiàn)了許多常用數(shù)學(xué)函數(shù)的 Fortran 庫）的包裝器 scipy.stats 檢驗(yàn)連續(xù)和離散概率分布、各種統(tǒng)計(jì)檢驗(yàn)方法，以及更好的描述統(tǒng)計(jì)法 sci

13、py.weave 利用內(nèi)聯(lián) C+代碼加速數(shù)組計(jì)算的工具了解了解Python數(shù)據(jù)分析常用類庫數(shù)據(jù)分析常用類庫3SciPy專門解決科學(xué)計(jì)算中各種標(biāo)準(zhǔn)問題域的模塊的集合 19大數(shù)據(jù)挖掘?qū)＜?提供了一系列能夠快速、便捷地處理結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)和函數(shù)。 高性能的數(shù)組計(jì)算功能以及電子表格和關(guān)系型數(shù)據(jù)庫（如 SQL）靈活的數(shù)據(jù)處理功能。 復(fù)雜精細(xì)的索引功能，以便便捷地完成重塑、切片和切塊、聚合及選取數(shù)據(jù)子集等操作。了解了解Python數(shù)據(jù)分析常用類庫數(shù)據(jù)分析常用類庫4Pandas數(shù)據(jù)分析核心庫 20大數(shù)據(jù)挖掘?qū)＜?Python的2D繪圖庫，非常適合創(chuàng)建出版物上用的圖表。 操作比較容易，只需幾行代碼即可生成

14、直方圖、功率譜圖、條形圖、錯(cuò)誤圖和散點(diǎn)圖等圖形。 提供了pylab的模塊，其中包括了NumPy和pyplot中許多常用的函數(shù)，方便用戶快速進(jìn)行計(jì)算和繪圖。 交互式的數(shù)據(jù)繪圖環(huán)境，繪制的圖表也是交互式的。了解了解Python數(shù)據(jù)分析常用類庫數(shù)據(jù)分析常用類庫5Matplotlib繪制數(shù)據(jù)圖表的 Python 庫 21大數(shù)據(jù)挖掘?qū)＜?簡單有效，可以供用戶在各種環(huán)境下重復(fù)使用。 封裝了一些常用的算法方法。 基本模塊主要有數(shù)據(jù)預(yù)處理、模型選擇、分類、聚類、數(shù)據(jù)降維和回歸 6 個(gè)，在數(shù)據(jù)量不大的情況下，scikit-learn可以解決大部分問題。了解了解Python數(shù)據(jù)分析常用類庫數(shù)據(jù)分析常用類庫6sci

15、kit-learn數(shù)據(jù)挖掘和數(shù)據(jù)分析工具 22大數(shù)據(jù)挖掘?qū)＜?提供高級的代碼編輯、交互測試和調(diào)試等特性。 包含數(shù)值計(jì)算環(huán)境。 可用于將調(diào)試控制臺直接集成到圖形用戶界面的布局中。 模仿MATLAB的“工作空間”，可以很方便地觀察和修改數(shù)組的值。了解了解Python數(shù)據(jù)分析常用類庫數(shù)據(jù)分析常用類庫7Spyder交互式 Python 語言開發(fā)環(huán)境 23大數(shù)據(jù)挖掘?qū)＜艺莆?Jupyter Notebook 常用功能目錄目錄41認(rèn)識數(shù)據(jù)分析安裝 Python 的 Anaconda 發(fā)行版3熟悉Python數(shù)據(jù)分析的工具2 24大數(shù)據(jù)挖掘?qū)＜?預(yù)裝了大量常用 Packages。 完全開源和免費(fèi)。 額外的加

16、速和優(yōu)化是收費(fèi)的，但對于學(xué)術(shù)用途，可以申請免費(fèi)的 License。 對全平臺和幾乎所有Python版本支持。了解了解Python的的Anaconda發(fā)行版發(fā)行版Anaconda 25大數(shù)據(jù)挖掘?qū)＜野惭b包“next”“I agree”“All Users(requires admin privileges)”選擇安裝路徑“Install”“finish”。在在Windows系統(tǒng)上安裝系統(tǒng)上安裝Anaconda安裝流程 26大數(shù)據(jù)挖掘?qū)＜夷夸浤夸?認(rèn)識數(shù)據(jù)分析熟悉Python數(shù)據(jù)分析的工具2安裝 Python 的 Anaconda 發(fā)行版3掌握 Jupyter Notebook 常用功能4 27大

17、數(shù)據(jù)挖掘?qū)＜艺莆照莆認(rèn)upyterNotebook的基本功能的基本功能打開并新建一個(gè)Notebook打開 Jupyter Notebook “Text File”為純文本型 “Folder” 為文件夾 “Python 3” 表示 Python 運(yùn)行腳本 28大數(shù)據(jù)挖掘?qū)＜疫x擇”Python 3”選項(xiàng)，進(jìn)入 Python 腳本編輯界面，Notebook 文檔由一系列單元（Cell）構(gòu)成，主要有兩種形式的單元。掌握掌握J(rèn)upyterNotebook的基本功能的基本功能Jupyter Notebook 的界面及其構(gòu)成 代碼單元。這里是讀者編寫代碼的地方。 Markdown 單元。在這里對文本進(jìn)行編輯

18、。 29大數(shù)據(jù)挖掘?qū)＜?編輯模式：用于編輯文本和代碼。掌握掌握J(rèn)upyterNotebook的基本功能的基本功能編輯界面 命令模式：用于執(zhí)行鍵盤輸入的快捷命令。 30大數(shù)據(jù)挖掘?qū)＜?“Esc”鍵：進(jìn)入命令模式 “Y” 鍵：切換到代碼單元 “M”鍵：切換到 Markdown 單元 “B”鍵：在本單元的下方增加一單元 “H”鍵：查看所有快捷命令 “ShiftEnter”組合鍵：運(yùn)行代碼掌握掌握J(rèn)upyterNotebook的基本功能的基本功能快捷鍵 31大數(shù)據(jù)挖掘?qū)＜襇arkdown 是一種可以使用普通文本編輯器編寫的標(biāo)記語言，通過簡單的標(biāo)記語法，它可以使普通文本內(nèi)容具有一定的格式。 標(biāo)題：標(biāo)題是標(biāo)明文章和作品等內(nèi)容的簡短語句。一個(gè)“#”字符代表一級標(biāo)題，以此類推。掌握掌握J(rèn)upyterNotebook的高級功能的高級功能1Markdown 32大數(shù)據(jù)挖掘?qū)＜?列表：列表是一種由數(shù)據(jù)項(xiàng)構(gòu)成的有限序列，即按照一定的線性順序排列而成的數(shù)據(jù)項(xiàng)的集合。 對于無序列表，使用星號、加號或者減號作為列表標(biāo)記 對于有序列表，則是使用數(shù)字“，”“（一個(gè)空格）”。掌握掌握J(rèn)upyterNotebook的高級功能的高級功能1M