第1章 數(shù)據(jù)分析與可視化概述

第1章數(shù)據(jù)分析與可視化概述

本章內(nèi)容1.1數(shù)據(jù)與大數(shù)據(jù)1.2數(shù)據(jù)分析1.3數(shù)據(jù)可視化1.4數(shù)據(jù)分析的流程1.5Python數(shù)據(jù)分析與可視化1.6JupyterNotebook的安裝和使用1.7Pycharm的安裝和使用1.1數(shù)據(jù)與大數(shù)據(jù)隨著計算機和互聯(lián)網(wǎng)的廣泛使用，人類所產(chǎn)生的數(shù)據(jù)呈爆炸式增長，我國擁有海量的數(shù)據(jù)資源和豐富的應(yīng)用場景，目前已是世界上產(chǎn)生和積累數(shù)據(jù)體量最大、數(shù)據(jù)類型最豐富的國家。數(shù)據(jù)應(yīng)用，已經(jīng)滲透到我們生活的每個角落，中國企業(yè)在大數(shù)據(jù)的應(yīng)用驅(qū)動創(chuàng)新方面更具優(yōu)勢，大量新應(yīng)用和服務(wù)將層出不窮并迅速普及，我們的生產(chǎn)和生活方式也隨之發(fā)生巨大改變，我國正以前所未有的速度迎來“大數(shù)據(jù)”時代。大數(shù)據(jù)（BigData）的字面意義指的是巨量數(shù)據(jù)的集合。巨量數(shù)據(jù)可以是來源于海量用戶的行為數(shù)據(jù)，比如各類網(wǎng)絡(luò)信息系統(tǒng)中記錄的用戶數(shù)據(jù)，或者是物聯(lián)網(wǎng)中通過傳感技術(shù)獲取的物理、化學(xué)、生物等領(lǐng)域的數(shù)據(jù)，再或者是科學(xué)實驗系統(tǒng)中產(chǎn)生的真實實驗數(shù)據(jù)或仿真數(shù)據(jù)。麥肯錫全球研究院在其報告Bigdata:Thenextfrontierforinnovation,competitionandproductivity中，將大數(shù)據(jù)定義為：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合。百度百科對“大數(shù)據(jù)”的定義是：“大數(shù)據(jù)”（BigData），或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策的資訊。1.2數(shù)據(jù)分析數(shù)據(jù)分析（DataAnalysis）是數(shù)學(xué)與計算機科學(xué)相結(jié)合的產(chǎn)物，指使用適當(dāng)?shù)慕y(tǒng)計分析方法對搜集來的大量數(shù)據(jù)進行分析，提取有用信息并形成結(jié)論，是一個對數(shù)據(jù)加以詳細研究和概括總結(jié)的過程。數(shù)據(jù)分析的目的是把隱藏在看似雜亂無章的數(shù)據(jù)中的信息集中和提煉出來，從而找出所研究對象的內(nèi)在規(guī)律。在實際應(yīng)用中，數(shù)據(jù)分析可幫助人們做出判斷，以便采取適當(dāng)行動。數(shù)據(jù)分析是有組織有目的地收集數(shù)據(jù)、分析數(shù)據(jù)，使之成為信息的過程。比如淘寶、今日頭條等能夠為用戶提供個性化的信息推薦，背后依賴的就是對大數(shù)據(jù)進行的數(shù)據(jù)分析技術(shù)。1.3數(shù)據(jù)可視化數(shù)據(jù)可視化旨在借助圖形化手段，使數(shù)據(jù)的關(guān)鍵特征能夠清晰、美觀地呈現(xiàn)，從而有效地傳達信息，幫助人們對稀疏的、復(fù)雜的數(shù)據(jù)集進行深入洞察。1.3.1數(shù)據(jù)可視化的目標(biāo)運用計算機圖形和圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)化為圖形圖像顯示出來。根本目的是為了實現(xiàn)對稀疏、雜亂、復(fù)雜的數(shù)據(jù)深入洞察，發(fā)現(xiàn)數(shù)據(jù)背后有價值的信息，并不是簡單地將數(shù)據(jù)轉(zhuǎn)化為可見的圖形符號和圖表。簡而言之就是“讓數(shù)據(jù)說話”。1.3.2數(shù)據(jù)可視化的作用（1）為人類提供感性的認知方式（2）信息的推理和分析（3）信息的傳播和協(xié)同1.3.3數(shù)據(jù)可視化的優(yōu)勢（1）信息傳遞速度快（2）數(shù)據(jù)顯示的多維性（3）能更直觀地展示信息（4）突破大腦記憶能力的限制1.4數(shù)據(jù)分析流程明確需求收集數(shù)據(jù)處理數(shù)據(jù)數(shù)據(jù)分析數(shù)據(jù)展現(xiàn)1.5Python數(shù)據(jù)分析與可視化1.5.1為什么選擇Python做數(shù)據(jù)分析（1）語法簡單精練，適合初學(xué)者入門（2）擁有一個巨大且活躍的科學(xué)計算社區(qū)（3）擁有強大的通用編程能力（4）人工智能時代的通用語言（5）方便對接其他語言1.5.2Python數(shù)據(jù)分析與可視化常用類庫

Numpy是Python生態(tài)系統(tǒng)中數(shù)據(jù)分析、機器學(xué)習(xí)和科學(xué)計算的基礎(chǔ)模塊，極大簡化了向量和矩陣操作。SciPy是基于NumPy開發(fā)的高級模塊，提供了許多數(shù)學(xué)算法和函數(shù)的實現(xiàn)，可便捷快速地解決科學(xué)計算中的標(biāo)準(zhǔn)問題。Pandas庫提供了大量處理數(shù)據(jù)的函數(shù)和方法，是重要的數(shù)據(jù)分析模塊。Matplotlib庫能將數(shù)據(jù)圖形化，提供多樣化的輸出格式。Seaborn庫是在Matplotlib基礎(chǔ)上提供了一個繪制統(tǒng)計圖形的高級接口，使繪圖更加容易。Scikit-learn是專門面向機器學(xué)習(xí)的Python開源框架，基本功能包括分類、回歸、聚類、數(shù)據(jù)降維、模型選擇和數(shù)據(jù)預(yù)處理。1.6JupyterNotebook的安裝和使用JupyterNotebook以網(wǎng)頁的形式打開，可以在網(wǎng)頁頁面中直接編寫代碼和運行代碼，代碼的運行結(jié)果也會直接在同一網(wǎng)頁的代碼塊下顯示。Jupyter網(wǎng)頁應(yīng)用結(jié)合了編寫說明文檔、數(shù)學(xué)公式、交互計算和其他富媒體形式的工具，其輸入和輸出，都是以文檔的形式體現(xiàn)的，該類文檔易于共享并且能夠?qū)С鰹槎喾N格式。安裝方法是：命令行方式輸入：pipinstalljupyter啟動方法是：

命令行方式輸入：jupyternotebook#啟動服務(wù)器

瀏覽器自動跳轉(zhuǎn)主頁面，或者在網(wǎng)頁地址欄輸入http://localhost:8888/tree地址跳轉(zhuǎn)使用方法是：

選擇網(wǎng)頁右上角“New”新建下拉框，選擇python3（ipykernel）

在使用界面輸入Python代碼，按Ctrl+Enter運行1.7Pycharm的安裝和使用PyCharm是一款功能強大的PythonIDE（集成開發(fā)環(huán)境），帶有一整套可以幫助用戶在使用