python數(shù)據(jù)分析概述課件講義

Itisapplicabletoworkreport,lectureandteachingPython數(shù)據(jù)分析概述1熟悉Python數(shù)據(jù)分析的工具安裝Python的Anaconda發(fā)行版掌握J(rèn)upyterNotebook常用功能目錄認(rèn)識(shí)數(shù)據(jù)分析234廣義的數(shù)據(jù)分析包括狹義數(shù)據(jù)分析和數(shù)據(jù)挖掘。狹義的數(shù)據(jù)分析是指根據(jù)分析目的，采用對(duì)比分析、分組分析、交叉分析和回歸分析等分析方法，對(duì)收集來(lái)的數(shù)據(jù)進(jìn)行處理與分析，提取有價(jià)值的信息，發(fā)揮數(shù)據(jù)的作用，得到一個(gè)特征統(tǒng)計(jì)量結(jié)果的過(guò)程。數(shù)據(jù)挖掘則是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，通過(guò)應(yīng)用聚類(lèi)、分類(lèi)、回歸和關(guān)聯(lián)規(guī)則等技術(shù)，挖掘潛在價(jià)值的過(guò)程。數(shù)據(jù)分析的概念數(shù)據(jù)分析的流程典型的數(shù)據(jù)分析的流程需求分析：數(shù)據(jù)分析中的需求分析也是數(shù)據(jù)分析環(huán)節(jié)的第一步和最重要的步驟之一，決定了后續(xù)的分析的方向、方法。數(shù)據(jù)獲取：數(shù)據(jù)是數(shù)據(jù)分析工作的基礎(chǔ)，是指根據(jù)需求分析的結(jié)果提取，收集數(shù)據(jù)。數(shù)據(jù)預(yù)處理：數(shù)據(jù)預(yù)處理是指對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)合并，數(shù)據(jù)清洗，數(shù)據(jù)變換和數(shù)據(jù)標(biāo)準(zhǔn)化，數(shù)據(jù)變換后使得整體數(shù)據(jù)變?yōu)楦蓛粽R，可以直接用于分析建模這一過(guò)程的總稱(chēng)。分析與建模：分析與建模是指通過(guò)對(duì)比分析、分組分析、交叉分析、回歸分析等分析方法和聚類(lèi)、分類(lèi)、關(guān)聯(lián)規(guī)則、智能推薦等模型與算法發(fā)現(xiàn)數(shù)據(jù)中的有價(jià)值信息，并得出結(jié)論的過(guò)程。模型評(píng)價(jià)與優(yōu)化：模型評(píng)價(jià)是指對(duì)已經(jīng)建立的一個(gè)或多個(gè)模型，根據(jù)其模型的類(lèi)別，使用不同的指標(biāo)評(píng)價(jià)其性能優(yōu)劣的過(guò)程。部署：部署是指將通過(guò)了正式應(yīng)用數(shù)據(jù)分析結(jié)果與結(jié)論應(yīng)用至實(shí)際生產(chǎn)系統(tǒng)的過(guò)程。數(shù)據(jù)分析的流程典型的數(shù)據(jù)分析的流程主要是客戶的基本數(shù)據(jù)信息進(jìn)行商業(yè)行為分析，首先界定目標(biāo)客戶，根據(jù)客戶的需求，目標(biāo)客戶的性質(zhì)，所處行業(yè)的特征以及客戶的經(jīng)濟(jì)狀況等基本信息使用統(tǒng)計(jì)分析方法和預(yù)測(cè)驗(yàn)證法，分析目標(biāo)客戶，提高銷(xiāo)售效率。其次了解客戶的采購(gòu)過(guò)程，根據(jù)客戶采購(gòu)類(lèi)型、采購(gòu)性質(zhì)進(jìn)行分類(lèi)分析制定不同的營(yíng)銷(xiāo)策略。最后還可以根據(jù)已有的客戶特征，進(jìn)行客戶特征分析、客戶忠誠(chéng)分析、客戶注意力分析、客戶營(yíng)銷(xiāo)分析和客戶收益分析。了解數(shù)據(jù)分析應(yīng)用場(chǎng)景1.客戶分析產(chǎn)品分析主要是競(jìng)爭(zhēng)產(chǎn)品分析，通過(guò)對(duì)競(jìng)爭(zhēng)產(chǎn)品的分析制定自身產(chǎn)品策略。價(jià)格分析又可以分為成本分析和售價(jià)分析，成本分析的目的是降低不必要成本，售價(jià)分析的目的是制定符合市場(chǎng)的價(jià)格。渠道分析目的是指對(duì)產(chǎn)品的銷(xiāo)售渠道進(jìn)行分析，確定最優(yōu)的渠道配比。廣告與促銷(xiāo)分析則能夠結(jié)合客戶分析，實(shí)現(xiàn)銷(xiāo)量的提升，利潤(rùn)的增加。了解數(shù)據(jù)分析應(yīng)用場(chǎng)景2.營(yíng)銷(xiāo)分析：囊括了產(chǎn)品分析，價(jià)格分析，渠道分析，廣告與促銷(xiāo)分析這四類(lèi)分析。以不同社交媒體渠道生成的內(nèi)容為基礎(chǔ)，實(shí)現(xiàn)不同社交媒體的用戶分析，訪問(wèn)分析，互動(dòng)分析等。同時(shí)，還能為情感和輿情監(jiān)督提供豐富的資料。用戶分析主要根據(jù)用戶注冊(cè)信息，登錄平臺(tái)的時(shí)間點(diǎn)和平時(shí)發(fā)表的內(nèi)容等用戶數(shù)據(jù)，分析用戶個(gè)人畫(huà)像和行為特征。訪問(wèn)分析則是通過(guò)用戶平時(shí)訪問(wèn)的內(nèi)容，分析用戶的興趣愛(ài)好，進(jìn)而分析潛在的商業(yè)價(jià)值?；?dòng)分析根據(jù)互相關(guān)注對(duì)象的行為預(yù)測(cè)該對(duì)象未來(lái)的某些行為特征。了解數(shù)據(jù)分析應(yīng)用場(chǎng)景3.社交媒體分析新型的病毒防御系統(tǒng)可使用數(shù)據(jù)分析技術(shù)，建立潛在攻擊識(shí)別分析模型，監(jiān)測(cè)大量網(wǎng)絡(luò)活動(dòng)數(shù)據(jù)和相應(yīng)的訪問(wèn)行為，識(shí)別可能進(jìn)行入侵的可疑模式，做到未雨綢繆。了解數(shù)據(jù)分析應(yīng)用場(chǎng)景4.網(wǎng)絡(luò)安全通過(guò)物聯(lián)網(wǎng)技術(shù)能夠收集和分析設(shè)備上的數(shù)據(jù)流，包括連續(xù)用電、零部件溫度、環(huán)境濕度和污染物顆粒等無(wú)數(shù)潛在特征，建立設(shè)備管理模型，從而預(yù)測(cè)設(shè)備故障，合理安排預(yù)防性的維護(hù)，以確保設(shè)備正常作業(yè)，降低因設(shè)備故障帶來(lái)的安全風(fēng)險(xiǎn)。了解數(shù)據(jù)分析應(yīng)用場(chǎng)景5.設(shè)備管理

RPythonMATLAB語(yǔ)言學(xué)習(xí)難易程度入門(mén)難度低入門(mén)難度一般入門(mén)難度一般使用場(chǎng)景數(shù)據(jù)分析，數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)，數(shù)據(jù)可視化等。數(shù)據(jù)分析，機(jī)器學(xué)習(xí)，矩陣運(yùn)算，科學(xué)數(shù)據(jù)可視化，數(shù)字圖像處理，web應(yīng)用，網(wǎng)絡(luò)爬蟲(chóng)，系統(tǒng)運(yùn)維等。矩陣計(jì)算，數(shù)值分析，科學(xué)數(shù)據(jù)可視化，機(jī)器學(xué)習(xí)，符號(hào)計(jì)算，數(shù)字圖像處理，數(shù)字信號(hào)處理，仿真模擬等。第三方支持擁有大量的Packages，能夠調(diào)用C，C++，F(xiàn)ortran，Java等其他程序語(yǔ)言。擁有大量的第三方庫(kù)，能夠簡(jiǎn)便地調(diào)用C，C++，F(xiàn)ortran，Java等其他程序語(yǔ)言。擁有大量專(zhuān)業(yè)的工具箱，在新版本中加入了對(duì)C，C++，Java的支持。流行領(lǐng)域工業(yè)界≈學(xué)術(shù)界工業(yè)界＞學(xué)術(shù)界工業(yè)界≤學(xué)術(shù)界軟件成本開(kāi)源免費(fèi)開(kāi)源免費(fèi)商業(yè)收費(fèi)了解數(shù)據(jù)分析常用工具目前主流的數(shù)據(jù)分析語(yǔ)言有R，Python，MATLAB三種程序語(yǔ)言。物流是物品從供應(yīng)地向接收地的實(shí)體流動(dòng)。通過(guò)業(yè)務(wù)系統(tǒng)和GPS定位系統(tǒng)獲得數(shù)據(jù)，對(duì)于客戶使用數(shù)據(jù)構(gòu)建交通狀況預(yù)測(cè)分析模型，有效預(yù)測(cè)實(shí)時(shí)路況、物流狀況、車(chē)流量、客流量和貨物吞吐量，進(jìn)而提前補(bǔ)貨，制定庫(kù)存管理策略。了解數(shù)據(jù)分析應(yīng)用場(chǎng)景6.交通物流分析身份信息泄露盜用事件逐年增長(zhǎng)，隨之而來(lái)的是欺詐行為和交易的增多。公安機(jī)關(guān)，各大金融機(jī)構(gòu)，電信部門(mén)可利用用戶基本信息，用戶交易信息，用戶通話短信信息等數(shù)據(jù)，識(shí)別可能發(fā)生的潛在欺詐交易，做到提前預(yù)防未雨綢繆。了解數(shù)據(jù)分析應(yīng)用場(chǎng)景7.欺詐行為檢測(cè)安裝Python的Anaconda發(fā)行版掌握J(rèn)upyterNotebook常用功能目錄341熟悉Python數(shù)據(jù)分析的工具認(rèn)識(shí)數(shù)據(jù)分析2語(yǔ)法簡(jiǎn)單精練。對(duì)于初學(xué)者來(lái)說(shuō)，比起其他編程語(yǔ)言，Python更容易上手。有很強(qiáng)大的庫(kù)?？梢灾皇褂肞ython這一種語(yǔ)言去構(gòu)建以數(shù)據(jù)為中心的應(yīng)用程序。功能強(qiáng)大。Python是一個(gè)混合體，豐富的工具集使它介于傳統(tǒng)的腳本語(yǔ)言和系統(tǒng)語(yǔ)言之間。Python不僅具備所有腳本語(yǔ)言簡(jiǎn)單和易用的特點(diǎn)，還提供了編譯語(yǔ)言所具有的高級(jí)軟件工程工具。不僅適用于研究和原型構(gòu)建，同時(shí)也適用于構(gòu)建生產(chǎn)系統(tǒng)。研究人員和工程技術(shù)人員使用同一種編程工具，會(huì)給企業(yè)帶來(lái)非常顯著的組織效益，并降低企業(yè)的運(yùn)營(yíng)成本。Python是一門(mén)膠水語(yǔ)言。Python程序能夠以多種方式輕易地與其他語(yǔ)言的組件“粘接”在一起。了解Python數(shù)據(jù)分析的優(yōu)勢(shì)Python數(shù)據(jù)分析主要包含以下5個(gè)方面優(yōu)勢(shì)是一個(gè)增強(qiáng)的Pythonshell，目的是提高編寫(xiě)、測(cè)試、調(diào)試Python代碼的速度。主要用于交互式數(shù)據(jù)并行處理，是分布式計(jì)算的基礎(chǔ)架構(gòu)。提供了一個(gè)類(lèi)似于Mathematica的HTML筆記本，一個(gè)基于Qt框架的GUI控制臺(tái)，具有繪圖、多行編輯以及語(yǔ)法高亮顯示等功能。了解Python數(shù)據(jù)分析常用類(lèi)庫(kù)1．IPython——科學(xué)計(jì)算標(biāo)準(zhǔn)工具集的組成部分快速高效的多維數(shù)組對(duì)象ndarray。對(duì)數(shù)組執(zhí)行元素級(jí)的計(jì)算以及直接對(duì)數(shù)組執(zhí)行數(shù)學(xué)運(yùn)算的函數(shù)。讀寫(xiě)硬盤(pán)上基于數(shù)組的數(shù)據(jù)集的工具。線性代數(shù)運(yùn)算、傅里葉變換，以及隨機(jī)數(shù)生成的功能。將C、C++、Fortran代碼集成到Python的工具。了解Python數(shù)據(jù)分析常用類(lèi)庫(kù)2．NumPy(NumericalPython)——

Python科學(xué)計(jì)算的基礎(chǔ)包SciPy主要包含了8個(gè)模塊，不同的子模塊有不同的應(yīng)用，如插值、積分、優(yōu)化、圖像處理和特殊函數(shù)等。egrate數(shù)值積分例程和微分方程求解器scipy.linalg擴(kuò)展了由numpy.linalg提供的線性代數(shù)例程和矩陣分解功能scipy.optimize函數(shù)優(yōu)化器（最小化器）以及根查找算法scipy.signal信號(hào)處理工具scipy.sparse稀疏矩陣和稀疏線性系統(tǒng)求解器scipy.specialSPECFUN（這是一個(gè)實(shí)現(xiàn)了許多常用數(shù)學(xué)函數(shù)的Fortran庫(kù)）的包裝器scipy.stats檢驗(yàn)連續(xù)和離散概率分布、各種統(tǒng)計(jì)檢驗(yàn)方法，以及更好的描述統(tǒng)計(jì)法scipy.weave利用內(nèi)聯(lián)C++代碼加速數(shù)組計(jì)算的工具了解Python數(shù)據(jù)分析常用類(lèi)庫(kù)3．SciPy——專(zhuān)門(mén)解決科學(xué)計(jì)算中各種標(biāo)準(zhǔn)問(wèn)題域的模塊的集合提供了一系列能夠快速、便捷地處理結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)和函數(shù)。高性能的數(shù)組計(jì)算功能以及電子表格和關(guān)系型數(shù)據(jù)庫(kù)（如SQL）靈活的數(shù)據(jù)處理功能。復(fù)雜精細(xì)的索引功能，以便便捷地完成重塑、切片和切塊、聚合及選取數(shù)據(jù)子集等操作。了解Python數(shù)據(jù)分析常用類(lèi)庫(kù)4．Pandas——數(shù)據(jù)分析核心庫(kù)Python的2D繪圖庫(kù)，非常適合創(chuàng)建出版物上用的圖表。操作比較容易，只需幾行代碼即可生成直方圖、功率譜圖、條形圖、錯(cuò)誤圖和散點(diǎn)圖等圖形。提供了pylab的模塊，其中包括了NumPy和pyplot中許多常用的函數(shù)，方便用戶快速進(jìn)行計(jì)算和繪圖。交互式的數(shù)據(jù)繪圖環(huán)境，繪制的圖表也是交互式的。了解Python數(shù)據(jù)分析常用類(lèi)庫(kù)5．Matplotlib——繪制數(shù)據(jù)圖表的Python庫(kù)簡(jiǎn)單有效，可以供用戶在各種環(huán)境下重復(fù)使用。封裝了一些常用的算法方法?；灸K主要有數(shù)據(jù)預(yù)處理、模型選擇、分類(lèi)、聚類(lèi)、數(shù)據(jù)降維和回歸6個(gè)，在數(shù)據(jù)量不大的情況下，scikit-learn可以解決大部分問(wèn)題。了解Python數(shù)據(jù)分析常用類(lèi)庫(kù)6．scikit-learn——數(shù)據(jù)挖掘和數(shù)據(jù)分析工具提供高級(jí)的代碼編輯、交互測(cè)試和調(diào)試等特性。包含數(shù)值計(jì)算環(huán)境。可用于將調(diào)試控制臺(tái)直接集成到圖形用戶界面的布局中。模仿MATLAB的“工作空間”，可以很方便地觀察和修改數(shù)組的值。了解Python數(shù)據(jù)分析常用類(lèi)庫(kù)7．Spyder——交互式Python語(yǔ)言開(kāi)發(fā)環(huán)境掌握J(rèn)upyterNotebook常用功能目錄41認(rèn)識(shí)數(shù)據(jù)分析安裝Python的Anaconda發(fā)行版3熟悉Python數(shù)據(jù)分析的工具2預(yù)裝了大量常用Packages。完全開(kāi)源和免費(fèi)。額外的加速和優(yōu)化是收費(fèi)的，但對(duì)于學(xué)術(shù)用途，可以申請(qǐng)免費(fèi)的License。對(duì)全平臺(tái)和幾乎所有Python版本支持。了解Python的Anaconda發(fā)行版Anaconda安裝包——“next”——“Iagree”——“AllUsers(requiresadminprivileges)”——選擇安裝路徑——“Install”——“finish”。在Windows系統(tǒng)上安裝Anaconda安裝流程目錄1認(rèn)識(shí)數(shù)據(jù)分析熟悉Python數(shù)據(jù)分析的工具2安裝Python的Anaconda發(fā)行版3掌握J(rèn)upyterNotebook常用功能4掌握J(rèn)upyterNotebook的基本功能打開(kāi)并新建一個(gè)Notebook打開(kāi)JupyterNotebook“TextFile”為純文本型“Folder”為文件夾“Python3”表示Python運(yùn)行腳本選擇”P(pán)ython3”選項(xiàng)，進(jìn)入Python腳本編輯界面，Notebook文檔由一系列單元（Cell）構(gòu)成，主要有兩種形式的單元。掌握J(rèn)upyterNotebook的基本功能JupyterNotebook的界面及其構(gòu)成代碼單元。這里是讀者編寫(xiě)代碼的地方。Markdown單元。在這里對(duì)文本進(jìn)行編輯。編輯模式：用于編輯文本和代碼。掌握J(rèn)upyterNotebook的基本功能編輯界面命令模式：用于執(zhí)行鍵盤(pán)輸入的快捷命令?！癊sc”鍵：進(jìn)入命令模式“Y”鍵：切換到代碼單元“M”鍵：切換到Markdown單元“B”鍵：在本單元的下方增加一單元“H”鍵：查看所有快捷命令“Shift＋Enter”組合鍵：運(yùn)行代碼掌握J(rèn)upyterNotebook的基本功能快捷鍵Markdown是一種可以使用普通文本編輯器編寫(xiě)的標(biāo)記語(yǔ)言，通過(guò)簡(jiǎn)單的標(biāo)記語(yǔ)法，它可以使普通文本內(nèi)容具有一定的格式。標(biāo)題：標(biāo)題是標(biāo)明文章和作品等內(nèi)容的簡(jiǎn)短語(yǔ)句。一個(gè)“#”字符代表一級(jí)標(biāo)題，以此類(lèi)推。掌握J(rèn)upyterNotebook的高級(jí)功能1．Markdown列表：列表是一種由數(shù)據(jù)項(xiàng)構(gòu)成的有限序列，即按照一定的線性順序排列而成的數(shù)據(jù)項(xiàng)的集合。對(duì)于無(wú)序列表，使用星號(hào)、加號(hào)或者減號(hào)作為列表標(biāo)記對(duì)于有序列表，則是使用數(shù)字“，”“（一個(gè)空格）”。掌握J(rèn)upyterNotebook的高級(jí)功能1．Mar