第4章 信息分析工具

信息分析概論

（第二版）第4章信息分析工具信息分析概論（第二版）第4章信息分析工具信息分析工具的作用4.1信息分析工具的發(fā)展4.2信息分析工具的類型4.3信息分析工具的應(yīng)用4.4信息分析工具的作用第一部分信息分析概論（第二版）信息分析概論（第二版）信息分析工具的重要地位提高效率增強效度提升信度加大深度多維可視化擴大廣度信息分析工具的發(fā)展第二部分信息分析概論（第二版）信息分析概論（第二版）信息分析工具的發(fā)展階段著名管理學(xué)家托馬斯·達文波特于2013年在《哈佛商業(yè)評論》上發(fā)表了一篇題為《第三代分析工具》（Analytics3.0）的論文。該論文將信息分析的方法、技術(shù)和工具—分析工具的應(yīng)用時代分為三個，即商務(wù)智能時代、大數(shù)據(jù)時代和數(shù)據(jù)富足供給時代。信息分析工具的發(fā)展階段信息分析概論（第二版）信息分析工具的發(fā)展階段——Analytics1.0Analytics1.0是商務(wù)智能時代（1950～2000）的主要信息分析技術(shù)、方法和工具。Analytics1.0中常用的工具軟件為數(shù)據(jù)倉庫及商務(wù)智能類軟件，一般由信息分析師或商務(wù)智能分析師使用。其主要特點是：（1）分析活動滯后于數(shù)據(jù)的生成（2）重視結(jié)構(gòu)化數(shù)據(jù)的分析（3）以對歷史數(shù)據(jù)的理解為主要目的（4）注重描述性分析信息分析概論（第二版）信息分析工具的發(fā)展階段——Analytics2.0Analytics2.0是大數(shù)據(jù)時代（2000～2020）的主要信息分析技術(shù)、方法和工具，一般由數(shù)據(jù)科學(xué)家使用。與Analytics1.0不同的是，Analytics2.0中采用了一些新興信息分析技術(shù)，如Hadoop、Spark、NoSQL等大信息分析技術(shù)。其主要特點是：（1）分析活動與數(shù)據(jù)的生成幾乎同步，強調(diào)信息分析的實時性（2）重視非結(jié)構(gòu)化數(shù)據(jù)的分析（3）以決策支持為主要目的（4）注重解釋性分析和預(yù)測性分析信息分析概論（第二版）信息分析工具的發(fā)展階段——Analytics3.0Analytics3.0是數(shù)據(jù)富足供給時代（2020開始）的主要信息分析技術(shù)、方法和工具。與Analytics2.0不同的是，Analytics3.0中信息分析更為專業(yè)化。從技術(shù)實現(xiàn)和常用工具角度看，Analytics3.0將采用更為專業(yè)的分析工具，而不再直接采用Hadoop、Spark、NoSQL等大信息分析技術(shù)。其主要特點是：（1）引入嵌入式分析（2）重視行業(yè)數(shù)據(jù)，而不只是企業(yè)內(nèi)部數(shù)據(jù)（3）以產(chǎn)品與服務(wù)的優(yōu)化為主要目的（4）注重規(guī)范性分析信息分析工具的類型第三部分信息分析概論（第二版）代碼簡潔易懂豐富的第三方庫交互式分析支持跨平臺性和可移植性可擴展性龐大的社區(qū)支持信息分析概論（第二版）開源工具Python和R是最常用的信息分析開源工具。其中，Python語言是一種解釋性、交互式、動態(tài)類型語言，具有“優(yōu)雅”“明確”“簡單”的特點。對于信息分析而言，Python語言的優(yōu)缺點是：優(yōu)點運行速度慢安全性較低并行計算能力差內(nèi)存消耗較高缺點信息分析概論（第二版）R語言與Python語言對照表

Python語言R語言設(shè)計者計算機科學(xué)家吉多·范·羅瑟(Guido

Van

Rossum)統(tǒng)計學(xué)家羅斯·艾卡(RossIhaka)和羅伯特·簡特曼(RobertGentleman),設(shè)計目的提升軟件開發(fā)的效率與源代碼的可讀性方便統(tǒng)計處理、信息分析及圖形化顯示設(shè)計哲學(xué)（源代碼層次上）優(yōu)雅、明確、簡單（功能層次上）簡單、有效、完善發(fā)行年19911995前身ABC語言、C語言和Modula-3語言S語言主要維護者PythonSoftwareFoundation（Python軟件基金會）TheR-CoreTeam（R-核心團隊）TheRFoundation（R基金會）主要用戶群軟件工程師/程序員學(xué)術(shù)/科學(xué)研究/統(tǒng)計學(xué)家信息分析概論（第二版）R語言與Python語言對照表

Python語言R語言可用性源代碼的語法更規(guī)范，便于編碼與調(diào)試可以用簡單幾行代碼即可實現(xiàn)復(fù)雜的數(shù)據(jù)統(tǒng)計、機器學(xué)習(xí)和數(shù)據(jù)可視化功能學(xué)習(xí)成本曲線入門相對容易，入門后學(xué)習(xí)難度隨著學(xué)習(xí)內(nèi)容逐步提升入門難，入門后相對容易第三方提供的功能以“包”的形式存在可從PyPi下載以“庫”的形式存在可從CRAN下載常用包/庫數(shù)據(jù)處理：pandas科學(xué)計算：SciPy，NumPy可視化：matplotlib統(tǒng)計建模：statsmodels機器學(xué)習(xí)：sckikit-learn，TensorFlow，Theano信息分析工具集：tidyverse數(shù)據(jù)處理：dplyr，plyr，data.table，stringr可視化：ggplot2，ggvis，lattice機器學(xué)習(xí)：RWeka，caret常用IDE(集成開發(fā)環(huán)境)JupyterNotebook(iPythonNotebook)/Spyder/Rodeo/Eclipse/PyCharmRStudio、RGuiR與Python之間的相互調(diào)用在Python中，可以通過庫RPy2調(diào)用R代碼在R中，可以通過包rPython調(diào)用Python代碼信息分析概論（第二版）商業(yè)工具常用于信息分析的商業(yè)工具有很多，如SPSSStatistics、IBMSPSSModeler、IBMSPSSAnalyticServer、IBMSPSSCatalyst、SASEnterpriseMiner、IBMDB2IntelligentMiner、DBMiner、OracleDataMining、MicrosoftSQLServerDataMining、AngossKnowledgeStudio和Weka等。信息分析工具的應(yīng)用第四部分信息分析概論（第二版）數(shù)據(jù)讀入數(shù)據(jù)理解數(shù)據(jù)準備算法選擇及其超級參數(shù)的設(shè)置具體模型的訓(xùn)練用模型進行預(yù)測模型評價模型的應(yīng)用與優(yōu)化信息分析概論（第二版）基于Python的信息分析案例問題和數(shù)據(jù)