樣本數(shù)據(jù)處理 課件 第8、9章 基于Python的數(shù)據(jù)導(dǎo)入與導(dǎo)出、基于Python 的數(shù)據(jù)整理

基于Python的數(shù)據(jù)導(dǎo)入與導(dǎo)出新工科建設(shè)之路·數(shù)據(jù)科學(xué)與大數(shù)據(jù)系列樣本數(shù)據(jù)處理第八章01PandasSeries是一種類似于數(shù)組的一維數(shù)據(jù)結(jié)構(gòu)，它包含一系列的元素及元素對(duì)應(yīng)的標(biāo)簽。元素的標(biāo)簽被稱為index。使用Pandas的功能之前，需要先導(dǎo)入Pandas模塊。本章的Python代碼運(yùn)行環(huán)境為IPython，版本是6.1.0，對(duì)應(yīng)的Python版本為3.6.3。SeriesSeries對(duì)象輸出的左邊一列是索引（index），右邊一列是對(duì)應(yīng)的元素值，最下面一行是元素的類型。由于代碼中創(chuàng)建Series對(duì)象時(shí)沒(méi)有指定index，默認(rèn)創(chuàng)建的index是0~N-1的整數(shù)值，其中N是Series對(duì)象的元素個(gè)數(shù)。除了把Series看成一種類似于數(shù)組的數(shù)據(jù)結(jié)構(gòu)，還可以把它看成一種定長(zhǎng)且有序的map，map的key是index，value是Series的元素值。因此，許多map的操作可以應(yīng)用在Series上。SeriesSeries對(duì)象的index也可以通過(guò)賦值來(lái)改變。SeriesSeries對(duì)象是可變的，這意味著通過(guò)賦值能夠改變它。DataFrameDataFrame是一種帶標(biāo)簽的二維數(shù)據(jù)結(jié)構(gòu)，有行索引、列索引，其中各列可以存儲(chǔ)不同的數(shù)據(jù)類型。為了幫助理解，可以將一個(gè)DataFrame對(duì)象想象為Excel中的一張表或數(shù)據(jù)庫(kù)中的一張表。DataFrame也可以看作Series的集合，DataFrame是Pandas中最常用的數(shù)據(jù)結(jié)構(gòu)。構(gòu)造一個(gè)DataFrame對(duì)象有多種方式，其中常用的一種方式是基于dict構(gòu)造。DataFrame的各列是有序排列的，可以在創(chuàng)建時(shí)傳遞columns參數(shù)調(diào)整順序，而index參數(shù)為每一行指定了一個(gè)index。columns參數(shù)中指定的列如果不存在，那么創(chuàng)建的DataFrame對(duì)象中的對(duì)應(yīng)列值均為NaN，表示一個(gè)不可用的值。使用類似于獲取dict值的語(yǔ)法，能夠獲取DataFrame對(duì)象的一列，存放在Series對(duì)象中。DataFrame02文本文件的導(dǎo)入與導(dǎo)出CSV（CommaSeparatedValues，逗號(hào)分隔的值）.CSV文件是一種比較簡(jiǎn)單的文本，廣泛用于存儲(chǔ)表格式的行列數(shù)據(jù)，可以直接使用Excel軟件打開(kāi)。Pandas提供了read_csv函數(shù)，用于導(dǎo)入CSV文件，并得到一個(gè)DataFrame對(duì)象。此外，Pandas還提供了read_table函數(shù)，能夠?qū)胗闷渌指舴念怌SV文件。在IPython中，可以使用！語(yǔ)法運(yùn)行外部命令。cat是Linux上的一個(gè)命令，用于將文件內(nèi)容顯示在屏幕上，在Windows環(huán)境下可以用type命令顯示文件。導(dǎo)入CSV文件可以使用read_csv函數(shù)將文件內(nèi)容讀入一個(gè)DataFrame對(duì)象。Pandas還提供另外一個(gè)函數(shù)read_table函數(shù)，可以用于讀入CSV文件。testl.csv文件的第一行指定了各列的名稱，但是很多時(shí)候CSV文件沒(méi)有這樣的名稱行。導(dǎo)入CSV文件Pandas也提供了反向的操作，能夠?qū)ataFrame導(dǎo)出為CSV格式的文件。read_csv函數(shù)的返回值是一個(gè)DataFrame對(duì)象，它具有to_csv方法，能夠達(dá)到導(dǎo)出的目的。導(dǎo)出CSV文件DataFrame中的缺失值默認(rèn)使用空字符串，narep參數(shù)可以改變這一行為。to_csv的默認(rèn)行為會(huì)輸出index列和標(biāo)題行，如果不希望輸出這些，可以將index和header均設(shè)置為False。如果不希望輸出所有列，可以使用columns參數(shù)選擇只輸出一部分。導(dǎo)出CSV文件JSON格式數(shù)據(jù)的導(dǎo)入與導(dǎo)出JSON（JavaScriptObjeetNotation，JS對(duì)象簡(jiǎn)譜）格式在Web中使用非常廣泛，常用于前端網(wǎng)頁(yè)的JavaScript腳本和后端Web服務(wù)器交換數(shù)據(jù)。與表格型的數(shù)據(jù)相比，JSON格式的數(shù)據(jù)更加復(fù)雜和靈活，能夠表達(dá)類似于樹(shù)結(jié)構(gòu)的數(shù)據(jù)?，F(xiàn)存多種庫(kù)和工具用于JSON格式數(shù)據(jù)的處理。對(duì)常規(guī)的任務(wù)，使用Python語(yǔ)言內(nèi)置的JSON模塊是最方便的。在使用JSON模塊之前應(yīng)先導(dǎo)入它。JSON模塊的load函數(shù)能夠?qū)隞SON數(shù)據(jù)，返回值是一個(gè)dict對(duì)象。JSON模塊的dump函數(shù)提供了反向的功能，將一個(gè)dict對(duì)象導(dǎo)出為JSON格式的文件。JSON格式數(shù)據(jù)的導(dǎo)入與導(dǎo)出03Excel文件的導(dǎo)入與導(dǎo)出Excel是微軟的經(jīng)典之作，在日常工作中的數(shù)據(jù)整理、分析和可視化方面，有其獨(dú)到的優(yōu)勢(shì)。但如果數(shù)據(jù)量超大，Excel的劣勢(shì)也就隨之而來(lái)，甚至因?yàn)閮?nèi)存溢出無(wú)法打開(kāi)文件，后續(xù)的分析更是難上加難。本節(jié)介紹使用Python的Pandas解決此問(wèn)題，即通過(guò)Pandas完成讀/寫(xiě)Excel。Excel文件的導(dǎo)入與導(dǎo)出Pandas會(huì)默認(rèn)讀取Excel文件中的第1個(gè)工作表，也就是默認(rèn)名為Sheetl的工作表。Excel文件的導(dǎo)入與導(dǎo)出Pandas讀取Excel可以通過(guò)readexcel函數(shù)將工作表讀取成DataFrame。04數(shù)據(jù)庫(kù)的導(dǎo)入與導(dǎo)出將關(guān)系數(shù)據(jù)庫(kù)的表格數(shù)據(jù)導(dǎo)入成Pandas的DataFrame并不難理解。Pandas連接關(guān)系數(shù)據(jù)庫(kù)需要Python連接對(duì)應(yīng)數(shù)據(jù)庫(kù)的客戶端，以MySQL數(shù)據(jù)庫(kù)為例，Python連接它的庫(kù)有幾種，最常用的是PyMySQL，用戶可以通過(guò)pip或者Anaconda方式進(jìn)行安裝。關(guān)系數(shù)據(jù)庫(kù)的導(dǎo)入與導(dǎo)出非關(guān)系數(shù)據(jù)庫(kù)（NoSQL）具有多種多樣的存儲(chǔ)方式和產(chǎn)品實(shí)現(xiàn)。其中，MongoDB是一種廣泛使用的NoSQL。本節(jié)以MongoDB為例進(jìn)行講述。MongoDB的基本存儲(chǔ)單元是一種類似于dict的對(duì)象。類似于常見(jiàn)的關(guān)系數(shù)據(jù)庫(kù)，MongoDB采用了客戶-服務(wù)器架構(gòu)，作為用戶，首先需要建立與服務(wù)端的連接。這里使用PyMongo（包）與MongoDB服務(wù)端進(jìn)行交互，這是MongoDB官方提供的模塊，用戶可以通過(guò)pip或者Anaconda安裝。非關(guān)系數(shù)據(jù)庫(kù)的導(dǎo)入與導(dǎo)出非關(guān)系數(shù)據(jù)庫(kù)的導(dǎo)入與導(dǎo)出數(shù)據(jù)在MongoDB中是以文檔的方式存儲(chǔ)和使用的。文檔是一種類似于JSON風(fēng)格的數(shù)據(jù)結(jié)構(gòu)。PyMongo以dict來(lái)表示文檔?；赑ython的數(shù)據(jù)整理新工科建設(shè)之路·數(shù)據(jù)科學(xué)與大數(shù)據(jù)系列樣本數(shù)據(jù)處理第九章01合并多個(gè)數(shù)據(jù)集join操作用于合并數(shù)據(jù)集，按照一個(gè)或多個(gè)特定的鍵來(lái)連接相關(guān)的行。在關(guān)系數(shù)據(jù)庫(kù)中，連接操作處于中心的位置。Pandas提供了merge函數(shù)，可以對(duì)數(shù)據(jù)集進(jìn)行類似于數(shù)據(jù)庫(kù)連接的操作。使用鍵進(jìn)行DataFrame合并有些時(shí)候，我們?cè)O(shè)置rightindex參數(shù)為T(mén)rue，使用index作為鍵進(jìn)行合并。默認(rèn)的合并操作使用的是innerjoin，通過(guò)傳遞how參數(shù)可以改為outerjoin。使用index進(jìn)行DataFrame合并在Pandas中存在一個(gè)eoncat函數(shù)，用于實(shí)現(xiàn)類串接操作。和NumPy相比，Pandas的串接操作更復(fù)雜、更通用。下面用一些例子說(shuō)明Pandas的concat函數(shù)用法。沿著橫軸或縱軸串接還有一種數(shù)據(jù)合并的方式被稱為串接。例如，NumPy的concatenate函數(shù)用于串接NumPy的原生數(shù)組。在Series對(duì)象上調(diào)用concat函數(shù)，將它們的數(shù)據(jù)串接起來(lái)。串接在一起的數(shù)據(jù)包括index和數(shù)據(jù)本身。在默認(rèn)情況下，concat函數(shù)的axis參數(shù)取值為0，表示沿著縱軸串接，生成一個(gè)新的Series對(duì)象。如果傳遞axis=1，意味著沿著橫軸串接，那么結(jié)果將得到一個(gè)新的DataFrame對(duì)象。通過(guò)傳遞join參數(shù)，可以使用innerjoin的連接方式。沿著橫軸或縱軸串接沿著橫軸或縱軸串接concat函數(shù)也可以應(yīng)用在DataFrame對(duì)象上。例如，下面的dfl和df2是兩個(gè)DataFrame對(duì)象。沿著橫軸或縱軸串接使用concat函數(shù)將它們串接起來(lái)。02數(shù)據(jù)重塑數(shù)據(jù)重塑數(shù)據(jù)重塑表示轉(zhuǎn)換輸入數(shù)據(jù)的結(jié)構(gòu)，使其適合后續(xù)的分析。Pandas包含了一些用于重塑數(shù)據(jù)的基礎(chǔ)操作，這些操作用于二維度表格數(shù)據(jù)。本節(jié)將介紹其中廣泛使用的stack、unstack及pivot操作。Pandas的DataFrame可以設(shè)置多級(jí)索引。對(duì)多級(jí)索引數(shù)據(jù)，Pandas的stack方法將數(shù)據(jù)集的列旋轉(zhuǎn)為行，而unstack方法將數(shù)據(jù)的行旋轉(zhuǎn)為列。圖9-1形象地展示了Stacked和Unstack過(guò)程。多級(jí)索引數(shù)據(jù)的重塑多級(jí)索引數(shù)據(jù)的重塑多級(jí)索引數(shù)據(jù)的重塑接下來(lái)使用具體的代碼來(lái)演示相關(guān)的過(guò)程?？捎萌缦麓a定義表格數(shù)據(jù)。多級(jí)索引數(shù)據(jù)的重塑在上面的數(shù)據(jù)集上運(yùn)行stack方法，將列旋轉(zhuǎn)為行，將會(huì)產(chǎn)生一個(gè)Series對(duì)象。多級(jí)索引數(shù)據(jù)的重塑相反地，在一個(gè)具有多級(jí)索引的Series對(duì)象上，應(yīng)用unstack方法可以將它轉(zhuǎn)換回一個(gè)DataFrame對(duì)象。多級(jí)索引數(shù)據(jù)的重塑在默認(rèn)情況下，stack和unstack轉(zhuǎn)換的是最內(nèi)層級(jí)別的索引，通過(guò)傳遞一個(gè)級(jí)別的編號(hào)或者名稱，可以指定要轉(zhuǎn)換的級(jí)別。針對(duì)上面的例子，下面用兩種方式指定不同的級(jí)別。多時(shí)間序列的數(shù)據(jù)通常以“長(zhǎng)格式”（或“堆疊格式”）存儲(chǔ)在數(shù)據(jù)庫(kù)或者CSV文件中?？傊?，它結(jié)合了year和quarter列來(lái)創(chuàng)建一種時(shí)間間隔類型。應(yīng)用pivot方法重塑數(shù)據(jù)關(guān)系數(shù)據(jù)庫(kù)（如MySQL）中的數(shù)據(jù)就是這樣存儲(chǔ)的，因?yàn)楣潭軜?gòu)（列名和數(shù)據(jù)類型）有一個(gè)好處：隨著表中數(shù)據(jù)的增加，item列中的值的種類也增加。在前面的例子中，date和item通常就是主鍵（用關(guān)系數(shù)據(jù)庫(kù)的說(shuō)法），不僅提供了關(guān)系完整性，而且提供了更為簡(jiǎn)單的查詢支持。有時(shí)使用這樣的數(shù)據(jù)會(huì)很麻煩，用戶可能更喜歡DataFrame，不同的item值分別形成一列，date列中的時(shí)間戳則用作索引。應(yīng)用pivot方法重塑數(shù)據(jù)03數(shù)據(jù)轉(zhuǎn)換9.2節(jié)已經(jīng)介紹了數(shù)據(jù)的重塑。另一類重要操作則是數(shù)據(jù)的過(guò)濾、清理及其他的轉(zhuǎn)換工作。重復(fù)行出現(xiàn)在DataFrame中可能有多種原因。移除重復(fù)數(shù)據(jù)對(duì)很多數(shù)據(jù)集而言，我們希望根據(jù)數(shù)組、Series或者DataFrame中的某列值來(lái)進(jìn)行轉(zhuǎn)換操作。來(lái)看看下面這組有關(guān)公司、城市及體量的數(shù)據(jù)，我們希望看到這些公司來(lái)自哪些城市，先編寫(xiě)一個(gè)不同公司到城市的映射，Series的map方法可以接受一個(gè)函數(shù)或含有映射關(guān)系的字典型對(duì)象。利用函數(shù)或映射進(jìn)行數(shù)據(jù)轉(zhuǎn)換值轉(zhuǎn)換利用fillna方法填充缺失數(shù)據(jù)，可以看作值替換的一種特殊情況。map可用于修改對(duì)象的數(shù)據(jù)子集，而replace則提供了一種實(shí)現(xiàn)該功能的更簡(jiǎn)單、更靈活的方式。與Series中的值一樣，軸標(biāo)簽也可以通過(guò)函數(shù)或映射轉(zhuǎn)換，得到一個(gè)不同標(biāo)簽的新對(duì)象。軸還能夠被就地修改，無(wú)須新建一個(gè)數(shù)據(jù)結(jié)構(gòu)。rename方法可以復(fù)制DataFrame并對(duì)其索引和列標(biāo)簽進(jìn)行賦值。如果希望就地修改某個(gè)數(shù)據(jù)集，只需傳入inplace=True即可。重命名軸索引連續(xù)數(shù)據(jù)常常被離散化或拆分為“面元（bin）”來(lái)幫助分析。假設(shè)在一項(xiàng)研究中有一組人員數(shù)據(jù)，用戶希望將它們劃分為不同的年齡組。離散化和面元?jiǎng)澐謕d.value_counts（groups）是pandas.cut結(jié)果的面元計(jì)數(shù)。與“區(qū)間”的數(shù)學(xué)符號(hào)一樣，圓括號(hào)表示開(kāi)端，而方括號(hào)則表示閉端。修改默認(rèn)情況可以通過(guò)right=False設(shè)置。離散化和面元?jiǎng)澐諴andas返回一個(gè)特殊的Categories對(duì)象。用戶可以把它當(dāng)作一組表示面元名稱的字符串。它的內(nèi)部包含一個(gè)表示不同分類名稱的數(shù)組，以及一個(gè)codes屬性中的年齡數(shù)據(jù)的標(biāo)簽。檢測(cè)或過(guò)濾異常值（outlier）在很大程度上是運(yùn)用數(shù)組運(yùn)算的。使用numpy.random.permutation函數(shù)能夠輕松對(duì)Series或DataFrame的列進(jìn)行排序。通過(guò)排列的軸的長(zhǎng)度調(diào)用numpy.random.permutation函數(shù)，可產(chǎn)生一個(gè)表示新順序的整數(shù)數(shù)組。該數(shù)組可以使用基于iloc的索引或等價(jià)的take函數(shù)進(jìn)行操作。排列和隨機(jī)采樣將分類變量轉(zhuǎn)換為“虛擬”或“指示”的矩陣是用于統(tǒng)計(jì)建?；驒C(jī)器學(xué)習(xí)的一種轉(zhuǎn)換方式。如果DataFrame的某一列包含k個(gè)不同的值，我們可以派生出一個(gè)值均為1或O的k列矩陣。Pandas的get_dummies函數(shù)可以實(shí)現(xiàn)該功能。計(jì)算指標(biāo)/啞變量計(jì)算指標(biāo)/啞變量關(guān)于DataFrame的例子如下:計(jì)算指標(biāo)/啞變量在某些案例中，用戶給指標(biāo)DataFrame的列加上一個(gè)前綴，用于與其他數(shù)據(jù)進(jìn)行合并，get

dummies的prefix參數(shù)能夠?qū)崿F(xiàn)該功能。計(jì)算指標(biāo)/啞變量DataFrame中的某行同屬多個(gè)分類。計(jì)算指標(biāo)/啞變量要為每個(gè)genres添加指標(biāo)變量就需要做一些數(shù)據(jù)規(guī)整操作。從數(shù)據(jù)集中抽取出不同的genres值。計(jì)算指標(biāo)/啞變量現(xiàn)在有：計(jì)算指標(biāo)/啞變