ch09基于Python 的數(shù)據(jù)整理

基于Python的數(shù)據(jù)整理新工科建設(shè)之路·數(shù)據(jù)科學(xué)與大數(shù)據(jù)系列樣本數(shù)據(jù)處理第九章01合并多個(gè)數(shù)據(jù)集join操作用于合并數(shù)據(jù)集，按照一個(gè)或多個(gè)特定的鍵來(lái)連接相關(guān)的行。在關(guān)系數(shù)據(jù)庫(kù)中，連接操作處于中心的位置。Pandas提供了merge函數(shù)，可以對(duì)數(shù)據(jù)集進(jìn)行類似于數(shù)據(jù)庫(kù)連接的操作。使用鍵進(jìn)行DataFrame合并有些時(shí)候，我們?cè)O(shè)置rightindex參數(shù)為T(mén)rue，使用index作為鍵進(jìn)行合并。默認(rèn)的合并操作使用的是innerjoin，通過(guò)傳遞how參數(shù)可以改為outerjoin。使用index進(jìn)行DataFrame合并在Pandas中存在一個(gè)eoncat函數(shù)，用于實(shí)現(xiàn)類串接操作。和NumPy相比，Pandas的串接操作更復(fù)雜、更通用。下面用一些例子說(shuō)明Pandas的concat函數(shù)用法。沿著橫軸或縱軸串接還有一種數(shù)據(jù)合并的方式被稱為串接。例如，NumPy的concatenate函數(shù)用于串接NumPy的原生數(shù)組。在Series對(duì)象上調(diào)用concat函數(shù)，將它們的數(shù)據(jù)串接起來(lái)。串接在一起的數(shù)據(jù)包括index和數(shù)據(jù)本身。在默認(rèn)情況下，concat函數(shù)的axis參數(shù)取值為0，表示沿著縱軸串接，生成一個(gè)新的Series對(duì)象。如果傳遞axis=1，意味著沿著橫軸串接，那么結(jié)果將得到一個(gè)新的DataFrame對(duì)象。通過(guò)傳遞join參數(shù)，可以使用innerjoin的連接方式。沿著橫軸或縱軸串接沿著橫軸或縱軸串接concat函數(shù)也可以應(yīng)用在DataFrame對(duì)象上。例如，下面的dfl和df2是兩個(gè)DataFrame對(duì)象。沿著橫軸或縱軸串接使用concat函數(shù)將它們串接起來(lái)。02數(shù)據(jù)重塑數(shù)據(jù)重塑數(shù)據(jù)重塑表示轉(zhuǎn)換輸入數(shù)據(jù)的結(jié)構(gòu)，使其適合后續(xù)的分析。Pandas包含了一些用于重塑數(shù)據(jù)的基礎(chǔ)操作，這些操作用于二維度表格數(shù)據(jù)。本節(jié)將介紹其中廣泛使用的stack、unstack及pivot操作。Pandas的DataFrame可以設(shè)置多級(jí)索引。對(duì)多級(jí)索引數(shù)據(jù)，Pandas的stack方法將數(shù)據(jù)集的列旋轉(zhuǎn)為行，而unstack方法將數(shù)據(jù)的行旋轉(zhuǎn)為列。圖9-1形象地展示了Stacked和Unstack過(guò)程。多級(jí)索引數(shù)據(jù)的重塑多級(jí)索引數(shù)據(jù)的重塑多級(jí)索引數(shù)據(jù)的重塑接下來(lái)使用具體的代碼來(lái)演示相關(guān)的過(guò)程?？捎萌缦麓a定義表格數(shù)據(jù)。多級(jí)索引數(shù)據(jù)的重塑在上面的數(shù)據(jù)集上運(yùn)行stack方法，將列旋轉(zhuǎn)為行，將會(huì)產(chǎn)生一個(gè)Series對(duì)象。多級(jí)索引數(shù)據(jù)的重塑相反地，在一個(gè)具有多級(jí)索引的Series對(duì)象上，應(yīng)用unstack方法可以將它轉(zhuǎn)換回一個(gè)DataFrame對(duì)象。多級(jí)索引數(shù)據(jù)的重塑在默認(rèn)情況下，stack和unstack轉(zhuǎn)換的是最內(nèi)層級(jí)別的索引，通過(guò)傳遞一個(gè)級(jí)別的編號(hào)或者名稱，可以指定要轉(zhuǎn)換的級(jí)別。針對(duì)上面的例子，下面用兩種方式指定不同的級(jí)別。多時(shí)間序列的數(shù)據(jù)通常以“長(zhǎng)格式”（或“堆疊格式”）存儲(chǔ)在數(shù)據(jù)庫(kù)或者CSV文件中?？傊Y(jié)合了year和quarter列來(lái)創(chuàng)建一種時(shí)間間隔類型。應(yīng)用pivot方法重塑數(shù)據(jù)關(guān)系數(shù)據(jù)庫(kù)（如MySQL）中的數(shù)據(jù)就是這樣存儲(chǔ)的，因?yàn)楣潭軜?gòu)（列名和數(shù)據(jù)類型）有一個(gè)好處：隨著表中數(shù)據(jù)的增加，item列中的值的種類也增加。在前面的例子中，date和item通常就是主鍵（用關(guān)系數(shù)據(jù)庫(kù)的說(shuō)法），不僅提供了關(guān)系完整性，而且提供了更為簡(jiǎn)單的查詢支持。有時(shí)使用這樣的數(shù)據(jù)會(huì)很麻煩，用戶可能更喜歡DataFrame，不同的item值分別形成一列，date列中的時(shí)間戳則用作索引。應(yīng)用pivot方法重塑數(shù)據(jù)03數(shù)據(jù)轉(zhuǎn)換9.2節(jié)已經(jīng)介紹了數(shù)據(jù)的重塑。另一類重要操作則是數(shù)據(jù)的過(guò)濾、清理及其他的轉(zhuǎn)換工作。重復(fù)行出現(xiàn)在DataFrame中可能有多種原因。移除重復(fù)數(shù)據(jù)對(duì)很多數(shù)據(jù)集而言，我們希望根據(jù)數(shù)組、Series或者DataFrame中的某列值來(lái)進(jìn)行轉(zhuǎn)換操作。來(lái)看看下面這組有關(guān)公司、城市及體量的數(shù)據(jù)，我們希望看到這些公司來(lái)自哪些城市，先編寫(xiě)一個(gè)不同公司到城市的映射，Series的map方法可以接受一個(gè)函數(shù)或含有映射關(guān)系的字典型對(duì)象。利用函數(shù)或映射進(jìn)行數(shù)據(jù)轉(zhuǎn)換值轉(zhuǎn)換利用fillna方法填充缺失數(shù)據(jù)，可以看作值替換的一種特殊情況。map可用于修改對(duì)象的數(shù)據(jù)子集，而replace則提供了一種實(shí)現(xiàn)該功能的更簡(jiǎn)單、更靈活的方式。與Series中的值一樣，軸標(biāo)簽也可以通過(guò)函數(shù)或映射轉(zhuǎn)換，得到一個(gè)不同標(biāo)簽的新對(duì)象。軸還能夠被就地修改，無(wú)須新建一個(gè)數(shù)據(jù)結(jié)構(gòu)。rename方法可以復(fù)制DataFrame并對(duì)其索引和列標(biāo)簽進(jìn)行賦值。如果希望就地修改某個(gè)數(shù)據(jù)集，只需傳入inplace=True即可。重命名軸索引連續(xù)數(shù)據(jù)常常被離散化或拆分為“面元（bin）”來(lái)幫助分析。假設(shè)在一項(xiàng)研究中有一組人員數(shù)據(jù)，用戶希望將它們劃分為不同的年齡組。離散化和面元?jiǎng)澐謕d.value_counts（groups）是pandas.cut結(jié)果的面元計(jì)數(shù)。與“區(qū)間”的數(shù)學(xué)符號(hào)一樣，圓括號(hào)表示開(kāi)端，而方括號(hào)則表示閉端。修改默認(rèn)情況可以通過(guò)right=False設(shè)置。離散化和面元?jiǎng)澐諴andas返回一個(gè)特殊的Categories對(duì)象。用戶可以把它當(dāng)作一組表示面元名稱的字符串。它的內(nèi)部包含一個(gè)表示不同分類名稱的數(shù)組，以及一個(gè)codes屬性中的年齡數(shù)據(jù)的標(biāo)簽。檢測(cè)或過(guò)濾異常值（outlier）在很大程度上是運(yùn)用數(shù)組運(yùn)算的。使用numpy.random.permutation函數(shù)能夠輕松對(duì)Series或DataFrame的列進(jìn)行排序。通過(guò)排列的軸的長(zhǎng)度調(diào)用numpy.random.permutation函數(shù)，可產(chǎn)生一個(gè)表示新順序的整數(shù)數(shù)組。該數(shù)組可以使用基于iloc的索引或等價(jià)的take函數(shù)進(jìn)行操作。排列和隨機(jī)采樣將分類變量轉(zhuǎn)換為“虛擬”或“指示”的矩陣是用于統(tǒng)計(jì)建?；驒C(jī)器學(xué)習(xí)的一種轉(zhuǎn)換方式。如果DataFrame的某一列包含k個(gè)不同的值，我們可以派生出一個(gè)值均為1或O的k列矩陣。Pandas的get_dummies函數(shù)可以實(shí)現(xiàn)該功能。計(jì)算指標(biāo)/啞變量計(jì)算指標(biāo)/啞變量關(guān)于DataFrame的例子如下:計(jì)算指標(biāo)/啞變量在某些案例中，用戶給指標(biāo)DataFrame的列加上一個(gè)前綴，用于與其他數(shù)據(jù)進(jìn)行合并，get

dummies的prefix參數(shù)能夠?qū)崿F(xiàn)該功能。計(jì)算指標(biāo)/啞變量DataFrame中的某行同屬多個(gè)分類。計(jì)算指標(biāo)/啞變量要為每個(gè)genres添加指標(biāo)變量就需要做一些數(shù)據(jù)規(guī)整操作。從數(shù)據(jù)集中抽取出不同的genres值。計(jì)算指標(biāo)/啞變量現(xiàn)在有：計(jì)算指標(biāo)/啞變量構(gòu)建指標(biāo)DataFrame的方法之一是從一個(gè)全零DataFrame開(kāi)始。計(jì)算指標(biāo)/啞變量迭代每一部電影并將dummies各行的條目設(shè)為1。使用dummies.columns來(lái)計(jì)算每個(gè)類型的列索引。計(jì)算指標(biāo)/啞變量根據(jù)索引，使用iloc設(shè)定值。計(jì)算指標(biāo)/啞變量將其與movies合并起來(lái)。計(jì)算指