Python數(shù)據(jù)分析 課件 項(xiàng)目4 數(shù)據(jù)分析庫pandas

項(xiàng)目四

數(shù)據(jù)分析庫pandas任務(wù)一Pandas數(shù)據(jù)結(jié)構(gòu)任務(wù)二導(dǎo)入數(shù)據(jù)任務(wù)三數(shù)據(jù)處理任務(wù)四數(shù)據(jù)統(tǒng)計(jì)任務(wù)五數(shù)據(jù)統(tǒng)計(jì)分析任務(wù)一Pandas數(shù)據(jù)結(jié)構(gòu)任務(wù)引入小劉接了一個(gè)數(shù)據(jù)分析的項(xiàng)目，使用Pandas進(jìn)行數(shù)據(jù)采集，最簡單的是直接定義的數(shù)組數(shù)據(jù)。那么，Pandas數(shù)據(jù)結(jié)構(gòu)有哪些？如何定義這些數(shù)組？知識(shí)準(zhǔn)備Pandas的兩個(gè)主要數(shù)據(jù)結(jié)構(gòu)為Series（一維數(shù)組結(jié)構(gòu)）和DataFrame（二維數(shù)組結(jié)構(gòu)）。這兩種數(shù)據(jù)結(jié)構(gòu)足以處理金融、統(tǒng)計(jì)、社會(huì)科學(xué)、工程等領(lǐng)域里的大多數(shù)據(jù)分析典型案例。對(duì)于圖所示的一個(gè)部門費(fèi)用統(tǒng)計(jì)表，統(tǒng)計(jì)一個(gè)季度內(nèi)各部門的費(fèi)用使用情況。一維數(shù)組對(duì)象Series包含列數(shù)據(jù)和列索引，如圖所示，二維數(shù)組對(duì)象DataFrame包含行、列數(shù)據(jù)和行索引、列索引，如圖所示。部門費(fèi)用統(tǒng)計(jì)表一維數(shù)組對(duì)象Series二維數(shù)組對(duì)象DataFrame一、一維數(shù)組SeriesSeries是一種類似于一維數(shù)組的對(duì)象，它由一組數(shù)據(jù)（NumPy中的數(shù)據(jù)類型）以及一組與之相關(guān)的數(shù)據(jù)標(biāo)簽（即索引）組成。1．創(chuàng)建Series在Pandas中，Series函數(shù)用來創(chuàng)建一維數(shù)組對(duì)象Series參數(shù)說明：data：一組數(shù)據(jù)(ndarray類型)。index：數(shù)據(jù)索引標(biāo)簽，默認(rèn)從0開始。dtype：數(shù)據(jù)類型。name：設(shè)置名稱。copy：拷貝數(shù)據(jù)，默認(rèn)為False。創(chuàng)建Series對(duì)象后，可以通過設(shè)置Series屬性達(dá)到修改Series的目的，Series常用屬性見表。案例——根據(jù)圖所示的某工廠產(chǎn)量成本報(bào)表，創(chuàng)建一維數(shù)組對(duì)象案例——利用上例中的某工廠產(chǎn)量成本報(bào)表，通過定義索引屬性編輯一維數(shù)組對(duì)象2．Series常用函數(shù)Series集成了ndarray和dict的優(yōu)點(diǎn)，使用ndarray或dict所有索引操作和函數(shù)，常見函數(shù)見表。案例——利用某工廠產(chǎn)量成本報(bào)表，輸出指定的對(duì)象二、二維數(shù)組DataFrameDataFrame是一個(gè)表格型的數(shù)據(jù)結(jié)構(gòu)，它含有一組有序的列，每列可以是不同的值類型（數(shù)值、字符串、布爾值等）。DataFrame既有行索引也有列索引，它可以被看做由Series組成的字典（共用同一個(gè)索引）。DataFrame中的數(shù)據(jù)是以一個(gè)或多個(gè)二維塊存放的，而不是列表、字典或別的一維數(shù)據(jù)結(jié)構(gòu)。1．DataFrame生成在Pandas中，DataFrame函數(shù)用來創(chuàng)建二維數(shù)組對(duì)象DataFrame案例——根據(jù)圖所示的2016年某公司職員的醫(yī)療費(fèi)用，創(chuàng)建DataFrame2．DataFrame屬性通過屬性的屬性可以查看定義的數(shù)據(jù)，DataFrame常用屬性見表。案例——根據(jù)圖所示的淘寶某新開店鋪產(chǎn)品日銷售表，創(chuàng)建DataFrame.任務(wù)二導(dǎo)入數(shù)據(jù)任務(wù)引入小劉對(duì)公司的財(cái)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，資料員發(fā)給他一堆文件，小劉使用Pandas導(dǎo)入文件數(shù)據(jù)，進(jìn)行統(tǒng)計(jì)分析。那么，Pandas導(dǎo)入文件有哪些？如何進(jìn)行導(dǎo)入？文件數(shù)據(jù)是否會(huì)出現(xiàn)亂碼？如何解決數(shù)據(jù)讀取中出現(xiàn)的問題？知識(shí)準(zhǔn)備數(shù)據(jù)分析的前提是必須有數(shù)據(jù)，利用最基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)元組、列表、字典和集合創(chuàng)建數(shù)據(jù)已經(jīng)無法滿足發(fā)展越來越快速的社會(huì)需求，這就需要導(dǎo)入數(shù)據(jù)。對(duì)于導(dǎo)入數(shù)據(jù)意味著從外部文件加載數(shù)據(jù)，Pandas導(dǎo)入文件數(shù)據(jù)采用何種函數(shù)取決于文件的格式。根據(jù)以下標(biāo)準(zhǔn)確定使用的文件格式：二進(jìn)制文件可用來保存數(shù)值數(shù)據(jù)并訪問文件中的指定數(shù)字，或隨機(jī)訪問文件中的數(shù)字。與人可識(shí)別的文本文件不同，二進(jìn)制文件只能通過機(jī)器讀取。二進(jìn)制文件是存儲(chǔ)數(shù)據(jù)最為緊湊和快速的格式。如需隨機(jī)讀寫文件或讀取速度及磁盤空間有限，使用二進(jìn)制文件。在磁盤空間利用和讀取速度方面二進(jìn)制文件優(yōu)于文本文件。二進(jìn)制文件可用來保存數(shù)值數(shù)據(jù)并訪問文件中的指定數(shù)字，或隨機(jī)訪問文件中的數(shù)字。與人可識(shí)別的文本文件不同，二進(jìn)制文件只能通過機(jī)器讀取。二進(jìn)制文件是存儲(chǔ)數(shù)據(jù)最為緊湊和快速的格式。如需在其他應(yīng)用程序（如MicrosoftExcel）中訪問這些數(shù)據(jù)，使用最常見且便于存取的XLS或XLSX件。csv文件是為了實(shí)現(xiàn)簡單的數(shù)據(jù)存儲(chǔ)，是一個(gè)純文本的文件，最廣泛的應(yīng)用是在程序之間轉(zhuǎn)移表格數(shù)據(jù)，能夠兼容各類程序。一、讀取excel文件openpyxl模塊是一個(gè)讀寫Excel2010文檔的Python庫，能夠同時(shí)讀取和修改Excel文檔。執(zhí)行其他與Excel相關(guān)的項(xiàng)目（包括讀或者寫Excel）需要安裝、加載該模塊庫。前面已經(jīng)講解模塊庫的安裝、加載、設(shè)置，這里不再贅述。安裝openpyxl模塊后，在程序中使用該模塊庫，還需要導(dǎo)入該模塊，如importopenpyxlasop#導(dǎo)入openpyxl模塊在Pandas中，使用read_excel函數(shù)將讀取excel自帶的XLS或XLSX文件中的數(shù)據(jù)案例——導(dǎo)入圖“成本費(fèi)用表”中兩個(gè)sheet中各個(gè)產(chǎn)品的費(fèi)用Pandas中還有一些其他io函數(shù)，見表。二、寫入excel文件在Pandas中，從文件讀取的數(shù)據(jù)，以DataFrame或Seral格式保存在內(nèi)存中，

to_excel函數(shù)可以將數(shù)據(jù)保存為XLS或XLSX文件，該函數(shù)的使用格式如下。案例——導(dǎo)入圖中的“商品訂購單.csv”中某家具銷售公司二季度商品訂購記錄，將數(shù)據(jù)保存為“商品訂購單.xlsx”任務(wù)三數(shù)據(jù)處理任務(wù)引入小劉需要從一堆文件中，篩選出可使用的數(shù)據(jù)文件。那么，如何篩選出可用的數(shù)據(jù)？異常、重復(fù)、無用的數(shù)據(jù)如何進(jìn)行處理？知識(shí)準(zhǔn)備數(shù)據(jù)處理是從大量、雜亂無章、難以理解、缺失的數(shù)據(jù)中，抽取出有意義的數(shù)據(jù)，數(shù)據(jù)處理主要包括數(shù)據(jù)清洗、數(shù)據(jù)加工等方法。一、數(shù)據(jù)清洗數(shù)據(jù)清洗是對(duì)一些沒有用的數(shù)據(jù)進(jìn)行處理的過程。在數(shù)據(jù)分析工作中，很多數(shù)據(jù)集存在數(shù)據(jù)缺失、數(shù)據(jù)格式錯(cuò)誤、錯(cuò)誤數(shù)據(jù)或重復(fù)數(shù)據(jù)的情況，如果要使數(shù)據(jù)分析更加準(zhǔn)確，就需要對(duì)這些沒有用的數(shù)據(jù)進(jìn)行處理。1．?dāng)?shù)據(jù)缺失在數(shù)據(jù)輸入過程中，很容易出現(xiàn)數(shù)據(jù)遺漏現(xiàn)象，pandas對(duì)象的所有描述性統(tǒng)計(jì)默認(rèn)都不包括缺失數(shù)據(jù)，因此在數(shù)值數(shù)據(jù)中，pandas使用浮點(diǎn)值NaN（NotaNumber）表示缺失數(shù)據(jù)。這樣可以很明顯是的發(fā)現(xiàn)確實(shí)數(shù)據(jù)，方便修改。案例——處理缺失數(shù)據(jù)案例——利用函數(shù)處理缺失數(shù)據(jù)2．重復(fù)數(shù)據(jù)unique函數(shù)用于獲取Series中的唯一值數(shù)組，刪除重復(fù)數(shù)據(jù)。3．?dāng)?shù)據(jù)格式化數(shù)據(jù)格式化可以增加數(shù)據(jù)的可讀性，如統(tǒng)一數(shù)據(jù)的小數(shù)點(diǎn)位數(shù)、添加千位分隔符，還可以實(shí)現(xiàn)特定的功能，比如轉(zhuǎn)換為百分比數(shù)據(jù)，百分比數(shù)據(jù)主要用于成績分?jǐn)?shù)等統(tǒng)計(jì)計(jì)算。案例——對(duì)所有列保持統(tǒng)一精度案例——已知某小學(xué)數(shù)學(xué)、語文考試分?jǐn)?shù)，從中各抽取6份進(jìn)行估測(cè)，測(cè)得數(shù)據(jù)如下：語文：95,82,79.5,87,83,86.5，數(shù)學(xué)：91,95,93,96,97,98，試對(duì)學(xué)校成績進(jìn)行格式化可以設(shè)置的選項(xiàng)案例——輸入4所小學(xué)的聯(lián)考平均分，控制輸出精度、對(duì)齊數(shù)據(jù)，保存到excel文件中二、數(shù)據(jù)轉(zhuǎn)換當(dāng)獲得數(shù)據(jù)時(shí)，首先需要確定的是正確類型的數(shù)據(jù)，Pandas擴(kuò)展了NumPy的類型系統(tǒng)，用dtype屬性來顯示元素的數(shù)據(jù)類型，Pandas主要有以下幾種數(shù)據(jù)類型：字符串類型：object整數(shù)類型：Int64，Int32，Int16,Int8無符號(hào)整數(shù)：UInt64，UInt32，UInt16,UInt8浮點(diǎn)數(shù)類型：float64，float32日期和時(shí)間類型：datetime64[ns]、datetime64[ns,tz]、timedelta[ns]布爾類型：bool保存到excel文件當(dāng)利用pandas進(jìn)行數(shù)據(jù)處理的時(shí)候，經(jīng)常會(huì)遇到數(shù)據(jù)類型的問題，一般需要通過數(shù)據(jù)類型的轉(zhuǎn)化，才能進(jìn)行后續(xù)的數(shù)據(jù)操作。表4-6中列出了關(guān)于數(shù)據(jù)轉(zhuǎn)換的函數(shù)。案例——將輸入的數(shù)據(jù)轉(zhuǎn)換為浮點(diǎn)型，并分別輸出三、數(shù)據(jù)合并在實(shí)際處理數(shù)據(jù)中，經(jīng)常會(huì)遇到將多個(gè)表連接起來再進(jìn)行數(shù)據(jù)的處理和分析的情況，Pandas中也提供了幾種方法來實(shí)現(xiàn)數(shù)據(jù)合并功能。案例——使用merge函數(shù)連接兩個(gè)數(shù)組：正弦表、余弦表表中列出了其他數(shù)據(jù)合并的函數(shù)。案例——使用concat函數(shù)連接兩個(gè)數(shù)組：正弦表、余弦表任務(wù)四數(shù)據(jù)統(tǒng)計(jì)任務(wù)引入小劉將可用數(shù)據(jù)進(jìn)行處理后，下一步就是進(jìn)行數(shù)據(jù)統(tǒng)計(jì)。那么，統(tǒng)計(jì)數(shù)據(jù)的指標(biāo)有哪些，如何進(jìn)行統(tǒng)計(jì)？統(tǒng)計(jì)前還需要進(jìn)行什么操作？知識(shí)準(zhǔn)備數(shù)據(jù)統(tǒng)計(jì)是數(shù)據(jù)分析的前提，是數(shù)據(jù)收集的后處理，通過對(duì)數(shù)據(jù)的提取、清洗、查找與分類，能更精準(zhǔn)、快速的進(jìn)行數(shù)據(jù)分析。一、數(shù)據(jù)提取在數(shù)據(jù)的分析過程中，并不是所有的數(shù)據(jù)都是我們想要的，這就需要提取部分?jǐn)?shù)據(jù)，從源數(shù)據(jù)中抽取部分或全部數(shù)據(jù)到目標(biāo)系統(tǒng)，從而在目標(biāo)系統(tǒng)再進(jìn)行數(shù)據(jù)加工利用。但是從哪取、何時(shí)取、如何取。數(shù)據(jù)的提取過程數(shù)據(jù)提取是將數(shù)據(jù)取出的過程，不同提取規(guī)則下的數(shù)據(jù)結(jié)果很難一致。Pandas中數(shù)據(jù)抽取函數(shù)函數(shù)見表。案例——表顯示了中國8年間鋼材消耗量與國民收入之間的關(guān)系，抽取表格中的數(shù)據(jù)二、數(shù)據(jù)分類數(shù)據(jù)分類是將數(shù)據(jù)進(jìn)行一個(gè)自定義的分類，Pandas中提供cut函數(shù)實(shí)現(xiàn)數(shù)據(jù)分類案例——對(duì)中國8年間鋼材消耗量進(jìn)行分類。三、數(shù)據(jù)排序數(shù)據(jù)排序通過瀏覽數(shù)據(jù)發(fā)現(xiàn)一些明顯的特征或趨勢(shì)，找到解決問題的線索，同時(shí)，數(shù)據(jù)排序本身就是數(shù)據(jù)分析的目的之一。美國的《財(cái)富》雜志每年都要在全世界范圍內(nèi)排出500強(qiáng)企業(yè)，通過這一信息，不僅可以了解自己企業(yè)所處的地位，清楚自己的差距，還可以從一個(gè)側(cè)面了解到競(jìng)爭對(duì)手的狀況，有效制定企業(yè)的發(fā)展規(guī)劃和戰(zhàn)略目標(biāo)。數(shù)據(jù)排序是按一定順序?qū)?shù)據(jù)排列，Pandas提供了sort_values函數(shù)用于根據(jù)行、列數(shù)據(jù)進(jìn)行排序案例——為了考查染整工藝對(duì)布的縮水率是否有影響，選用5種不同的染整工藝分別用A1、A2、A3、A4、A5表示，每種工藝處理4塊布樣，測(cè)得縮水率的百分?jǐn)?shù)見表，試對(duì)其進(jìn)行排序。Pandas中的其余排序參數(shù)見表。案例——某倉庫超重包裹重新進(jìn)行打包，隨機(jī)抽取6個(gè)包裹進(jìn)行最大最小重量對(duì)比。測(cè)得數(shù)據(jù)如下（單位：kg）：136.5，138.5，140.3，112.7，8893，154.2。試對(duì)其進(jìn)行排序四、統(tǒng)計(jì)分組統(tǒng)計(jì)分組是統(tǒng)計(jì)學(xué)的基本統(tǒng)計(jì)方法之一，使零散資料系統(tǒng)化，但怎樣使資料系統(tǒng)化，本著什么去歸類，這就取決于統(tǒng)計(jì)分組。在取得完整、正確的統(tǒng)計(jì)資料前提下，統(tǒng)計(jì)分組的優(yōu)劣是決定整個(gè)數(shù)據(jù)統(tǒng)計(jì)成敗的關(guān)鍵，它直接關(guān)系到數(shù)據(jù)分析的質(zhì)量。例如：將一所學(xué)校的人，根據(jù)老師，學(xué)生，男性，女性，年齡，成績，特長等標(biāo)志，進(jìn)行分類統(tǒng)計(jì)。1．groupby函數(shù)Pandas中的groupby函數(shù)用于對(duì)DataFrame對(duì)象進(jìn)行分組groupby函數(shù)返回包含有關(guān)組的信息的groupby對(duì)象利用groups屬性可以用來查看分組的信息，從返回的結(jié)果中可以看到不同分組的樣本在原數(shù)據(jù)框中的索引，見表。案例——已知員工醫(yī)療費(fèi)用表，試通過分組根據(jù)性別、所屬部門統(tǒng)計(jì)醫(yī)療費(fèi)用2．a(chǎn)gg函數(shù)分組最主要的作用就是對(duì)各個(gè)組別進(jìn)行分組描述，簡單來說就是將一系列復(fù)雜的數(shù)據(jù)用幾個(gè)有代表性的數(shù)據(jù)進(jìn)行描述，進(jìn)而能夠直觀的解釋數(shù)據(jù)的規(guī)律。agg函數(shù)用來分別計(jì)算分組后每個(gè)組的最大值、最小值、和，數(shù)據(jù)計(jì)算函數(shù)見表。案例——已知員工醫(yī)療費(fèi)用表，試通過分組根據(jù)性別計(jì)算和、最大值、最小值和乘積任務(wù)五數(shù)據(jù)統(tǒng)計(jì)分析任務(wù)引入小劉發(fā)現(xiàn)數(shù)據(jù)的統(tǒng)計(jì)只能得到基本的數(shù)字，無法對(duì)數(shù)據(jù)進(jìn)行針對(duì)性分析。那么，針對(duì)性的統(tǒng)計(jì)分析有哪些，有哪些參數(shù)可以體現(xiàn)這些分析結(jié)果？知識(shí)準(zhǔn)備數(shù)據(jù)的統(tǒng)計(jì)分析包括數(shù)據(jù)的離散程度分析、集中趨勢(shì)分析、頻數(shù)分析、分布以及一些基本的統(tǒng)計(jì)圖形。一、集中趨勢(shì)分析集中趨勢(shì)分析是用各種起代表值作用的量度來反映變量數(shù)值趨向中心位置的一種資料分析方法。最常用的指標(biāo)有算術(shù)平均值、幾何平均值、和中位數(shù)和眾數(shù)等。1．中位數(shù)中位數(shù)是按順序排列的一組數(shù)據(jù)中居于中間位置的數(shù).平均數(shù)是通過計(jì)算得到的，因此它會(huì)因每一個(gè)數(shù)據(jù)的變化而變化。2．眾數(shù)眾數(shù)是樣本觀測(cè)值在頻數(shù)分布表中頻數(shù)最多的那一組的組中值.在統(tǒng)計(jì)實(shí)踐中，常利用眾數(shù)來近似反映社會(huì)經(jīng)濟(jì)現(xiàn)象的一般水平，反映了一組數(shù)據(jù)的集中程度。案例——已知員工醫(yī)療費(fèi)用表，試進(jìn)行集中趨勢(shì)分析，計(jì)算平均值、中位數(shù)和眾數(shù)二、離散程度分析離散程度是指通過數(shù)據(jù)間的差異程度，用來衡量風(fēng)險(xiǎn)大小的指標(biāo)。最常用的指標(biāo)有方差和標(biāo)準(zhǔn)差等。1．標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差是最常用的反映隨機(jī)變量分布離散程度的指標(biāo)。2．方差分析方差不僅僅表達(dá)了樣本偏離均值的程度，更揭示了樣本內(nèi)部彼此波動(dòng)的程度，在許多實(shí)際問題中，研究方差即偏離程度有著重要意義。3．協(xié)方差分祈系統(tǒng)的方差分析存在明顯的弊端，無法控制分析中存在的某些隨機(jī)因素，使之影響了分祈結(jié)果的準(zhǔn)確度。4．相關(guān)性分析協(xié)方差僅能進(jìn)行定性的分析，并不能進(jìn)行定量的分析，因此引出相關(guān)系數(shù)的概念。案例——讀取某公司產(chǎn)品的報(bào)價(jià)單，進(jìn)行離散程度分析三、頻數(shù)分析頻數(shù)是指變量值中代表某種特征的數(shù)（標(biāo)志值）出現(xiàn)的次數(shù)。頻數(shù)分析用于計(jì)算定類數(shù)據(jù)的選擇頻數(shù)和比例，例如調(diào)查研究對(duì)象的性別、年齡，通過這些問題可以了解研究對(duì)象的背景.頻數(shù)分析既可以用表的形式表示，也可以用圖形的形式表示。在Pandas中，count函數(shù)用來計(jì)算每個(gè)分組樣本的個(gè)數(shù)，value_counts函數(shù)用于計(jì)算一個(gè)Series中各值的出現(xiàn)頻率。案例——讀取某公司產(chǎn)品的報(bào)價(jià)單，進(jìn)行頻數(shù)列表分析.項(xiàng)目總