數(shù)據(jù)分析應(yīng)用項目化教程（Python） 課件 任務(wù)4.3數(shù)據(jù)運算

第四章使用pandas進行數(shù)據(jù)對象構(gòu)建和數(shù)據(jù)運算

任務(wù)4.3數(shù)據(jù)運算

算術(shù)運算和自動對齊

布爾運算

關(guān)系運算

排序運算

匯總類統(tǒng)計

唯一去重和按值計數(shù)

相關(guān)系數(shù)和協(xié)方差算術(shù)運算和自動對齊Series、DataFrame和NumPy數(shù)組一樣，也是向量化運算，而且支持大多數(shù)NumPy多維數(shù)組的方法Series、DataFrame和多維數(shù)組運算的主要區(qū)別：Series、DataFrame之間的操作會自動基于標簽對齊數(shù)據(jù)，包括行標簽和列標簽，生成的結(jié)果是列和行標簽的并集。因此，不用顧及執(zhí)行計算操作的Series、DataFrame是否有完全相同的標簽。算術(shù)運算和自動對齊Series之間運算算術(shù)運算和自動對齊DataFrame之間運算算術(shù)運算和自動對齊DataFrame和Series之間運算shape不一致，廣播布爾運算布爾運算可以通過'與'（&）、'或'（|）、'非'（~）、異或（^）進行組合運算,（每一個計算項一定要加括號，注意運算符的優(yōu)先級）關(guān)系運算關(guān)系運算符(><==!=),常使用關(guān)系運算和邏輯運算結(jié)合選取數(shù)據(jù)根據(jù)關(guān)系運算選取的都是整行數(shù)據(jù)形如：df[限制條件1&限制條件2…]或df[限制條件1][限制條件2]在df中選擇b和c同時大于0的那些行，等價df[(df.b>0)][(df.c>0)]左圖根據(jù)關(guān)系運算選取指定列的數(shù)據(jù)形如：df[限制條件][列]、df[列][限制條件]在df中選擇b列和c列同時大于0的a和b列右圖

排序運算

Pandas支持三種排序方式，按索引標簽排序，按列里的值排序，按兩種方式混合排序。Series.sort_values()方法用于按值對Series排序。DataFrame.sort_values()方法用于按行列的值對DataFrame排序。DataFrame.sort_values()的可選參數(shù)by用于指定按哪列排序，該參數(shù)的值可以是一列或多列數(shù)據(jù)。Series.sort_index()與DataFrame.sort_index()方法用于按索引層級對Pandas對象排序。匯總類統(tǒng)計Series與DataFrame支持大量統(tǒng)計的方法，包括sum()、mean()等聚合函數(shù)，還包括輸出結(jié)果與原始數(shù)據(jù)集同樣大小的cumsum()、cumprod()等函數(shù)。這些方法基本上都接受axis參數(shù)，axis可以用名稱或整數(shù)指定。Pandas的統(tǒng)計運算默認忽略缺失值，而Numpy的統(tǒng)計運算遇缺失值結(jié)果為nan。Series：無需axis參數(shù)DataFrame：index，即axis=0，默認值，按列統(tǒng)計columns,即axis=1，按行統(tǒng)計唯一值和值計數(shù)運算一般不用于數(shù)值列，而是枚舉、分類列相關(guān)系數(shù)和協(xié)方差對于兩個變量X、Y：協(xié)方差：衡量同向反向程度，如果協(xié)方差為正，說明X，Y同向變化，協(xié)方差越大說明同向程度越高；如果協(xié)方差為負，說明X，Y反向運動，協(xié)方差越小說明反向程度越高。協(xié)方差矩陣：df.cov()相關(guān)系數(shù)：衡量相似度程度，當他們的相關(guān)系數(shù)為1時，說明兩個變量變化時的正向相似度最大，當相關(guān)系數(shù)為－1時，說明兩個變量變化的反向相似度最大。相關(guān)系數(shù)矩陣：df.corr(兩者關(guān)系：把協(xié)方差歸一化，也就是相關(guān)系數(shù)。相關(guān)系數(shù)消除了協(xié)方差數(shù)值大小的影響。相關(guān)系數(shù)也可以看成協(xié)方差：一種剔除了兩個變量量綱影響、標準化后的特殊協(xié)方差,它消除了兩個變量變化幅度的影響，而只是單純反應(yīng)兩個變量每單位變化時的相似程度。相關(guān)系數(shù)和協(xié)方差y經(jīng)由函數(shù)構(gòu)造出來，x和y的相關(guān)系數(shù)應(yīng)該為1。但從實驗結(jié)果可知