Python數(shù)據(jù)分析常用方法手冊(cè)

1、1. Python數(shù)據(jù)處理和分析常用語(yǔ)句數(shù)據(jù)分析的一般步驟包括數(shù)據(jù)獲取、數(shù)據(jù)整理、數(shù)據(jù)描述、數(shù)據(jù)分析1.1 數(shù)據(jù)獲取1.1.1 數(shù)據(jù)獲取方式1.1.2 查看數(shù)據(jù)屬性Data.shape 查看數(shù)據(jù)多少行、多少列Data.columns 查看數(shù)據(jù)列Data.dtypes 查看各數(shù)據(jù)字段的屬性1.2 數(shù)據(jù)整理#第二步： 做一些數(shù)據(jù)的基本處理：1.2.1 數(shù)據(jù)基本處理（類excel）#0.數(shù)據(jù)類型的轉(zhuǎn)換例如：如果要做時(shí)間序列分析，首先要將交易日期從通用對(duì)象（object）轉(zhuǎn)換為日期對(duì)象（datetime）dfdate = pd.to_datetime(dfdate)#1.如何獲取導(dǎo)入的數(shù)據(jù)有幾行幾列？

2、直接用df.shape，返回一個(gè)維度（幾行，幾列）的元組；df.columns.size #獲取列數(shù)df.iloc:, 0.size #獲取行數(shù)#2.如何查看指定行、列、子集？#df = pandas.read_excel(1.xls,sheetname= 店鋪分析日?qǐng)?bào))df = df.loc:,股票代碼,股票名稱, 營(yíng)業(yè)總收入#訪問(wèn)指定的列#df=df股票代碼 #查看指定列#DataFrame.ixindex_name #查看指定行#dataframem:n #選擇多行#dataframedataframecol35 #條件篩選#dataframe.ix0:3,0:5 #選擇子集#3.如何添

3、加新的列例1：添加一個(gè)總和欄來(lái)顯示Jan、Feb和Mar三個(gè)月的銷售總額dftotal = dfJan+dfFeb+dfMar例2：把計(jì)算結(jié)果添加為一個(gè)新的列dfP/E = df.收盤價(jià)/df.基本每股收益 #新的列名，后面是對(duì)應(yīng)的數(shù)值例3：在excel表最后加一行求各列和sum_row=dfJan,Feb,Mar,total.sum()#4.如何刪除行列#df_delete=df.drop(result,axis=1) #刪除列#DataFrame.drop(index1,index2.) #刪除行#5.如何對(duì)數(shù)據(jù)進(jìn)行排序？dfP/E.size #獲取P/E 這列共有多少行newdf=df_

4、delete.sort(P/E) #默認(rèn)升序排列sort_index也可以進(jìn)行排序#6.如何對(duì)數(shù)據(jù)進(jìn)行篩選？#1.篩選出predictaqi_norm1這一列大于100的行；aqicsvaqicsvpredictaqi_norm1100 也可以寫為：datadata.收盤價(jià)100#2.使用&（并）與| （或）實(shí)現(xiàn)多條件篩選aqicsv(aqicsvFID37898) & (aqicsvFID150) |(aqicsv.predictaqi_norm110000) | (aqicsv.predictaqi_norm1 150) #4.isin()用法：篩選某一列數(shù)據(jù)符合等于規(guī)定值(它使得我們可以

5、定義一個(gè)列表，里面包含我們所希望查找的值);data7=datadata股票代碼.isin(sh600141,sh600754,sh603017,sh603198)#同樣，以上這個(gè)語(yǔ)句可以用query()函數(shù)來(lái)查詢，需要安裝numexpr；data8=data.query(股票代碼 = sh600141,sh600754,sh603017,sh603198)#map()函數(shù)也有這個(gè)功能，樣式如下：dfdfsku.map(lambda x: x.startswith(B1) & (dfquantity > 22).head()#5.字符串方法：篩選某一列內(nèi)容包含特定值例如找出MA金

6、叉死叉列所有含金叉的行，但列不能含空值data8=data7data7MA金叉死叉.str.contains(金叉)#6.如果列中存在空值，空值處理方法：#6.1 用fillna()方法將空值填充data7=data.fillna(value=你好)#6.2 或者將列中的空值刪除；stock_data = stock_datastock_data市盈率TTM.notnull()#或6.2 用dropna刪除缺失值stock_data.dropna(subset=下個(gè)月漲跌幅, inplace=True)#7.pandas能夠理解日期，在對(duì)日期數(shù)據(jù)篩選方面可以對(duì)某年、某月進(jìn)行篩選；datadat

7、a交易日期=2014-03datadata交易日期=2015data(data交易日期 =20140701) & (data交易日期 6.sort(tip,ascending=False)#1.7 對(duì)列sex分組后，對(duì)另一列（tip/total_bill）進(jìn)行排序def top(self,n): return self.sort(tip/total_bill,ascending=False):n#top(tips)tips.groupby(sex).apply(top,n=5)#1.8 按照某一列內(nèi)容的部分字母進(jìn)行分組排序比如，某一列由不同星期+日期組成，但只想按照這一列的星期進(jìn)行排序？#ge

8、t_day=lambda day: tips.day:1 # 選擇列中的第一個(gè)字母，按第一個(gè)字母排序#tips.groupby(get_day).apply(top,n=5) #groupby 可以調(diào)用函數(shù)#1.9 采用多個(gè)聚合函數(shù)返回多個(gè)聚合值tips2=tips1.groupby(sex,smoker)total_bill,tiptips2.agg(mean,sum,std,max)#2.0 計(jì)算tip和total_bill之間的相關(guān)系數(shù) #corr=lambda x: x.corrwith(xtips)tips_corr=tips.groupby(sex)tips_corr.apply(

9、lambda g: gtip.corr(gtotal_bill)#2.1 根據(jù)日價(jià)格變化計(jì)算各股票之間的年度相關(guān)系數(shù)by_year=data.groupby(lambda x:x.year)corr=lambda x: x.corrwith(xSPX)data_by_year=by_year.apply(corr)2. merge 合并1. AppendP=2. Concat例子1：使用concat()函數(shù)將兩個(gè)不同邏輯結(jié)構(gòu)的對(duì)象能連接：將股票數(shù)據(jù)中的前5個(gè)和后5個(gè)合并；Data1=data:3Data2=df:3Pd.concat(Data1,Data2,ignore_index=Ture)

10、例子2：將兩個(gè)相同邏輯結(jié)構(gòu)的對(duì)象能連接import pandas as pddates=range(20161010,20161020)pieces=for date in dates: path=overview-push-%d/stock overview.csv % date date=pd.read_csv(path,encoding=gbk) pieces.append(date)datas=pd.concat(pieces)3. Join將美國(guó)運(yùn)通公司和可可可樂(lè)公司近一年中每個(gè)月的交易總量 表（包含公司代碼）與30只道瓊斯成分股股票信息表合并；Pd.merge(data1,data2,on=code)3. 聚類分析3.1K-均值聚類scikit-learn 語(yǔ)言包#K-Mean聚類的一個(gè)小例子from pylab import *from scipy.cluster.vq import *list1=88,64,96,85list2=92,99,95,94list3=91,87,99,95li