Python金融數(shù)據(jù)分析與挖掘（微課版） 課件 3-5.常用計算任務(wù)

第3章

數(shù)據(jù)處理包Pandas滾動計算、時間元素提取映射與離散化分組統(tǒng)計滾動計算第3章

滾動計算，也稱為移動計算，給定一個數(shù)據(jù)序列，按指定的前移長度進行統(tǒng)計計算，比如求和、平均值、最大值、最小值、中位數(shù)、方差、標(biāo)準(zhǔn)差等。這里前移長度的計算，包含自身，如果待計算的數(shù)據(jù)序列小于指定的前移長度，則無法計算，用空值“nan”來表示。簡單調(diào)用形式為：S.rolling(N).統(tǒng)計函數(shù)，其中S表示序列，N表示指定的前移長度importpandasaspdlist_data=[10,4,3,8,15,26,17,80,12,5]series_data=pd.Series(list_data)rolling_sum=series_data.rolling(5).sum()rolling_mean=series_data.rolling(5).mean()rolling_max=series_data.rolling(5).max()rolling_min=series_data.rolling(5).min()rolling_median=series_data.rolling(5).median()rolling_var=series_data.rolling(5).var()時間元素提取第3章

對時間格式的序列數(shù)據(jù)，提取包括年份、月份、周數(shù)、日期、小時、分鐘、秒、星期幾等時間元素。importpandasaspddata=pd.read_excel('dat.xlsx')這里“刷卡時間”數(shù)據(jù)格式為字符串時間元素提取第3章

對時間格式的序列數(shù)據(jù)，提取包括年份、月份、周數(shù)、日期、小時、分鐘、秒、星期幾等時間元素。importpandasaspddata=pd.read_excel('dat.xlsx')data['刷卡時間']=pd.to_datetime(data.iloc[:,1],format='%Y-%m-%d%H:%M:%S.%')這里“刷卡時間”數(shù)據(jù)格式為時間格式時間元素提取第3章

data['year']=data['刷卡時間'].dt.yeardata['month']=data['刷卡時間'].dt.monthdata['day']=data['刷卡時間'].dt.daydata['hour']=data['刷卡時間'].dt.hourdata['minute']=data['刷卡時間'].dt.minutedata['second']=data['刷卡時間'].dt.seconddata['week']=data['刷卡時間'].dt.isocalendar().weekdata['weekday']=data['刷卡時間'].dt.weekday將字符串類型的時間序列轉(zhuǎn)化為時間戳類型。時間元素提取形式式為：“時間戳類型序列.dt.時間元素”，返回的結(jié)果依然是序列映射第3章

序列中的映射方法，簡單的調(diào)用形式為：序列.map(映射參數(shù))，其中映射參數(shù)一般為字典類型，格式如：{原值1:映射值1,原值2:映射值2,...}。dict_map={'進站':1,'出站':0}data['刷卡類型']=data['刷卡類型'].map(dict_map)離散化第3章

data1=data.iloc[data['刷卡類型'].values==1,[0,5,6]]#取刷卡類型、hour、minute列data1_hour=data1.groupby('hour')['刷卡類型'].sum()#按hour分組，對刷卡類型列求和離散化第3章

bins=[0,100,500,1000]dt1=pd.cut(data1_hour,bins)dt2=pd.cut(data1_hour,bins,labels=[0,1,2])dt_cut=pd.DataFrame({'c1':data1_hour.values,'c2':dt1.values,'c3':dt2.values})dt_cut.index=data1_hour.index數(shù)據(jù)分割，即離散化，可以使用pandas庫中的cut函數(shù)來實現(xiàn)，其簡單調(diào)用形式為：pd.cut(S,bins)或pd.cut(S,bins,labels),其中S為數(shù)據(jù)序列，bins為分割區(qū)間列表，labels為分割區(qū)間的類別表示列表分組統(tǒng)計第3章

姓名日期消費類型消費額張明2018-01旅游200張明2018-01餐飲300張明2018-01服裝300張明2018-02旅游100張明2018-02餐飲250張明2018-02服裝250李紅2018-01旅游50李紅2018-01餐飲200李紅2018-01服裝400李紅2018-02旅游100李紅2018-02餐飲250李紅2018-02服裝500王周2018-01旅游500王周2018-01餐飲200王周2018-01服裝100王周2018-02旅游650王周2018-02餐飲180王周2018-02服裝80按“姓名”字段，可以分為3組；如果按“姓名”和“日期”字段，可以分為6組，比如第一組為“張明、2018-01”，第二組為“張明、2018-02”。以“姓名、日期”為分組字段，“消費額”為統(tǒng)計字段，即可確定統(tǒng)計范圍，例如對第一組的“銷售額”作求和統(tǒng)計，結(jié)果為：200+300+300=800；第二組求和統(tǒng)計結(jié)果為：100+250+250=600分組統(tǒng)計計算，可以通過數(shù)據(jù)框的groupby()方法和相關(guān)統(tǒng)計函數(shù)組合完成，調(diào)用形式為：df.groupby([分組字段])[統(tǒng)計字段].統(tǒng)計函數(shù)，其中統(tǒng)計函數(shù)如sum()、mean()、median()、max()、min()、var()、std()等分組統(tǒng)計第3章

importpandasaspdB=pd.read_excel('表3-1用戶消費數(shù)據(jù).xlsx')B1=B.groupby(['姓名','日期'])['消費額'].sum()分組統(tǒng)計第3章

分組統(tǒng)計后的結(jié)果數(shù)據(jù)長度與分組個數(shù)相同，與原始數(shù)據(jù)的長度不相同，對某些計算任務(wù)不太友好，比如要計算張明，2018-01，在旅游、餐飲和服裝上的消費占比。事實上，分組統(tǒng)計計算，有另外一種形式，其統(tǒng)計結(jié)果與原始數(shù)據(jù)規(guī)模相同，其簡單調(diào)用