數(shù)據(jù)分析基礎(chǔ) 課件 項(xiàng)目5 Python數(shù)據(jù)探索

任務(wù)5.1

餐飲訂單數(shù)據(jù)缺失值分析1知識(shí)準(zhǔn)備2任務(wù)描述任務(wù)實(shí)施35.1

餐飲訂單數(shù)據(jù)缺失值分析【任務(wù)描述】數(shù)據(jù)的缺失主要包括記錄的缺失和記錄中某個(gè)字段信息的缺失，兩者都會(huì)造成分析結(jié)果不準(zhǔn)確。Python數(shù)據(jù)探索【知識(shí)準(zhǔn)備】1

缺失值產(chǎn)生的原因（1）有些信息暫時(shí)無法獲取，或者獲取信息的代價(jià)太大。（2）有些信息是被遺漏的?？赡苁且?yàn)檩斎霑r(shí)認(rèn)為該信息不重要、忘記填寫或?qū)?shù)據(jù)理解錯(cuò)誤等一些人為因素而遺漏，也可能是由于數(shù)據(jù)采集設(shè)備故障、存儲(chǔ)介質(zhì)故障、傳輸媒體故障等非人為原因而丟失。（3）屬性值不存在。在某些情況下，缺失值并不意味著數(shù)據(jù)有錯(cuò)誤。對(duì)一些對(duì)象來說某些屬性值是不存在的，如一個(gè)未婚者的配偶姓名、一個(gè)兒童的固定收入等。2

缺失值的影響（1）數(shù)據(jù)挖掘建模將丟失大量的有用信息。（2）數(shù)據(jù)挖掘模型所表現(xiàn)從出的不確定性更加顯著，模型中蘊(yùn)含的規(guī)律更難把握。（3）包含空值的數(shù)據(jù)會(huì)使建模過程陷入混亂，導(dǎo)致不可靠的輸出。Python數(shù)據(jù)探索【知識(shí)準(zhǔn)備】3

缺失值的分析（1）使用簡(jiǎn)單的統(tǒng)計(jì)分析，可以得到含有缺失值的屬性的個(gè)數(shù)以及每個(gè)屬性的未缺失數(shù)、缺失數(shù)與缺失率等。（2）對(duì)于缺失值的處理，從總體上來說分為刪除存在缺失值的記錄、對(duì)缺失值進(jìn)行插補(bǔ)和不處理缺失值3種情況。Python數(shù)據(jù)探索【任務(wù)實(shí)施】（1）讀取并合并oder1、order2、order3三個(gè)表，獲取餐飲店8月份的所有訂單數(shù)據(jù)。代碼如下所示:In[1]:importpandasas

pddata1=pd.read_table('D:\Anaconda\order1.csv',sep=',',encoding='gbk')data2=pd.read_table('D:\Anaconda\order2.csv',sep=',',encoding='gbk')data3=pd.read_table('D:\Anaconda\order3.csv',sep=',',encoding='gbk')concat_data=pd.concat([data1,data2,data3],axis=0)concat_data.head()Out[1]:Python數(shù)據(jù)探索（2）查看表格的摘要信息。由此可以看出餐飲訂單數(shù)據(jù)共有10037行19列，其中存在一些未保存數(shù)據(jù)的列數(shù)，如下所示?！救蝿?wù)實(shí)施】<class'pandas.core.frame.DataFrame'>Int64Index:10037entries,0to3610Datacolumns(total19

columns):

#ColumnNon-NullCount

Dtype

-----------------------

-----

0detail_id10037non-null

int64

1order_id10037non-null

int64

2dishes_id10037non-null

int64

3logicprn_name0non-null

float64

4parent_class_name0non-null

float64

5dishes_name10037non-null

object

6itemis_add10037non-null

int64

7counts10037non-null

float64

8amounts10037non-null

float64

9cost0non-null

float64

10place_order_time10037non-null

object

11discount_amt0non-null

float64

12discount_reason0non-null

float64

13kick_back0non-null

float64

14add_inprice10037non-null

int64

15add_info0non-null

float64

16bar_code0non-null

float64

17picture_file10037non-null

object

18emp_id10037non-nullint64dtypes:float64(10),int64(6),

object(3)memoryusage:1.5+

MB<Figuresize640x480with0

Axes>Python數(shù)據(jù)探索（3）對(duì)空值列進(jìn)一步處理，刪除無用列。代碼如下所示?！救蝿?wù)實(shí)施】In[2]:Concat_data_drop=Concat_data.dropna(axis=1,inplace=True)Concat_()Out[2]:<class

'pandas.core.frame.DataFrame'>Int64Index:10037entries,0to3610Datacolumns(total11

columns):#ColumnNon-NullCount

Dtype-----------------------

-----0detail_id10037non-null

int641order_id10037non-null

int642dishes_id10037non-null

int643dishes_name10037non-null

object4itemis_add10037non-null

int645counts10037non-null

float646amounts10037non-null

float647place_order_time10037non-null

object8add_inprice10037non-null

int649picture_file10037non-null

object10emp_id10037non-nullint64dtypes:float64(2),int64(6),

object(3)memoryusage:941.0+

KBPython數(shù)據(jù)探索任務(wù)5.2

餐飲訂單數(shù)據(jù)異常值分析1知識(shí)準(zhǔn)備2任務(wù)描述任務(wù)實(shí)施35.2

餐飲訂單數(shù)據(jù)異常值分析【任務(wù)描述】異常值分析是檢驗(yàn)數(shù)據(jù)是否有錄入錯(cuò)誤，是否含有不合常理的數(shù)據(jù)。忽視異常值的存在是十分危險(xiǎn)的，不加剔除地將異常值放入數(shù)據(jù)的計(jì)算分析過程中，會(huì)對(duì)結(jié)果造成不良影響;重視異常值的出現(xiàn)，分析其產(chǎn)生的原因，常常成為發(fā)現(xiàn)問題進(jìn)而改進(jìn)決策的契機(jī)。異常值是指樣本中的個(gè)別值，其數(shù)值明顯偏離其他的觀測(cè)值。異常值也稱為離群點(diǎn)，異常值分析也稱為離群點(diǎn)分析。Python數(shù)據(jù)探索【知識(shí)準(zhǔn)備】1

.簡(jiǎn)單統(tǒng)計(jì)量分析在進(jìn)行異常值分析時(shí)，可以先對(duì)變量做一個(gè)描述性統(tǒng)計(jì)，進(jìn)而查看哪些數(shù)據(jù)是不合理的。最常用的統(tǒng)計(jì)量是最大值和最小值，用來判斷這個(gè)變量的取值是否超出了合理范圍。如客戶年齡的最大值為199歲，則判斷該變量的取值存在異常。2

.3σ原則如果數(shù)據(jù)服從正態(tài)分布，在3σ原則下，異常值被定義為一組測(cè)定值中與平均值的偏

差超過3倍標(biāo)準(zhǔn)差的值。在正態(tài)分布的假設(shè)下，距離平均值3σ之外的值出現(xiàn)的概率為

P(x-μ>3σ

)≤0.003，屬于極個(gè)別的小概率事件，其中σ代表標(biāo)準(zhǔn)差，μ代表均值。如果數(shù)據(jù)不服從正態(tài)分布，也可以用遠(yuǎn)離平均值的標(biāo)準(zhǔn)差倍數(shù)來描述。Python數(shù)據(jù)探索【知識(shí)準(zhǔn)備】3

.箱型圖分析箱體圖是提供了識(shí)別異常值的一個(gè)標(biāo)準(zhǔn)。它通常由上邊緣、上四分位數(shù)、中位數(shù)、下四位分?jǐn)?shù)、下邊緣和異常值組成。箱型圖能直觀地反映一組數(shù)據(jù)的分散情況，一旦圖中出現(xiàn)離群點(diǎn)（遠(yuǎn)離大多數(shù)值的點(diǎn)），就認(rèn)為該離群點(diǎn)可能為異常值

。Python數(shù)據(jù)探索（1）本章任務(wù)使用箱型圖來分析該餐飲訂單數(shù)據(jù)

中的異常值。代碼如下所示：【任務(wù)實(shí)施】In[3]:importnumpyas

npimportmatplotlib.pyplotas

pltPython數(shù)據(jù)探索（2）建立畫布。代碼如下所示:In[4]:plt.Figure()boxplt=pd.DataFrame(concat_data['amounts']).boxplot(return_type='dict',sym='*')

y=boxplt['fliers'][0].get_ydata()

Out[4]:餐飲訂單信息表中amounts的平均值為：

45.33717164447643（3）用annotate添加注釋，其中有些相近的點(diǎn)，注釋會(huì)出現(xiàn)重疊，難以看清，需要一些技巧來控制，以下參數(shù)都是經(jīng)過調(diào)試的。代碼如下所示：【任務(wù)實(shí)施】In[5]:unidata=np.unique(y)Print(unidata)Foriinrange(len(unidata))If

i>1Plt.annotate(unidata[i],xy=(x[i],unidata[i]),xytext=(x[i]+0.2-0.3/unidata[i]-unidata[i-1]),unidata[i]))ElsePlt.annotate(unidata[i],xy=(x[i],unidata[i]),xytext=(x[i]+0.5,unidata[i]))Plt.show()Python數(shù)據(jù)探索【任務(wù)實(shí)施】Out[5]:

Python數(shù)據(jù)探索任務(wù)5.3

餐飲訂單數(shù)據(jù)分布分析1知識(shí)準(zhǔn)備2任務(wù)描述任務(wù)實(shí)施35.3餐飲訂單數(shù)據(jù)分布分析【任務(wù)描述】分布分析能揭示數(shù)據(jù)的分布特征和分布類型。對(duì)于定量數(shù)據(jù)，要想了解其分布形式是對(duì)稱的還是非對(duì)稱的、發(fā)現(xiàn)某些特大或特小的可疑值，可做出頻率分布表、繪制頻率分布直方圖、繪制莖葉圖進(jìn)行直觀分析；對(duì)于定性數(shù)據(jù)，可用餅圖和條形圖直觀地顯示其分布情況。Python數(shù)據(jù)探索【知識(shí)準(zhǔn)備】1

定量數(shù)據(jù)的分布分析對(duì)于定量變量而言，選擇“組數(shù)”和“組寬”是做頻數(shù)分布分析時(shí)最主要的問題，一般按照以下步驟進(jìn)行：第一步：求極差。第二步：決定組寬與組數(shù)。第三步：決定分點(diǎn)。第四步：列出頻數(shù)分布表。第五步：繪制頻率分布直方圖。Python數(shù)據(jù)探索【知識(shí)準(zhǔn)備】遵循的主要原則如下：（1）各組之間必須是互相排斥的。（2）各組必須將所有的數(shù)據(jù)包含在內(nèi)。（3）各組的組寬最好相等。2

定性數(shù)據(jù)的分布分析對(duì)于定性變量，常常根據(jù)變量的分類類型來分組，可以采用餅圖和條形圖來描述定性變量的分布。Python數(shù)據(jù)探索（1）分布分析根據(jù)分析的目的，將數(shù)據(jù)（定量數(shù)據(jù)）等距或不等距分組，進(jìn)行研究各組分布規(guī)律的一種分析方法。將餐飲訂單數(shù)據(jù)

中的菜品名字和價(jià)格提取出來進(jìn)行分布分析。代碼如下所示:【任務(wù)實(shí)施】In[6]:dname=concat_data[['dishes_name','amounts']].groupby(by='dishes_name')conN=[]conV=[]forgourp,valuein

dname:conN.append(list(value.dishes_name.unique())[0])conV.

append(list(value.amounts.unique())[0])print(conN[:5],conV[:5])Out[6]:

['

42度海之藍(lán)',

'

北冰洋汽水

',

'38度劍南春

',

'50度古井貢酒',

'52度瀘州老窖

'][99.0,5.0,80.0,90.0,

159.0]Python數(shù)據(jù)探索【任務(wù)實(shí)施】[('

42度海之藍(lán)',

99.0),('

北冰洋汽水

',

5.0),('38度劍南春

',

80.0),（

('50度古井貢酒',

90.0),2）將菜品名字和價(jià)格一一對(duì)應(yīng)。代碼如下所示:('52度瀘州老窖

',

159.0),('53度茅臺(tái)',

128.0),('一品香酥藕',

10.0),('三絲鱔魚',

55.0),('三色涼拌手撕兔',

66.0),('不加一滴油的酸奶蛋糕',

7.0),('五彩藕苗',

35.0),('五彩豆',

29.0),('五色糯米飯(七色)',

35.0),('五香醬驢肉',

52.0),('五香醬驢肉\r\n',

52.0),Python數(shù)據(jù)探索【任務(wù)實(shí)施】（3）將菜名和價(jià)格組成一個(gè)DataFrame，將數(shù)據(jù)分成四段。代碼如下所示:In[8]:A=pd.Dataframe(T,columns=[‘dish_name’,’prices’])B=[int(min(a.prices)),50,100,150,int(max(a.prices))+2]BOut[8]:[1,50,100,150,

180]Python數(shù)據(jù)探索（4）給四段數(shù)據(jù)貼標(biāo)簽。代碼如下所示:In[9]:importnumpyasnplabels=['1-49','50-99','100-149',

'150-180']

print('數(shù)據(jù)標(biāo)簽',labels=[‘1-49’,‘50-99’,‘100-149’,

’150-180’]Out[9]:['1-49','50-99','100-149',

'150-180']【任務(wù)實(shí)施】（5）根據(jù)菜品價(jià)格切分并分層。代碼如下所示:In[10]:A[‘價(jià)格分層’]=pd.cut(a.prices,bins,labels=labels)Group_agg=a.groupby(by=[‘價(jià)格分層’]).agg({‘prices’:np.size})Group_agg.Rename(columns={‘價(jià)格’：’人數(shù)’})Out[10]:價(jià)格分層 prices1-49

12250-99

36100-149

3150-180

7Python數(shù)據(jù)探索任務(wù)5.4餐飲訂單數(shù)據(jù)周期性分析1知識(shí)準(zhǔn)備2任務(wù)描述任務(wù)實(shí)施35.4餐飲訂單數(shù)據(jù)周期性分析【任務(wù)描述】周期性分析是探索某個(gè)變量是否隨著時(shí)間的變化而呈現(xiàn)出某種周期變化趨勢(shì)。Python數(shù)據(jù)探索【知識(shí)準(zhǔn)備】時(shí)間尺度相對(duì)較長(zhǎng)的周期性趨勢(shì)有年度周期性趨勢(shì)、季節(jié)性周期性趨勢(shì)；時(shí)間尺度相對(duì)較短的有月度周期性趨勢(shì)、周度周期性趨勢(shì)，甚至更短的天、小時(shí)周期性趨勢(shì)。Python數(shù)據(jù)探索（1）計(jì)算8月份每日的營業(yè)額，將日期轉(zhuǎn)換為天數(shù)和星期，對(duì)轉(zhuǎn)換完數(shù)據(jù)進(jìn)行分組聚合。代碼如下所示:【任務(wù)實(shí)施】In[11]:concat_data['price']=concat_data['counts']*concat_data['amounts']week=pd.DatetimeIndex(concat_data['place_order_time'])concat_data['weekday']=week.day_name()concat_data['day']=

pd.DatetimeIndex(concat_data['place_order_time']).dayday_gb=

concat_data[['day','price']].groupby(by='day')number=

day_gb.agg(np.sum)number.head()Out[11]:dayprice1

9673.02

6260.03

7053.04

7660.05

9300.0Python數(shù)據(jù)探索【任務(wù)實(shí)施】er,marker='D')])（2）統(tǒng)計(jì)完每日的營業(yè)額之后便可以使用matplotlib進(jìn)行繪圖，以天為單位的周期性分析。代碼如下所示:In[12]:plt.scatter(range(1,32),numbplt.plot(range(1,32),number['price'plt.show()

Out[12]:

此處是否缺少Out[12]:

Python數(shù)據(jù)探索（3）以星期為單位的周期性分析。代碼如下所示:【任務(wù)實(shí)施】day','price']].groupby(by='weekday')r='D')])In[13]:day_gb1=concat_data[['weeknumber1=day_gb1.agg(np.sum)plt.scatter(range(1,8),number1,markeplt.plot(range(1,8),number1['price'plt.show()Python數(shù)據(jù)探索任務(wù)5.5

餐飲訂單數(shù)據(jù)相關(guān)性分析1知識(shí)準(zhǔn)備2任務(wù)描述任務(wù)實(shí)施35.5餐飲訂單數(shù)據(jù)相關(guān)性分析【任務(wù)描述】分析連續(xù)變量之間線性相關(guān)程度的強(qiáng)弱，并用適當(dāng)?shù)慕y(tǒng)計(jì)指標(biāo)表示出來的過程為相關(guān)分析。Python數(shù)據(jù)探索【知識(shí)準(zhǔn)備】1

直接繪制散點(diǎn)圖判斷兩個(gè)變量是否具有線性相關(guān)關(guān)系最直觀的方法是直接繪制散點(diǎn)圖。若兩個(gè)變量完全正線性相關(guān)，則變量數(shù)據(jù)呈現(xiàn)一條直線；所有的數(shù)據(jù)分布在直線上，并且直線從左到右數(shù)據(jù)值增大。若兩個(gè)變量完全負(fù)線性相關(guān)，則變量數(shù)據(jù)呈現(xiàn)一條直線，但直線從左到右數(shù)據(jù)值減少。若兩個(gè)變量非線性相關(guān)，則變量數(shù)據(jù)呈現(xiàn)一條曲線或者多條線。若兩個(gè)變量正線性相關(guān)，則變量數(shù)據(jù)呈現(xiàn)一條直線；所有的數(shù)據(jù)分布在直線兩側(cè)，并且直線從左到右數(shù)據(jù)值增大。若兩個(gè)變量負(fù)線性相關(guān)，則變量數(shù)據(jù)在圖中表現(xiàn)為一條斜線，大部分?jǐn)?shù)據(jù)分布在這條斜線兩側(cè)，并且斜線的數(shù)據(jù)值從左到右逐漸減少。

若變量不相關(guān)，則數(shù)據(jù)分布沒有規(guī)律。Python數(shù)據(jù)探索【知識(shí)準(zhǔn)備】2

繪制散點(diǎn)圖矩陣需要同時(shí)考察多個(gè)變量間的相關(guān)關(guān)系時(shí)，一一繪制它們之間的簡(jiǎn)單散點(diǎn)圖十分麻煩。此時(shí)可利用散點(diǎn)圖矩陣來同時(shí)繪制各變量間的散點(diǎn)圖，從而快速發(fā)現(xiàn)多個(gè)變量間的主要相關(guān)性，這在進(jìn)行多元線性回歸時(shí)顯得尤為重要。

3

計(jì)算相關(guān)系數(shù)為了更加準(zhǔn)確地描述變量之間的線性相關(guān)程度，可以通過相關(guān)系數(shù)的計(jì)算來進(jìn)行相關(guān)分析。在二元變量的相關(guān)分析過程中，比較常用的有Pearson相關(guān)系數(shù)、Spearman相關(guān)系數(shù)和判定系數(shù)。Python數(shù)據(jù)探索【任務(wù)實(shí)施】（1）將相同的訂單ID進(jìn)行重復(fù)值處理，為后續(xù)分組做準(zhǔn)備。代碼如下所示:In[14]:delete_con=concat_data.drop_duplicates(subset='order_id')delete_conOut[14]:Python數(shù)據(jù)探索【任務(wù)實(shí)施】（2）通過day天數(shù)對(duì)price銷量進(jìn)行聚合，再統(tǒng)計(jì)當(dāng)天的訂單數(shù)。代碼如下所示:In[15]:day_gb=concat_data[['day','price']].groupby(by='day').sum()day_gb['count_order']=

delete_con[['day','order_id']].groupby(by='day').count()day_gb.head()Out[15]:day

pricecount_order1

9673.0222

6260.0183

7053.0164

7660.0135

9300.021Python數(shù)據(jù)探索【任務(wù)實(shí)施】（3）計(jì)算price和當(dāng)天訂單數(shù)count_order的相關(guān)度。代碼如下所示:In[16]:day_gb['price'].corr(day_gb['count_order'])Out[16]:

0.9945857147253621Python數(shù)據(jù)探索任務(wù)5.6

餐飲訂單數(shù)據(jù)貢獻(xiàn)度分析1知識(shí)準(zhǔn)備2任務(wù)描述任務(wù)實(shí)施35.6餐飲訂單數(shù)據(jù)貢獻(xiàn)度分析【任務(wù)描述】就餐飲企業(yè)來講，應(yīng)用貢獻(xiàn)度分析可以重點(diǎn)改善某菜系盈利最高的前80%的菜品，或者重點(diǎn)發(fā)展綜合影響最高的80%的部門。這種結(jié)果可以通過帕累托圖直觀地呈現(xiàn)出來。Python數(shù)據(jù)探索【知識(shí)準(zhǔn)備】貢獻(xiàn)度分析又稱帕累托分析，它的原理是帕累托法則，又稱20/80定律。同樣的投入放在不同的地方會(huì)產(chǎn)生不同的效益。例如，對(duì)一個(gè)公司來講，80%的利潤(rùn)常常來自于20%最暢銷的產(chǎn)品，而其他80%的產(chǎn)品只產(chǎn)生了20%的利潤(rùn)。Python數(shù)據(jù)探索（1）本章我們利用前十個(gè)最熱銷的菜品進(jìn)行帕累托分析，對(duì)菜品名和價(jià)格分組聚合，同時(shí)對(duì)銷量從高到低進(jìn)行排序。代碼如下所示:【任務(wù)實(shí)施】In[17]:importnumpyas

npday_gp=

concat_data[['dishes_name','amounts']].groupby(by='dishes_name').sum()data_sort=day_gp.sort_values(by='amounts',ascending=False).iloc[:10]data_cop=data_sort[u'amounts'].copy()Python數(shù)據(jù)探索（2）繪制帕累托圖。代碼如下所示:In[18]:plt.rcParams['font.family']

=

['SimHei']

#用來顯示中文標(biāo)簽plt.rcParams['axes.unicode_minus']=Falseplt.xticks(rotation=90)data_cop.plot(kind='bar')p=1.0*data_cop.cumsum()/data_cop.sum()p.plot(secondary_y=True,style='-o')plt.annotate(format(p[6],'.4%'),xy=(6,p[6]),xytext=(6*0.9,p[6]*0.9))plt.show()(3)由上面可知，菜品芝士燴波士頓龍蝦～水煮魚共七個(gè)菜品，占菜品種類數(shù)的70%，總盈利額占該月盈利額的79.5902%。根劇帕累托法則，應(yīng)該增加對(duì)菜品芝士燴波士頓龍蝦～水煮魚的成本投入，減少對(duì)菜品百里香奶油烤紅酒牛肉～清蒸海魚的成本投入，以獲得更高的盈利額，如圖5-1所示?！救蝿?wù)實(shí)施】Python數(shù)據(jù)探索圖5-1

帕累托圖任務(wù)5.7

餐飲訂單統(tǒng)計(jì)量分析1知識(shí)準(zhǔn)備2任務(wù)描述任務(wù)實(shí)施3項(xiàng)目小結(jié)4技能訓(xùn)練55.7餐飲訂單統(tǒng)計(jì)量分析【任務(wù)描述】用統(tǒng)計(jì)指標(biāo)對(duì)定量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)描述，常從集中趨勢(shì)和離中趨勢(shì)兩個(gè)方面進(jìn)行分析。平均水平指標(biāo)是對(duì)個(gè)體集中趨勢(shì)的度量，使用最廣泛的是均值和中位數(shù)；反映變異程度的指標(biāo)則是對(duì)個(gè)體離開平均水平的度量，使用較廣泛的是標(biāo)準(zhǔn)差（方差）、四分位數(shù)間距。Python數(shù)據(jù)探索【知識(shí)準(zhǔn)備】1

集中趨勢(shì)度量（1）均值：均值是所有數(shù)據(jù)的平均值。（2）中位數(shù)：中位數(shù)是將一組觀察值從小到大按順序排序，位于中間的那個(gè)數(shù)據(jù)。即在全部數(shù)據(jù)中，小于和小于中位數(shù)的數(shù)據(jù)個(gè)數(shù)相等。（3）眾數(shù)：眾數(shù)是指數(shù)據(jù)集中出現(xiàn)最頻繁的值。眾數(shù)并不經(jīng)常用來度量定性變量的中心位置，更適合用于定性變量。眾數(shù)不具有唯一性。當(dāng)然，眾數(shù)一般用于離散型變量而非連續(xù)型變量。