Python數(shù)據(jù)分析與可視化典型項目實戰(zhàn)模塊九-天氣與空氣質(zhì)量數(shù)據(jù)分析

模塊九廣告投放效果分析Python數(shù)據(jù)分析與可視化典型項目實戰(zhàn)（微課版）【任務描述】Excel文件“advertising.xlsx”共有200行、5列數(shù)據(jù)，列名分別為Unnamed:0、TV、Radio、Newspaper、Sales（產(chǎn)品的銷量）。該數(shù)據(jù)集包含200個不同市場產(chǎn)品的銷售額，每個銷售額對應3種廣告媒體投入成本，分別是TV（電視媒體）、Radio（廣播媒體）和Newspaper（報紙媒體）的投入成本。如果我們能分析出廣告媒體投入成本與銷售額之間的關系，我們就可以更好地分配廣告開支并且使銷售額最大化。針對該數(shù)據(jù)集主要完成以下數(shù)據(jù)分析與可視化操作。（1）對廣告費用與銷售額的數(shù)據(jù)進行對比。（2）利用線性回歸建立經(jīng)典線性模型。（3）利用線性回歸建立廣告費用與銷售額模型。（4）繪制圖形展示預測數(shù)據(jù)與真實數(shù)據(jù)的變化趨勢?！救蝿諏崿F(xiàn)】在JupyterNotebook開發(fā)環(huán)境中創(chuàng)建tc09-01.ipynb，然后在單元格中編寫代碼并輸出對應的結果?！救蝿?-1】利用線性回歸建立廣告費用與銷售額模型利用線性回歸建立廣告費用與銷售額模型1．導入模塊importmatplotlibasmplmpl.rcParams['font.sans-serif']=[u'simHei']#用來顯示中文標簽mpl.rcParams['axes.unicode_minus']=False#用來顯示負號fromsklearn.model_selectionimporttrain_test_splitfromsklearn.linear_modelimportLinearRegression讀取數(shù)據(jù)與查看數(shù)據(jù)集的前5行數(shù)據(jù)讀取數(shù)據(jù)data=pd.read_excel(r'.\data\advertising.xlsx')data1=data.copy()利用線性回歸建立廣告費用與銷售額模型查看數(shù)據(jù)集的前5行數(shù)據(jù)data.head()查看數(shù)據(jù)集的維度data.shape輸出結果：(200,5)查看數(shù)據(jù)集的基本統(tǒng)計信息data.describe()查看數(shù)據(jù)集的基本信息()利用線性回歸建立廣告費用與銷售額模型3．數(shù)據(jù)預處理列重命名與重置索引data.rename(columns={'Unnamed:0':'No'},inplace=True)data.set_index('No',inplace=True)提取特征值與目標值x=data[['TV','Radio','Newspaper']]print(x.head())y=data['Sales']print(y.head())利用線性回歸建立廣告費用與銷售額模型4．繪制散點圖繪制廣告費用與銷售額對比的單一散點圖plt.figure(facecolor='w')#設置背景顏色plt.plot(data['TV'],y,'ro',label='TV')plt.plot(data['Radio'],y,'g^',label='Radio')plt.plot(data['Newspaper'],y,'mv',label='Newspaper')plt.legend(loc='lowerright')plt.xlabel(u'廣告費用',fontsize=16)plt.ylabel(u'銷售額',fontsize=16)plt.title(u'廣告費用與銷售額對比數(shù)據(jù)',fontsize=20)plt.grid(linestyle='--')繪制不同廣告渠道費用與銷售額散點圖的多張子圖掃描二維碼在線瀏覽電子活頁9-1“繪制不同廣告渠道費用與銷售額散點圖的多張子圖”中的代碼及繪制的圖形。利用線性回歸建立廣告費用與銷售額模型5．繪制每一個維度特征與銷售額的散點圖在不設置seaborn的kind參數(shù)的前提下繪制每一個維度特征與銷售額的散點圖sns.pairplot(data,x_vars=['TV','Radio','Newspaper'],y_vars='Sales',height=4,aspect=0.8)利用線性回歸建立廣告費用與銷售額模型在設置seaborn的kind參數(shù)的前提下繪制每一個維度特征與銷售額的散點圖#設置參數(shù)kind='reg'sns.pairplot(data,x_vars=['TV','Radio','Newspaper'],y_vars='Sales',height=4,aspect=0.8,kind='reg')利用線性回歸建立廣告費用與銷售額模型6．利用線性回歸建立經(jīng)典線性模型劃分自變量與因變量x=data.iloc[:,:3]y=data.iloc[:,3]劃分訓練數(shù)據(jù)集和測試數(shù)據(jù)集fromsklearn.model_selectionimporttrain_test_splitx_train,x_test,y_train,y_test=train_test_split(x,y,train_size=0.8,random_state=1)建立模型fromsklearn.linear_modelimportLinearRegressionlinreg=LinearRegression()linreg.fit(x_train,y_train)輸出結果：LinearRegression()利用線性回歸建立廣告費用與銷售額模型查看模型參數(shù)print("截距：",ercept_)#截距print("回歸系數(shù)",linreg.coef_)#回歸系數(shù)將自變量與對應系數(shù)打包#zip()函數(shù)為打包函數(shù)#計算各指標回歸系數(shù)feature=['TV','Radio','Newspaper']a=zip(feature,linreg.coef_)foriina:print(i)查看模型的可決系數(shù)R2fromsklearn.metricsimportr2_scorey_pred1=linreg.predict(x_train)r2_score(y_train,y_pred1)輸出結果：截距：2.9079470208164295回歸系數(shù)[0.04684310.178544340.00258619]輸出結果：('TV',0.04684310317699042)('Radio',0.17854434380887624)('Newspaper',0.0025861860939889944)輸出結果：0.8959372632325174利用線性回歸建立廣告費用與銷售額模型模型預測#測試數(shù)據(jù)集上的預測y_pred2=linreg.predict(x_test)#可決系數(shù)r2_score(y_test,y_pred2)繪制訓練數(shù)據(jù)集與測試數(shù)據(jù)集的對比曲線plt.plot(range(len(y_pred2)),y_pred2,color='blue',label='predict')plt.plot(range(len(y_pred2)),y_test,color='red',label='test')plt.legend(loc='upperright')plt.xlabel("銷售數(shù)量")plt.ylabel("銷售額")輸出結果：0.8927605914615385利用線性回歸建立廣告費用與銷售額模型7．利用線性回歸建立廣告費用與銷售額模型#劃分數(shù)據(jù)集x_train,x_test,y_train,y_test=train_test_split(x,y,train_size=0.8,random_state=1)#利用線性回歸建立模型linreg=LinearRegression()model=linreg.fit(x_train,y_train)print(linreg.coef_,ercept_)order=y_test.argsort(axis=0)y_test=y_test.values[order]x_test=x_test.values[order,:]y_hat=linreg.predict(x_test)mse=np.average((y_hat-np.array(y_test))**2)rmse=np.sqrt(mse)print('MSE=',mse,)print('RMSE=',rmse)print('R2=',linreg.score(x_train,y_train))print('R2=',linreg.score(x_test,y_test))輸出結果：[0.04684310.178544340.00258619]2.9079470208164295MSE=1.9918855518287881RMSE=1.4113417558581578R2=0.8959372632325174R2=0.8927605914615385利用線性回歸建立廣告費用與銷售額模型8．展示預測數(shù)據(jù)與真實數(shù)據(jù)的變化趨勢plt.figure(facecolor='w')t=np.arange(len(x_test))plt.plot(t,y_test,'r-',linewidth=2,label=u'真實數(shù)據(jù)')plt.plot(t,y_hat,'g-',linewidth=2,label=u'預測數(shù)據(jù)')plt.legend(loc='upperright')plt.title(u'線性回歸預測銷量',fontsize=18)plt.grid(b=True,linestyle='--')【任務描述】對于零售商，對商超門店的銷售額進行精準預測，尤其是量化自身所能控制的各種促銷因素產(chǎn)生的結果，是重要的數(shù)據(jù)應用。CSV文件“sales_advert.csv”共有985行、7列數(shù)據(jù)，該文件中為某零售商廣告投入與銷售收入相關數(shù)據(jù)，列名分別為：revenue（銷售收入）、reach（微信推送次數(shù)）、local_tv（本地電視廣告投入）、online（線上廣告投入）、instore（門店內(nèi)海報陳列等投入）、person（門店銷售人員投入）、event（促銷事件），促銷事件細分為cobranding（品牌聯(lián)合促銷）、holiday（節(jié)假日）、special（門店特別促銷）、non-event（無促銷活動）。針對該數(shù)據(jù)集完成以下數(shù)據(jù)分析與可視化操作。（1）分析各項投入與銷售收入之間的關系。（2）計算相關系數(shù)與繪制相關系數(shù)熱力圖?！救蝿?-2】分析廣告投入與銷售收入的關系【任務描述】（3）建立銷售收入的預測模型。（4）繪制預測值與真實值對比折線圖?！救蝿諏崿F(xiàn)】在JupyterNotebook開發(fā)環(huán)境中創(chuàng)建tc09-02.ipynb，然后在單元格中編寫代碼并輸出對應的結果?！救蝿?-2】分析廣告投入與銷售收入的關系2．導入數(shù)據(jù)分析廣告投入與銷售收入的關系1．導入模塊sns.set(style='whitegrid',palette="summer")fromwarningsimportfilterwarningsfilterwarnings('ignore')data=pd.read_csv(r".\data\sales_advert.csv")df=data分析廣告投入與銷售收入的關系3．數(shù)據(jù)預處理df.drop(axis=1,columns="Unnamed:0",inplace=True)#df.drop([data.columns[0]],axis=1,inplace=True)查看基本信息()刪除信息無效的列統(tǒng)計缺失數(shù)值df.isnull().sum()刪除缺失數(shù)值所在的行df.dropna(inplace=True)分析廣告投入與銷售收入的關系4．查看數(shù)據(jù)集的基本統(tǒng)計信息df.describe()5．繪制直方圖查看數(shù)據(jù)集中各列數(shù)據(jù)的分布情況df.hist(bins=40,figsize=(12,8))plt.show()掃描二維碼在線瀏覽電子活頁9-2“數(shù)據(jù)集中各列數(shù)據(jù)分布情況直方圖”。分析廣告投入與銷售收入的關系6．繪制數(shù)據(jù)集中各列數(shù)據(jù)的箱形圖fig=plt.figure(figsize=(14,7))sns.boxplot(data=df)plt.show()7．新增加數(shù)據(jù)列“total_cost”df["total_cost"]=df.local_tv+df.online+df.instore+df.person#df['total_cost']=df['local_tv']+df['online']+df['instore']+df['person']df.head()分析廣告投入與銷售收入的關系8．分析各項投入與銷售收入之間的關系掃描二維碼在線瀏覽電子活頁9-3“繪制總投入中各促銷事件投入所占比例的圓環(huán)圖”中的代碼及繪制的圖形。繪制各促銷事件的投入對總銷售收入的貢獻占比圓環(huán)圖。plt.figure(figsize=(8,6))size2=df.groupby("event").revenue.sum()plt.pie(size2.values,labels=size2.index,wedgeprops={'width':0.35,'edgecolor':'w'},autopct='%.2f%%',pctdistance=0.85,startangle=90)plt.show()繪制總投入中各促銷事件投入所占比例的圓環(huán)圖2021年長沙市天氣數(shù)據(jù)分析繪制散點圖分析各投入與銷售額之間的關系sns.jointplot(x="reach",y="revenue",data=df)sns.jointplot(x="person",y="revenue",data=df)sns.jointplot(x="local_tv",y="revenue",data=df)sns.jointplot(x="online",y="revenue",data=df)sns.jointplot(x="instore",y="revenue",data=df)sns.jointplot(x="total_cost",y="revenue",data=df)plt.show()掃描二維碼在線瀏覽電子活頁9-4“繪制散點圖分析各投入與銷售額之間的關系”中的代碼及繪制的圖形。分析廣告投入與銷售收入的關系9．計算相關系數(shù)print('相關系數(shù)矩陣：\n',np.round(df.corr(method='pearson'),2))輸出結果：分析廣告投入與銷售收入的關系10．繪制相關系數(shù)熱力圖sns.heatmap(df.corr())輸出結果如圖9-8所示。分析廣告投入與銷售收入的關系11．建立銷售收入的預測模型fromsklearn.linear_modelimportLinearRegressionfromsklearn.model_selectionimporttrain_test_split刪除無效的列數(shù)據(jù)x=df.drop(axis=1,columns=["event","revenue","total_cost"])#x=df.drop(['revenue','event',"total_cost"],axis=1)y=df["revenue"]導入sklearn中的線性回歸模型以及訓練數(shù)據(jù)集、測試數(shù)據(jù)集劃分函數(shù)劃分訓練數(shù)據(jù)集、測試數(shù)據(jù)集x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=2021)創(chuàng)建線性回歸模型lr_model=LinearRegression()lr_model.fit(x_train,y_train)分析廣告投入與銷售收入的關系R2=lr_model.score(x_test,y_test)R2計算回歸系數(shù)w=lr_model.coef_w計算可決系數(shù)計算截距b=lr_ercept_b依據(jù)線性回歸模型預測銷售收入y_pre=lr_model.predict(x_test)y_pre[:5]輸出結果：0.8206658950332533輸出結果：array([-2.17286257e+03,1.73825253e+00,3.28827423e+00,4.07512062e+00,2.07002294e+03])輸出結果：-50327.81848644526輸出結果：array([27991.38966242,27914.94186385,48109.81035159,35083.85372346,49891.44008046])分析廣告投入與銷售收入的關系12．繪制預測值與真實值對比折線圖fig=plt.figure(figsize=(10,6))plt.plot(np.arange(len(y_test)),y_test,color='blue',linestyle='-')plt.plot(np.arange(len(y_pre)),y_pre,color='red',linestyle='-')plt.legend(['真實值','預測值'])plt.show()【任務描述】隨著互聯(lián)網(wǎng)的飛速發(fā)展，各種網(wǎng)絡產(chǎn)品應運而生，例如電商網(wǎng)站、移動應用、視頻媒體、新媒體等，網(wǎng)絡廣告成了一種主要的廣告形式，而網(wǎng)絡廣告具有形式復雜和多樣化的特點。在大數(shù)據(jù)時代的背景下，網(wǎng)絡廣告的精準投放對廣告主、服務平臺與潛在用戶而言，在提升效率與效益方面，有更迫切的需求?！W(wǎng)絡廣告投放效果分析的數(shù)據(jù)源主要包括4個Excel文件，即包括以下4個數(shù)據(jù)集。廣告點擊的樣本數(shù)據(jù)集raw_sample.xlsx，體現(xiàn)的是用戶對不同位置廣告點擊、沒點擊的情況；廣告基本信息數(shù)據(jù)集ad_feature.xlsx，體現(xiàn)的是每個廣告的種類、品牌、價格特征；用戶基本信息數(shù)據(jù)集user_profile.xlsx，體現(xiàn)的是用戶群組、性別、年齡、消費檔次等特征；用戶行為日志數(shù)據(jù)集behavior_log.xlsx，體現(xiàn)的是用戶對商品種類、品牌的瀏覽、加入購物車、收藏、購買等信息。為達到廣告精準投放的效果，分別從3方面分析網(wǎng)絡廣告投放效果：【任務9-3】分析網(wǎng)絡廣告投放效果【任務描述】①廣告投放渠道；②廣告投放時間；③廣告投放目標人群。根據(jù)以下兩項指標衡量不同廣告投放效果：①頁面訪問占比，即以點擊率為指標衡量廣告投放效果；②以用戶行為為指標衡量廣告投放效果，找出實現(xiàn)廣告精準投放的方案?！救蝿諏崿F(xiàn)】在JupyterNotebook開發(fā)環(huán)境中創(chuàng)建tc09-03.ipynb，然后在單元格中編寫代碼并輸出對應的結果?！救蝿?-3】分析網(wǎng)絡廣告投放效果分析網(wǎng)絡廣告投放效果掃描二維碼在線瀏覽電子活頁9-5“【任務9-3】分析網(wǎng)絡廣告投放效果”的實現(xiàn)過程?！救蝿彰枋觥縆-Means算法屬于無監(jiān)督機器學習算法，通過計算樣本項之間的相似度（也稱為樣本間的距離），按照數(shù)據(jù)內(nèi)部存在的數(shù)據(jù)特征將數(shù)據(jù)集劃分為多個不同的類別，使類別內(nèi)的數(shù)據(jù)相似度比較高，類別之間的數(shù)據(jù)相似度比較低?；谧顑?yōu)的數(shù)據(jù)尺度確定K-Means算法中的K值，其基本思想為，最佳的聚類類別劃分從數(shù)據(jù)特征上看，類別內(nèi)距離最小化且類別間距離最大化，直觀的理解就是“物以類聚”：同類別的“聚集”“抱團”，不同類別的分散。輪廓系數(shù)通過枚舉每個K計算平均輪廓系數(shù)得到最佳值。CSV文件“ad_performance.csv”共有889行（889條有關廣告投放與效果的數(shù)據(jù)）、13列數(shù)據(jù)。本任務通過各類廣告渠道90天內(nèi)的日均UV、平均注冊率、平均搜索量、訪問深度、平均停留時間、訂單轉化率、投放總時間、素材類型、廣告類型、合作方式、廣告尺寸和廣告賣點等特征，將渠道分類，找出每類渠道的重點特征，為數(shù)據(jù)分析提供支持。假如公司有多個廣告投放渠道，每個渠道的客戶性質(zhì)可能不同，例如在優(yōu)酷視頻投放廣告和今日頭條投放廣告，效果可能會有差異。為了知道哪些渠道的效果較好，哪些渠道的效果較差，需要有針對性地做廣告投放效果測量和優(yōu)化工作。通過之前的數(shù)據(jù)對每一個渠道進行分析和評價，根據(jù)不同渠道的【任務9-4】基于K-Means算法的廣告投放效果聚類分析【任務描述】特征，有針對性地制定廣告投放策略，實現(xiàn)利益的最大化?；贙-Means算法對不同的廣告投放渠道的廣告投放