云計算與大數(shù)據(jù)技術（微課版）-實驗指導書 實驗8-10大數(shù)據(jù)分析

實驗8-10大數(shù)據(jù)實時分析一、實驗目的掌握使用Spark和Hsql進行數(shù)據(jù)分析的方法。二、數(shù)據(jù)處理基于Spark引擎來進行數(shù)據(jù)開發(fā)，所有的應用程序都將運行在Spark集群上，這樣可以保證數(shù)據(jù)被高性能地處理,然后使用Zeppelin來快速將數(shù)據(jù)進行SQL指令交互，使用處理好的數(shù)據(jù)編寫HQL語句并進行實時分析。由于在處理大規(guī)模數(shù)據(jù)時每次都需要占用較長時間，并將計算好的數(shù)據(jù)直接保存下來，以便快速查詢數(shù)據(jù)結果，因此需要創(chuàng)建應用層表，保存的數(shù)據(jù)為某天的總訂單數(shù)。三、實訓內容步驟.總訂單筆數(shù)創(chuàng)建表創(chuàng)建保存日期對應訂單筆數(shù)的app表createtableifnotexistsapp_didi.t_order_total(date_valstringcomment,0期(年月日)',countintcomment'訂單筆數(shù)，)partitionedby(monthstringcomment'年月,yyyy-MM')rowformatdelimitedfieldsterminatedby加載表-加載數(shù)據(jù)到app表insertoverwritetableapp_didi.t_order_totalpartition(month=,2020-04,)select,2020-04-12;count(orderid)astotal_cntfromdw_didi.t_user_order_widewheredl='2020-04-12'.預約和非預約用戶占比創(chuàng)建表-創(chuàng)建保存日期對應訂單筆數(shù)的app表createtableifnotexistsapp_didi.t_order_subscribe_percent(date_valstringcomment'日期'，subscribe_namestringcomment是否預約'，percent_valstringcomment'百分比‘)partitionedby(monthstringcommenl'年月yyyy-MM')rowformatdelimitedfieldsterminatedby;加載表-加載數(shù)據(jù)到app表insertoverwritetableapp_didi.t_order_subscribe_percentpartition(month="2020-04,)select,2020-04-12',預約’，concat(round(tl.total_cnt/t2.total_cnt*100,2),,%*)assubscribefromI(selectcount(ordcrid)astotal_cntfromdw_didi.t_user_order_widewheresubscribe=1anddt=*2020-04-12,)th■selectcount(orderid)astotal_cntfromdw_didi.t_user_order_widewheredt='2020-04-12,)t2unionallselect,2020-04-12;'非預約'，concat(round(tI.total_cnt/t2.total_cnt*100,2),"%')asnosubscribefromI(selectcount(orderid)astotal_cntfromdw_didi.t_user_order_widcwheresubscribe=0anddt=*2020-04-121)tl,(selectcount(orderid)astotal_cntfromdw_didi.t_user_order_widewheredt='2020-04-121)t2;3不同時段的占比分析創(chuàng)建表-創(chuàng)建APP層表createtableifnotexistsapp_didi.t_order_timerange_total(date_valstringcomment'日期'，timcrangcstringcomment'時間段'，countintcomment'訂單數(shù)量’)partitionedby(monthstringcomment'年月,yyyy-MM')rowformatdelimitedfieldsterminatedby加載表-加載數(shù)據(jù)到app表insertoverwritetableapp_didi.t_order_timerange_totalpartition(month='2020-04')select,2020-04-12;order_time_range,count(*)asorder_cntfromdw_didi.t_user_order_widewheredt='2020-04-12'groupbyorder_time_range4不同地域訂單占比創(chuàng)建表-創(chuàng)建APP表createtableifnotexistsapp_didi.t_order_province_total(date_valstringcomment'日期provincestringcomment'省份'，countintcomment'訂單數(shù)量’)partitionedby(monthsiringcomment'年月,yyyy-MM*)rowformatdelimitedfieldsterminatedby加載表一數(shù)據(jù)力口載至IJAPP表insertoverwritetableapp_didi.t_order_province_totalpartition(month='2020-04')select,2020-04-12；province,count(*)asorder_cntfromdw_didi.t_user_ordcr_widewheredt=2020-04-121groupbyprovinceorderbyorder_cntdesc5.不同年齡段，不同時段訂單占比創(chuàng)建表createtableifnotexistsapp_didi.t_order_age_and_time_range_total(date_valstringcomment'日期'，age_rangestringcomment'年齡段，order_time_rangestringcomment'時段'，countintcomment'訂單數(shù)量’)partitionedby(monthstringcomment'年月,yyyy-MM')rowformatdelimitedfieldsterminatedby加載表-加載數(shù)據(jù)到APP表insertoverwritetableapp_didi.t_order_age_and_time_range_totalpartition(month='2020-041)select,2020-04-12',age_range,order_time_range,count(*)asorder_cntfromdw_didi.t_user_order_widewheredt=7020-04-12,groupbyage_range,order_time_range6不同職業(yè)訂單統(tǒng)計top5創(chuàng)建表createtableifnotexistsapp_didi.t_order_profession_total_topn(date_valstringcomment'日期'，professionstringcomment'職業(yè)Order_cntintcomment'訂單數(shù)量'，rkintcomment'排名，)Iparlilionedby(monthstringcommenl'年月,yyyy-MM')rowformatdelimitedfieldsterminatedby;加載表insertoverwritetableapp_didi.t_order_profession_total_topnpartition(month=*2020-04,)select*fromselect*dense_rank()over(orderbytotal_cnidesc)asrkfrom(select,2020-04-12；profession,count(orderid)astotal_cntfromdw_didi.t_user_order_widegroupbyprofession)ttwhererk<=3;7.求取消訂單百分比創(chuàng)建表-創(chuàng)建app表createtableifnotexistsapp_didi.l_order_cancel_order_percenl(date_valstringcomment'日期'，cancel_order_percentstringcomment'百分比')partitionedby(monthstringcomment'年月,yyyy-MM')rowformatdelimitedfieldsterminatedby加載表--插入數(shù)據(jù)insertoverwritetabicapp_didi.t_ordcr_canccl_ordcr_pcrccntpartition(month=12020-04,)select,2020-04-121date_valconcat(roun