《通信數(shù)據(jù)分析與實(shí)戰(zhàn)》課件-第九章 綜合案例-Spark 實(shí)時(shí)交易數(shù)據(jù)統(tǒng)計(jì)

通信數(shù)據(jù)分析與實(shí)戰(zhàn)綜合案例-Spark實(shí)時(shí)交易數(shù)據(jù)統(tǒng)計(jì)第九章第1節(jié)2知道系統(tǒng)案例的目的熟悉系統(tǒng)平臺(tái)的架構(gòu)學(xué)習(xí)目標(biāo)TARGET系統(tǒng)概述雙十一是每年11月11日的電商促銷(xiāo)活動(dòng)，近幾年年最終24小時(shí)總成交額為2000億以上?，F(xiàn)場(chǎng)慶典中，成交額在大屏幕中實(shí)時(shí)刷新展示，這就用到了數(shù)據(jù)可視化技術(shù)，數(shù)據(jù)可視化是借助于圖形化手段，將數(shù)據(jù)庫(kù)中的每條數(shù)據(jù)以圖像形式展示在前端頁(yè)面，清晰有效地傳達(dá)交易信息。系統(tǒng)平臺(tái)架構(gòu)設(shè)計(jì)系統(tǒng)預(yù)覽6小結(jié)知道系統(tǒng)案例的目的熟悉系統(tǒng)平臺(tái)的架構(gòu)通信數(shù)據(jù)分析與實(shí)戰(zhàn)綜合案例-Spark實(shí)時(shí)交易數(shù)據(jù)統(tǒng)計(jì)第九章第2節(jié)8掌握Redis的安裝和啟動(dòng)掌握Redis的常用操作學(xué)習(xí)目標(biāo)TARGETRedis概述Redis是使用C語(yǔ)言開(kāi)發(fā)的一個(gè)開(kāi)源的高性能鍵值對(duì)數(shù)據(jù)庫(kù)，它通過(guò)提供多種鍵值對(duì)數(shù)據(jù)類型適應(yīng)不同場(chǎng)景下的存儲(chǔ)需求，到目前為止，Redis支持鍵值對(duì)數(shù)據(jù)類型，分別是字符串?dāng)?shù)據(jù)類型（String）、哈希（Hash）、列表（List）、集合（Set）以及有序集合（Zset）五種。Redis作為內(nèi)存數(shù)據(jù)庫(kù)，性能非常出色，官方數(shù)據(jù)顯示，Redis每秒可處理超過(guò)十萬(wàn)次讀寫(xiě)操作，Redis安裝1下載Redis安裝包，redis-3.2.8.tar.gz版本。2

編譯Redis源碼，并修改redis.conf配置文件。3執(zhí)行“./redis-server./redis.conf”命令，啟動(dòng)Redis服務(wù)端，Redis安裝1下載Redis安裝包，redis-3.2.8.tar.gz版本。Redis安裝1上傳到hadoop01的/export/software解壓到/export/servers。cd/export/softwarerz

tar-zxvfredis-3.2.8.tar.gz-C/export/servers/Redis安裝2

編譯Redis源碼，并修改redis.conf配置文件。#由于Reids是C語(yǔ)言開(kāi)發(fā),所以安裝的時(shí)候需要進(jìn)行源碼編譯,編譯依賴于gcc環(huán)境

yuminstallgcc

#進(jìn)入安裝目錄cd/export/servers/redis-3.2.8/makemakePREFIX=/export/servers/redisinstallRedis安裝2

編譯Redis源碼，并修改redis.conf配置文件。

#復(fù)制redis.conf配置文件cpredis.conf/export/servers/redis/bin/

#修改配置文件cd/export/servers/redis/bin/viredis.confbind34Redis安裝3執(zhí)行“./redis-server./redis.conf”命令，啟動(dòng)Redis服務(wù)端，Redis常用操作方法名稱相關(guān)說(shuō)明hset(key，field，value)向名稱為key的hash中添加元素fieldhget(key，field)返回名稱為key的hash中field對(duì)應(yīng)的valuehincrby(key，field，integer)將名稱為key的hash中field的value增加integerhexists(key，field)名稱為key的hash中是否存在鍵為field的域hdel(key，field)刪除名稱為key的hash中鍵為field的域hlen(key)返回名稱為key的hash中元素個(gè)數(shù)17小結(jié)掌握Redis的安裝和啟動(dòng)掌握Redis的常用操作通信數(shù)據(jù)分析與實(shí)戰(zhàn)綜合案例-Spark實(shí)時(shí)交易數(shù)據(jù)統(tǒng)計(jì)第九章第3節(jié)19掌握搭建項(xiàng)目結(jié)構(gòu)學(xué)習(xí)目標(biāo)TARGET模塊開(kāi)發(fā)-構(gòu)建工程結(jié)構(gòu)1.創(chuàng)建Maven工程模塊開(kāi)發(fā)-構(gòu)建工程結(jié)構(gòu)2.項(xiàng)目資源結(jié)構(gòu)模塊開(kāi)發(fā)-構(gòu)建工程結(jié)構(gòu)3.添加相關(guān)依賴添加spark-core、scala、spark-streaming、spark-streaming與kafka整合、Kafka、Jedis、spring以及Jsp、Json數(shù)據(jù)轉(zhuǎn)換工和WebSocket的Jar文件。模塊開(kāi)發(fā)-構(gòu)建工程結(jié)構(gòu)4.添加Web.xml文件24小結(jié)掌握搭建項(xiàng)目結(jié)構(gòu)通信數(shù)據(jù)分析與實(shí)戰(zhàn)綜合案例-Spark實(shí)時(shí)交易數(shù)據(jù)統(tǒng)計(jì)第九章第4節(jié)26熟悉訂單數(shù)據(jù)掌握向Kafka發(fā)送數(shù)據(jù)學(xué)習(xí)目標(biāo)TARGET模擬訂單數(shù)據(jù)訂單數(shù)據(jù)模型通常由訂單編號(hào)、訂單時(shí)間、商品編號(hào)、商品價(jià)格等數(shù)十個(gè)字段組成。模擬訂單數(shù)據(jù)訂單的數(shù)據(jù)格式"orderId":"b030e0dfb3b04cd18c3b32beac01ab25","productId":"6",“productPrice":834}模擬訂單數(shù)據(jù)1.創(chuàng)建Kafka生產(chǎn)者對(duì)象利用KafkaAPI創(chuàng)建生產(chǎn)者對(duì)象，設(shè)置Kafka集群配置參數(shù)并調(diào)用send()方法，不斷向指定Kafka集群中發(fā)送訂單數(shù)據(jù)。2.啟動(dòng)Kafka程序$bin/kafka-server-start.shconfig/perties#啟動(dòng)Kafka服務(wù)$kafka-topics.sh--create\#創(chuàng)建Topic--topicit_order\--partitions3\--replication-factor2\--zookeeperhadoop01:2181,hadoop02:2181,hadoop03:2181$kafka-console-consumer.sh\#監(jiān)聽(tīng)數(shù)據(jù)--from-beginning--topicit_order\--bootstrap-serverhadoop01:9092,hadoop02:9092,hadoop03:9092向Kafka集群發(fā)送訂單數(shù)據(jù)模擬訂單數(shù)據(jù)向Kafka集群發(fā)送訂單數(shù)據(jù)3.運(yùn)行PaymentInfoProducer類生產(chǎn)數(shù)據(jù)模擬訂單數(shù)據(jù)向Kafka集群發(fā)送訂單數(shù)據(jù)4.Kafka消費(fèi)數(shù)據(jù)32小結(jié)熟悉訂單數(shù)據(jù)掌握向Kafka發(fā)送數(shù)據(jù)通信數(shù)據(jù)分析與實(shí)戰(zhàn)綜合案例-Spark實(shí)時(shí)交易數(shù)據(jù)統(tǒng)計(jì)第九章第5節(jié)34掌握分析訂單數(shù)據(jù)學(xué)習(xí)目標(biāo)TARGET模塊開(kāi)發(fā)-分析訂單數(shù)據(jù)針對(duì)Kafka中的實(shí)時(shí)訂單數(shù)據(jù)，采用SparkStreaming實(shí)時(shí)計(jì)算框架對(duì)訂單中不同商品的成交額統(tǒng)計(jì)分析，將分析出的數(shù)據(jù)按業(yè)務(wù)需求保存至Redis數(shù)據(jù)庫(kù)。模塊開(kāi)發(fā)-分析訂單數(shù)據(jù)1.配置Jedis操作Redis數(shù)據(jù)庫(kù)在項(xiàng)目的資源目錄創(chuàng)建perties配置文件，用于配置Redis數(shù)據(jù)庫(kù)；在scala目錄的cessdata包下創(chuàng)建RedisClient客戶端類，用于讀取配置文件中Redis參數(shù)；在cn.it.util包中，創(chuàng)建JedisUtil工具類，用來(lái)操作Redis數(shù)據(jù)庫(kù)。2.SparkStreaming處理數(shù)據(jù)在cessdata包下創(chuàng)建StreamingProcessdata類，用于SparkStreaming處理Kafka集群中的數(shù)據(jù)，并保存至Redis數(shù)據(jù)庫(kù)中。模塊開(kāi)發(fā)-分析訂單數(shù)據(jù)3.測(cè)試系統(tǒng)是否能夠正常工作運(yùn)行數(shù)據(jù)分析類StreamingProcessdata和數(shù)據(jù)生產(chǎn)類PaymentInfoProducer，通過(guò)Redis客戶端查看數(shù)據(jù)，發(fā)現(xiàn)數(shù)據(jù)已經(jīng)存至Redis中。38小結(jié)掌握分析訂單數(shù)據(jù)通信數(shù)據(jù)分析與實(shí)戰(zhàn)綜合案例-Spark實(shí)時(shí)交易數(shù)據(jù)統(tǒng)計(jì)第九章第6節(jié)40掌握搭建Web開(kāi)發(fā)環(huán)境掌握數(shù)據(jù)展示流程學(xué)習(xí)目標(biāo)TARGET模塊開(kāi)發(fā)-數(shù)據(jù)展示1在pom.xml配置文件中，添加開(kāi)發(fā)JavaWeb工程所需的Spring框架相關(guān)依賴；2在web.xml配置文件中，配置Spring監(jiān)聽(tīng)器、編碼過(guò)濾器和SpringMVC前端控制器以及指定springmvc.文件路徑；3在springmvc.xml配置文件中，配置Controller層和Service層的包掃描、注解驅(qū)動(dòng)、視圖解析器及資源映射。搭建Web開(kāi)發(fā)環(huán)境模塊開(kāi)發(fā)-數(shù)據(jù)展示1創(chuàng)建GetDataService類，用于實(shí)現(xiàn)讀取Redis數(shù)據(jù)。2創(chuàng)建UiBean類，將Redis數(shù)據(jù)庫(kù)中的數(shù)據(jù)封裝為UiBean對(duì)象，即展示頁(yè)面時(shí)所需數(shù)據(jù)字段。3創(chuàng)建IndexController類，便于三層架構(gòu)以接口的形式互相調(diào)用。4創(chuàng)建UiWeb