大數(shù)據(jù)平臺(tái)和在推薦廣告的應(yīng)用

大數(shù)據(jù)平臺(tái)及在推薦廣告方面應(yīng)用第1頁(yè)何為大數(shù)據(jù)第2頁(yè)大數(shù)據(jù)平臺(tái)架構(gòu)數(shù)據(jù)存放實(shí)時(shí)離線FTPHDFSMRSqoopFumeNG數(shù)據(jù)采集數(shù)據(jù)處理存放層建模KafkaZookeeperStorm/SparkstreamingHbaseMysqlRedis數(shù)據(jù)可視化GangliaSparkNagiosOzzie監(jiān)控管理調(diào)度特征工程機(jī)器學(xué)習(xí)算法庫(kù)Mahout/MLlib應(yīng)用搜索BI推薦廣告分類/回歸聚類主題預(yù)測(cè)LogServer商品庫(kù)用戶庫(kù)用戶行為非結(jié)構(gòu)化結(jié)構(gòu)化降維優(yōu)化PUSHHIVESparksql離線實(shí)時(shí)第3頁(yè)從Hadoop1.0到Y(jié)arn單點(diǎn)資源管理和調(diào)度分離資源劃分：slot到container第4頁(yè)從Hadoop到SparkInputIter.1Iter.2HadoopSpark第5頁(yè)大數(shù)據(jù)生態(tài)圈onestacktorulethemallStorm流計(jì)算Impalad(Ad-hocquery/迭代)Hive/MR(批處理)Hadoop第6頁(yè)crawler搜索引擎HBaseMQ1、writeLog2、write商品pic(insert/update/delete)3、indexLog4、finish(可靠)數(shù)據(jù)平臺(tái)數(shù)據(jù)源Sdk(插件/App/b5m)爬蟲LogserverMR/SparkYARN離線計(jì)算實(shí)時(shí)計(jì)算用戶行為數(shù)據(jù)數(shù)據(jù)平臺(tái)應(yīng)用FlumeNGStormsparksteaming推薦廣告mysql商品、訂單應(yīng)用平臺(tái)監(jiān)控第7頁(yè)平臺(tái)應(yīng)用-爬蟲數(shù)據(jù)處理平臺(tái)第8頁(yè)爬蟲數(shù)據(jù)處理平臺(tái)StormSparkStreaming第9頁(yè)推薦系統(tǒng)典故啤酒與尿布老板、首頁(yè)、性保健品第10頁(yè)推薦舉例—商品詳情第11頁(yè)推薦舉例—購(gòu)物車結(jié)算第12頁(yè)推薦舉例—首頁(yè)/支付完成頁(yè)第13頁(yè)推薦價(jià)值流量用戶粘性CTRGMV降低購(gòu)物路徑用戶體驗(yàn)多樣性新奇性流量投放給目標(biāo)用戶精準(zhǔn)轉(zhuǎn)化率CVRROI第14頁(yè)推薦(廣告、搜索)架構(gòu)候選集待推薦商品索引過(guò)離線檢索(相關(guān)性)過(guò)實(shí)體實(shí)體特征實(shí)時(shí)model訓(xùn)練過(guò)離線實(shí)時(shí)排序、過(guò)濾過(guò)推薦列表第15頁(yè)算法介紹候選集店鋪信譽(yù)更新時(shí)間人氣價(jià)格評(píng)價(jià)退貨率scoreTCL手機(jī)0.20.540.20.7聯(lián)想手機(jī)0.320.61.20.5…..相關(guān)性協(xié)同過(guò)濾

關(guān)聯(lián)推薦

分類興趣

聚類排序預(yù)估點(diǎn)擊率pCTR

邏輯回歸GBDT

第16頁(yè)推薦系統(tǒng)架構(gòu)特征-內(nèi)容用戶-特征離線Jacarrd/cosine/CF/contentBase/FPGrowth/LDA/LR/DT算法庫(kù)場(chǎng)景在線觸點(diǎn)PC無(wú)線意圖(聚焦、發(fā)散)+畫像融合過(guò)濾排序用戶行為（反饋）推薦效果驗(yàn)證A/BTestingF1RMSEAUC數(shù)據(jù)存放中心

HadoopHiveHbaseMysqlredis索引構(gòu)建內(nèi)容質(zhì)量評(píng)分model訓(xùn)練ruleUser(f1,f2,f3,…)內(nèi)容候選用戶行為應(yīng)用庫(kù)(類別、標(biāo)簽)語(yǔ)義分析關(guān)聯(lián)計(jì)算配置管理監(jiān)控候選排序相同度協(xié)同相關(guān)性第17頁(yè)用戶畫像體系基本維度性別、年紀(jì)、地域、終端、網(wǎng)絡(luò)、渠道、興趣、標(biāo)簽維度商業(yè)維度品類、品牌、、、新老用戶、頻次、購(gòu)置頻次、ARPU、購(gòu)置時(shí)間語(yǔ)義挖掘行為標(biāo)注引擎網(wǎng)絡(luò)爬蟲引擎知識(shí)庫(kù)自我學(xué)習(xí)結(jié)構(gòu)化電商數(shù)據(jù)開放智能推薦廣告經(jīng)分預(yù)測(cè)用戶畫像非結(jié)構(gòu)化短期

瀏覽、購(gòu)置、搜索、、、長(zhǎng)久數(shù)據(jù)合作第18頁(yè)廣告廣告聯(lián)盟搜索推廣廣告主業(yè)務(wù)平臺(tái)營(yíng)銷推廣定向投放檢索統(tǒng)計(jì)監(jiān)控分析計(jì)費(fèi)CPC數(shù)據(jù)存放同時(shí)相關(guān)性排序pCtr*Bid