互聯(lián)網(wǎng)廣告投放引擎架構(gòu)設(shè)計(jì)

1、互聯(lián)網(wǎng)廣告投放引擎架構(gòu)設(shè)計(jì)廣告業(yè)務(wù)簡(jiǎn)介廣告系統(tǒng)架構(gòu)廣告引擎優(yōu)化實(shí)踐廣告鏈路優(yōu)化引擎性能優(yōu)化用戶(hù)體驗(yàn)優(yōu)化廣告業(yè)務(wù)簡(jiǎn)介投放媒體：優(yōu)酷、土豆、阿里數(shù)娛、閑魚(yú)、蝦米、UC廣告類(lèi)型：前貼、中插、后貼、暫停、角標(biāo)、開(kāi)屏、信息流、播放頁(yè)banner、常規(guī)頁(yè)面等數(shù)十種廣告類(lèi)型，以貼片廣告為主。業(yè)務(wù)規(guī)模：日曝光量數(shù)十億。收入構(gòu)成：以品牌廣告為主，效果廣告為輔。廣告業(yè)務(wù)特點(diǎn)售賣(mài)方式：CPM、CPC、CPD，等，以CPM為主定向方式：用戶(hù)（地區(qū)、人群標(biāo)簽等），內(nèi)容（視頻組、視頻時(shí)長(zhǎng)、頻 道、關(guān)鍵字、清晰度等）、客戶(hù)端（設(shè)備類(lèi)型、操作系統(tǒng)、客戶(hù)端類(lèi)型、 版本號(hào)等），共數(shù)十種定向方式頻控方式：整周期N次頻控、每M天（小

2、時(shí)）N次頻控、多屏打通頻控其它特點(diǎn)：廣告時(shí)長(zhǎng)、個(gè)數(shù)限制廣告系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)說(shuō)明：uSSP ：優(yōu)酷SSP（ Sell-Side Platform，供應(yīng)方平臺(tái)）uADX：優(yōu)酷Ad ExchangeuATM：優(yōu)酷品牌廣告引擎uSmartVideo：優(yōu)酷效果廣告引擎（InnerDSP）uOutterDSPs：對(duì)接優(yōu)酷ADX的外部DSPuClient：客戶(hù)端，直接發(fā)送廣告請(qǐng)求或通過(guò)其后臺(tái)服 務(wù)間接發(fā)送廣告請(qǐng)求uCDN： 內(nèi)容分發(fā)網(wǎng)絡(luò)，視頻正片和廣告素材的存儲(chǔ) 服務(wù)SSPADXATMSmartVideoOutter DSPs47ClientCDN185656AdPlatform23109ATM系統(tǒng)架構(gòu)Co

3、unterDispatcherStoreCacherSynerATMDBATMLOGDBUserCacheAdSearcherAdCacheAdServerCenter廣告引擎優(yōu)化實(shí)踐 視頻廣告常見(jiàn)問(wèn)題問(wèn)題描述：廣告加載太慢，播放窗口小圓圈一直轉(zhuǎn) 優(yōu)化思路：u 修條新路 - 廣告鏈路優(yōu)化u 老路提速 - 引擎性能優(yōu)化廣告鏈路優(yōu)化- 廣告加載流程分析問(wèn)題診斷：u 廣告加載分兩階段：一、向廣 告系統(tǒng)請(qǐng)求廣告代碼，二、根 據(jù)代碼中的URL從CDN加載廣 告素材u 加載廣告素材加載耗時(shí)過(guò)長(zhǎng)， 導(dǎo)致用戶(hù)跳出或跳轉(zhuǎn)播放頁(yè)比 例高ClientSSPCDN1234廣告鏈路優(yōu)化 廣告緩存推薦原理基本原理：uuu

4、通過(guò)緩存推薦服務(wù)ADP提前下載廣告素材到本地將用戶(hù)在線(xiàn)觀(guān)看過(guò)的廣告素材也緩存到本地播廣告時(shí)先查本地緩存，未命中時(shí)才從CDN加載優(yōu)化前后鏈路對(duì)比：uuuu無(wú)緩存推薦：1-2-5-6緩存推薦命中：1-2-3-4緩存推薦未命中：1-2-3-4-5-6新增一條獨(dú)立的緩存推薦鏈路：1-2-3-4SSPCDN12563ADP124LocalCacheAPP43Client廣告鏈路優(yōu)化 ADP的緩存推薦接口ClientADPip : 202.109.13.121,os_type : Android, cached_ad: 101,103,105,.to_download_ad:123,246, to_del

5、ete_ad:101,105,.廣告鏈路優(yōu)化 - 緩存推薦相關(guān)規(guī)則廣告推薦模式：基于定向條件粗篩+算法預(yù)判模式廣告推薦時(shí)機(jī)：APP啟動(dòng)完成后本地緩存大小：考慮機(jī)器硬件差異廣告緩存推薦 - 廣告加載速度的提升效果如下圖：每條曲線(xiàn)對(duì)應(yīng)一個(gè)APP版本在某個(gè)時(shí)間范圍內(nèi)（x軸）完成廣告素材加載的比例（y軸），左圖為 iPhoneApp端，右圖為AndroidApp端。iOS端1秒內(nèi)完成廣告加載的比例提升約35倍。廣告緩存推薦 貼片曝光率提升效果優(yōu)化效果：iOS端，優(yōu)化后的版本（V5.5.1和V5.5.2）比優(yōu)化前的版本（V5.5）曝光 率提升明顯，其中V5.5.2比V5.5提升約3.75% 。廣告緩存推

6、薦 踩過(guò)的“坑”Q：Android使用了緩存推薦，為嘛有時(shí)廣告的損耗反而增加了？A：原因：Android端文件下載失敗幾率相對(duì)iOS高，客戶(hù)端嘗試播放錯(cuò) 誤的緩存文件會(huì)增大損耗比例。解決辦法：下載完后添加文件完整性校 驗(yàn)功能。廣告鏈路優(yōu)化 - 廣告異步加載問(wèn)題描述：某些APP上開(kāi)屏廣告加載的耗時(shí)過(guò)長(zhǎng) 優(yōu)化思路：改變“出行”模式 使用異步加載模式，顛倒廣告請(qǐng)求和展現(xiàn) 的順序，先展現(xiàn)本地緩存的廣告，再請(qǐng)求廣告和下載廣告素材廣告鏈路優(yōu)化 - 廣告異步加載流程廣告加載鏈路（紅色）：u 廣告展現(xiàn)：1-2u 異步請(qǐng)求：3-4-5-6獨(dú)立的廣告緩存推薦鏈路（綠 色）:1-2-3-4SSPCDN34651AD

7、P1234LocalCacheAPP2Client廣告異步加載 遇到的“坑”及解決辦法Q：如何避免廣告投放初期緩存命中率低導(dǎo) 致曝光量過(guò)低A：提前設(shè)置廣告排期，提前返回N（常數(shù)） 天后投放的廣告，供客戶(hù)端提前緩存，同時(shí) 再結(jié)合緩存推薦機(jī)制，增大預(yù)緩存比例。Q：如何將已緩存到客戶(hù)端的廣告素材的及 時(shí)下線(xiàn)A：基于推送服務(wù)實(shí)時(shí)通知或提高緩存推薦 接口的調(diào)用頻率Q：如何解決CPM售賣(mài)時(shí)的超量 投放問(wèn)題A：提前分配每日預(yù)緩存比例， 要為投放當(dāng)天預(yù)留適當(dāng)比例，投放當(dāng)天再做實(shí)時(shí)精準(zhǔn)控量，且前后兩次重復(fù)推送時(shí)，需將剩余量 計(jì)數(shù)器中扣掉的量加回來(lái)引擎性能優(yōu)化 優(yōu)化前廣告檢索服務(wù)各模塊耗時(shí)x軸：時(shí)間（單位：分鐘）

8、，y軸：廣告接口RT（單位：ms），每條曲線(xiàn)為一個(gè)處理模塊的耗時(shí)曲線(xiàn)引擎性能優(yōu)化 異步寫(xiě)優(yōu)化優(yōu)化思路：u異步埋點(diǎn)（buryingNode）u異步寫(xiě)cookie(writeLunboCookie)u異步寫(xiě)日志（writeLog）優(yōu)化效果：廣告請(qǐng)求接口內(nèi)部耗時(shí)相比優(yōu)化前降低 23.8%ProcessNode1ProcessNode2ProcessNodenEndburyingNode1buryingNode2writeLunboCookiewriteLog.StartBuryingNodenAdSearcher threadAsynchronous threads.引擎性能優(yōu)化 - 延遲讀優(yōu)化優(yōu)化

9、思路：對(duì)性能影響較大，且不 是每次請(qǐng)求都需要的屬 性，可以延遲到需要使 用時(shí)再讀（右圖示例：Redis中的人群標(biāo)簽等）優(yōu)化效果：廣告請(qǐng)求接口內(nèi)部耗時(shí) 相比優(yōu)化前降低12.3%從請(qǐng)求頭中獲取請(qǐng)求參數(shù)從Redis中獲取用戶(hù)標(biāo)簽返回廣告代碼End開(kāi)始根據(jù)請(qǐng)求參數(shù)和用戶(hù)標(biāo)簽篩選 出廣告列表從請(qǐng)求頭中獲取請(qǐng)求參數(shù)從Redis中獲取用戶(hù)標(biāo)簽根據(jù)用戶(hù)標(biāo)簽進(jìn)一步篩選廣告列表返回廣告代碼Y開(kāi)始根據(jù)請(qǐng)求參數(shù)篩選出廣告列表存在人群定向廣告EndN引擎性能優(yōu)化 - 索引結(jié)構(gòu)優(yōu)化優(yōu)化思路：樹(shù)形索引結(jié)構(gòu)改為倒排索 優(yōu)化效果：u索引創(chuàng)建耗時(shí)降低到之前 的1%u廣告檢索耗時(shí)降低到之前 的15%以?xún)?nèi)u索引數(shù)據(jù)占用內(nèi)存大小降 低

10、到之前1%以?xún)?nèi)K21K22K23K26K27K24K25A2,A5A1,A2,A3A1,A4,A5K11K12A7A4,A5,A6A7,A8,A9K1NA3,A8,A9A0A1A2A3A4A5A6A7A8A9110111100011001101101001011101K3K3K3Key引擎性能優(yōu)化 階段性?xún)?yōu)化實(shí)踐效果注：X軸：時(shí)間軸，y軸：ATM廣告接口99%分位的RT(單位：ms)用戶(hù)體驗(yàn)優(yōu)化問(wèn)題描述：u 用戶(hù)吐槽：廣告太長(zhǎng)、太多u 客戶(hù)要求：廣告投放量有明確要求， 不允許少投。優(yōu)化目標(biāo)：在不減少?gòu)V告絕對(duì)投放量的前提下， 讓用戶(hù)“少看”廣告，提升用戶(hù)體驗(yàn)。用戶(hù)體驗(yàn)優(yōu)化 廣告時(shí)長(zhǎng)和個(gè)數(shù)控制簡(jiǎn)單

11、粗暴的控制方法：建立“視頻時(shí)長(zhǎng)（分鐘） 最大廣告 時(shí)長(zhǎng)（秒） 最大廣告?zhèn)€數(shù)”間的映射關(guān) 系，根據(jù)映射關(guān)系控制廣告時(shí)長(zhǎng)和個(gè)數(shù)。映射原則：u 長(zhǎng)視頻長(zhǎng)廣告u 短視頻短廣告u 超短視頻無(wú)廣告中國(guó) + 移動(dòng)APP中國(guó)大陸 + PC。視頻時(shí)長(zhǎng)最大廣告時(shí)長(zhǎng)最大廣告?zhèn)€數(shù)1,5)1615,10)32210,30)4831,3)1613,10)32210,20)483。視頻資源30,+)64420,+)644視頻時(shí)長(zhǎng)最大廣告時(shí)長(zhǎng)最大廣告?zhèn)€數(shù)視頻時(shí)長(zhǎng)最大廣告時(shí)長(zhǎng)最大廣告?zhèn)€數(shù)注：下圖僅為示例，非真實(shí)線(xiàn)上規(guī)則用戶(hù)體驗(yàn)優(yōu)化 時(shí)長(zhǎng)與個(gè)數(shù)控制效果優(yōu)化效果：杜絕了網(wǎng)友經(jīng)常吐槽的“一 個(gè)才X分鐘的短視頻上竟然出了Y秒鐘的長(zhǎng)的廣

12、告”的現(xiàn)象。遺留問(wèn)題：前一個(gè)貼位容量未充分使用，便開(kāi)始大量使用后個(gè)一貼位的容量，導(dǎo)致出現(xiàn)多貼廣告比例 過(guò)高。78/13072/12060/100第前90/150第前 第三前 第四前 示例：假設(shè)廣告容量為1000CPM，預(yù)定曝光量 為600CPM時(shí)，各貼容量的使用量（藍(lán)色）如下用戶(hù)體驗(yàn)優(yōu)化 廣告貼位前移方法：u 以小時(shí)為單位，按流量曲線(xiàn)分配 任務(wù)，小時(shí)內(nèi)每分鐘平均分配。u 新任務(wù)分配給第一帖，上一分鐘 未完成的任務(wù)分配給第二貼， 上（N-1）分鐘未完成的任務(wù)分 配給第N貼。u N分鐘前未完成的任務(wù)，留待剩 余的小時(shí)分配。Task(t+2)Task(t+1)Task(t)AdSearcherAdS

13、erverTask(t+3)Distributed Cache2 找第一前帖 32 找第二前帖3找第三前帖2314用戶(hù)體驗(yàn)優(yōu)化 廣告貼位前移效果優(yōu)化效果：u 靠前的貼位使用率顯 著增長(zhǎng)著降低u 用戶(hù)看到多貼廣告的 比例顯著降低72/12060/1000/1005020/120第三貼第四貼第一貼90/150第一貼150/1u 靠后的貼位使用率顯第二貼78/130第二貼130/130第三貼第四貼優(yōu)化前各貼位使用率優(yōu)化后各貼位使用率示例：假設(shè)廣告容量為1000CPM，預(yù)定曝光量為600CPM時(shí)，各貼容量的使用量（藍(lán)色）如下用戶(hù)體驗(yàn)優(yōu)化 貼位前移方法遺留的問(wèn)題長(zhǎng)視頻容量未充分利用時(shí)，便開(kāi)始使用短視頻容

14、量。300/500180/30072/12048/8030,+)10,30)5,10)1,5)用戶(hù)體驗(yàn)優(yōu)化 資源分級(jí)優(yōu)化目標(biāo)：u 將廣告盡可能向長(zhǎng)視頻和靠前的貼位傾斜u 能根據(jù)廣告投放任務(wù)的緊張程度自動(dòng)擴(kuò)大或縮小使用的資源范圍 方法：u 視頻資源分級(jí)（level）u 為廣告設(shè)置資源使用范圍(range)u 新增adRangeFilter處理模塊，動(dòng)態(tài)調(diào)節(jié)廣告的資源使用范圍。用戶(hù)體驗(yàn)優(yōu)化 視頻資源分級(jí)資源級(jí)別視頻時(shí)長(zhǎng)廣告位130,+)第一前貼210,30)第一前貼35,10)第一前貼430,+)第二前貼530,+)第三前貼610,30)第二前貼730,+)第四前貼85,10)第二前貼910,30

15、)第三前貼101,5)第一前貼分級(jí)原則：u根據(jù)用戶(hù)的廣告容忍度高低對(duì)視頻資 源分級(jí)，容忍度越高，級(jí)別越小。u視頻越長(zhǎng)，級(jí)別越小u貼位越靠前,級(jí)別越小注：右圖為10級(jí)分級(jí)表示例（僅用于原 理解釋?zhuān)蔷€(xiàn)上真實(shí)情況）用戶(hù)體驗(yàn)優(yōu)化 資源分級(jí)優(yōu)化原理resLevel=getResLevel(vLen,adPos)adRange = getAdRange(aid)reduceDeliverCount(aid)adRange = resLevelEndStartAdRangeTaskDCTaskResourceLevelTaskresLevel123.aidadRangeA11A210A38.aiddcA1

16、100A2250A3300.adRangeFilterresourceLevel vLenadPos30,+)P110,30)P25,10)P3.TimedTaskYremove(aid)NrangeMapdcMapadRangeFilter： 實(shí)時(shí)控制廣 告的資源使用范圍ResourceLevelTask：定時(shí) 同步資源級(jí)別AdRangeTask：定時(shí)調(diào)整廣 告range值DCTask：定時(shí)分配新廣告投 放任務(wù)用戶(hù)體驗(yàn)優(yōu)化- 資源分級(jí)優(yōu)化rangeMap更新規(guī)則：u 若前N（指定常數(shù)）個(gè)連續(xù)周期的任 務(wù)未完成，則range+u 若前N個(gè)連續(xù)周期的任務(wù)均完成，則 rangeu 1 = rang

17、e =MAX_RANGE(指定 常數(shù))A2:0A3:0A4: 900A1 : 3A2 : 3A3 : 1A4 : 10rangeMapA1: 350A1:160A2:0A3:0A4:906A1 : 4A2 : 2A3 : 1A4 : 10rangeMapA1:15A2:0A3:0A4:897A1:5A2:1A3:1A4:10rangeMap示例：當(dāng)N=1，MAX_RANGE=10時(shí) t0t0+ Tt0+ 2T dcMapdcMapdcMap資源分級(jí)優(yōu)化 效果優(yōu)化效果：實(shí)現(xiàn)了廣告向長(zhǎng)視頻和靠前的 貼位資源傾斜的目標(biāo)效果示例：如右圖（仍舊以從1000CPM中 分出600CPM使用量為例）資源級(jí)別視頻時(shí)長(zhǎng)廣告位容量使用率趨勢(shì)130,+) 1.00+0.4210,30) 1.00+0.435,10) 1.00+0.4430,+) 1.00+0.4530,+) 1.00+0.4610,30) 0.1-0.5730,+) 0-0.685,10) 0-0.6910,30) 0-0.6101,5) 0-0.6資源使用優(yōu)化 優(yōu)化效果