網(wǎng)絡(luò)廣告投放和監(jiān)測系統(tǒng)架構(gòu)剖析課件

網(wǎng)絡(luò)廣告投放和監(jiān)測系統(tǒng)架構(gòu)剖析BennettHongFor2012華東架構(gòu)師大會Nov18,2012Outline互聯(lián)網(wǎng)的商業(yè)模式網(wǎng)絡(luò)廣告的商業(yè)邏輯和形態(tài)基礎(chǔ)廣告管理系統(tǒng)架構(gòu)最基礎(chǔ)功能——素材管理和投遞最簡模型面臨的三大問題數(shù)據(jù)統(tǒng)計控制系統(tǒng)架構(gòu)計數(shù)的準(zhǔn)確性和可靠性的常見解決方案實時決策業(yè)務(wù)需求對系統(tǒng)架構(gòu)的要求廣告業(yè)務(wù)系統(tǒng)未來的發(fā)展趨勢互聯(lián)網(wǎng)的商業(yè)模式廣告各大門戶、視頻網(wǎng)站游戲盛大、巨人、暢游、完美電商幾乎還都在虧錢攜程勉強可以算電商淘寶其實是虛擬地產(chǎn)商業(yè)務(wù)需求的發(fā)展是架構(gòu)進化的源動力網(wǎng)絡(luò)廣告系統(tǒng)最簡架構(gòu)最基礎(chǔ)的硬件和系統(tǒng)配置LAMP架構(gòu)數(shù)據(jù)庫獨立服務(wù)器關(guān)鍵數(shù)據(jù)做RAID但仍舊隱藏3個大坑最簡廣告系統(tǒng)之問題——系統(tǒng)擴充負(fù)載均衡的常見方法DNS輪詢——切換慢，沒有健康檢查LVS/NginX——軟件均衡，成本低，有部分健康檢查4-7層交換機——成本很高，并發(fā)連接可到數(shù)百萬次/秒最簡廣告系統(tǒng)之問題——南北互聯(lián)南北互聯(lián)解決方法BGP——帶寬很貴智能DNS+雙線/多機房帶寬成本較低，但系統(tǒng)復(fù)雜可以自建DNS，也可以采用的智能DNS供應(yīng)商廣告主的新需求——統(tǒng)計和控制廣告主開始關(guān)心：廣告投在哪里多少人看到了廣告多少人點擊了廣告如何優(yōu)化點擊轉(zhuǎn)化效率他們有哪些屬性受眾的感受如何如何讓對的人看到廣告……不適合用于統(tǒng)計的Apache日志使用Apache等日志做統(tǒng)計的弊端日志結(jié)構(gòu)不易解析HTTP頭部參數(shù)可能缺失客戶端緩存導(dǎo)致漏記混有無效的錯誤請求日志的寫并發(fā)不好，導(dǎo)致錯記廣告監(jiān)測計數(shù)的特點統(tǒng)計系統(tǒng)的特點高并發(fā)頻繁寫原子性、非事務(wù)待解決主要問題少錯漏快入庫速統(tǒng)計數(shù)據(jù)入庫的解決方法單條日志有原子性，一致性要求不高增加緩沖層，批量延遲入庫緩沖分為內(nèi)存和文件兩種，也可以將兩種模式結(jié)合在各級之間還可以調(diào)整流量，對內(nèi)容進行校驗糾錯吞吐流速逐漸減慢

控制和定向的需求各種投放控制：總量控制、時段控制、單一用戶頻次各種定向手段：地域城市、瀏覽興趣（上下文）、搜索行為控制和定向依賴于快速統(tǒng)計統(tǒng)計需求的難點GROUPBYORDERBYCOUNTDISTINCTJOIN瓶頸：流速差和流量差硬盤-內(nèi)存數(shù)據(jù)交換內(nèi)存-CPU數(shù)據(jù)交換解決方法：RAID或引入SSD多路CPUCPUCacheNBRAMNETUSBSATAGPUSBAUDSIO數(shù)據(jù)按熱度分級熱數(shù)據(jù)放內(nèi)存，做實時決策溫數(shù)據(jù)放在分布式文件系統(tǒng)，做模型迭代冷數(shù)據(jù)高壓縮率后存儲，很少使用數(shù)據(jù)量減小熱度提高

網(wǎng)絡(luò)廣告系統(tǒng)的發(fā)展趨勢分工細化，需要跨系統(tǒng)間實時數(shù)據(jù)交換媒體資源管理系統(tǒng)、廣告資源交易所外部決策數(shù)據(jù)、競價機構(gòu)、素材托管和投遞華東架構(gòu)師大會的組委會添加信息

GTIAndVirident

世紀(jì)互聯(lián)AdMaster的創(chuàng)始人洪倍

聯(lián)想員工李鵬程

中國（上海）創(chuàng)業(yè)者公共實訓(xùn)基地2012華東架構(gòu)師大會感謝的協(xié)辦單位和捐助個人：預(yù)告信息：2013年5月18日，將于上海舉辦2013華東數(shù)據(jù)庫技術(shù)大會

人