鳳巢學習搜索引擎架構

鳳巢搜索引擎架構IMPL-蔣松

2012-11-08概要背景知識架構介紹輔助支撐概要背景知識架構介紹輔助支撐網(wǎng)民視角PPPaidPlacementPPIMPP位置的IM廣告IMIntelligentMatch廣告主視角關鍵詞字面、匹配方式、出價創(chuàng)意標題、摘要、url單元關鍵詞共享創(chuàng)意(優(yōu)選/輪選)，M*N計劃/帳戶時段、地域、否定詞等業(yè)務規(guī)則表達賬戶推廣計劃推廣單元推廣單元關鍵詞廣告創(chuàng)意關鍵詞廣告創(chuàng)意關鍵詞推廣單元推廣計劃推廣計劃匹配模式網(wǎng)民檢索詞與廣告主拍賣詞匹配程度匹配方式檢索詞拍賣詞精確鮮花鮮花高語精確包含西二旗鮮花鮮花切詞包含運動鞋lining李寧籃球鞋自定義網(wǎng)球拍李寧(李寧)運動鞋寬泛鮮花巧克力TargetingQueryTargetingQuery拍賣機制引入廣告質(zhì)量度GSP：點擊計費&騙展現(xiàn)排序：Q*bid計費：最低保位價引入用戶體驗HC_GSP：需求滿足&排污費排序：Q*(bid-HC)計費：激勵兼容的最低保位價

一些指標指標含義備注cpm每千次檢索收入檢索端的核心kpictr點擊率與廣告相關性相輔相成acp平均點擊價格高價廣告召回pvr出廣告的檢索pv比例流量的商業(yè)屬性asn平均展現(xiàn)條數(shù)相關的門限閾值arpu戶均消費供給來源

概要背景知識架構介紹輔助支撐鳳巢整體架構檢索端整體架構實時檢索系統(tǒng)2.需求分析3.廣告觸發(fā)5.排序計費1.展現(xiàn)接入4.模型預估展現(xiàn)接入1.請求分流：選擇產(chǎn)品線災備切流量2.實驗抽樣：實驗觸發(fā)實驗參數(shù)實驗路徑流量分配3.模板渲染：生成HTML4.日志打?。悍醋鞅捉y(tǒng)計分析模型訓練需求分析–cs檢索詞：觸發(fā)的核心來源字面：同義糾錯擴展語義：主題聚類離線挖掘：二步圖候選空間：寬泛高短Query靜態(tài)結(jié)構唯一的緩存需求分析–upin用戶行為：觸發(fā)和預估中調(diào)權uflow：短期行為在線計算patternubay：長期操作離線挖掘興趣點weaver：Bigpipe=>RPC+復雜結(jié)構

強調(diào)數(shù)據(jù)及時(<1s)反饋xbox：HDFS=>RPC+KV強調(diào)數(shù)據(jù)豐富和多源統(tǒng)一入口：在線策略框架打印日志廣告觸發(fā)–imbs&nks數(shù)據(jù)和邏輯解耦合：存儲系統(tǒng)索引框架策略和業(yè)務解耦合：描述索引更新執(zhí)行業(yè)務過濾多維觸發(fā)：規(guī)則和策略在線和離線索引橋接選擇模型預估–predictorAPI，服務化數(shù)據(jù)準備填充特征提取計算預估值打印日志兼顧大小客戶：自定義默認實現(xiàn)配置驅(qū)動應用廣泛：多層剪枝多維預估廣告基礎信息平臺-adseaExtractor：穩(wěn)定高效邏輯消息隊列：高可用高擴展在線特征提取：計算框架流式處理統(tǒng)一訪問入口：built-in:adtableRPC:adrest離線挖掘框架-adex基礎服務：數(shù)據(jù)計算關系存儲策略框架：屬性關系概要背景知識架構介紹輔助支撐快速實驗體系相互隔離穩(wěn)定性高效果便于評估流量和機器浪費推左單點的折衷按模塊預分層實現(xiàn)部分流量復用流量的波動性流量的最大復用支持灰度發(fā)布大數(shù)據(jù)大詞表實驗其它面向廣告