5-何晴-廣告系統(tǒng)大規(guī)模機(jī)器學(xué)習(xí)質(zhì)量保障實(shí)踐_W

1、廣告系統(tǒng)大規(guī)模機(jī)器學(xué)習(xí)質(zhì)量保障實(shí)踐何晴個(gè)人簡(jiǎn)介何晴 百度資深測(cè)試工程師 搜索廣告業(yè)務(wù)模型質(zhì)量負(fù)責(zé)人Agenda背景簡(jiǎn)介質(zhì)量保障實(shí)踐Agenda背景簡(jiǎn)介- 推薦系統(tǒng)中的機(jī)器學(xué)習(xí)業(yè)務(wù)- 百度廣告系統(tǒng)機(jī)器學(xué)習(xí)業(yè)務(wù)特點(diǎn)質(zhì)量保障實(shí)踐Agenda背景簡(jiǎn)介- 推薦系統(tǒng)中的機(jī)器學(xué)習(xí)業(yè)務(wù)- 百度廣告系統(tǒng)機(jī)器學(xué)習(xí)業(yè)務(wù)特點(diǎn)質(zhì)量保障實(shí)踐背景推薦系統(tǒng)中的機(jī)器學(xué)習(xí)業(yè)務(wù)內(nèi)容推薦/檢索系統(tǒng)內(nèi)容提供方用戶預(yù)估目標(biāo)：相關(guān)性、點(diǎn)擊率、轉(zhuǎn)化率推薦對(duì)象：信息流、商品、廣告、樣式、title、圖片、視頻目標(biāo)：用戶、客戶、平臺(tái)三方共贏背景百度廣告系統(tǒng)模型業(yè)務(wù)特點(diǎn)起步早：首次上線引入機(jī)器學(xué)習(xí)模型預(yù)估CTR，“解釋型模型”替代“統(tǒng)計(jì)型模型”業(yè)

2、務(wù)類型多：點(diǎn)擊率、相關(guān)性、轉(zhuǎn)化率、商業(yè)價(jià)值、流量質(zhì)量 等等模型表征能力強(qiáng)：大規(guī)模LR - GBDT - 連續(xù)DNN - 離散DNN模型時(shí)效性高：Batch - Online - Realtime檢索并發(fā)量大：?jiǎn)文Ｐ皖A(yù)估 幾十w量級(jí)qps訓(xùn)練(產(chǎn)生模型)應(yīng)用(反饋模型)評(píng)估(測(cè)試模型)預(yù)估(使用模型)響應(yīng)速度要求數(shù)據(jù)形式常見架構(gòu)Online高(ms級(jí))Rpc/http請(qǐng)求Predict serverOffline低(min/hr/day級(jí))文本/pbHadoop/MPI/Spark/流式Agenda背景簡(jiǎn)介質(zhì)量保障實(shí)踐- 機(jī)器學(xué)習(xí)質(zhì)量定義- 百度廣告系統(tǒng)機(jī)器學(xué)習(xí)典型問題分析- 百度廣告系統(tǒng)機(jī)器學(xué)

3、習(xí)質(zhì)量保障建設(shè)質(zhì)量保障實(shí)踐機(jī)器學(xué)習(xí)質(zhì)量定義模型上線流程調(diào)研產(chǎn)出模型評(píng)估模型？實(shí)驗(yàn)推全質(zhì)量保障實(shí)踐機(jī)器學(xué)習(xí)質(zhì)量定義模型質(zhì)量保證目標(biāo)是什么讓模型實(shí)際應(yīng)用效果盡量接近/達(dá)到預(yù)期效果模型質(zhì)量問題指什么模型作用上線后的實(shí)際效果不符合線下調(diào)研預(yù)期新全流量評(píng)估效果新策略評(píng)估效果優(yōu)化非線上問題新全流量實(shí)際效果新策略實(shí)驗(yàn)效果解決實(shí)驗(yàn)階段問題全流量評(píng)估效果全流量評(píng)估效果全流量實(shí)際效果全流量實(shí)際效果全流量實(shí)際效果攔截線上問題新策略實(shí)驗(yàn)效果 2 實(shí)驗(yàn)“失敗” 3 實(shí)驗(yàn)“成功” 4 實(shí)驗(yàn)推全 0 全流量1 調(diào)研質(zhì)量保障實(shí)踐典型問題分析追根溯源，模型問題統(tǒng)一定義為廣義一致性問題“通”模型質(zhì)量變差性能不一致延時(shí)不一致真實(shí)應(yīng)

4、用效果和預(yù)期評(píng)估效果不一致“慢性” 數(shù)據(jù)質(zhì)量不一致模型生命周期中某些環(huán)節(jié)和調(diào)研預(yù)期存在不一致策略機(jī)制不一致“?！睓M軸：?jiǎn)栴}癥狀明顯度-“急性”：發(fā)病急劇，癥狀較重-“慢性”：漸變積累，初始癥狀不明顯縱軸：?jiǎn)栴}和挖掘方法專業(yè)度-“通”：?jiǎn)栴}和方法通用，其他業(yè)務(wù)有共性需求-“?！保?jiǎn)栴}和方法專業(yè)，考驗(yàn)對(duì)模型理解質(zhì)量保障實(shí)踐典型問題分析問題一：性能不一致“通”性能“慢性”模型質(zhì)量保證的大前提“?！薄凹毙浴?問題線下測(cè)試 + 性能監(jiān)控在線預(yù)估0.00.00.00.00.0樣本5樣本4樣本3樣本2樣本1離線評(píng)估q1 q2 q3 q4 q5樣本5樣本4樣本3樣本2樣本1質(zhì)量保障實(shí)踐典型問題分析問題二：延時(shí)

5、不一致（離線評(píng)估 vs 在線預(yù)估）“通”延時(shí)“慢性”“?！北举|(zhì)：機(jī)制不一致問題表現(xiàn)明顯，“通”性問題，易召回“慢性” 問題延時(shí)監(jiān)控時(shí)間軸訓(xùn)練數(shù)據(jù)預(yù)估數(shù)據(jù)在線預(yù)估模型預(yù)估結(jié)果時(shí)間軸訓(xùn)練數(shù)據(jù)評(píng)估數(shù)據(jù)離線評(píng)估模型評(píng)估結(jié)果質(zhì)量保障實(shí)踐典型問題分析問題三：數(shù)據(jù)質(zhì)量不一致（調(diào)研數(shù)據(jù) vs 離線訓(xùn)練數(shù)據(jù)）“通”調(diào)研階段采用完整準(zhǔn)確的歷史數(shù)據(jù)（D0），訓(xùn)練得出調(diào)研模型M0實(shí)際上線運(yùn)行過程中離線數(shù)據(jù)（D1）不斷到達(dá)，持續(xù)訓(xùn)練得出真實(shí)模型M1“慢性” 數(shù)據(jù)質(zhì)量D0M0“專”調(diào)研模型生成D1M1應(yīng)用模型生成數(shù)據(jù)丟失label錯(cuò)誤字段錯(cuò)誤“急性/慢性” 問題數(shù)據(jù)監(jiān)控+熔斷質(zhì)量保障實(shí)踐典型問題分析問題三：數(shù)據(jù)質(zhì)量不一致

6、（在線預(yù)估數(shù)據(jù) vs 離線訓(xùn)練數(shù)據(jù)）“通”“慢性” 數(shù)據(jù)質(zhì)量離線數(shù)據(jù)分布“專”空值占比A值占比B值占比在線數(shù)據(jù)分布“急性” 問題在線字段監(jiān)控+分級(jí)發(fā)布攔截空值占比A值占比B值占比空值占比A值占比B值占比質(zhì)量保障實(shí)踐典型問題分析問題四：算法/機(jī)制不一致“通”“慢性”離散權(quán)重獲取字段獲取特征抽取在線Q值在線預(yù)估策略機(jī)制“?！彪x散權(quán)重獲取字段獲取特征抽取離線Q值離線評(píng)估“慢性” 問題特征一致性測(cè)試全流程一致性測(cè)試Case1: query 字段被改寫后不一致Case4: fpga 開關(guān)配置不一致Case3: table 過濾策略不一致Case2: 特征切詞庫(kù)版本不一致質(zhì)量保障實(shí)踐質(zhì)量保障建設(shè)急性問題攔

7、截鳳巢系統(tǒng)龐大復(fù)雜，模型系統(tǒng)高頻更新迭代，我們通過預(yù)判每一次模型/數(shù)據(jù)變更的效果影響，提前遏制帶來嚴(yán)重問題的更新 數(shù)據(jù)清洗 特征抽取 模型訓(xùn)練 在線應(yīng)用 預(yù)估機(jī)制：模型變更/上線分級(jí)檢查作用：攔截異常模型變更生效流程機(jī)制：詞表/上線分級(jí)發(fā)布檢查作用：攔截上游數(shù)據(jù)生效過程機(jī)制：評(píng)估指標(biāo)熔斷作用：評(píng)估指標(biāo)異常模型不下發(fā)預(yù)估加載機(jī)制：Label熔斷作用：異常后驗(yàn)數(shù)據(jù)不下放訓(xùn)練質(zhì)量保障實(shí)踐質(zhì)量保障建設(shè)慢性問題召回（線上異常）線上：模型線上問題表現(xiàn)多樣，需要通過全方位監(jiān)控捕捉正在發(fā)生的線上問題，避免問題長(zhǎng)時(shí)間存在或者惡化監(jiān)控平臺(tái)計(jì)算指標(biāo)推送實(shí)時(shí)指標(biāo)采集預(yù)估均值監(jiān)控字段覆蓋監(jiān)控后驗(yàn)效果監(jiān)控延時(shí)監(jiān)控性能監(jiān)控

8、質(zhì)量保障實(shí)踐質(zhì)量保障建設(shè)慢性問題召回（實(shí)驗(yàn)異常）字段獲取特征抽取離散權(quán)重獲取在線Q值在線預(yù)估？離散權(quán)重獲取字段獲取特征抽取離線Q值離線評(píng)估方案一：特征一致性檢查字段獲取特征抽取離散權(quán)重獲取在線Q值在線預(yù)估離散權(quán)重獲取字段獲取特征抽取離線Q值離線評(píng)估19年H1, 特征一致性測(cè)試召回問題90+，修復(fù)10+，收益CTR2 12%, CVR 3% 質(zhì)量保障實(shí)踐質(zhì)量保障建設(shè)慢性問題召回（實(shí)驗(yàn)異常）方案二：全流程一致性檢查離散權(quán)重獲取字段獲取特征抽取在線Q值在線預(yù)估作用：離散權(quán)重獲取- 問題定位- 優(yōu)化方向指導(dǎo)字段獲取特征抽取離線評(píng)估離線Q值特征diff問題Debug Q1離散權(quán)重diff問題Debug

9、Q2計(jì)算diff問題離散權(quán)重獲取特征抽取特征替換18-19年召回問題 12例發(fā)起新優(yōu)化實(shí)驗(yàn)1例AUC 1%, cpm 2.7%離散權(quán)重獲取離散權(quán)重替換離散權(quán)重獲取字段獲取特征抽取在線Q值在線預(yù)估質(zhì)量保障實(shí)踐質(zhì)量保障建設(shè)慢性問題召回（實(shí)驗(yàn)異常）方案二：全流程一致性檢查ori_off_q分布和ins_on_q分布趨勢(shì)基本一致xbox_on_q分布趨勢(shì)和ins_on_q比差別較大Ori_on_q分布趨勢(shì)和xbox_on_q比差別較小ins_on_q到ori_off_q誤差最小xbox_on_q到ins_on_q誤差最大大結(jié)論【xbox階段不一致問題大】離散特征權(quán)重獲取階段不一致問題影響較大質(zhì)量保障實(shí)踐質(zhì)量保障建設(shè)模型業(yè)務(wù)搜索、聯(lián)盟、原生轉(zhuǎn)化率模型點(diǎn)擊率模型相關(guān)性模型偶發(fā)型分析測(cè)試需求例行化效果監(jiān)控需求延遲監(jiān)控需求一致性測(cè)試需求實(shí)時(shí)監(jiān)控需求需求畫像業(yè)