2024大規(guī)模機器學習與 AutoML 技術(shù)

大規(guī)模機器學習與AutoML技術(shù)Prob(click=yes|ad,我們可以通過4個過程描述：（1）特征生成，首先需要記錄影響廣告的每個因素，把廣告是將前面兩個過程中函數(shù)關(guān)系學習出來，即AI建模，通常從歷史數(shù)據(jù)學習模型參數(shù)，挖掘如下圖所示，在大量訓練數(shù)據(jù)展現(xiàn)日志信息中，“檢索集合”表示用戶query的結(jié)果，其0表示未點擊的廣告，1表示點擊的廣告。經(jīng)過模型訓練擬合數(shù)據(jù)，得到預估模型以“鮮花”搜索為例，進一步說明。當用戶搜索“鮮花”時，根據(jù)用戶cookie或歷史搜索100001000用戶、100廣告，采用ID進行標號，查詢(q)：1、2、…、10000，用戶(u)：1、2、…、進行交叉組合，如下圖所示，q*u查詢和用戶特征組合10000×1000。對特征進行降維。如下圖所示多種降維方法，第一種是離散到離散：Hashing2，第sigmoidxf(x)指一個場景里面如何把向量映射到實數(shù)R，通常根據(jù)f(x)形式分為淺層和深層網(wǎng)絡(luò)，在做廣告預估的時候，可以模型訓練，我們把整個假設(shè)做好以后，接下來就是訓練模型。模型訓練數(shù)據(jù)如(x1,y1),…,(xn,yn)，其中x為特征向量，y{-1,+1},-1為未檢點，+1為檢點。廣告場景為千求解如下優(yōu)化問題，最終求解w。告場景中特征維度上億，運算量特別大，所以較多地使用1st階梯度近似Hessian矩陣，典型的算法是LBFGS算法，用好多個1階梯度逼近。其他的方法如每次只使用單維特征梯在實際場景中，除了算法設(shè)計外，還有分布式計算框架設(shè)計，設(shè)計思路是模型很大時，需&uiasUFS、PFSAFS家，為了降低門檻，采用AutoML建模(第四代)，如下圖所示。都可能影響模型效果，整個建模過程就是這些環(huán)節(jié)反復調(diào)整，直到得到模型。AutoML借AutoMLAutoMLICML、ECMLPKDD、NIPSLearningworkshopAutoML20175AutoML算法。如下圖所示，AutoML問題定義，通俗地來說，假設(shè)有這么一個過程：我看參數(shù)效果好壞。我們希望整個過程能夠自動化，這就是AutoML。從下圖的簡化目標函AutoML技術(shù)挑戰(zhàn)包括超參結(jié)構(gòu)復雜、目標函數(shù)不可導、評估代價巨大。AutoML過程中器學習中如果可導，采用簡單的隨機梯度下降方法就能解決；AutoMLAIAI，每一是基于搜索的方法，二是利用AI訓練AI方法。搜索算法。下圖分別說明，針對二維變量(9個參數(shù)，2個維度)可以采用格搜索方法，AB下圖所示，三種顏色代表三種算法，1—5以后根據(jù)學習曲線，可能還不能區(qū)分，但迭代到3次時會出現(xiàn)差異，繼續(xù)觀察算法1和算與效果的模型，基于模型，平衡Exploitationvsexploration選擇下一步試探的點，在選定參數(shù)下訓練模型，迭代1-3直到滿意的點選出。2^2^10次模型來尋找最優(yōu)解，需要很長的時間才能找到最優(yōu)解。那么應(yīng)該如違約