【基于注意力網(wǎng)絡(luò)的點(diǎn)擊率預(yù)測(cè)模型DeepAFM模型分析4800字】

[12]所做實(shí)驗(yàn)表明，點(diǎn)擊率預(yù)測(cè)問(wèn)題中離線(xiàn)學(xué)習(xí)的AUC指標(biāo)提升0.275%就會(huì)導(dǎo)致在線(xiàn)點(diǎn)擊率指標(biāo)3.9%的提升。因而，離線(xiàn)模型每一點(diǎn)點(diǎn)的指標(biāo)提升都會(huì)給在線(xiàn)預(yù)測(cè)帶來(lái)很大的幫助。模型分析數(shù)據(jù)標(biāo)準(zhǔn)化方法對(duì)性能的影響在將數(shù)據(jù)放入模型之前需要進(jìn)行處理。對(duì)于連續(xù)的數(shù)值型特征，我們一般有min-max標(biāo)準(zhǔn)化和z-score標(biāo)準(zhǔn)化兩種辦法。本文對(duì)比分析了兩種標(biāo)準(zhǔn)化方法處理后的數(shù)據(jù)在模型中的不同效果，實(shí)驗(yàn)結(jié)果如圖3-9和3-10。觀察圖中結(jié)果，我們可以得出以下結(jié)論。對(duì)于MovieLens-1M數(shù)據(jù)集，使用min-max標(biāo)準(zhǔn)化和z-score標(biāo)準(zhǔn)化方法對(duì)模型性能影響很小。而對(duì)于Criteo數(shù)據(jù)集，z-score可以使模型表現(xiàn)更優(yōu)。由此，可以發(fā)現(xiàn)，對(duì)于當(dāng)數(shù)據(jù)量較大且數(shù)值型特征呈現(xiàn)正態(tài)分布時(shí)，z-score是更為優(yōu)秀的標(biāo)準(zhǔn)化方法。圖3-9不同標(biāo)準(zhǔn)化方法對(duì)比的AUC比較圖3-10不同標(biāo)準(zhǔn)化方法對(duì)比的Logloss比較深度神經(jīng)網(wǎng)絡(luò)層數(shù)對(duì)性能的影響一般認(rèn)為，深度神經(jīng)網(wǎng)絡(luò)層數(shù)的增加有助于模型學(xué)到特征更復(fù)雜的內(nèi)在關(guān)聯(lián)，提升模型擬合函數(shù)的能力。但過(guò)多的網(wǎng)絡(luò)層數(shù)也會(huì)過(guò)擬合的問(wèn)題，使得模型難以收斂，反而降低模型的性能。本文對(duì)比不同網(wǎng)絡(luò)層數(shù)對(duì)模型性能的影響，實(shí)驗(yàn)結(jié)果見(jiàn)圖3-11和3-12。為了突出數(shù)據(jù)的變化情況，我們使用左側(cè)的主坐標(biāo)軸表示MovieLens-1M數(shù)據(jù)集上運(yùn)行的值，右側(cè)的次坐標(biāo)軸表示Criteo數(shù)據(jù)集上運(yùn)行的值?？梢园l(fā)現(xiàn)，對(duì)于兩個(gè)數(shù)據(jù)集，深度神經(jīng)層數(shù)由1層提升為2層能夠明顯提升模型性能。但是當(dāng)層數(shù)達(dá)到4層之后會(huì)發(fā)生過(guò)擬合的現(xiàn)象，AUC下降，Logloss上升。因此，DeepAFM中深度神經(jīng)網(wǎng)絡(luò)層數(shù)設(shè)置為2或3是較為合理的選擇，圖3-11不同深度神經(jīng)網(wǎng)絡(luò)層數(shù)對(duì)比的AUC比較圖3-12不同深度神經(jīng)網(wǎng)絡(luò)層數(shù)對(duì)比的Logloss比較注意力網(wǎng)絡(luò)嵌入維度對(duì)性能的影響接著觀察不同注意力網(wǎng)絡(luò)嵌入維度對(duì)模型的影響。理論上，隨著嵌入維度的不斷提升，模型能夠更多的有效信息。這里比較了嵌入維度分別為8,16,24,32的注意力網(wǎng)絡(luò)對(duì)模型的性能變化。圖3-13和圖3-14是比較結(jié)果。同樣地，為了強(qiáng)調(diào)性能變化情況，圖中左側(cè)主坐標(biāo)軸表示MovieLens-1M數(shù)據(jù)集的運(yùn)行結(jié)果，次坐標(biāo)軸表示Criteo數(shù)據(jù)集的運(yùn)行結(jié)果。從中我們發(fā)現(xiàn)：一開(kāi)始隨著嵌入維度的提升，MovieLens-1M數(shù)據(jù)集和Criteo數(shù)據(jù)集都發(fā)生了性能的提升，模型能夠從數(shù)據(jù)中提取更多的信息。對(duì)于MovieLens-1M數(shù)據(jù)集，嵌入維度為32時(shí)發(fā)生過(guò)擬合，Criteo數(shù)據(jù)集由于數(shù)據(jù)量更大，數(shù)據(jù)更為集中，過(guò)擬合現(xiàn)象不明顯?？傮w來(lái)說(shuō)，考慮到性能和計(jì)算復(fù)雜性等因素，DeepAFM中注意力網(wǎng)絡(luò)的最