信息流推薦算法綜述

1、搜狗信息流推薦算法綜述提綱Content推薦系統(tǒng)架構(gòu)1文章NLP2召回算法3個(gè)性化排序4推薦系統(tǒng)架構(gòu)NLP文章數(shù)據(jù)源CB召回CF召回其他召回個(gè)性化排序推薦數(shù)據(jù)展現(xiàn)處理用戶畫像提綱Content推薦系統(tǒng)架構(gòu)1文章NLP2召回算法3個(gè)性化排序4文章NLP分類娛樂體育財(cái)經(jīng)港臺 明星綜藝NBA足球股票關(guān)鍵詞火箭隊(duì)標(biāo)簽喬丹世界杯英超劉德華周杰倫跑男吐槽 大會順鑫 控股美股房產(chǎn)兩限房二手房聚焦主要領(lǐng)域?yàn)橛脩籼峁┬畔?dǎo)航描述比較精確，但又屬于 抽象概念的語義領(lǐng)域內(nèi)熱點(diǎn)人物、機(jī)構(gòu)、作品、產(chǎn)品等實(shí)體內(nèi)容文章NLP分類領(lǐng)域劃分內(nèi)容體系模型訓(xùn)練內(nèi)容覆蓋盡量全面有一定用戶受眾，同時(shí)有一定文章量娛樂, 情感, 軍事,

2、體育, 健康, 美食, 汽車, 星座, 游戲, 時(shí)尚, 財(cái)經(jīng), FastText文本分類模型分類模型融合樸素貝葉斯 TopN keywords單模型準(zhǔn)確率約93%多個(gè)模型融合準(zhǔn)確率達(dá)到96%分類分類標(biāo)簽娛樂電視劇，明星八卦，真人秀，港臺娛樂，綜藝，韓娛軍事武器，海軍，陸軍，空軍，中東局勢，環(huán)球軍事，中國軍情健康疾病，保健品，男性健康，女性健康，養(yǎng)生，營養(yǎng)學(xué)，食療，中醫(yī)，中藥，飲食健康科技手機(jī)、軟件、人工智能、移動互聯(lián)網(wǎng)、通信、移動支付、穿戴設(shè)備、網(wǎng)絡(luò)安全、大數(shù)據(jù)教育家庭教育，留學(xué)，小學(xué)，資格考試，研究生，中考，大學(xué)，幼兒園，高考模型訓(xùn)練內(nèi)容體系領(lǐng)域劃分描述比較精確，同時(shí)又屬于抽象概念的語義Te

3、xtCNN文本分類模型標(biāo)簽full connectfull connectyt1t2tnMaxPoolingReLUBNConv1d(1)ReLUBNConv1d(1)MaxPoolingReLUBNConv1d(2)ReLUBNConv1d(2)MaxPoolingReLUBNConv1d(3)ReLUBNConv1d(3)MaxPoolingReLUBNConv1d(4)ReLUBNConv1d(4)c1 c2cmtitle_conv(1)title_conv(2)Content_conv(1)標(biāo)簽對標(biāo)題和正文分別進(jìn)行卷積計(jì)算使用兩層卷積使用BatchNorm使用兩層全連接完成分類計(jì)算Te

4、xtCNN數(shù)據(jù)標(biāo) 簽數(shù)據(jù)增強(qiáng)：單篇文章拆分多個(gè)樣本多段文本預(yù)測結(jié)果擬合132領(lǐng)域劃分內(nèi)容體系模型各分類中的熱點(diǎn)人物、機(jī)構(gòu)、作品、產(chǎn)品等實(shí)體內(nèi)容周杰倫, 搜狗, 吐槽大會, OPPO, 奧巴馬, 印度, 皇家 馬德里, 灌籃高手,相似度模型：Tf-idf、lda、word2vec概率模型： Skip-Gram + 層次Softmax關(guān)鍵詞問題定義對于文本S，條件概率 ,表示通過能夠猜測出文本大意的可能性 值越高，則w更加適合最為這段文本的關(guān)鍵 詞使用樸素貝葉斯假設(shè)， = 1, 2, , =1 (|)對(|)建模選取模型：Skip-Gram + 層次Softmax詞向量訓(xùn)練方法，預(yù)測概率 (|)算

5、法優(yōu)勢基于 較高者為關(guān)鍵詞的定義，邏輯上清晰嚴(yán) 謹(jǐn)訓(xùn)練速度快提取準(zhǔn)確率89%w1w2wnEmbeddingHierarchical SoftmaxFull connect( = | = )關(guān)鍵詞提綱Content推薦系統(tǒng)架構(gòu)1文章NLP2召回算法3個(gè)性化排序4召回算法基于內(nèi)容（CB）召回其他召回顯式分類，標(biāo)簽，關(guān) 鍵詞，隱式分類協(xié)同過濾（CF） 召回Item-basedLFMNCF地域、人口屬性、搜索 歷史、訂閱內(nèi)容庫內(nèi)容庫推薦模型召回策略召回策略基于內(nèi)容（CB）召回用戶興趣根據(jù)興趣拉取 相應(yīng)文章并 rank，獲取top 結(jié)果離線更新倒 排索引軍事手機(jī)電影 賈冰軍事手機(jī) 電影賈冰0.50.40

6、.10.1基于內(nèi)容（CB）召回基于規(guī)則排序AB_= _ _ _基于模型排序?qū)栴}簡化為預(yù)測ctr，結(jié)合相關(guān)性問題抽象排序的主要目標(biāo)優(yōu)質(zhì)文章指標(biāo)上表現(xiàn)為閱讀多，ctr高，閱讀時(shí)間長時(shí)效性文章生成時(shí)間距現(xiàn)在較近相關(guān)度高召回原因是文章的主要特征基于內(nèi)容（CB）召回文章基本特征相關(guān)特征熱度特征文章樣式：視頻？圖文？單圖？多圖？Title：長度？包含關(guān)鍵詞？特殊標(biāo)點(diǎn)符號？ 內(nèi)容：topic，tag，keyword賬號：等級，來源，地域 入庫時(shí)間召回詞的位置召回詞的向量化與其他關(guān)鍵詞的夾角文章熱度：展現(xiàn)，點(diǎn)擊，分享，收藏，不喜歡文章-召回詞熱度賬號熱度Item-basedU1U2U3UNDoc1DocNQ

7、ueryLocation協(xié)同過濾（CF）召回DocX查詢_迪麗熱巴Location_杭州協(xié)同過濾（CF）召回rui = =1= ,Q隱語義模型（LFM）model-based協(xié)同過濾通過降維的方法將評分矩陣補(bǔ)全核心思想是通過隱含特征聯(lián)系用戶和物品對物品和用戶進(jìn)行興趣分類，對某個(gè)用戶， 先得到他的興趣分類，確定他對各類物品的 喜歡程度，再在這個(gè)類里挑選他可能喜歡的 物品采取基于用戶行為統(tǒng)計(jì)的自動聚類神經(jīng)網(wǎng)絡(luò)協(xié)同過濾（NCF）基于神經(jīng)網(wǎng)絡(luò)的技術(shù)，來解決在 含有隱性反饋的基礎(chǔ)上進(jìn)行推薦 的關(guān)鍵問題。協(xié)同過濾（CF）召回提綱Content推薦系統(tǒng)架構(gòu)1文章NLP2召回算法3個(gè)性化排序4Wide & d

8、eep在FTRL的基礎(chǔ)上， 效果再次提升FTRL在LR的基礎(chǔ)上，效果提升明顯LR最常用的點(diǎn)擊率預(yù)估模型，速度快，效果好與人工規(guī)則相比，效果提 升顯著GBDT+LR速度受限，對比LR優(yōu)化效 果不明顯個(gè)性化排序個(gè)性化排序Wide&deep learning通過Deep Models學(xué)習(xí)高階特征，增強(qiáng)模型的泛化能力通過Wide Models 建模，增強(qiáng)模型的”記憶能力”個(gè)性化排序deepFMFM層和Deep層共享Embeddings層的結(jié)果Embeddings參數(shù)訓(xùn)練時(shí) 被FM和DNN同時(shí)更新相比于wide & deep， 訓(xùn)練參數(shù)沒有增加ITPU B 學(xué)院ITPU砰 院是盛拓傳媒IT168企業(yè)事業(yè)部 ( ITPUB) 旗下企業(yè)級在線學(xué)習(xí)咨詢平臺歷經(jīng)1駐目支術(shù)社區(qū)平臺發(fā)展匯聚5000萬技術(shù)用戶 緊隨企業(yè)一線IT技術(shù)需求打造全方式技術(shù)培訓(xùn)與技術(shù)咨詢服務(wù)提供包括企業(yè)應(yīng)用方案培訓(xùn)咨詢（包括企業(yè)內(nèi)訓(xùn)） 個(gè)人實(shí)戰(zhàn)技能培訓(xùn)（包括認(rèn)證培訓(xùn)）在內(nèi)的全方位IT技術(shù)培訓(xùn)咨詢服