推薦系統(tǒng)+：構(gòu)建、部署和優(yōu)化的最佳實(shí)踐

構(gòu)建、部署和優(yōu)化的最佳實(shí)踐|執(zhí)行摘要2我們根據(jù)對(duì)零售、媒體、電子商務(wù)等領(lǐng)域利用推薦系統(tǒng)(recsys)的知名企業(yè)的技術(shù)負(fù)責(zé)人的括目前正在構(gòu)建或考慮為生產(chǎn)用例構(gòu)建推薦系統(tǒng)的數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)提供該領(lǐng)域?qū)＜业膶?shí)用見解以及闡明構(gòu)建、部署和優(yōu)化推薦系統(tǒng)的。1.構(gòu)建相關(guān)推薦系統(tǒng)是一個(gè)艱難的過程2.整個(gè)行業(yè)對(duì)分享最有效的方法持開放態(tài)度，這對(duì)于該領(lǐng)域的發(fā)展至關(guān)重要1.行業(yè)內(nèi)推薦系統(tǒng)實(shí)踐的趨勢(shì)預(yù)覽3.專家訪談內(nèi)容的精選摘錄4.對(duì)觀察到的趨勢(shì)進(jìn)行總結(jié)，并指明未來的發(fā)展軌跡5.深度訪談內(nèi)容的精選摘錄，探討推薦系統(tǒng)實(shí)踐的背景信息和細(xì)微差別踐|推薦系統(tǒng)的趨勢(shì)預(yù)覽3勢(shì)預(yù)覽行業(yè)內(nèi)推薦系統(tǒng)的一種選擇，它已經(jīng)成為入場(chǎng)籌碼了。開源生態(tài)此。技術(shù)。所周知的事實(shí)，那就是擁有的數(shù)據(jù)越多，數(shù)據(jù)的質(zhì)量越高，構(gòu)建出的模型往往就，這個(gè)道理同樣適用于推薦系統(tǒng)。我們不能僅僅依靠卓越的算法來生成模型，還的儀器等。準(zhǔn)備工作放在首位很可能成為一項(xiàng)恒久不變的要求。此外，隨著推薦系統(tǒng)的用例據(jù)速率將會(huì)提升。此外，還涉及從數(shù)據(jù)中學(xué)習(xí)的問題，因?yàn)樾枰獙?duì)指標(biāo)進(jìn)行優(yōu)化人員重新培養(yǎng)為"指標(biāo)工程師"，以全面了解生產(chǎn)中的他一些要點(diǎn)：么。指標(biāo)并全面了解手頭用例的目標(biāo)函數(shù)，這一點(diǎn)至關(guān)重要。被認(rèn)為是單點(diǎn)解決方案，但它們正在深入地?cái)U(kuò)展到業(yè)務(wù)運(yùn)營(yíng)的方方面面。垂直行業(yè)現(xiàn)正在使用推薦系統(tǒng)來發(fā)展其業(yè)務(wù)，同時(shí)提高客戶的信任度和內(nèi)完成推理。隨著更先進(jìn)的人工智能(AI)技術(shù)的出現(xiàn)，它們的運(yùn)行速度是否足以適應(yīng)這些限制？硬件加相關(guān)的熱門話題包括使用特征存儲(chǔ)庫，利用圖神經(jīng)網(wǎng)絡(luò)和模型蒸餾。前發(fā)展性研究領(lǐng)域。同樣，縱觀推薦系統(tǒng)的歷史，隨著新的團(tuán)隊(duì)開啟各自的旅程，并4于建立推薦系統(tǒng)領(lǐng)域的著名項(xiàng)目。特別是，本節(jié)還會(huì)追溯從早期學(xué)術(shù)試驗(yàn)到過程。我們可以從過去的模式中汲取經(jīng)驗(yàn)教訓(xùn)，也可以史為鑒，比較當(dāng)代Rich探索了如何使用原型來構(gòu)建和泛化用戶模型。該系統(tǒng)會(huì)向用戶推薦小說(就像圖書管理員包括特征工程、數(shù)據(jù)訓(xùn)練，模型評(píng)估以及模型迭代改進(jìn)方面的反饋?？紤]。y興趣，b過濾，他們意識(shí)到，當(dāng)人們?cè)诰€閱讀和回應(yīng)新聞文章時(shí)，在很大程度上會(huì)Ringo模更是hns5y內(nèi)容的推薦服務(wù)，例如書籍、新聞等，并在互聯(lián)網(wǎng)發(fā)展的早期階段將其技術(shù)ersFirefly事電子商務(wù)的第一個(gè)推薦系統(tǒng)。這是早期推薦系統(tǒng)研究得商業(yè)成功的項(xiàng)目，也是當(dāng)今的社交媒體和電子商務(wù)內(nèi)容推薦概念中最知名的DVD享"的訂閱服務(wù)，不僅擴(kuò)大了內(nèi)容庫存，還增加了電影的會(huì)員評(píng)分制度和名為后又引入了包含其他算法的生態(tài)系統(tǒng)，以幫助實(shí)現(xiàn)電影租賃過程的個(gè)性化和m時(shí)候，作者指出，有三種常見的內(nèi)容發(fā)現(xiàn)和推薦方法，包括：協(xié)同過濾、聚類模型(例如，用于降維)和搜索。而他們所做研究工作的不同之處在于引入了商品到商品的協(xié)同過濾，因而產(chǎn)生了的直接成果還包括云計(jì)算的起源、大數(shù)據(jù)實(shí)踐和機(jī)器學(xué)習(xí)的商業(yè)用例。社交網(wǎng)絡(luò)構(gòu)建、部署和優(yōu)化的最佳實(shí)踐|推薦系統(tǒng)的演進(jìn)6，該實(shí)踐，頂尖人才也被吸引到這個(gè)領(lǐng)域當(dāng)中來。可以說，推薦系統(tǒng)及其在電子雖然入圍作品的表現(xiàn)明顯優(yōu)于Netflix算法，原因，這些入圍作品從未投入到生產(chǎn)環(huán)境中。即便如此，競(jìng)賽中領(lǐng)先團(tuán)隊(duì)的經(jīng)驗(yàn)表明進(jìn)里，推薦系統(tǒng)已經(jīng)從幫助管理研究人員的收件箱的小項(xiàng)目發(fā)展成為推動(dòng)領(lǐng)先確定的推薦系統(tǒng)的關(guān)鍵概念和要求包括：前的趨勢(shì)。構(gòu)建、部署和優(yōu)化的最佳實(shí)踐|推薦系統(tǒng)的演進(jìn)7的機(jī)會(huì)。這是早期推薦系統(tǒng)研究項(xiàng)目中第一個(gè)取得商業(yè)成功的項(xiàng)目，也是和電子商務(wù)內(nèi)容推薦概念中最知名的項(xiàng)目。推薦系統(tǒng)已通過多種方式用于增強(qiáng)應(yīng)用等。來看，這個(gè)問題幾乎總是與發(fā)現(xiàn)脫不了干系，而電子商務(wù)場(chǎng)景可以說明最常見的的頁面，說很少見，盡管它對(duì)于優(yōu)化用戶體驗(yàn)(UX)們?cè)谶x擇。當(dāng)然，搜索范圍很廣泛，并且從歷史上看，搜索功能更容易實(shí)施并”薦內(nèi)容往往在競(jìng)價(jià)/詢價(jià)廣告網(wǎng)絡(luò)中表現(xiàn)良好。換句話說，想要購買新款豪車關(guān)廣告，從而將其轉(zhuǎn)化為價(jià)值?？梢坏┯脩糍徺I了新車，他們可能根本不想在一段時(shí)間內(nèi)一直表現(xiàn)良好的推薦內(nèi)容突然變得很糟糕。由于缺乏關(guān)于誰點(diǎn)向給定用戶推薦某些商品的做法是可行的，但要在給定時(shí)間點(diǎn)向給定用戶精確，同時(shí)避免推薦任何他們不想要的商品，這項(xiàng)工作還是非常具有挑戰(zhàn)性的。即便構(gòu)建、部署和優(yōu)化的最佳實(shí)踐|推薦系統(tǒng)的演進(jìn)8反過來又引起了觀察者的反感。這可能會(huì)造成兩難境地，因?yàn)橄嚓P(guān)的推薦會(huì)被視為系統(tǒng)對(duì)用戶Terry。內(nèi)也在經(jīng)歷快速的演進(jìn)。思考這樣一個(gè)問題，機(jī)器學(xué)習(xí)在很大程度上利用數(shù)據(jù)來泛化模型，以便稍后在不同的上下文中應(yīng)用。在實(shí)踐中，這與推薦系統(tǒng)的合。但同時(shí)也帶來了一個(gè)陷阱，那就是當(dāng)機(jī)器學(xué)習(xí)模型從訓(xùn)練數(shù)據(jù)泛化時(shí)，它們下文信息。很難解釋為什么會(huì)向給定用戶提供特定的推薦內(nèi)容。當(dāng)數(shù)據(jù)團(tuán)隊(duì)需要事。在整個(gè)發(fā)展歷程的早期階段，在形成人們對(duì)推薦系統(tǒng)技術(shù)的普遍少數(shù)公司的敘述起到了推動(dòng)作用。雖然從技術(shù)角度來看這是很有趣的現(xiàn)象，并且這種實(shí)踐"，但總的來說，對(duì)于推薦系統(tǒng)用例而言，大型用例的息檢索的角度來評(píng)估推薦系統(tǒng)，其中模型的好壞與否取決于其準(zhǔn)確率。Netflix取得的商業(yè)成功和后來采用的類似做法強(qiáng)調(diào)了非負(fù)矩陣分解的使用，這種敘述與Apachedoop助于向更廣泛的受眾傳播領(lǐng)先技術(shù)公司的創(chuàng)新成果。此外，隨著人們對(duì)使用決日益復(fù)雜的挑戰(zhàn)的需求不斷增長(zhǎng)，這些敘述和趨勢(shì)還有助于追蹤人們對(duì)數(shù)據(jù)進(jìn)。形成良好的推薦系統(tǒng)實(shí)踐需要潛在的驅(qū)動(dòng)因素和權(quán)衡取舍，而這些敘述往往題。系統(tǒng)發(fā)揮有效的作用，顯而易見數(shù)據(jù)團(tuán)隊(duì)必須平衡相互競(jìng)爭(zhēng)的優(yōu)先事項(xiàng)與可不是簡(jiǎn)單的任務(wù)。在推薦系統(tǒng)實(shí)踐中，這些需要權(quán)衡取舍的問題之間些問題在可預(yù)見的未來可能會(huì)繼續(xù)受到關(guān)注。有些問題可以通過更好的領(lǐng)域的精選團(tuán)隊(duì)與個(gè)人合作，和負(fù)責(zé)推薦系統(tǒng)工作流程的技術(shù)主管進(jìn)行了都探討了有關(guān)其團(tuán)隊(duì)的發(fā)展歷史、團(tuán)隊(duì)的工作重心和職責(zé)以及他們?nèi)绾谓鉀Q們特別詢問了他們?cè)跀?shù)據(jù)速率和規(guī)模方面的推薦系統(tǒng)實(shí)踐，用于數(shù)據(jù)準(zhǔn)備和們?nèi)绾芜x擇合適的技術(shù)和框架，用于評(píng)估和調(diào)整模型的手段，以及他們?yōu)?。?nèi)容之間的共同點(diǎn)，以及行業(yè)內(nèi)不同實(shí)踐之間形成對(duì)比的方面。在可能的AILinkedInPYMK薦系統(tǒng)的首個(gè)機(jī)器學(xué)習(xí)模型自然語言處理(NLP)和可穿戴設(shè)備。她是LinkedIn數(shù)據(jù)科學(xué)團(tuán)隊(duì)的早期成員，致力于研究推薦neI的注意力，因?yàn)樗梢越鉀Q長(zhǎng)尾問題，并進(jìn)行個(gè)性化的推薦，感覺就像魔術(shù)一樣神奇(或者感覺面臨的主要挑戰(zhàn)面臨的主要挑戰(zhàn)是什么？最嚴(yán)峻的挑戰(zhàn)之一是為給定用例確定合適的指標(biāo)和Monica本身而言，你期望達(dá)到的上限是什么？例如，評(píng)分者間對(duì)于訓(xùn)練數(shù)據(jù)的同意10境中得到驗(yàn)證和信任之前，無需對(duì)工作流程進(jìn)行重大更改。我最常向工具構(gòu)建者你的特洛伊木馬是什么？為了讓從業(yè)者方只需付出很少的努力或者無需付出任何能的退出路徑，并且除了易于集成之外，還提供數(shù)據(jù)導(dǎo)出工具。這往往與開源系統(tǒng)項(xiàng)目間標(biāo)記數(shù)據(jù)并完成算法工作。成為算法工程師后，你會(huì)發(fā)現(xiàn)無數(shù)的數(shù)據(jù)質(zhì)量1.制定簡(jiǎn)單的基準(zhǔn)2.構(gòu)建要求寬松的線下過濾器3.在緩慢加速的條件下進(jìn)行A/B測(cè)試后實(shí)施合理但簡(jiǎn)單的基于規(guī)則的基準(zhǔn)。即使已有實(shí)施到位的模型，無論如何。簡(jiǎn)單的基準(zhǔn)易于調(diào)試、可靠、快速，當(dāng)它們幾乎與當(dāng)前模型一樣有效時(shí)，應(yīng)該寬松的線下過濾器”改變傳統(tǒng)的線下模型評(píng)估概念。檢查模型是否會(huì)導(dǎo)致大規(guī)模的中斷。AB器學(xué)習(xí)模型進(jìn)行真實(shí)的評(píng)估，但要在緩慢加速的條件工程師，負(fù)責(zé)廣告推薦系統(tǒng)的設(shè)計(jì)和開發(fā)，主管著騰訊廣告和深度學(xué)習(xí)平臺(tái)的運(yùn)行隊(duì)專注于廣告推薦系統(tǒng)，負(fù)責(zé)廣告訓(xùn)練平臺(tái)的優(yōu)化。該平臺(tái)的組件包括線下特征11訓(xùn)練/測(cè)試數(shù)據(jù)量并使用更復(fù)雜的特征集。另一方面，這些做法也往往會(huì)延長(zhǎng)模型訓(xùn)練時(shí)來，訓(xùn)練時(shí)間會(huì)延長(zhǎng)，且模型的更新頻率會(huì)受到影響?！甭矢臁４送猓?xùn)練期間可通過使用更多的樣本來提升推薦效果。在整體的技術(shù)地進(jìn)行后續(xù)升級(jí)?！钡难芯砍晒?CSR)U的系統(tǒng)升級(jí)?！盡agaluMagazineLuiza)個(gè)性化群體領(lǐng)袖eContratresMagalue的研究成果結(jié)合Magalu的商業(yè)知識(shí)，創(chuàng)建12團(tuán)在中國(guó)運(yùn)營(yíng)多個(gè)知名車、。黃軍之上更好地滿足我們的內(nèi)部需求。我們的團(tuán)隊(duì)目前正在構(gòu)建主要基于們非常高興將我們的工作成果回饋給開源社區(qū)。”架，但隨著模型的復(fù)雜度越來越高，很難對(duì)訓(xùn)練框架進(jìn)行深度優(yōu)化。現(xiàn)在，我們正致力于將學(xué)家ChrisWiggins務(wù)問題開發(fā)和題，然后實(shí)施即可?！?3他們對(duì)‘x’(上下文信息)、‘a(chǎn)’(考慮推薦的可能的行動(dòng)、文章或資產(chǎn))以及‘y’(我們?cè)噲D優(yōu)化的成果)是經(jīng)過深思熟慮的?！笔褂米x者的相關(guān)信息，對(duì)解釋過的隱私法規(guī)進(jìn)行分析，然后輸出有關(guān)如何處理結(jié)合使用Python(特別是數(shù)據(jù)科學(xué)家)和Go(特別是我們的軟件工程合作伙伴)進(jìn)行編碼，從而面臨的主要挑戰(zhàn)內(nèi)容池中部署結(jié)合上下文的不同的Bandit算法。”新選項(xiàng)。當(dāng)然，在實(shí)踐中，生產(chǎn)環(huán)境中復(fù)雜的推薦系統(tǒng)可能需要執(zhí)行的Bandit算法可以被視為工具包中用于構(gòu)建推薦系統(tǒng)工作流程的構(gòu)建Bandit即可達(dá)到你所需的性能。在內(nèi)容流失的新聞業(yè)務(wù)中，你希望在預(yù)測(cè)性與可解釋性之間助你了解如何推薦內(nèi)容?！彼ㄗh關(guān)注，因?yàn)樗麄兊膱F(tuán)隊(duì)將繼續(xù)記錄其推薦系統(tǒng)之旅。Kannan所解釋14Walmart站和Walmart門店的全渠道數(shù)據(jù)。縱觀推薦系統(tǒng)用例的歷史，你會(huì)發(fā)現(xiàn)始用于分析目的。后來，公司意識(shí)到需要更深入地了解客戶，同時(shí)還需要充分考慮么系統(tǒng)是包含用戶和評(píng)分的矩陣，即協(xié)作過濾器。查看研究結(jié)果，你會(huì)發(fā)現(xiàn)我們必須系統(tǒng)項(xiàng)目椒，但在其他地方情況并非如此。他們可能會(huì)買一個(gè)梅森罐來進(jìn)行業(yè)務(wù)策略驅(qū)動(dòng)的?！苯饪蛻?。推薦系統(tǒng)團(tuán)隊(duì)致力于了解客戶訪問網(wǎng)站的原因，然后讓客戶發(fā)現(xiàn)他們，縱觀推薦系統(tǒng)之旅，我們還開發(fā)了讓客戶再次互動(dòng)的模型。”URL必須展示，愿意使用簡(jiǎn)單的邏輯回歸或梯度提升決策樹，因?yàn)樗鼈兇_實(shí)有效，它們的可解釋性是15面臨的主要挑戰(zhàn)n/利用是眾所周知的問題。結(jié)合上下文的Bandit算法和豐富的獎(jiǎng)勵(lì)函數(shù)出，集的偏差。法其實(shí)就是使用結(jié)合上下文的Bandit算法作為構(gòu)建塊，有效的學(xué)習(xí)，但方差很高時(shí)，我們會(huì)迅速顯示出來，以確保它是否運(yùn)行良好。這同樣些方面表現(xiàn)糟糕的情況，但如果你不確定是哪些方面出了問題，我們會(huì)顯示更多問題。我們使用湯普森采樣的變體，有原則地完成這項(xiàng)工作?！?0分鐘把商品只有“此客戶購買的了解情況的方法。換句話說，就是從一個(gè)數(shù)據(jù)源進(jìn)行采樣，以預(yù)測(cè)另一個(gè)數(shù)據(jù)源的相關(guān)方面——有人可能會(huì)想到這是盲人摸象(四個(gè)盲人比較他們摸同一頭大象后得出的結(jié)果)的優(yōu)化版本。生成對(duì)抗網(wǎng)絡(luò)則代表了無監(jiān)督或半監(jiān)督管道增強(qiáng)數(shù)據(jù)源和整體學(xué)習(xí)的另一種隱私和攻擊遷移領(lǐng)域?！?6這一點(diǎn)與業(yè)內(nèi)recsys專家的建議(即從簡(jiǎn)單模型著手)相呼應(yīng)?！敖柚鶰erlin，[我們]提供了[一個(gè)]框架，以便你可以從簡(jiǎn)單模型著手，然后隨著時(shí)間的推移構(gòu)建更復(fù)雜的模型。這是該領(lǐng)域苦掙扎，ati更簡(jiǎn)單？我們?nèi)绾卧诠艿赖拿總€(gè)階段提供解決方案，而該解決方案不一定是in為易于使用、易于部署的高性能框架?！蹦Ｐ土恕．?dāng)你使用規(guī)模如此之大的模型時(shí)，你必須聰明地思考，并且客戶會(huì)研究方面所做的工作和發(fā)布的內(nèi)容，并試著將研究成果集成到產(chǎn)品中，同時(shí)他們也會(huì)向?qū)?。有些團(tuán)隊(duì)只是通過將技術(shù)集成到自己的堆棧中這種方式來采用該技術(shù)。在這一們正在進(jìn)行的研究主要專注于高端領(lǐng)域，這項(xiàng)研究工作是很有意義的。涉及推薦業(yè)務(wù)有很多。使用推薦系統(tǒng)的公司在規(guī)模上游很大的差異。而高端領(lǐng)域所需的計(jì)算需的計(jì)算相形見絀?！眴栴}求的機(jī)器學(xué)習(xí)模型是一項(xiàng)艱巨的工作。如前所述，僅構(gòu)建模型是遠(yuǎn)遠(yuǎn)不夠的，到經(jīng)不太關(guān)注典型的機(jī)器學(xué)習(xí)工作流程了。糾正這種差距對(duì)于開源生態(tài)系統(tǒng)的蓬勃，特別是深度學(xué)習(xí)模型，但即使是用于協(xié)作過濾的基本模型，投入生產(chǎn)后也需要17系統(tǒng)項(xiàng)目，有效的數(shù)據(jù)比有效的模型更有用，這是數(shù)據(jù)科學(xué)家們費(fèi)了一番苦功才汲取到的得普遍的做法是，隨時(shí)維護(hù)和清理數(shù)據(jù)，然后經(jīng)常執(zhí)行特征發(fā)現(xiàn)工作，相較于業(yè)內(nèi)推薦系統(tǒng)的重要組成部分。開源生態(tài)系統(tǒng)中工具的互操作性對(duì)于至關(guān)重要，在考慮項(xiàng)目的整個(gè)生命周期時(shí)尤為如此。工具必須足夠靈活，才能為試驗(yàn)，的良好的客戶數(shù)據(jù)、良好的反饋以及用于評(píng)估指標(biāo)的儀器等。將有效的數(shù)據(jù)準(zhǔn)備能成為一項(xiàng)恒久不變的要求。請(qǐng)注意，隨著推薦系統(tǒng)的用例大獲成功，數(shù)據(jù)速率將數(shù)據(jù)科學(xué)人員重新指定為"指標(biāo)工程師"。recsys想想自己真正需要于實(shí)施可能符合業(yè)內(nèi)潮流趨勢(shì)卻復(fù)雜的機(jī)器學(xué)習(xí)模型，倒不如嘗試使用基于規(guī)則擬。遵循測(cè)試、測(cè)量和迭代的流程。然后，你的解決方案可以從簡(jiǎn)單模型進(jìn)階到手。優(yōu)先考慮易于集成性，并將努力與結(jié)果的比例18回顧Netflix獎(jiǎng)(2006-2009年)，推薦系統(tǒng)面臨的挑戰(zhàn)就是被作為單點(diǎn)解決方案制定。換言之，打造雜貨店配送商業(yè)模式方面的早期嘗試舉步維艱。引入推薦系統(tǒng)后，可以，演進(jìn)，以及更復(fù)雜、功能更強(qiáng)的機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，改變了人們對(duì)企業(yè)文化的準(zhǔn)備。在后期階段，例如提供模型和實(shí)時(shí)推理(最接近客戶體驗(yàn))階段，機(jī)器學(xué)習(xí)往往會(huì)降級(jí)為。即便如此，推薦系統(tǒng)的許多生產(chǎn)用例都對(duì)快速推理有一定的要求，通常要求術(shù)可供推薦系統(tǒng)使用，但推理所需的時(shí)間是一種門函數(shù)。如果無法在量的推薦，則必須改為使用更簡(jiǎn)單的技術(shù)。例如，即使在資源豐富的復(fù)雜實(shí)踐薦系統(tǒng)提供有趣的應(yīng)用，盡管這項(xiàng)工作在大部分程度上仍然處于研究階段。這些特定環(huán)境中的推薦系統(tǒng)采用最新的創(chuàng)新？相反，提供大內(nèi)存空間和硬件加速的diacomdiacomnvidiamerlin與行業(yè)內(nèi)推薦系統(tǒng)實(shí)踐相關(guān)的熱門話題包括使用特征存儲(chǔ)庫(幾年前引入)，利用圖神經(jīng)網(wǎng)絡(luò)和級(jí)。就組件而言，例如簡(jiǎn)單的線性模型將被更復(fù)雜的深度學(xué)習(xí)模型所取代，因此能會(huì)增加。隨著時(shí)間的推移，推薦系統(tǒng)將會(huì)更深入地?cái)U(kuò)展到例不斷增長(zhǎng)的路線圖。盡可能利用提供擴(kuò)展路線圖的技術(shù)，這樣不僅滿足了目前一個(gè)會(huì)話對(duì)于推薦系統(tǒng)而言都是另一個(gè)機(jī)會(huì)，以便更輕松、更快速、通過行互動(dòng)。總結(jié)了趨勢(shì)，并摘錄了各個(gè)領(lǐng)域負(fù)責(zé)人和專家的型推薦系統(tǒng)，那么我使用的數(shù)據(jù)范圍包括零數(shù)據(jù)點(diǎn)以及將數(shù)億因?yàn)樗梢越鉀Q長(zhǎng)尾問題，并進(jìn)行個(gè)性化的推薦，感覺就像魔術(shù)一樣神奇(或者。方面，我是非常務(wù)實(shí)的。除了解決問題的可能性之外，我還牢記的衡量標(biāo)準(zhǔn)之一就是易于與公司當(dāng)前的工作流程集成，并將努力與結(jié)果的比例保持在盡可能低的水平。我記得有家公司想要把一項(xiàng)技術(shù)賣給我在LinkedIn的團(tuán)隊(duì)，由于我們?cè)跀U(kuò)展規(guī)模時(shí)遇到了問題，因此我們積極地嘗試這項(xiàng)證明、眾所周知的技術(shù)來承擔(dān)這種風(fēng)險(xiǎn)——而聊的技術(shù)”就像勸數(shù)據(jù)科學(xué)家趣技術(shù)對(duì)工程師和數(shù)據(jù)科學(xué)家很有吸引力。盡管在擴(kuò)展時(shí)使用“無聊”(成熟)技術(shù)尤為重要，但在出現(xiàn)偏離正軌的小問題時(shí)，總會(huì)需要嘗試使用最新的工具。在資，或者使用新工具只是為了提高團(tuán)隊(duì)的士氣、招聘效率和據(jù)工具和框架呈爆炸式增長(zhǎng)，我很高興看到其中許多工具和集成，當(dāng)工具在特定環(huán)境中得到驗(yàn)證和信任之前，無需對(duì)工作流程改。我最常向工具構(gòu)建者提出的問題是‘你的特洛伊木馬是什么？’方只需付出很少的努力或者無需付出任何努力就能采用推薦系統(tǒng)的一點(diǎn)是，在采用框架或技術(shù)的早期階段，保留可選性是不僅僅是鎖定現(xiàn)象，而是要在流程的早期階段降低技術(shù)風(fēng)險(xiǎn)并制定提供，各種開源技術(shù)即插即用。同樣，必須知道替換(原本希望采用的)模塊化技術(shù)中出現(xiàn)問題的組件對(duì)系統(tǒng)其余部分的破壞性最小，因此上述“保留可選性”人工智能(AI)和數(shù)據(jù)科學(xué)顧問創(chuàng)造了LinkedIn“你可能認(rèn)識(shí)的器學(xué)習(xí)模型在那里組建并領(lǐng)導(dǎo)了據(jù)科學(xué)家和工程師和改進(jìn)了LinkedIn，包括將崗位與LinkedIn配，發(fā)現(xiàn)你可能推薦專業(yè)團(tuán)體。她的研究領(lǐng)域包括應(yīng)用機(jī)器學(xué)習(xí)(擁有的計(jì)算機(jī)科學(xué)博士提出一個(gè)經(jīng)過審查的問題，即訓(xùn)練數(shù)據(jù)是通過合乎道德的方式且在最大化給定的目標(biāo)函數(shù)時(shí)不會(huì)對(duì)系統(tǒng)造成任何損害。實(shí)際而“良好的意圖”遠(yuǎn)非令人滿意的解決方案。你可能需要做些求例子相對(duì)較少的分類問題，可能是“一直說不”(這就是為什么相對(duì)罕見的事件模型，并且你跳過了此步驟，無論如何也要嘗試一下。簡(jiǎn)單的可靠、快速，當(dāng)事實(shí)證明它們幾乎與當(dāng)前模型一樣有效時(shí)，應(yīng)該評(píng)估概念。目標(biāo)是確認(rèn)模型并非或非預(yù)期損害的災(zāi)難，以及從寬松意義來看是否“前景良好”。目標(biāo)是*不*一定是擊敗當(dāng)前的系統(tǒng)(盡管如果你從上述基準(zhǔn)著手的話，很可能境中進(jìn)行A/B測(cè)試，但要在緩慢加速的需要留意操作問題、缺少的特征、意外損害，以及通?？赡懿粫?huì)設(shè)計(jì)合適的指標(biāo)或目標(biāo)函數(shù)。數(shù)據(jù)科學(xué)家最終將成為指標(biāo)謹(jǐn)慎地思考你試圖最大化的指標(biāo)(目標(biāo)函數(shù))——通常情況下，對(duì)于你*實(shí)際*無意地？問題有多難解決，就性能本身而言，你期望達(dá)到的小時(shí)的時(shí)間標(biāo)記數(shù)據(jù)并完成算法工作。成為算法工程師數(shù)的數(shù)據(jù)質(zhì)量問題，確定問題定義不清或者你應(yīng)該放棄推薦時(shí)的家工程師，負(fù)責(zé)廣告推薦系統(tǒng)的設(shè)計(jì)和開發(fā)。同時(shí)我也主管著練平臺(tái)覆蓋了整個(gè)騰訊業(yè)務(wù)流。騰訊廣告推薦系統(tǒng)被廣泛應(yīng)用于立多年。廣告業(yè)務(wù)是騰訊內(nèi)部比較重要的業(yè)務(wù)之一，而廣告推薦注點(diǎn)就是廣告推薦系統(tǒng)，負(fù)責(zé)廣告訓(xùn)練平臺(tái)的優(yōu)化。騰訊廣告漸篩選的過程。整理階段包括回顧、預(yù)排序和排序。每個(gè)階段求。來優(yōu)化算法策略，增加更多的樣本和特征，然后評(píng)估其是否能本數(shù)據(jù)訓(xùn)練數(shù)量和樣本特征的增加，廣告推薦的準(zhǔn)確性得以一來，訓(xùn)練時(shí)間會(huì)延長(zhǎng)，且模型的更新頻率會(huì)受到影響。為了保證。隊(duì)開發(fā)和部署機(jī)器學(xué)習(xí)解決方案，以解決新聞編輯室確保我們以擴(kuò)展編輯評(píng)判版面的方式實(shí)現(xiàn)此目標(biāo)，而不是取而代之?，F(xiàn)在，推薦主頁和“最受歡迎的文章”。我們還在Cooking應(yīng)用、移動(dòng)應(yīng)用中的“ForYou”《紐約時(shí)報(bào)》像英國(guó)搖滾樂隊(duì)的海報(bào)一樣，不同之處在于，團(tuán)隊(duì)重組是由不斷yPage推薦的AnnaCoenen博士現(xiàn)在領(lǐng)導(dǎo)算法推薦系統(tǒng)團(tuán)隊(duì)(該團(tuán)隊(duì)之前由AnneBauer他們對(duì)“x”(上下文信息)、“a”(考慮推薦的可能的行動(dòng)、文章或資產(chǎn))以及“y” (我們?cè)噲D優(yōu)化的成果)是經(jīng)過深思熟慮的。Samizdat的服務(wù)實(shí)現(xiàn)功是從預(yù)測(cè)方法轉(zhuǎn)向規(guī)范方法，例如，可以在我們支持的單獨(dú)版面和內(nèi)容池中部署結(jié)合上下文的不同的Bandit算法(詳見2019年開源博客文章挑戰(zhàn)，若對(duì)數(shù)據(jù)有清晰的認(rèn)知，包括新聞的“保質(zhì)期”以及需要Cooking用為“獨(dú)立”產(chǎn)品，該應(yīng)用一經(jīng)推出就大獲成功，并且越來，但我們還沒有公開分享。請(qǐng)關(guān)注。件工程師之間的緊密合作與共同創(chuàng)造，他們并排坐在辦公桌前(在辦公室里辦公時(shí))，結(jié)合使用Python(特別是數(shù)據(jù)科學(xué)家)和Go(特別是我們的軟件工程合作伙伴)進(jìn)行編碼，從而制定出在年擁有定、高性能的分布式深度學(xué)習(xí)訓(xùn)練框架。我們的系統(tǒng)可以部署GPU搜索、推薦和廣告場(chǎng)景的模型訓(xùn)練，因而覆蓋了整個(gè)美團(tuán)家我們的團(tuán)隊(duì)重點(diǎn)關(guān)注模型訓(xùn)練的優(yōu)化。我們?cè)O(shè)計(jì)了高效的數(shù)據(jù)流化，我們還從系統(tǒng)和算法的角度對(duì)訓(xùn)練性能和準(zhǔn)確度進(jìn)行聯(lián)合用少量樣本來嘗試算法策略。如果驗(yàn)證后發(fā)現(xiàn)有效，則使用大量各種試驗(yàn)，但在線上模型方面，訓(xùn)練頻率從一天一次到一周一次數(shù)量更多的樣本和更復(fù)雜的模型將有助于改善業(yè)務(wù)指標(biāo)，但這種源并減少試驗(yàn)次數(shù)。我們將盡力取得平衡，但如果能夠顯著。夠先進(jìn)、開放并兼容生態(tài)，這樣才能在它的基礎(chǔ)之上更好地滿足我前正在構(gòu)建主要基于開源技術(shù)的系統(tǒng)。同時(shí)，我們非常本和更復(fù)雜的模型來體現(xiàn)我們的商業(yè)模式，我們的商業(yè)效應(yīng)得到結(jié)構(gòu)和業(yè)務(wù)狀況，根據(jù)這些信息設(shè)計(jì)系統(tǒng)和流程。在選擇Magalu責(zé)是確保我們?yōu)樯a(chǎn)推薦和搜索平臺(tái)。團(tuán)隊(duì)中的開發(fā)者和數(shù)據(jù)科學(xué)家致力于改進(jìn)的推薦系統(tǒng)團(tuán)隊(duì)致力于為我們的平臺(tái)創(chuàng)造新的功能和構(gòu)建新的Magalu驗(yàn)中有重要地位，并且對(duì)我們?nèi)康?400多家實(shí)體店)提供推薦系統(tǒng)。我們還允許我們的廣告團(tuán)隊(duì) 領(lǐng)袖Luiza注點(diǎn)就是產(chǎn)品推薦系統(tǒng)。我們構(gòu)建了推薦平臺(tái)，允許其他團(tuán)隊(duì)統(tǒng)模型。我們負(fù)責(zé)維護(hù)平臺(tái)以及創(chuàng)造可供業(yè)務(wù)團(tuán)隊(duì)使用的系統(tǒng)的相關(guān)文獻(xiàn)，看看之前是否有任何研究成果能解決我們們要使用的工具包或框架，我們總會(huì)檢查社區(qū)的參與度。構(gòu)建靈活、可擴(kuò)展的推薦平臺(tái)的目標(biāo)，其他團(tuán)隊(duì)可以通過構(gòu)建ira推薦系統(tǒng)，具有多模態(tài)特征和融合后上下文的轉(zhuǎn)換器”中提出的我們還會(huì)評(píng)估上述論文(“面向電子商務(wù)領(lǐng)域基于會(huì)話的推薦系統(tǒng)，具有多模上下文的轉(zhuǎn)換器”)中提出的方法，以改善我們的客戶體驗(yàn)。下8億組建了專門從事個(gè)性化產(chǎn)品推薦系統(tǒng)的團(tuán)隊(duì)。目前，我擔(dān)任搜索監(jiān)，負(fù)責(zé)領(lǐng)導(dǎo)我們的內(nèi)容推薦數(shù)據(jù)科學(xué)團(tuán)隊(duì)，專注于在合適的時(shí)機(jī)向合適的客戶推薦合適的內(nèi)容(銷售活動(dòng)、視頻、鼓舞人心的文章、電子郵件上的廣告提供內(nèi)容推薦系統(tǒng)。我們與工程團(tuán)隊(duì)密切合作，生產(chǎn)并擴(kuò)展所做的工作對(duì)客戶體驗(yàn)產(chǎn)生了深遠(yuǎn)的影響，使客戶可以更輕松地rAB來明確衡量新的推薦系統(tǒng)模型的性能，并對(duì)我們?cè)诰W(wǎng)站上部署的用于提升價(jià)值。盡管隨著時(shí)間的推移，我們用于推薦產(chǎn)品和協(xié)作過濾模型發(fā)展成為更強(qiáng)大的深度學(xué)發(fā)涵蓋多種內(nèi)容類型的推薦系統(tǒng)，并且我們采用幾種不同的生成推薦內(nèi)容。例如，當(dāng)為目前網(wǎng)站上正在進(jìn)行的銷售活動(dòng)，我們會(huì)使用增強(qiáng)學(xué)習(xí)技術(shù)的組合來了解哪些銷售活動(dòng)最受客戶之前的購物行為開發(fā)自定義啟發(fā)式推薦系統(tǒng)，以便量身定制他們到的銷售活動(dòng)列表。為了生成個(gè)性化的產(chǎn)品推薦，我們的團(tuán)隊(duì)已Wayfair網(wǎng)站。有關(guān)我們構(gòu)建的模型的更多詳細(xì)信息，請(qǐng)點(diǎn)擊此處查看的團(tuán)隊(duì)會(huì)如何處理提供相關(guān)推薦內(nèi)容的于其他類型的推薦，我們構(gòu)建了專用的以從圖像、文本和其他來源提取有意義的信息，我們可以將這些fair買周期期間可能出現(xiàn)的摩擦，向他們展示與其臺(tái)團(tuán)隊(duì)密切合作，思考特征的可重用性。雖然特定用例總會(huì)Wayfair特征可以在多個(gè)項(xiàng)目中被多個(gè)團(tuán)隊(duì)重復(fù)使用，并且可以通過線下形式(通常采用GBQ表形式)我認(rèn)為，訓(xùn)練頻率需要根據(jù)具體用例而定。一般情況下，我們利用Airflow進(jìn)行，我們會(huì)根據(jù)任務(wù)將訓(xùn)練作業(yè)安排在每天和每周之間的任何統(tǒng)，我們使用批量更新的頻率更高，目標(biāo)是完成日內(nèi)更新，以便推薦內(nèi)容，你的團(tuán)隊(duì)如何處理推薦系統(tǒng)的擴(kuò)展模型開發(fā)中就考慮到了可擴(kuò)展性需求。正是因?yàn)槲覀兊漠a(chǎn)品數(shù)量。不僅從向客戶展示相關(guān)商品的角度來看，而且在可擴(kuò)展性和的每個(gè)模型都經(jīng)過測(cè)試和評(píng)估。我們需要清楚地了解生成長(zhǎng)時(shí)間以及訓(xùn)練模型需要多長(zhǎng)時(shí)間，這也正是我們與工程團(tuán)隊(duì)密切隊(duì)在進(jìn)行線上A/B測(cè)試之前以線下方式系統(tǒng)。我們根據(jù)歷史數(shù)據(jù)對(duì)模型進(jìn)行回溯測(cè)試，評(píng)估新模型air推薦計(jì)劃中，我們都會(huì)進(jìn)行回溯測(cè)試，并且我們極度依賴護(hù)欄指標(biāo)(例如，確保我們不會(huì)推薦沒有評(píng)論的產(chǎn)品)和啟發(fā)式推薦系統(tǒng)，以確保我們開發(fā)的新模型將會(huì)來說，我們使用的框架或資料庫并不像我們希望為客戶創(chuàng)造模型。通常情況下，在利用相對(duì)簡(jiǎn)單的模型或進(jìn)行簡(jiǎn)單的實(shí)施方面有功。雖然我們正在研究新型推薦系統(tǒng)并會(huì)定期發(fā)布，但推薦意味著你可以利用大量的開源資源來加速構(gòu)建自己的就考慮到幾周、幾個(gè)月甚至幾年后，如何擴(kuò)展團(tuán)隊(duì)負(fù)責(zé)人ech供個(gè)性化的客戶體驗(yàn)。通常在推薦系統(tǒng)中，就只是簡(jiǎn)單的推薦內(nèi)容，它只是頁面中的一個(gè)模塊。但立項(xiàng)陳述報(bào)告則希望實(shí)現(xiàn)整個(gè)探索、商品會(huì)話進(jìn)行個(gè)性化定制。我們的首要任務(wù)是，必須了解我們的戶訪問網(wǎng)站時(shí)，我們應(yīng)該知道他們?yōu)槭裁丛L問網(wǎng)站，并讓他們發(fā)現(xiàn)，即幫助提高。有這些渠道購買商品。因此，我們的打造個(gè)性化客戶體驗(yàn)，因此我們利用對(duì)客戶的豐富了解，開始。，你會(huì)發(fā)現(xiàn)我們必須提供一些更傳統(tǒng)的內(nèi)容，例如圖。標(biāo)來優(yōu)化我們幫助客戶完成交易的速度。團(tuán)隊(duì)最近的一項(xiàng)發(fā)明是預(yù)測(cè)內(nèi)容，數(shù)據(jù)科學(xué)家在選擇模型、選擇構(gòu)建概念驗(yàn)證等方面通常有的內(nèi)容有著重大影響。很多術(shù)類型。有時(shí)，我們甚至更愿意使用簡(jiǎn)單的邏輯下運(yùn)行的內(nèi)容和線上運(yùn)行的內(nèi)容之間進(jìn)行權(quán)衡取舍。有時(shí)模型型。，還有一些服務(wù)則部署在云平臺(tái)上。我們嘗試盡可能地容器化所有眾所