移動(dòng)環(huán)境下的內(nèi)容推薦初探

1、移動(dòng)環(huán)境下的內(nèi)容推薦初探移動(dòng)環(huán)境下的內(nèi)容推薦初探Agenda 什么是推薦系統(tǒng)什么是推薦系統(tǒng) 移動(dòng)內(nèi)容推薦的特點(diǎn)移動(dòng)內(nèi)容推薦的特點(diǎn) 豌豆莢移動(dòng)內(nèi)容推薦關(guān)鍵技術(shù)豌豆莢移動(dòng)內(nèi)容推薦關(guān)鍵技術(shù) 總結(jié)總結(jié)什么是推薦系統(tǒng)什么是推薦系統(tǒng)Recommender systems orrecommendation systems (sometimesreplacing system with a synonym suchas platform or engine) are a subclass ofinformation filtering system that seek topredict the rating

2、 or preference thatuser would give to an item.- from wikipediaRecommender systems/engines are asubclass of information retrievalsystems/engines in passive mode.Search systems/engines are a subclassof information retrieval systems/enginesin active mode.常用的推薦功能常用的推薦功能 有哪些值得看的電影？有哪些值得看的電影？ 去哪兒下館子腐?。咳ツ膬?/p>

3、下館子腐??？ 淘點(diǎn)啥寶貝？淘點(diǎn)啥寶貝？ 裝什么有意思的應(yīng)用？裝什么有意思的應(yīng)用？ 大家都在討論什么話題？大家都在討論什么話題？ Netflix Prize $1 Million Challenge?應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景排行榜推薦排行榜推薦個(gè)性化推薦個(gè)性化推薦使用海量數(shù)據(jù)使用海量數(shù)據(jù)電影推薦多多是餐館推薦多少是商品推薦多多是應(yīng)用推薦多多是話題推薦多少是廣告推薦少多是推薦技術(shù)應(yīng)用場(chǎng)景推薦技術(shù)應(yīng)用場(chǎng)景推薦用戶(User)海量數(shù)據(jù)是推薦之本海量數(shù)據(jù)是推薦之本推薦位置 推薦位所在頁面內(nèi)容 推薦位在頁面中位置推薦物品(Item)推薦物品 種類、主題、關(guān)鍵詞 生命周期、投放規(guī)那么 大小、顏色、價(jià)格 .推薦用戶

4、人口學(xué)屬性(性別、年齡等) 行為屬性/興趣特征(瀏覽、搜索、緩存) Social內(nèi)容(社交關(guān)系、小組發(fā)帖) 上下文(時(shí)間、地點(diǎn)等) .推薦算法關(guān)鍵規(guī)那么挖掘協(xié)同過濾 CF(User-based CF, Item-based CF)矩陣分解圖挖掘基于熱度/知識(shí)/規(guī)那么的推薦基于內(nèi)容的推薦基于預(yù)測(cè)模型的推薦混合推薦方法推薦算法推薦算法推薦用戶用戶行為屬性Social內(nèi)容人口學(xué)屬性行為屬性/興趣特征用戶全局畫像推薦場(chǎng)景一個(gè)用戶在多個(gè)物品有行為用戶-物品行為矩陣不能過于稀疏用戶對(duì)物品的興趣規(guī)律可觀察適用于解決冷啟動(dòng)(cold start)問題真實(shí)系統(tǒng)大都這么做推薦算法推薦算法優(yōu)點(diǎn)優(yōu)點(diǎn)缺點(diǎn)缺點(diǎn)示例示例基

5、于知識(shí)的推薦算法(基于人工觀察和經(jīng)驗(yàn)，抽象出規(guī)則進(jìn)行推薦)1.方法簡(jiǎn)單2.規(guī)則易解釋、易運(yùn)營3.所需數(shù)據(jù)少1.規(guī)則來源于人工知識(shí)，覆蓋率差2.有效周期難以判斷好友推薦基于內(nèi)容的推薦算法1.可以解決冷啟動(dòng)問題2.方便整合各種用戶/物品特征3.推薦結(jié)果易于理解1.受限于特征提取的準(zhǔn)確性2.需要大量的支撐數(shù)據(jù)3.常局限于特征稀疏的情況GoogleNewsAmazon淘寶豌豆莢協(xié)同過濾的推薦算法1.原理簡(jiǎn)單有效，易于理解2.算法靈活，支持海量用戶/物品3.無需考慮復(fù)雜特征，支持特征空間極其復(fù)雜的用戶/物品的高效計(jì)算1.很明顯的冷啟動(dòng)問題2.常受限于用戶/物品行為矩陣稀疏的情況3.受限于用戶/物品rat

6、ing的正確性Netfix淘寶Amazon豆瓣豌豆莢常用推薦算法比較常用推薦算法比較協(xié)同過濾協(xié)同過濾-User-based CF協(xié)同過濾-Item-based CF移動(dòng)推薦的特點(diǎn)移動(dòng)推薦的特點(diǎn)使用次數(shù)多使用次數(shù)多時(shí)間碎片化內(nèi)容消費(fèi)占大頭內(nèi)容消費(fèi)占大頭用戶易定位(用戶設(shè)備)特點(diǎn)特點(diǎn)原因原因?qū)崟r(shí)推薦非常重要移動(dòng)設(shè)備/應(yīng)用使用次數(shù)多推薦的準(zhǔn)確率要求更高移動(dòng)設(shè)備/應(yīng)用使用時(shí)間碎片化內(nèi)容推薦是關(guān)鍵移動(dòng)設(shè)備/應(yīng)用消費(fèi)中內(nèi)容是大頭可利用用戶信息更豐富移動(dòng)設(shè)備可以用來準(zhǔn)確定位用戶移動(dòng)推薦的新特點(diǎn)移動(dòng)推薦的新特點(diǎn)豌豆莢移動(dòng)內(nèi)容推薦豌豆莢移動(dòng)內(nèi)容推薦關(guān)鍵技術(shù)關(guān)鍵技術(shù)豌豆莢移動(dòng)內(nèi)容推薦框架豌豆莢移動(dòng)內(nèi)容推薦框架關(guān)鍵

7、技術(shù)之關(guān)鍵技術(shù)之知識(shí)圖譜知識(shí)圖譜知識(shí)圖譜知識(shí)圖譜 - Knowledge GraphKnowledge Graph understands real-world entities andtheir relationships to one another: things, not strings,helps the machine to understand the world a bit more likepeople do.Knowledge Graph consists of nodes with edgesbetween them. Each node corresponds to a

8、n entity inreal work, each edge describe the relationship betweenthe begin and end nodes.Google Knowledge GraphData Sources Public Sources(Wikipedia, Freebase,CIA World Factbook) Knowledge Mining from Webpages(Lists, Tables, etc.) Knowledge Mining from user queries(xxattributes of yy entity)Google K

9、nowledge GraphUsages Find the right thing Recognize the entities in queries and associates them with the relevantinformation, and disambiguate entities using context information. Get the best summary Use the users search behavior to determine the most needed aspects foreach entity. Go deeper and bro

10、ader Help users to get some unexpected discoveries.豌豆莢知識(shí)圖譜豌豆莢知識(shí)圖譜數(shù)據(jù)來源數(shù)據(jù)來源 公開來源(Wikipedia, Freebase, IMDB、豆瓣電影) 應(yīng)用內(nèi)內(nèi)容/網(wǎng)頁信息中解析出來的實(shí)體和實(shí)體關(guān)系信息(應(yīng)用，游戲，書，視頻，音樂等) 豌豆莢用戶奉獻(xiàn)的User profile信息和UGC內(nèi)容 用戶-實(shí)體的關(guān)系(搜索、瀏覽、消費(fèi)、豌豆莢知識(shí)圖譜豌豆莢知識(shí)圖譜數(shù)據(jù)來源數(shù)據(jù)來源 公開來源(Wikipedia, Freebase, IMDB、豆瓣電影) 應(yīng)用內(nèi)內(nèi)容應(yīng)用內(nèi)內(nèi)容/網(wǎng)頁信息中解析出來的實(shí)體和實(shí)體關(guān)系信息(應(yīng)用，游戲，書，視

11、頻，音樂等) 豌豆莢用戶奉獻(xiàn)的User profile信息和UGC內(nèi)容內(nèi)容 用戶用戶-實(shí)體的關(guān)系實(shí)體的關(guān)系(搜索、瀏覽、消費(fèi)、搜索、瀏覽、消費(fèi)、豌豆莢知識(shí)圖譜豌豆莢知識(shí)圖譜用途用途 信息展示 全面展示內(nèi)容相關(guān)的實(shí)體及相互關(guān)系 用戶意圖理解重名區(qū)分查詢意圖識(shí)別 內(nèi)容推薦內(nèi)容推薦豌豆莢首頁內(nèi)容推薦 - 追新有趣豌豆莢詳情頁內(nèi)容推薦 - 相關(guān)而非相似豌豆莢各頻道列表頁內(nèi)容推薦 - 追熱有趣.關(guān)鍵技術(shù)之關(guān)鍵技術(shù)之Giraph-圖挖掘平臺(tái)圖挖掘平臺(tái)Giraph - 圖挖掘平臺(tái)圖挖掘平臺(tái)Giraph 是Google Pregel的開源實(shí)現(xiàn)，它基于Hadoop，通過在Hadoop上運(yùn)行map-only的jo

12、b來實(shí)現(xiàn)常見的圖挖掘算法。Giraph 提供了一個(gè)簡(jiǎn)單的提供了一個(gè)簡(jiǎn)單的“面向節(jié)點(diǎn)面向節(jié)點(diǎn)(Think like a vertex)的編程模型。所有的圖挖掘算法都可簡(jiǎn)化為在每一個(gè)的編程模型。所有的圖挖掘算法都可簡(jiǎn)化為在每一個(gè)Vertex上的兩類操作：上的兩類操作：1) 在在vertext上進(jìn)行數(shù)值計(jì)算上進(jìn)行數(shù)值計(jì)算(computation)；2) 將數(shù)值計(jì)算的結(jié)果通過邊傳遞給相鄰的全部/局部節(jié)點(diǎn)(communication)。上述編程模型極大簡(jiǎn)化了圖挖掘算法的實(shí)現(xiàn)，使得每個(gè)算法都可以迭代地實(shí)現(xiàn)，這一切是建立在Giraph內(nèi)嵌的bulksynchronous parallel編程模型根底上。Gi

13、raph Timeline 受受Google Pregel啟發(fā)開發(fā)啟發(fā)開發(fā)(2021) 被被Yahoo!捐獻(xiàn)給捐獻(xiàn)給ASF (2021) 成為成為Top-level ApacheProject (2021) 發(fā)布版本發(fā)布版本 (2021) 發(fā)布版本發(fā)布版本 (2021)Giraph典型應(yīng)用 Ranking Popularity, Importance,etc. Label Propagation Location, School,Interest, gender, etc. Community Groups, ClustersMap-only Map-Reduce Think like a k

14、ey-value pairpublic class Mappervoid map(KEYIN key,VALUEIN value,Context context)throws IOException,InterruptedException;Giraph Think like a vertexpublic class Vertextvoid compute(Iterator msgIterator);Giraph API(當(dāng)前Vertex上可用I getVertextId()V getVertextValue()void setVertextValue(V vertextValue)Itera

15、tor iterator()E getEdgeValue(I targetVertextId)boolean hasEdge(I targetVertextId)boolean addEdge(I targetVertextId, EedgeValue)E removeEdge(I targetVertextId)void voteToHalt()boolean isHalted()Giraph API(Vertex間傳遞消息可用)void sendMsg(I targetVertexid, Mmsg)void sendMsgToAllEdges(M msg)voidaddVertextReq

16、uest(BasicVertex(I, V,E, M vertex)void removeVertextRequest(IvertexId)void addEdgeRequest(IsourceVertexId, Edge edge)void removeEdgeRequest(IsourceVertextId, I destVertextId)一個(gè)簡(jiǎn)單的例子一個(gè)簡(jiǎn)單的例子 - 計(jì)算最大節(jié)點(diǎn)值計(jì)算最大節(jié)點(diǎn)值public class MaxValueVertex extends EdgeListVertexoverridepublic void compute(Iterator msgItera

17、tor)boolean changed = false;while(msgIterator.hasNext()IntWritable msgValue = msgIterator.next();if(msgValue.get() getVertexValue().get()setVertexValue(msgValue);changed = true;if(getSuperStep() = 0 | changed) sendMsgToAllEdges(getVertexValue(); else voteToHalt();復(fù)雜點(diǎn)的例子復(fù)雜點(diǎn)的例子 - PageRankpublic class

18、SimplePageRankVertex extends EdgeListVertexoverridepublic void compute(Iterator msgIterator)if(getSuperStep() = 1) double sum = 0;while(msgIterator.hasNext() sum += msgIterator.next().get();setVertexValue(new /getNumVertices() + * sum);if(getSuperStep() 300) long edges = getNumOutEdges();sendMsgToAllEdges(newDoubleWritable(getVertexValue.get() / edges); else voteToHalt();Mahout (Hadoop) 854行行豌豆莢知識(shí)圖譜豌豆莢知識(shí)圖譜 + Giraph用途用途 用戶性別、地域、教育水平的prediction 用戶內(nèi)容消費(fèi)社區(qū)的discovery Item/User-based CF，支撐內(nèi)容推薦 作弊用戶識(shí)別, opinion leader識(shí)別總結(jié)總結(jié)