大數(shù)據(jù)在BC電商中的應(yīng)用

大數(shù)據(jù)在B2C電商中的應(yīng)用——張昊旅游事業(yè)部頻道組舉例“推薦系統(tǒng)之王”

“InstantPersonalization”

應(yīng)用中心的智能算法好友推薦、親密度模型、好友智能分組……定向廣告算法、個(gè)性化推薦2…大數(shù)據(jù)相關(guān)應(yīng)用3用戶行為分析價(jià)格預(yù)測(cè)推薦系統(tǒng)評(píng)分預(yù)測(cè)問(wèn)題流量分析供應(yīng)鏈管理實(shí)時(shí)定制報(bào)表廣告精準(zhǔn)投放行業(yè)信息監(jiān)控評(píng)論挖掘分析傳播熱點(diǎn)分析銷(xiāo)量預(yù)測(cè)CRM社會(huì)化圖譜挖掘LBS推薦系統(tǒng)4流程架構(gòu)推薦系統(tǒng)5…用戶行為數(shù)據(jù)庫(kù)用戶屬性數(shù)據(jù)庫(kù)行為提取行為特征轉(zhuǎn)換特征向量特征物品相關(guān)推薦候選物品集合相關(guān)表1相關(guān)表2相關(guān)表N初始推薦結(jié)果過(guò)濾排序推薦解釋選擇最終推薦結(jié)果用戶行為反饋物品屬性ABC推薦系統(tǒng)6協(xié)同過(guò)濾算法（CF）-UserCF/ItemCF奇異值分解(SVD）/隱語(yǔ)義模型（LFM）對(duì)分網(wǎng)絡(luò)/二分圖模型利用UGC標(biāo)簽利用上下文社會(huì)化推薦（socialrecommendation)算法融合機(jī)器學(xué)習(xí)從準(zhǔn)確性到多樣性推薦算法簡(jiǎn)介推薦系統(tǒng)7協(xié)同過(guò)濾算法——基于商品/用戶間的相似度UserbasedCFItembasedCF余弦距離Jaccard距離歐氏距離海明距離UserbasedCFItembasedCF推薦系統(tǒng)8典型應(yīng)用新聞推薦電子商務(wù)、圖書(shū)/電影推薦推薦原理有共同愛(ài)好的用戶喜歡與用戶之前喜歡的物品類似推薦結(jié)果小群體的熱點(diǎn)用戶的興趣傳承個(gè)性化要求不太明顯強(qiáng)烈內(nèi)容數(shù)量多較少更新速度快較慢適用領(lǐng)域時(shí)效性強(qiáng)、個(gè)性化不明顯長(zhǎng)尾豐富、個(gè)性化需求強(qiáng)烈舉例GroupLens、DiggAmazon、Netflix用戶的新行為推薦結(jié)果不一定立即變化推薦結(jié)果實(shí)時(shí)變化推薦解釋難容易以歷史行為解釋協(xié)同過(guò)濾算法推薦系統(tǒng)9奇異值分解——探索相似度背后隱含根源分類1分類2分類3興趣1XXXXXXXXX興趣2XXXXXXXXX興趣3XXXXXXXXX推薦系統(tǒng)10二分圖模型——一個(gè)游走在用戶和商品之間的爬蟲(chóng)高相似性的判斷標(biāo)準(zhǔn)：兩個(gè)頂點(diǎn)間有很多路徑相連；連接兩個(gè)頂點(diǎn)間的路徑長(zhǎng)度都比較短；連接兩個(gè)頂點(diǎn)間的路徑不會(huì)出現(xiàn)大的頂點(diǎn)；推薦系統(tǒng)11算法總結(jié)用戶用戶商品特征商品喜歡、購(gòu)買(mǎi)有相似興趣的好友喜歡、具有相似喜歡包含相似性判斷斷特征聚類推薦系統(tǒng)12預(yù)測(cè)準(zhǔn)確度度用戶滿意度度覆蓋率多樣性新穎性驚喜度信任度實(shí)時(shí)性健壯性商業(yè)目標(biāo)系統(tǒng)評(píng)測(cè)離線實(shí)驗(yàn)（offlineexperiment)用戶調(diào)查（userstudy）在線實(shí)驗(yàn)（onlineexperiment）推薦系統(tǒng)新的挑戰(zhàn)和方案——用戶意圖模模糊情景下下的多維度度補(bǔ)充；平臺(tái)電商的的店鋪定向向、季節(jié)定定向；反作弊問(wèn)題題；考慮用戶本本身的權(quán)重重和行為頻頻度；冷啟動(dòng)問(wèn)題題；用戶疲勞；；……13評(píng)論挖掘14評(píng)論挖掘15維克托·邁爾-舍恩伯格大數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)挖掘計(jì)算機(jī)應(yīng)用信息管理暢銷(xiāo)書(shū)“大數(shù)據(jù)”是需要新處處理模式才才能具有更更強(qiáng)的決策力、洞察發(fā)現(xiàn)現(xiàn)力和流程優(yōu)化能力的海量量、高增長(zhǎng)長(zhǎng)率和多樣樣化的信息資產(chǎn)。喜歡作者說(shuō)的知知道“是什什么”就夠夠了，沒(méi)必必要知道““為什么””這個(gè)理論論。奧倫*埃奇奇奧尼因?yàn)樽约嘿I(mǎi)買(mǎi)到了比同同一架飛機(jī)機(jī)乘客貴的的機(jī)票而非常氣憤，因此他創(chuàng)創(chuàng)造了最早早的互聯(lián)網(wǎng)搜索索引擎。且不說(shuō)這這個(gè)引擎的的后續(xù)，至至少埃奇奧奧尼創(chuàng)立的的預(yù)測(cè)系統(tǒng)幫助乘客節(jié)節(jié)省了很多多錢(qián)。我們們不需要知知道機(jī)票為為什么漲或或者跌，我我們只想著著用最少的的錢(qián)去買(mǎi)到到同樣的機(jī)機(jī)票，如此此，這樣有有預(yù)見(jiàn)性的數(shù)據(jù)庫(kù)就是起到到了重要的的作用。而而在其他領(lǐng)領(lǐng)域上，同同樣的可以以用這樣的的大數(shù)據(jù)的的思維方式去思考。數(shù)據(jù)不是靜止不不動(dòng)的，需需要有變革的思維去看看它。而現(xiàn)現(xiàn)在的數(shù)據(jù)已經(jīng)成了一一種商業(yè)資本，可以創(chuàng)造造新的經(jīng)濟(jì)利益。從某種程程度上說(shuō)，，大數(shù)據(jù)是是數(shù)據(jù)分析的前沿技術(shù)。簡(jiǎn)言之，，從各種各各樣類型的的數(shù)據(jù)中，，快速獲得得有價(jià)值信息息的能力，就就是大數(shù)據(jù)技術(shù)。明白白這一點(diǎn)至至關(guān)重要，，也正是這這一點(diǎn)促使使該技術(shù)具具備走向眾眾多企業(yè)的的潛力。基基本上，人人們比以往往任何時(shí)候候都與數(shù)據(jù)據(jù)或信息交互。谷歌搜索、Facebook的帖子和微博消息使得人人們的行為和情緒的細(xì)節(jié)化測(cè)量量成為可能。。挖掘用戶戶的行為習(xí)慣和喜好好，凌亂紛繁繁的數(shù)據(jù)背背后找到更更符合用戶戶興趣和習(xí)習(xí)慣的產(chǎn)品品和服務(wù)，，并對(duì)產(chǎn)品品和服務(wù)進(jìn)進(jìn)行針對(duì)性性地調(diào)整和和優(yōu)化，……相關(guān)度分析析自然語(yǔ)言處處理這個(gè)商品不錯(cuò)~評(píng)論挖掘16TF1*IDF1+TF2*IDF2+…+TFN*IDFNTF——詞頻：關(guān)鍵鍵詞在文本本中出現(xiàn)的的頻率IDF———逆文本頻率率指數(shù)log（D/DW）：關(guān)鍵詞詞在所有文文本集中出出現(xiàn)的頻率率越高，IDF越低e.g.““原子能”““的”“應(yīng)應(yīng)用”TF：0.002、0.035、0.005IDF：8.96、0、1TF*IDF——文本與關(guān)鍵鍵詞相關(guān)度度的科學(xué)度度量評(píng)論挖掘大數(shù)據(jù)+自然語(yǔ)言處處理技術(shù)（（NLP）17文本相關(guān)度評(píng)論信息量評(píng)論情感分詞消歧互信息特征征篩選主題LDA情感分析特征詞聚類類詞性標(biāo)注向量空間模模型TF*IDF評(píng)論挖掘18（當(dāng)當(dāng)網(wǎng)）評(píng)論挖掘掘A/B測(cè)試結(jié)果：：顧客體驗(yàn)提提升；購(gòu)買(mǎi)決策時(shí)間變短；；點(diǎn)擊評(píng)論次數(shù)減少；；頁(yè)面停留時(shí)時(shí)間降低；；轉(zhuǎn)化率提升升；全年貢獻(xiàn)過(guò)過(guò)億；評(píng)論挖掘19評(píng)分預(yù)測(cè)問(wèn)問(wèn)題20——4分——3分——5分——？分預(yù)測(cè)幫助用戶決策評(píng)分預(yù)測(cè)問(wèn)問(wèn)題21常用算法：：基于平均值值；基于相似物物品；隱語(yǔ)義與矩矩陣分解模模型；算法融合；；……歷史銷(xiāo)量?jī)r(jià)格產(chǎn)品季節(jié)性產(chǎn)品瀏覽量競(jìng)爭(zhēng)對(duì)手情況產(chǎn)品曝光率營(yíng)銷(xiāo)推廣產(chǎn)品評(píng)論供應(yīng)商質(zhì)量市場(chǎng)熱點(diǎn)目標(biāo)用戶特征……銷(xiāo)量預(yù)測(cè)模模型22滿位率↓買(mǎi)斷風(fēng)險(xiǎn)↓毛利↑運(yùn)營(yíng)效率↑↑一個(gè)旅游業(yè)業(yè)的案例23F———近十萬(wàn)億條條價(jià)格記錄錄；票價(jià)預(yù)測(cè)準(zhǔn)準(zhǔn)確率達(dá)75%；平均每張機(jī)機(jī)票為旅客客節(jié)省50美元；2008年以1.15億美元被微微軟收購(gòu)，，并入必應(yīng)應(yīng)；Ongoing——大數(shù)據(jù)+實(shí)時(shí)處理24延伸閱讀25謝謝！附——大數(shù)據(jù)有多多大1分鐘產(chǎn)生的的數(shù)據(jù)量：：48小時(shí)新視頻頻@Youtube2000000次搜索請(qǐng)求求@Google684478條分享消息息@Facebook100000條新微博@Twitter3600張照片@Instagram90%的數(shù)據(jù)產(chǎn)生生于最近兩兩年；2020年，非結(jié)構(gòu)構(gòu)化數(shù)據(jù)量量10倍于結(jié)構(gòu)化化數(shù)據(jù)；27大容量Volume每天新增100TB統(tǒng)計(jì)數(shù)據(jù)客戶分析的可用維度1000多個(gè)每天處理上百億次用戶行為反饋高速度Velocity實(shí)時(shí)數(shù)據(jù)收集云數(shù)據(jù)分析調(diào)度Veracity精準(zhǔn)錯(cuò)誤數(shù)據(jù)校準(zhǔn)上下文環(huán)境過(guò)濾Variety多樣性客戶多樣性商品多樣性通過(guò)算法和機(jī)器學(xué)習(xí)附———大數(shù)數(shù)據(jù)據(jù)之之4V28附———大數(shù)數(shù)據(jù)據(jù)之之客客戶戶畫(huà)畫(huà)像像29附———人人人““好好友友智智能能分分組組””30返回回附———大數(shù)據(jù)據(jù)之之用用戶戶行行為為31電商商網(wǎng)網(wǎng)站站中中的的典典型型用用戶戶行行為為行為用戶類型數(shù)據(jù)規(guī)模實(shí)時(shí)展現(xiàn)瀏覽網(wǎng)頁(yè)注冊(cè)/匿名大×將商品加入購(gòu)物車(chē)注冊(cè)中√購(gòu)買(mǎi)商品注冊(cè)中√收藏商品注冊(cè)中√評(píng)論商品注冊(cè)小√給商品評(píng)分注冊(cè)小√搜索商品注冊(cè)/匿名大×點(diǎn)擊搜索結(jié)果注冊(cè)/匿名大×分享商品注冊(cè)小√返回回附———推薦薦系系統(tǒng)統(tǒng)32幫助助用用戶戶快快速速發(fā)發(fā)現(xiàn)現(xiàn)有有用用的的信信息息；；將新新產(chǎn)產(chǎn)品品推推薦薦給給用用戶戶；；將商商業(yè)業(yè)上上需需要要宣宣傳傳的的商商品品推推薦薦給給用用戶戶；；不同同種