數(shù)據(jù)挖掘技術(shù)應(yīng)用實(shí)例課件

數(shù)據(jù)挖掘技術(shù)應(yīng)用實(shí)例1.個(gè)性化廣告2.電影和視頻推薦3.奧巴馬成功競(jìng)選數(shù)據(jù)挖掘技術(shù)應(yīng)用實(shí)例1個(gè)性化廣告?zhèn)€性化廣告2廣告是互聯(lián)網(wǎng)公司生存的根本。很多互聯(lián)網(wǎng)公司的盈利模式都是基于廣告的，而廣告的CPC、CPM直接決定了很多互聯(lián)網(wǎng)公司的收入。目前，很多廣告都是隨機(jī)投放的，即每次用戶來(lái)了，隨機(jī)選擇一個(gè)廣告投放給他。這種投放的效率顯然很低，比如給男性投放化妝品廣告或者給女性投放西裝廣告多半都是一種浪費(fèi)。因此，很多公司都致力于廣告定向投放（AdTargeting）的研究，即如何將廣告投放給它的潛在客戶群。個(gè)性化廣告投放目前已經(jīng)成為了一門獨(dú)立的學(xué)科——計(jì)算廣告學(xué)——但該學(xué)科和推薦系統(tǒng)在很多基礎(chǔ)理論和方法上是相通的，比如它們的目的都是聯(lián)系用戶和物品，只是在個(gè)性化廣告中，物品就是廣告。廣告是互聯(lián)網(wǎng)公司生存的根本。很多互聯(lián)網(wǎng)公司的盈利模3個(gè)性化廣告投放和狹義個(gè)性化推薦的區(qū)別是，個(gè)性化推薦著重于幫助用戶找到可能令他們感興趣的物品，而廣告推薦著重于幫助廣告找到可能對(duì)它們感興趣的用戶，即一個(gè)是以用戶為核心，而另一個(gè)以廣告為核心。目前的個(gè)性化廣告投放技術(shù)主要分為3種。個(gè)性化廣告投放和狹義個(gè)性化推薦的區(qū)別是，個(gè)性化推薦著重于幫助4上下文廣告通過(guò)分析用戶正在瀏覽的網(wǎng)頁(yè)內(nèi)容，投放和網(wǎng)頁(yè)內(nèi)容相關(guān)的廣告。代表系統(tǒng)是谷歌的Adsense。搜索廣告通過(guò)分析用戶在當(dāng)前會(huì)話中的搜索記錄，判斷用戶的搜索目的，投放和用戶目的相關(guān)的廣告。個(gè)性化展示廣告我們經(jīng)常在很多網(wǎng)站看到大量展示廣告（就是那些大的橫幅圖片），它們是根據(jù)用戶的興趣，對(duì)不同用戶投放不同的展示廣告。雅虎是這方面研究的代表。上下文廣告通過(guò)分析用戶正在瀏覽的網(wǎng)頁(yè)內(nèi)容，投放和網(wǎng)頁(yè)內(nèi)容相5廣告的個(gè)性化定向投放是很多互聯(lián)網(wǎng)公司的核心技術(shù)，很多公司都秘而不宣。不過(guò)，雅虎公司是個(gè)例外，它發(fā)表了大量個(gè)性化廣告方面的論文。在個(gè)性化廣告方面最容易獲得成功的無(wú)疑是Facebook，因?yàn)樗鼡碛写罅康挠脩魝€(gè)人資料，可以很容易地獲取用戶的興趣，讓廣告商選擇自己希望對(duì)其投放廣告的用戶。圖1-21展示了Facebook的廣告系統(tǒng)界面，該界面允許廣告商選擇自己希望的用戶群，然后Facebook會(huì)根據(jù)廣告商的選擇告訴他們這些限制條件下廣告將會(huì)覆蓋的用戶數(shù)量。廣告的個(gè)性化定向投放是很多互聯(lián)網(wǎng)公司的核心技術(shù)，很多公司都秘6數(shù)據(jù)挖掘技術(shù)應(yīng)用實(shí)例ppt課件7電影和視頻推薦電影和視頻推薦8在電影和視頻網(wǎng)站中，個(gè)性化推薦系統(tǒng)也是一種重要的應(yīng)用。它能夠幫助用戶在浩瀚的視頻庫(kù)中找到令他們感興趣的視頻。在該領(lǐng)域成功使用推薦系統(tǒng)的一家公司就是Netflix，它和亞馬遜是推薦系統(tǒng)領(lǐng)域最具代表性的兩家公司。在電影和視頻網(wǎng)站中，個(gè)性化推薦系統(tǒng)也是一種重要的應(yīng)用。它能夠9Netflix原先是一家DVD租賃網(wǎng)站，最近這幾年也開(kāi)始涉足在線視頻業(yè)務(wù)。Netflix非常重視個(gè)性化推薦技術(shù)，并且在2006年起開(kāi)始舉辦著名的NetflixPrize推薦系統(tǒng)比賽①。該比賽懸賞100萬(wàn)美元，希望研究人員能夠?qū)etflix的推薦算法的預(yù)測(cè)準(zhǔn)確度提升10%。該比賽舉辦3年后，由AT&T的研究人員獲得了最終的大獎(jiǎng)。該比賽對(duì)推薦系統(tǒng)的發(fā)展起到了重要的推動(dòng)作用：一方面該比賽給學(xué)術(shù)界提供了一個(gè)實(shí)際系統(tǒng)中的大規(guī)模用戶行為數(shù)據(jù)集（40萬(wàn)用戶對(duì)2萬(wàn)部電影的上億條評(píng)分記錄）；另一方面，3年的比賽中，參賽者提出了很多推薦算法，大大降低了推薦系統(tǒng)的預(yù)測(cè)誤差。此外，比賽吸引了很多優(yōu)秀的科研人員加入到推薦系統(tǒng)的研究中來(lái)，大大提高了推薦系統(tǒng)在業(yè)界和學(xué)術(shù)界的影響力。Netflix原先是一家DVD租賃網(wǎng)站，最近這幾年也開(kāi)始涉足10YouTube作為美國(guó)最大的視頻網(wǎng)站，擁有大量用戶上傳的視頻內(nèi)容。由于視頻庫(kù)非常大，用戶在YouTube中面臨著嚴(yán)重的信息過(guò)載問(wèn)題。為此，YouTube在個(gè)性化推薦領(lǐng)域也進(jìn)行了深入研究，嘗試了很多算法。在YouTube最新的論文④中，他們的研究人員表示現(xiàn)在使用的也是基于物品的推薦算法。為了證明個(gè)性化推薦的有效性，YouTube曾經(jīng)做個(gè)一個(gè)實(shí)驗(yàn)，比較了個(gè)性化推薦的點(diǎn)擊率和熱門視頻列表的點(diǎn)擊率，實(shí)驗(yàn)結(jié)果表明個(gè)性化推薦的點(diǎn)擊率是熱門視頻點(diǎn)擊率的兩倍。YouTube作為美國(guó)最大的視頻網(wǎng)站，擁有大量用戶上傳的視頻11和YouTube類似，美國(guó)另一家著名的視頻網(wǎng)站Hulu也有自己的個(gè)性化推薦頁(yè)面。如圖1-10所示，Hulu在展示推薦結(jié)果時(shí)也提供了視頻標(biāo)題、縮略圖、視頻的平均分、推薦理由和用戶反饋模塊。和YouTube類似，美國(guó)另一家著名的視頻網(wǎng)站Hulu也有自12數(shù)據(jù)挖掘技術(shù)應(yīng)用實(shí)例ppt課件13奧巴馬成功競(jìng)選奧巴馬成功競(jìng)選14數(shù)據(jù)挖掘技術(shù)應(yīng)用實(shí)例ppt課件15奧巴馬競(jìng)選成功后，在Twitter上發(fā)的第一章照片。社交網(wǎng)絡(luò)與數(shù)據(jù)分析，對(duì)奧巴馬成功連任功不可沒(méi)。奧巴馬競(jìng)選陣營(yíng)的數(shù)據(jù)挖掘團(tuán)隊(duì)為競(jìng)選活動(dòng)搜集、存儲(chǔ)和分析了大量數(shù)據(jù)，給予競(jìng)選團(tuán)隊(duì)的高級(jí)助手，幫助其成功“策劃”多場(chǎng)活動(dòng)，為奧巴馬競(jìng)選籌集到10億美元資金。奧巴馬競(jìng)選成功后，在Twitter上發(fā)的第一章照片。社交16今年春天晚些時(shí)候，奧巴馬競(jìng)選陣營(yíng)的數(shù)據(jù)挖掘團(tuán)隊(duì)注意到，影星喬治·克魯尼(GeorgeClooney)對(duì)美國(guó)西海岸40歲至49歲的女性具有非常大的吸引力。她們無(wú)疑是最有可能為了在好萊塢與克魯尼和奧巴馬共進(jìn)晚餐而不惜自掏腰包的一個(gè)群體?？唆斈嵩谧约液勒e辦的籌款宴會(huì)上，為奧巴馬籌集到數(shù)百萬(wàn)美元的競(jìng)選資金。今年春天晚些時(shí)候，奧巴馬競(jìng)選陣營(yíng)的數(shù)據(jù)挖掘團(tuán)隊(duì)注意到，影星喬17這個(gè)由幾十人組成的數(shù)據(jù)挖掘團(tuán)隊(duì)的具體工作被嚴(yán)格保密。奧巴馬競(jìng)選團(tuán)隊(duì)發(fā)言人本拉·波爾特(BenLaBolt)在問(wèn)到數(shù)據(jù)挖掘團(tuán)隊(duì)的職責(zé)時(shí)說(shuō)：“他們是我們的核代碼?！痹谵k公室里，該團(tuán)隊(duì)會(huì)給各個(gè)數(shù)據(jù)挖掘?qū)嶒?yàn)進(jìn)行神秘代碼命名，比如“獨(dú)角鯨”、“追夢(mèng)人”等。他們?cè)谶h(yuǎn)離競(jìng)選團(tuán)隊(duì)剩余工作人員的地方辦公。這些“科學(xué)家”為身在白宮羅斯福廳的總統(tǒng)及其高級(jí)助手制作日常簡(jiǎn)報(bào)，而有關(guān)這個(gè)團(tuán)隊(duì)的更多細(xì)節(jié)是不會(huì)對(duì)外透露的，因?yàn)閵W巴馬競(jìng)選陣營(yíng)牢牢固守著他們自認(rèn)為比羅姆尼競(jìng)選陣營(yíng)有優(yōu)勢(shì)的地方：即數(shù)據(jù)。這個(gè)由幾十人組成的數(shù)據(jù)挖掘團(tuán)隊(duì)的具體工作被嚴(yán)格保密。奧巴馬競(jìng)18在前18個(gè)月，競(jìng)選團(tuán)隊(duì)就創(chuàng)建了一個(gè)單一的龐大系統(tǒng)，可以將來(lái)自民意調(diào)查者、捐資者、現(xiàn)場(chǎng)工作人員、消費(fèi)者數(shù)據(jù)庫(kù)、社交媒體，以及“搖擺州”主要的民主黨投票人的信息整合在一起。在競(jìng)選辦公室里的電話名單上，不僅僅列出了姓名和電話號(hào)碼，還按照他們被說(shuō)服的可能性和重要性對(duì)姓名進(jìn)行排序。在排序的決定性因素中，約75%是基本信息，如年齡、姓別、種族、鄰居和投票記錄等。一位高級(jí)顧問(wèn)稱：“我們可以預(yù)測(cè)哪些人會(huì)通過(guò)網(wǎng)絡(luò)捐款，哪些人會(huì)匯款。我們還可以為志愿者建模，建模可以對(duì)讓我們的工作效率更高?！痹谇?8個(gè)月，競(jìng)選團(tuán)隊(duì)就創(chuàng)建了一個(gè)單一的龐大系統(tǒng)，可以將19例如，競(jìng)選團(tuán)隊(duì)早期就發(fā)現(xiàn)，在個(gè)人注意力最容易被重新吸引回來(lái)的人群中，在2008年大選中曾退訂了競(jìng)選電子郵件的那部分人是首要目標(biāo)。為此，戰(zhàn)略家們?yōu)樘囟ㄈ巳褐朴喠讼鄳?yīng)的測(cè)試。例如，測(cè)試一個(gè)本地志愿者打來(lái)的電話的效果如何優(yōu)于一個(gè)從非搖擺州(如加州)志愿者打來(lái)的電話。正如競(jìng)選總指揮吉姆·梅西納(Jim

Messina)所說(shuō)，在整個(gè)競(jìng)選活中，沒(méi)有數(shù)字做支撐的假設(shè)很少存在。例如，競(jìng)選團(tuán)隊(duì)早期就發(fā)現(xiàn)，在個(gè)人注意力最容易被重新吸引回來(lái)的20結(jié)果的預(yù)測(cè)這種協(xié)助籌款的技術(shù)隨后又被用于預(yù)測(cè)投票結(jié)果。奧巴馬的數(shù)據(jù)分析團(tuán)隊(duì)建立了4條投票數(shù)據(jù)流，以了解關(guān)鍵州選民的詳細(xì)情況。一名官員表示，過(guò)去1個(gè)月中，僅在俄亥俄州，數(shù)據(jù)分析團(tuán)隊(duì)就獲得了約2.9萬(wàn)人的投票傾向數(shù)據(jù)。這是一個(gè)包含1%選民的巨大樣本，使他們可以準(zhǔn)確了解每一類人群和每一個(gè)地區(qū)選民在任何時(shí)刻的態(tài)度。這帶來(lái)了巨大的優(yōu)勢(shì)。當(dāng)?shù)谝淮坞娨曓q論結(jié)束后，選民的投票傾向發(fā)生改變。而數(shù)據(jù)分析團(tuán)隊(duì)可以立即知道什么樣的選民改變了態(tài)度，什么樣的選民仍堅(jiān)持原來(lái)的投票選擇。結(jié)果的預(yù)測(cè)21在10月份選情撲朔迷離的情況下，這一數(shù)據(jù)庫(kù)確保了奧巴馬競(jìng)選活動(dòng)的穩(wěn)定。通過(guò)數(shù)據(jù)，奧巴馬競(jìng)選團(tuán)隊(duì)發(fā)現(xiàn)，大部分搖擺不定的俄亥俄州選民原本并非奧巴馬的擁躉，而是羅姆尼的支持者。在9月份羅姆尼出現(xiàn)失誤之后，這些選民的態(tài)度出現(xiàn)動(dòng)搖。一名官員表示：“我們比其他人更冷靜?！泵刻焱黹g，投票傾向和選民數(shù)據(jù)被反復(fù)處理，以考慮多種不同情況。另一名高級(jí)官員則表示：“我們每晚模擬6.6萬(wàn)次大選，并于每天上午獲得結(jié)果，了解在這些州勝出的可能性，從而針對(duì)性地分配資源?！痹?0月份選情撲朔迷離的情況下，這一數(shù)據(jù)庫(kù)確保了奧巴馬競(jìng)22奧巴馬競(jìng)選團(tuán)隊(duì)還首次利用Facebook進(jìn)行大規(guī)模的投票動(dòng)員，這模仿了現(xiàn)場(chǎng)組織者挨家挨戶敲門的方式。在競(jìng)選活動(dòng)的最后幾周，下載某一款應(yīng)用的用戶收到了多條消息，其中包含他們?cè)凇皳u擺州”好友的照片。他們被告知，可以通過(guò)點(diǎn)擊按鈕，呼吁這些目標(biāo)選民采取行動(dòng)，例如進(jìn)行投票注冊(cè)、更早地投票，以及參與到投票中。奧巴馬競(jìng)選團(tuán)隊(duì)發(fā)現(xiàn)，大約1/5收到Facebook請(qǐng)求的選民做出了響應(yīng)，這在很大程度上是因?yàn)檎?qǐng)求來(lái)自他們熟悉的人。奧巴馬競(jìng)選團(tuán)隊(duì)還首次利用Facebook進(jìn)行大規(guī)模的投票23數(shù)據(jù)還幫助奧巴馬競(jìng)選團(tuán)隊(duì)進(jìn)行廣告購(gòu)買決策。在選擇廣告投放渠道時(shí)，他們沒(méi)有依靠外部媒體顧問(wèn)，而是基于內(nèi)部數(shù)據(jù)。一名官員表示：“我們可以通過(guò)復(fù)雜的建模來(lái)找到目標(biāo)選民。例如，如果邁阿密戴德郡的35歲以下女性是我們的目標(biāo)，那么這里有如何覆蓋她們的方式?！币虼耍瑠W巴馬競(jìng)選團(tuán)隊(duì)在一些非傳統(tǒng)節(jié)目中購(gòu)買了廣告，例如4月23日的電視劇《混亂之子》、《行尸走肉》和《23號(hào)公寓的壞女孩》。以往，競(jìng)選廣告通常出現(xiàn)在本地新聞節(jié)目中。那么，在廣告投放方面，奧巴馬競(jìng)選團(tuán)隊(duì)2012年的表現(xiàn)比2008年好多少？芝加哥有這樣的數(shù)據(jù)：“在電視平臺(tái)上，我們的購(gòu)買效率提升了14%，確保與能夠被說(shuō)服的選民保持交流?！睌?shù)據(jù)還幫助奧巴馬競(jìng)選團(tuán)隊(duì)進(jìn)行廣告購(gòu)買決策。在選擇廣告投放渠道24根據(jù)數(shù)據(jù)分析，奧巴馬競(jìng)選團(tuán)隊(duì)在大選的最后階段也采取了不同以往的方式。今年8月，奧巴馬決定在社交新聞網(wǎng)站Reddit上回答問(wèn)題，當(dāng)時(shí)多名總統(tǒng)高級(jí)助理并不清楚此事。一名官員表示：“我們?yōu)楹螌W巴馬放在Reddit上？因?yàn)槲覀儼l(fā)現(xiàn)很大一部分目標(biāo)選民在Reddit上?！备鶕?jù)數(shù)據(jù)分析，奧巴馬競(jìng)選團(tuán)隊(duì)在大選的最后階段