R語言數(shù)據(jù)挖掘

1、精選優(yōu)質(zhì)文檔-傾情為你奉上 R語言數(shù)據(jù)挖掘論文題目：數(shù)據(jù)挖掘?qū)崙?zhàn)之網(wǎng)站智能推薦服務 指導老師: 張 敏 小組成員： 周犬義 王寧 數(shù)據(jù)挖掘?qū)崙?zhàn)之網(wǎng)站智能推薦服務一、背景與挖掘目標伴隨著計算機技術、通信技術的日益成熟和廣泛應用，互聯(lián)網(wǎng)自90年代初開始得到迅猛發(fā)展，至今雖然只有短短幾十年的時間，但它已經(jīng)發(fā)展成為現(xiàn)今信息時代人類生活中不可或缺的重要組成部分，并成為全球范圍內(nèi)傳播信息的主要渠道。隨之而來的是互聯(lián)網(wǎng)上信息資源越來越豐富，人們要在浩如煙海的“混亂的”互聯(lián)網(wǎng)信息世界中找到自己真正感興趣信息卻存在很大的困難，具體表現(xiàn)在：用戶不知道如何貼切表達真正想要的網(wǎng)上資源的需求，也不知道如何去更準確有效地

2、尋找，即所謂的 “信息迷失”問題；和對收到的或已經(jīng)下載的大量無關的信息難以消化，即所謂的“信息過載”問題。雖然我們可以借助于搜索引擎來檢索Web上的信息，但仍不能滿足不同背景、不同目的和不同時期的查詢要求，因為大多數(shù)搜索引擎缺少主動性，沒有考慮用戶的興趣偏好和用戶的不同，無法有效地解決信息過載和信息迷失的問題。為了適應用戶不斷增長的信息需求，有效地解決信息過載和信息迷失給人們帶來的種種問題，研究人員紛紛從人工智能中尋找突破口。在許多探索性研究中，個性化推薦服務作為一種嶄新的智能信息服務方式，應用前景廣泛，十分引人注目。與搜索引擎不同，推薦系統(tǒng)并不需要用戶提供明確的需求，而是通過分析用戶的歷史行

3、為，根據(jù)用戶的行為主動推薦能夠滿足他們興趣和需求的信息。因此，對于用戶而言推薦系統(tǒng)和搜索引擎是兩個互補的工具。搜索引擎滿足有明確目的的用戶需求，而推薦系統(tǒng)能夠幫助用戶發(fā)現(xiàn)感興趣的內(nèi)容。因此，在電子商務領域中推薦技術可以起到以下作用：第一，幫助用戶發(fā)現(xiàn)其感興趣的物品，節(jié)省用戶時間、提升用戶體驗；第二，提高用戶對電子商務網(wǎng)站的忠誠度，如果推薦系統(tǒng)能夠準確地發(fā)現(xiàn)用戶的興趣點，并將合適的資源推薦給用戶，用戶就會對該電子商務網(wǎng)站產(chǎn)生依賴，從而建立穩(wěn)定的企業(yè)忠實顧客群，提高用戶滿意度。本案例研究的對象是泰迪智能科技有限公司的泰迪杯競賽網(wǎng)站，泰迪科技是一家專業(yè)從事大數(shù)據(jù)挖掘應用研發(fā)、咨詢和培訓服務的高科技企

4、業(yè)。泰迪杯競賽網(wǎng)致力于為用戶提供豐富的泰迪杯競賽信息、數(shù)據(jù)挖掘培訓咨詢服務，并為參賽者提供了往屆優(yōu)秀作品作為參考，為高校提供了豐富的教學資源，如：案例教程、教學視頻、教學書籍、建模工具等。隨著網(wǎng)站量增大，其數(shù)據(jù)信息量也在大幅度增長。用戶在面對大量信息時無法及時從中獲取自己需要的信息，對信息的使用效率越來越低。這種瀏覽大量無關信息的過程，造成了用戶需要花費大量的時間才能找到自己需要的信息。為了能更好地滿足用戶需求，依據(jù)其網(wǎng)站海量的數(shù)據(jù)，研究用戶的興趣偏好，分析用戶的需求和行為，發(fā)現(xiàn)用戶的興趣點。引導用戶發(fā)現(xiàn)自己的信息需求，將網(wǎng)頁精準地推薦給所需用戶，幫助用戶發(fā)現(xiàn)他們感興趣但很難發(fā)現(xiàn)的網(wǎng)頁信息。為

5、了能夠更好的滿足用戶需求，依據(jù)其網(wǎng)站海量的數(shù)據(jù)，研究用戶的興趣偏好，分析用戶的需求和行為，發(fā)現(xiàn)用戶的興趣點，從而引導用戶發(fā)現(xiàn)自己的信息需求。行為記錄原始數(shù)據(jù)：利用read.csv函數(shù)把原始數(shù)據(jù)導入R語言RStudio中，整理數(shù)據(jù)進行下一步的處理。當用戶訪問網(wǎng)站頁面時，系統(tǒng)會記錄用戶訪問網(wǎng)站的日志，其訪問的數(shù)據(jù)記錄了訪問序號、內(nèi)容id、訪問內(nèi)容、用戶id、ip等多項屬性的記錄，并針對其中的各個屬性進行說明，如表 2-2 所示。表 2-2 訪問記錄屬性表屬性名稱屬性說明屬性名稱屬性說明id訪問序號browser_type瀏覽器類型content_id內(nèi)容idbrowser_version瀏覽器版本

6、page_path網(wǎng)址platform_type平臺類型username用戶名稱platform_series平臺系列userid用戶idplatform_version平臺版本sessionid一次瀏覽標識data_time訪問時間ipip地址mobile_type手機類型country國家agent代理商area區(qū)域uniqueVisitorID唯一瀏覽ID依據(jù)所提供的原始數(shù)據(jù)，確定挖掘目標如下：挖掘目標：1、借助大量用戶的訪問記錄，發(fā)現(xiàn)用戶的訪問行為習慣，對不同需求的用戶進行相關服務頁面的推薦；2、根據(jù)用戶訪問內(nèi)容、訪問次數(shù)等屬性特征，深入了解用戶對訪問網(wǎng)站的行為和目的及關心的內(nèi)容二、

7、推薦系統(tǒng)架構(gòu)總體流程主要步驟：1. 從系統(tǒng)中獲取用戶訪問網(wǎng)站的原始記錄。2. 以用戶訪問jhtml后綴的網(wǎng)頁為關鍵條件，對數(shù)據(jù)進行處理。3. 對數(shù)據(jù)進行多維度分析，用戶訪問時間，用戶訪問內(nèi)容，流失用戶分析以及用戶分群等分析。4. 對數(shù)據(jù)進行預處理，包含數(shù)據(jù)去重，數(shù)據(jù)刪選，數(shù)據(jù)分類等處理過程。5. 對比多種推薦算法進行推薦，通過模型評價，得到比較好的智能推薦模型。通過模型對樣本數(shù)據(jù)進行預測，獲得推薦結(jié)果數(shù)據(jù)抽取：1.網(wǎng)頁類型分析 圖一結(jié)論：從去掉.jhtml的網(wǎng)址中針對用戶的瀏覽習慣，對教學資源、競賽、企業(yè)合作、新聞合作進行分類提取分析，其中教學資源、競賽、企業(yè)合作、新聞合作分別占總數(shù)的百分比為

8、29.50%、34.50%、9.70%、25.40%，這樣讓我們更深入地去了解用戶需要什么，進而為下一步的推薦提升一定的需要。2.臟數(shù)據(jù)探索l 臟數(shù)據(jù)探索一：在記錄中，存在一部分這樣的用戶，他們沒有點擊具體的網(wǎng)頁(.jhtml形式的)，點擊的大部分是目錄網(wǎng)頁，總共有12091條記錄，應刪掉這部分。l 臟數(shù)據(jù)探索二：對數(shù)據(jù)中存在部分翻頁網(wǎng)址，大量的用戶基本只會選擇瀏覽了25頁后，如果沒有搜索到想要的內(nèi)容，直接就放棄此次的搜索，很少會選擇瀏覽完全部內(nèi)容，因為這部分網(wǎng)頁存在首頁，故對數(shù)據(jù)處理應刪除翻頁部分。3.點擊次數(shù)分析點擊次數(shù)用戶數(shù)用戶百分比記錄百分比1236939.74 5.36 296416

9、.17 4.36 34707.88 3.19 43906.54 1.80 52654.44 3.00 62023.39 2.74 71682.81 2.66 7次以上113319.01 80.08 分析：1.瀏覽一次的用戶占所有用戶39%左右，記錄數(shù)占5%左右；瀏覽七次以上的用戶占所有用戶的80%左右，其中40%的用戶，為網(wǎng)址提供了大約90%的瀏覽量2.對點擊次數(shù)最大值進行分析，其大多是關于“Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)圖書配套資料下載”的總共2075次。4.網(wǎng)頁點擊數(shù)排名排序網(wǎng)址點擊數(shù)1/zytj/index.jhtml2469 教學資源2/yxzp/i

10、ndex.jhtml2123 競賽3/ts/661.jhtml2075 教學資源4/notice/757.jhtml1378 新聞公告5/stpj/index.jhtml1296 競賽6/qk/729.jhtml1072 競賽7/ts/654.jhtml 934 教學資源8/jszz/index.jhtml900 競賽9/ts/785.jhtml 838 教學資源10/ts/578.jhtml 831 教學資源11/xtxm/inde

11、x.jhtml749 企業(yè)合作12/notices/index.jhtml 709 新聞公告13/notice/758.jhtml 661 新聞公告14/sj/638.jhtml648 新聞公告15/ts/index.jhtml645 教學資源16/sj/789.jhtml 569 新聞公告17/sm/736.jhtml 513 競賽18/ts/655.jhtml505 教學資源19/ts/747.jhtml 487 教學資源20/c

12、gal/index.jhtml 467 競賽分析：表中可以看出，點擊次數(shù)排名前20名中，“教學資源”類占了大部分，其次是“競賽”類，然后是“新聞公告”類。5.同網(wǎng)頁翻頁的點擊數(shù)網(wǎng)址點擊數(shù)比率/yxzp//yxzp/index_2.jhtml 2750.130/yxzp/index_3./yxzp/index_4.jhtml 110.005/yxzp/index_5./yxzp/index_6.jhtml50.0

13、02/stpj//stpj/index_2./stpj/index_3.jhtml530.041分析：同一網(wǎng)頁中登錄次數(shù)最多大部分都是從主頁搜索引擎直接收索到的網(wǎng)頁。可了解到用戶進行同網(wǎng)頁翻頁的比例相對較少，會出現(xiàn)用戶衰減的情況。1、如果網(wǎng)頁需要翻的頁數(shù)太多，大量的用戶基本只會選擇瀏覽了2-6頁后，沒有搜索到想要的內(nèi)容，直接就放棄此次的搜索，很少會選擇瀏覽完全部內(nèi)容。2、通過搜索入口，直接找到需要的幫助，就不需要對網(wǎng)址進行翻頁處理。3、如果翻頁情況比較小，可以建議設置全頁顯示，知識頁面

14、無此功能6.數(shù)據(jù)處理流程三、數(shù)據(jù)預處理1.數(shù)據(jù)清洗, 針對上述歸納的臟數(shù)據(jù)類型，對原始數(shù)據(jù)進行數(shù)據(jù)清洗。刪除數(shù)據(jù)類型刪除數(shù)據(jù)記錄原始數(shù)據(jù)記錄百分比翻頁1277609912.093%亂碼錯誤網(wǎng)址5609910.0081%網(wǎng)站主頁2527609914.143%無.html 120916099119.8%重復網(wǎng)頁165906099127.2%2.數(shù)據(jù)選擇, 選擇記錄中.jhtml后綴的記錄，并對其進行手動分類處理。類型總記錄數(shù)百分比（27612）說明zytj、yxsp、jmgj、information、tsasdf、dsjkf、jiao、jmg、tts、sjfxs、sjsdf790628.63%教學

15、資源jszz、stpj、yxzp、cgal、firsttipdm、secondtipdm、thirdtipdm、fourthtipdm、jingsa、kjxm、qk、sdfasf、sm、td954434.56%競賽qyal、xtxm、wjxq、zxns、zzszl314511.38%企業(yè)合作news、notice、notices、sj786928.50%新聞合作3.數(shù)據(jù)集成：教學資源競賽 用戶泰迪公司 瀏覽 網(wǎng)頁企業(yè)合作新聞公告四、統(tǒng)計分析選取知識內(nèi)容中的教學資源類型進行分析網(wǎng)址內(nèi)容點擊次數(shù)/ts/661.jhtmlPython數(shù)據(jù)分析與挖掘?qū)崙?zhàn)圖書配套資料下載2075tip

16、/ts/654.jhtmlR語言分析與挖掘?qū)崙?zhàn)圖書配套資料下載934/ts/785.jhtml 賈圓圓數(shù)據(jù)挖掘競賽平臺838/ts/578.jhtmlMatlab分析與挖掘?qū)崙?zhàn)圖書配套資料下載831/ts/655.jhtmlHadoop分析與挖掘?qū)崙?zhàn)圖書配套資料下載505對其中的點擊次數(shù)與網(wǎng)頁進行分析。點擊次數(shù)網(wǎng)頁個數(shù)（87）網(wǎng)頁百分比記錄數(shù)（2075）記錄百分比11011.5%100.48%244.6%80.39%33345%90.43%420757080.46%204898.70%分析：通過教學資源網(wǎng)頁類型網(wǎng)頁點擊排名和網(wǎng)頁

17、個數(shù)點擊次數(shù)可以看出，人們對數(shù)據(jù)挖掘類比較感興趣，從網(wǎng)頁點擊個數(shù)我們可以看出， 點擊4次以上的網(wǎng)頁個數(shù)占了80%左右，瀏覽量卻占了98%，因此我們可以考慮，按點擊行為進行分類，分析構(gòu)建模型算法。四、模型構(gòu)建與檢驗由于用戶訪問網(wǎng)站的數(shù)據(jù)記錄很大，如果對數(shù)據(jù)不進行分類處理，對所有記錄直接采用推薦系統(tǒng)進行推薦，這樣會存在以下問題：Ø 數(shù)據(jù)量太大意味著物品數(shù)與用戶數(shù)很多，在模型構(gòu)建用戶與物品的稀疏矩陣時，出現(xiàn)設備內(nèi)存空間不夠的情況，并且模型計算需要消耗大量的時間。Ø 用戶區(qū)別很大，不同的用戶關注信息不一樣，因此即使能夠得到推薦結(jié)果，其推薦效果也會不好。Ø 分析思路基于項目

18、的協(xié)同過濾性能：UserCF適用于用戶較少的場合，否則計算用戶相似度矩陣的代價很大；而ItemCF正好相反，適用于項目數(shù)明顯小于用戶數(shù)的情況實時性：UserCF用戶有新行為，不一定造成推薦結(jié)果的立即變化；ItemCF正好相反，一定會導致推薦結(jié)果的實時變化長尾物品豐富，用戶個性化需求強烈的領域推薦理由：與UserCF相比，ItemCF利用用戶的歷史行為給用戶做推薦解釋，更容易讓用戶信服 算法流程：關聯(lián)規(guī)則是從事務數(shù)據(jù)庫，關系數(shù)據(jù)庫和其他信息存儲中大量數(shù)據(jù)的項集之間發(fā)現(xiàn)有趣的、頻繁出現(xiàn)的模式、關聯(lián)和相關性。更確切的說，關聯(lián)規(guī)則通過量化的數(shù)字描述物品甲的出現(xiàn)對物品乙的出現(xiàn)有多大的影響。推薦結(jié)果1：教

19、學資源網(wǎng)頁類型 （部分如下）用戶點擊網(wǎng)推薦網(wǎng)$8//ts/661.jhtml1."/ts/785.jhtml"2. "/ts/654.jhtml"3. "/ts/655.jhtml"4. "/ts/755.jhtml"5."/ts/578.jhtml"$0/ts/661.jhtmltipdm.

20、org/ts/785./sm/736./notice/760./notice/757.jhtml1."/jmgj/568.jhtml" 2."/ts/646.jhtml" 3."/jmgj/569.jhtml"4."/jmgj/574.jhtml" 5."/jmgj/575.jhtml".$5tipdm

21、.org/ts/785.jhtml1."/ts/661.jhtml" 2."/ts/786.jhtml" 3."/ts/755.jhtml" 4."/ts/654.jhtml"5."/ts/747.jhtml"結(jié)果反饋1模型評價：準確率與召回率（Precision & Recall）Precision 就是檢索出來的條目中（網(wǎng)頁）有多少是準確的。Recall就是所有準確的條目有多少被檢索出

22、來了推薦結(jié)果2：競賽網(wǎng)頁類型（部分如下）用戶點擊網(wǎng)推薦網(wǎng)$46/td/723./zxns/716.jhtml"/td/374.jhtml" "/sm/736.jhtml" "/td/465.jhtml" "/td/378.jhtml" "/qk/729.jhtml"$0/ts/661.jhtmltipdm.

23、org/ts/661./sm/736./notice/760.jhtml"/fourthtipdm/774.jhtml" "/fourthtipdm/778.jhtml" "/fourthtipdm/777.jhtml" "/qk/729.jhtml" "/td/723.jhtml"$94/sm/736.jhtm

24、l"/td/723.jhtml" "/td/465.jhtml" "/td/374.jhtml" "/td/378.jhtml" "/qk/729.jhtml"結(jié)果反饋模型檢驗2推薦結(jié)果3：企業(yè)合作網(wǎng)頁類型（部分如下）用戶點擊網(wǎng)推薦網(wǎng)$46/td/723./zxns/716.jhtml"/zxns/773.jhtml

25、" "/wjxq/724.jhtml" "/wjxq/660.jhtml" "/wjxq/516.jhtml" "/zxns/782.jhtml"$61/xtxm//xtxm/index_2.jhtml"/wjxq/728.jhtml" "/zxns/773.jhtml" &quo

26、t;/wjxq/725.jhtml" "/zxns/782.jhtml" "/zxns/716.jhtml"$26/fourthtipdm/779./fourthtipdm/778./secondtipdm/493./zzszl/718./kjxm/552.jhtml"/wjxq/725.jhtml" &

27、quot;/wjxq/724.jhtml" "/wjxq/660.jhtml" "/zxns/780.jhtml" "/wjxq/516.jhtml"結(jié)果反饋模型檢驗3推薦結(jié)果4：新聞公告網(wǎng)頁類型（部分如下）用戶點擊網(wǎng)推薦網(wǎng)$0/ts/661./ts/785./sm/736./notice/760./not

28、ice/757./fourthtipdm/775./jmgj/576.jhtml"/notice/765.jhtml" "/notice/787.jhtml" "/notice/769.jhtml" "/notice/758.jhtml" "/notice/743.jhtml"$8/sj/789.jhtml&qu

29、ot;/notice/758.jhtml" "/notice/757.jhtml" "/notice/661.jhtml" "/notice/758.jhtml" "/notice/561.jhtml"$01/notice/757.jhtml"/notice/758.jhtml" "/notice/769.jht

30、ml" "/notice/760.jhtml" "/sj/789.jhtml" "/news/465.jhtml" 結(jié)果反饋模型檢驗4五、結(jié)果分析從推薦結(jié)果和模型檢驗上得出，不同的用戶對網(wǎng)址點擊的次數(shù)有一定的關聯(lián)規(guī)則，更確切的說，就是通過量化的數(shù)字描述物品甲的出現(xiàn)對物品乙的出現(xiàn)有多大的影響，進而真正的了解用戶，從而對用戶進行推薦。從模型的檢驗上看，我們用了三種檢驗方法，即隨機推薦檢驗、熱點推薦檢驗、IBCF推薦檢驗，從檢驗圖形上可以得出熱點推薦對用戶的召回率和精確度更明顯

31、，即隨著推薦個數(shù)的增加，用戶被召回的可能性就越低，而針對這個問題我們更應該深入的去了解用戶，給用戶推薦他們真正想要的結(jié)果。 六、模型應用當前，隨著互聯(lián)網(wǎng)對人們生活影響的不斷增大，每天有數(shù)以億計的用戶行為數(shù)據(jù)被網(wǎng)站記錄。這些數(shù)據(jù)以隱性信息的方式反映人們的行為習慣、興趣愛好、性格特征，甚至是政治主張。網(wǎng)民每天都在告訴我們，他們到底需要什么。而這也正反映了用戶的需求，可以說誰能讀出用戶的需求，誰就能更好地迎合用戶，獲取更多的流量，其網(wǎng)站的用戶體驗也就越好。 通過用戶使用網(wǎng)站時留下的數(shù)據(jù)來讀出用戶需求、習慣、愛好。了解到用戶真正需要什么，所以在對于日后的網(wǎng)頁推薦過程中，建議根據(jù)不同類型的網(wǎng)頁

32、運用不同的算法進行推薦，即分類推薦，以達到最好的推薦效果。這不但會更好的為用戶提供網(wǎng)頁推薦服務，而且會加大用戶對該公司網(wǎng)頁的點擊量，并在很大程度上方便用戶查找想要的內(nèi)容。 附錄：data<- read.csv('C:UsersAdministratorDesktoptipdm.initdata.csv',stringsAsFactors = F) #導入原始數(shù)據(jù) #采用匹配的方法找出那些帶有.jhtml或.htm形式的網(wǎng)址nf2<-datagrep('.jhtml|.htm',data,'fullurl'), #去除帶%、網(wǎng)站主頁、亂

33、碼類臟數(shù)據(jù)網(wǎng)址ind1<-nf2-grep('_d+|/index.jhtml|.*%.*|/sj/6.jhtml',nf2,"fullurl"),info<-ind1 ,c('ip','fullurl') #從去除臟數(shù)據(jù)的數(shù)據(jù)中提取出ip、fullurl兩列l(wèi)ibrary('plyr')library('recommenderlab')library('registry') #篩選教學資源類網(wǎng)頁ff<-infogrep(&#

34、39;zytj|yxsp|jmgj|information|ts|asdf|dsjkf|jiao|jmg|tts|sjfxs|sjsdf',info,"fullurl"), #篩選競賽類網(wǎng)頁ff1<-infogrep('jszz|stpj|yxzp|cgal|firsttipdm|secondtipdm|thirdtipdm|fourthtipdm|jingsa|kjxm|qk|sdfasf|sm|td',info,"fullurl"), #篩選企業(yè)合作類網(wǎng)頁ff2<-infogrep('qyal|xtxm|w

35、jxq|zxns|zzszl',info,"fullurl"), #篩選新聞公告類網(wǎng)頁ff3<-infogrep('news|notice|notices|sj',info,"fullurl"), info1=ddply(ff, .(ip,fullurl), tail, n = 1) #數(shù)據(jù)去重web=strsplit(info1,2,"/",fixed = TRUE) #對每個LIST型的數(shù)據(jù)，將其組合成數(shù)據(jù)框的格式bine=ldply(web,rbind) #獲取知識列表中婚姻類別的數(shù)據(jù)以及在原始數(shù)據(jù)中的位置=binewhich(bine,1=""), item_=s(),require(recommenderlab) #將數(shù)據(jù)轉(zhuǎn)換為0-1二元型數(shù)據(jù)，即模型的輸入數(shù)據(jù)集infoh=as(i