【畢業(yè)學(xué)位論文】（Word原稿）農(nóng)業(yè)專業(yè)搜索引擎?zhèn)€性化服務(wù)研究與實現(xiàn)管理科學(xué)與工程碩士學(xué)位論文

密級： 論文編號： 中國農(nóng)業(yè)科學(xué)院 學(xué)位論文 農(nóng)業(yè)專業(yè) 搜索引擎 個性化服務(wù) 研究與實現(xiàn) I 摘 要 本文 的研究目的 是在農(nóng)業(yè)專業(yè)搜索引擎 “農(nóng)搜” （ 的 基礎(chǔ) 上 ， 構(gòu)建一個 提供個性化信息推薦與個性化檢索服務(wù)的 個性化搜索引擎 。 本文 以個性化服務(wù)理 論 為依據(jù)，按照“用戶數(shù)據(jù)搜集 用戶建模 提供服務(wù)”的三段式流程展開研究 ，綜合應(yīng)用新興的 互式網(wǎng)站開發(fā)技術(shù)，個性化服務(wù)技術(shù)，搜索引擎與信息檢索技術(shù) 解決 搜索引擎?zhèn)€性化應(yīng)用 的關(guān)鍵問題 ，取得了如下成果： （ 1） 將 互式網(wǎng)站開發(fā)技術(shù) 應(yīng)用到 用戶數(shù)據(jù)搜集 上 ， 設(shè)計了基于 戶行為數(shù)據(jù) 搜集方案， 成功地解 決 了搜索引擎網(wǎng)站用戶數(shù)據(jù)搜集的問題。 （ 2） 設(shè)計了基于 用戶行為 構(gòu)建用戶興趣文檔的自動建模方法 ， 解決了用戶建模的問題 。 （ 3） 在（ 2）用戶模型的基礎(chǔ)上 ， 設(shè)計 了 基于 向量空間檢索模型 的個性化 推薦算法 和基于全文檢索模型的推薦算法 。 （ 4） 將協(xié)作推薦技術(shù)應(yīng)用到信息檢索中 ， 在（ 1）用戶行為信息和（ 2）用戶模型的基礎(chǔ)上 設(shè)計 了 一種基于 協(xié)作推薦的個性化檢索 算法。 （ 5） 將 技術(shù)研究 成果 與“農(nóng)搜”的 索技術(shù)結(jié)合起來，設(shè)計實現(xiàn) 了一個 集 隱式 用戶行為數(shù)據(jù)搜 集 、 個性化推薦 與 個 性化檢索 等 功能 于一體 的 自動化 個性化 搜索引擎 。 本文 的 創(chuàng)新主要在如下兩 方面 ： （ 1） 式用戶行為搜集技術(shù)避免了 傳統(tǒng)客戶端 數(shù)據(jù)搜集方式 所存在的不足 ，完備而準(zhǔn)確的數(shù)據(jù)為 之后的研究奠定了 良好 基礎(chǔ)。 （ 2） 基于協(xié)作推薦的個性化檢索技術(shù) 克服了傳統(tǒng)個性化檢索在技術(shù)思路上的局限 ，通過初步測試證明： 個性化檢索確實具有較好的效果和性能 。 關(guān)鍵詞 : 個 性 化 ， 搜 索引擎 ， 協(xié)作推薦 ， 信息 檢索 to a on of In of to of a as （ 1） a to of on on of （ 2） a to of is as in ). （ 3） on of in ) （ 4） a to of on in ) in ). （ 5） At DD as （ 1） of as a （ 2） on is an as by 錄 第一章 引言 . 1 究背景 . 1 究目的與意義 . 2 要研究內(nèi)容 . 2 文的技術(shù)路線 . 4 文的寫作框架 . 5 第二章 個性化服務(wù)與搜索引擎基礎(chǔ)理論 . 6 性化服務(wù)基礎(chǔ)理論 . 6 性化服務(wù)的含義 . 6 性化服務(wù)的發(fā)展歷史 . 6 性化服務(wù)的工作原理 . 6 性化服務(wù)的關(guān)鍵問題 . 7 息檢索基礎(chǔ)理論 . 10 息檢索的概念 . 10 息檢索模型與分類 . 11 索引擎基礎(chǔ)理論 . 12 索引擎的概念 . 12 索引擎的發(fā)展歷史 . 13 索引擎的工作原理與結(jié)構(gòu) . 13 第三章 搜索引擎用戶行為搜集技術(shù) . 15 索引擎用戶行為的形式化定義 . 15 于 用戶行為搜集技術(shù) . 16 術(shù)簡介 . 16 戶行為搜集原理 . 18 驗網(wǎng)站的設(shè)計與實現(xiàn) . 19 統(tǒng)設(shè)計 . 19 統(tǒng)實現(xiàn) . 21 統(tǒng)運(yùn)行效果與結(jié)論 . 22 第四章 搜索引擎用戶建模與個性化推薦技術(shù) . 24 于用戶行為的用戶建模技術(shù) . 24 于檢索模型的個性化推薦技術(shù) . 24 檢索模型到推薦模型的過渡 . 24 于 型的推薦算法 . 25 于全文檢索模型的推薦算法 . 26 術(shù)特點(diǎn)與應(yīng)用前景 . 26 第五章 一種基于協(xié)作推薦的個性化檢索技術(shù) . 27 作推薦技術(shù)概述 . 27 作推薦的原理與案例 . 27 作推薦的分類 . 28 種基于協(xié)作推薦的個性化檢索算法 . 28 術(shù)特點(diǎn)與應(yīng)用前景 . 30 第六章 搜索引擎?zhèn)€性化服務(wù)系統(tǒng)設(shè)計與實現(xiàn) . 31 統(tǒng)設(shè)計 . 31 統(tǒng)實現(xiàn) . 33 臺與技術(shù) . 33 據(jù)庫維護(hù) . 35 統(tǒng)運(yùn)行效果與結(jié)論 . 35 統(tǒng)運(yùn)行實例 . 35 性化檢索與 索性能比對 . 38 第七章 結(jié)論與展望 . 40 文的總結(jié) . 40 文未來工作展望 . 40 參考文獻(xiàn) . 42 致謝 . 45 作者簡歷 . 46 V 圖 目錄 圖 1 論文技術(shù)路線圖 . 4 圖 2 論文的邏輯結(jié)構(gòu)圖 . 5 圖 3 個性化服務(wù)三段式流程 . 7 圖 4 個性化主頁截圖 . 9 圖 5 信息檢索系統(tǒng)概念結(jié)構(gòu)圖 . 11 圖 6 倒排索引檢索流程圖 . 12 圖 7 搜索引擎的三段式流程 . 13 圖 8 搜索引擎體系結(jié)構(gòu)圖 . 14 圖 9 傳統(tǒng) 用模型（左）與 型 （右） . 17 圖 10 傳統(tǒng) 用的同步交互（上） 和 用的異步交 互 （下） . 17 圖 11 戶行為搜集流程圖 . 18 圖 12 實驗網(wǎng)站結(jié)構(gòu)圖 . 19 圖 13 實驗網(wǎng)站界面截圖 . 20 圖 14 關(guān)鍵數(shù)據(jù)模型類圖 . 20 圖 15 用戶行為信息 庫結(jié)構(gòu)圖 . 21 圖 16 注冊用戶二次會話時頁面截圖 . 22 圖 17 發(fā)環(huán)境控制臺截圖 . 23 圖 18 檢索模型與 推 薦模型 . 24 圖 19 一個協(xié)作推薦的例子 . 27 圖 20 搜索引擎?zhèn)€性化服務(wù)系統(tǒng)結(jié)構(gòu) . 31 圖 21 個性化搜索引擎主頁截圖 . 32 圖 22 用戶行為信息庫（左） 用戶興趣文檔庫（中）與用戶相似度庫（右） . 33 圖 23 件、 象與 口關(guān)系圖 . 34 圖 24 作 據(jù)庫的間接連接方式 . 35 圖 25“小劉 ”初次訪問網(wǎng)站截圖 . 36 圖 26 搜索 “小麥 ”結(jié)果頁面截圖 . 36 圖 27 用戶行為信息庫新增記錄截圖 . 36 圖 28 用戶興趣文檔庫中新增記錄截圖 . 37 圖 29 用戶相似度庫中新增記錄 . 37 圖 30 個性化推薦頁面截圖 . 37 圖 31 個性化檢索結(jié)果頁面截圖 . 38 圖 32 用戶行為記錄減半后搜索 “甘薯 ”結(jié)果頁面截圖 . 38 目錄 表 1 常見信息檢 索模型對照表 . 11 表 2 傳統(tǒng)數(shù)據(jù)搜集類型、實現(xiàn)及問題對照表 . 15 表 3 用戶行為信息記錄 . 29 表 4 用戶相似度記錄 . 29 文縮略表 英文縮寫 英文全稱 中文名稱 據(jù) 對象 步 應(yīng)用程序接口 軟 活動服務(wù)器網(wǎng)頁 件對象模型 層疊樣式表 檔頻率 態(tài)鏈接庫 檔對象模型 件傳輸協(xié)議 互聯(lián)網(wǎng)信息發(fā)布服 務(wù) 地接口 務(wù)器端動態(tài)網(wǎng)頁 放式數(shù)據(jù)庫互連 簡易內(nèi)容聚合 of 離散矩陣分解 頻 統(tǒng)一資源定位器 量空間模型 可擴(kuò)展超文本置標(biāo)語言 可擴(kuò)展標(biāo)記語言 中國農(nóng)業(yè)科學(xué)院 碩 士學(xué)位論文 第一章 引言 1 第一章 引言 究背景 （ 1） 搜索引擎 成為人們獲取信息 的主要渠道，但目前檢索效果還 不如 人意 成為人們獲取信息的一個重要途徑， 膽識由于 息的日益增長，人們不得不花費(fèi) 大量的時間去搜索自 己需要的信息， 搜索引擎的出現(xiàn)從一定程度上緩解了信息過載的矛盾 ， 它已經(jīng)成為網(wǎng)民 最經(jīng)常使用的網(wǎng)絡(luò)服務(wù)之一 。 據(jù) 2007 年 1 月 23 日 中國互聯(lián)網(wǎng)絡(luò)信息中心 （ 布 的 第十七次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告 ，截至 2006 年 12 月 31 日， 國 內(nèi) 網(wǎng)民人數(shù)達(dá)到 ， 在“網(wǎng)民獲取信息的最主要途徑”中，網(wǎng)絡(luò)（ 超過電視（ 、報紙（ 等傳統(tǒng)媒體，成為網(wǎng)民最主要的信息獲取途徑，而在“用戶經(jīng)常使用的網(wǎng)絡(luò)服務(wù) /功能”中，“搜索引擎”以 選擇率排在第三位，僅次于“收發(fā) 郵件”（ 和“瀏覽新聞”（ 。 但目前 搜索引擎的 檢索效果還 不如 人意 ，其通用的性質(zhì) 不能滿足不同背景、不同目的和不同時期的查詢請求，對于所有用戶，只要輸入的關(guān)鍵詞相 同，返回的檢索結(jié)果就完全相同， 事實上即使輸入同一關(guān)鍵詞，不同用戶的需求也是不同的，用戶 往往 需要 對搜索結(jié)果 進(jìn)行 手工 篩選 才能得到 滿意的 信息 。 此外 ， 搜索引擎“檢索 服務(wù)方式也過于被動， 理想的信息服務(wù) 應(yīng)該 是個性化的 主動推薦的 ，它 可以代理每個用戶，自動從網(wǎng)絡(luò)上搜索到最符合用戶個性化需求 的結(jié)果推薦 給用戶 ，顯然 搜索引擎 現(xiàn)狀 與 理想 目標(biāo) 還存 在巨大差距 。 （ 2） 個性化服務(wù)與技術(shù)興起 ， 搜索引擎?zhèn)€性化智能化是一種必然趨勢 目前， 以 新資源 “ 推薦 ” 和“發(fā)現(xiàn)” 為核心的網(wǎng)站正開始在 國內(nèi) 嶄露頭角，比如 側(cè)重于 音樂推薦的 “ 八寶盒 ” ， 側(cè)重 圖書推薦的 “ 豆瓣 ” 等 ， 隨著 這些 推薦型網(wǎng)站的興起，越來越多人開始關(guān)注個性化服務(wù) 技術(shù) ， 特別是推薦技術(shù)， 2007 年 4 月 19 日，國內(nèi)最大的開發(fā)者網(wǎng)站 表了以“ 互聯(lián)網(wǎng) ： 正從搜索走向推薦時代 ”為題的專題報道，文中寫到“ 如果說過去的十年是搜索技術(shù)大行其道的十年，那么個性化推薦技術(shù)將成為未來十年中最重要的革新之一 ” 。 在這 種 背景下 ， 搜索引 擎 轉(zhuǎn)變?yōu)橥扑]引擎， 或者說 搜索引擎與個性化技術(shù)的結(jié)合 是 一種必然趨勢 ， 所以 個性化智能 搜索引擎 成為國際上的研究熱點(diǎn) 。 搜索引擎公司一直致力于個性化研究，而且已經(jīng) 推出了許多 產(chǎn)品 和服務(wù) ， 如 個性化主頁 “ 和 用戶定制搜索引擎 “ ， 個性化主頁“ 和 搜索結(jié)果個性化排序服務(wù) 等 。 （ 3）農(nóng)業(yè)專業(yè)搜索引擎發(fā)展迅速， 但個性化研究還處于起步階段 近年來，我國農(nóng)業(yè)信息網(wǎng)站的發(fā)展非常迅速，據(jù)不完全統(tǒng)計目前各類農(nóng)業(yè)網(wǎng)站近萬個，靜態(tài)網(wǎng)頁數(shù)百萬以上，如何 迅速地在這些網(wǎng)頁中找到用戶所需要的網(wǎng)頁，即農(nóng)業(yè)專業(yè)搜索引擎的開發(fā)正日益受到大家的關(guān)注。中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所多媒體技術(shù)研究室開發(fā)出的農(nóng)業(yè)專業(yè)搜索引擎“農(nóng)搜” (收集了農(nóng)業(yè)領(lǐng)域近 70 萬網(wǎng)頁信息，具備 文檢索與 提供農(nóng)業(yè)信息的精確搜索和分類導(dǎo)航服務(wù)，系統(tǒng)經(jīng)過兩次改版，內(nèi)容和技術(shù)已經(jīng)基本成型。 但農(nóng)業(yè)專業(yè)搜索引擎 在 服務(wù)水平 和 檢索 效率 上與 商業(yè)搜索引擎還存在差距 ，個性化研究 還處于起步階段。 中國農(nóng)業(yè)科學(xué)院 碩 士學(xué)位論文 第一章 引言 2 （ 4）智能檢索與個性化數(shù)據(jù) 服務(wù)是“國家農(nóng)業(yè)數(shù)據(jù)中心”未來發(fā)展的主要任務(wù)之一 “國家農(nóng)業(yè)數(shù)據(jù)中心” 是由科技部 “國家科技基礎(chǔ)條件平臺建設(shè) ”支持建設(shè)的數(shù)據(jù)中心試點(diǎn)之一 ，由中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所主持，建成了擁有 12 大類 60 多個主體數(shù)據(jù)庫 600 個數(shù)據(jù)集的農(nóng)業(yè)科學(xué)數(shù)據(jù)資源中心，通過網(wǎng)絡(luò)向全社會提供數(shù)據(jù)共享服務(wù)，目前用戶主要通過二級分類導(dǎo)航和關(guān)鍵詞檢索結(jié)合定位、查詢資源，該中心未來發(fā)展的主要任務(wù)之一是增加智能檢索與個性化數(shù)據(jù)服務(wù)功能 。 究 目的與意義 本文研究 目標(biāo) 是 通過對搜索引擎與個性化服務(wù)技術(shù)的研究， 在 農(nóng)業(yè)專業(yè)搜索引擎的基礎(chǔ)上構(gòu)建一個 個性 化搜索引擎 ，為農(nóng)業(yè)專業(yè)搜索引擎增添個性化特色 ，如個性化推薦與個性化檢索服務(wù)。作者希望在個性化服務(wù)技術(shù) 研究 上 取得切實 的 成果，為推動農(nóng)業(yè)專業(yè)搜索引擎 與 息服務(wù)個性化智能化 盡一份微薄之力。 研究 的理論 意義在于促進(jìn)農(nóng)業(yè)專業(yè)搜索引擎 與 息服務(wù)的 個性化智能化 。 研究的實用價值在于 進(jìn)一步提高農(nóng)業(yè)專業(yè)搜索引擎的可用性： 通過信息推薦 可以 提高農(nóng)業(yè)專業(yè)搜索引擎的服務(wù)水平，改善用戶體驗和訪問效率， 通過個性化檢索 可以 改善檢索效果和效率，以便 更好地 為農(nóng)業(yè)用戶服務(wù) 。此 外， 搜索引擎?zhèn)€性化服務(wù) 的 研究成果和經(jīng)驗將有助于“國家農(nóng)業(yè)數(shù)據(jù) 中心”智能檢索與個性化服務(wù)的實現(xiàn)。 要研究內(nèi)容 本文研究個性化搜索引擎，但不局限于個性化檢索方面， 本文試圖實現(xiàn)搜索引擎?zhèn)€性化檢索與推薦兩項個性化服務(wù) ，研究的 思路是以個性化服務(wù)理論為依據(jù)，按照“用戶數(shù)據(jù)搜集 用戶建模 個性化服務(wù)”的流程順序， 依次解決搜索引擎用戶行為搜集 ， 自動建模、 個性化服務(wù) 的難點(diǎn) 問題 ， 研究內(nèi)容 主要 包括 如下四方面： （ 1） 研究搜索引擎用戶數(shù)據(jù)搜集技術(shù) 為不同的用戶提供有針對性的服務(wù)， 先 要獲取用戶的興趣、習(xí)慣 (如瀏覽行為 )、職業(yè)特征 等用戶信息， 鑒于用戶行為，如查詢關(guān)鍵詞，能夠較好反映用戶興 趣，所以 本文 將 數(shù)據(jù)搜集的 目標(biāo)鎖定在 用戶行為 信息上 ，著重研究 針對 一般 搜索引擎網(wǎng)站 的 用戶行為 搜集技術(shù)。 通過 對 傳統(tǒng)客戶端數(shù)據(jù)搜集技術(shù)和新興的 戶端技術(shù) 的綜合考察發(fā)現(xiàn)， 傳統(tǒng)的客戶端數(shù)據(jù)搜集 方式 ， 主要包括 開發(fā)專門程序或者修改瀏覽器 ， 存在 安裝升級繁瑣、對用戶隱私侵犯大 ，難 以 得 到 用戶合作 等問題 ， 不具備可操作性，而新興的 戶端 技術(shù) 實現(xiàn)富客戶端功能， 又無須安裝，私密習(xí)性好，所以 本文 作者決定 采用 術(shù) ， 并 設(shè)計 出 戶行為跟蹤引擎 。為了驗證 戶行為搜集的可行性， 搭建了實驗網(wǎng)站，以 模擬用戶訪問的方式測試系統(tǒng)效果。 （ 2） 研究搜索引擎用戶建模技術(shù)與個性化推薦技術(shù) 個性化服務(wù)的形式多種多樣，但無論何種形式都需要首先 建立對用戶的描述 （或稱模型） ，然 后才能 提供針對不同用戶的個性化服務(wù)， 用戶模型是個性化服務(wù)的基礎(chǔ)和核心， 用戶建模 方法按照自動化程度 分為自動建模、示例建模與手工建模 三類 ， 而本文 重在 研究利用用戶行為信息自中國農(nóng)業(yè)科學(xué)院 碩 士學(xué)位論文 第一章 引言 3 動建模方法 ， 個性化服務(wù)常用的自動建模技術(shù)為 日志挖掘、文檔詞頻法 及 本體論 方法 ，鑒于文檔詞頻法與搜索引擎檢索系統(tǒng)的契合性，本文采用了文檔詞頻法 構(gòu)建用戶文檔。 個性化推薦是一種 主要 個性化服 務(wù) 形式， 它可以 通過計算用戶與資源的相似度 向用戶 推薦可能感興趣的書、商品、網(wǎng)頁信息等 ， 而檢索模型是通過計算用戶查詢與文檔資源的相似性將符合需求的文檔返回給用戶， 鑒于 推薦模型與檢索模型 的相似性 ， 本文 著重研究在 搜索引擎 現(xiàn)有 檢索系統(tǒng)下如何迅速的實現(xiàn)個性化推薦 ，也就是基于檢索模型的推薦 算法，鑒于 索模型和全文檢索模型的普遍性，本文將著重研究 基于這 兩類模型 的 推薦算法實現(xiàn)。 （ 3） 研究搜索引擎?zhèn)€性化檢索技術(shù) 個性化檢索是 另一種 個性化服務(wù) 形式， 也 是個性化搜索引擎的主要特征 ，它考慮用戶背景特征 進(jìn)一步過濾無關(guān)信息 ， 給出更 加貼近用戶需求的結(jié)果，所以可以 提高檢索精度和效率 ，改善用戶體驗 ，傳統(tǒng)個性化檢索技術(shù)路 線 是利用用戶模型對查詢需求進(jìn)行個性化分析，或者對結(jié)果二次過濾 給出個性化結(jié)果，例如： 計算機(jī)專業(yè)用戶和 農(nóng)業(yè)專業(yè)用戶同樣搜索“蘋果”關(guān)鍵詞，檢索系統(tǒng)將計算機(jī)用戶的查詢 擴(kuò)展為“蘋果 計算機(jī) 腦）”，為農(nóng)業(yè)專業(yè)用戶擴(kuò)展為“蘋果 業(yè)”，這樣前者得到信息限定在“蘋果電腦”或者“蘋果公司”范圍內(nèi)，而后者 得到“蘋果 植物 ”方面的 信息。 這種思路的問題在于： 事實上用戶 很 可能跳出他的職業(yè)、生活背景產(chǎn)生完全不同的新的需求 ，計算機(jī)用戶需要“蘋果植物”的信息 ，如“蘋果的營養(yǎng)” ，也不無可能 （在本文的第五章還會繼續(xù)分析這個問題）， 這種將用戶長期穩(wěn)定興趣凌駕于當(dāng)前突出興趣之上的做法是武斷的 ，很可能過濾 掉 了相關(guān)信息，所以本文 沒有繼承這樣的思路 ， 而采用了基于協(xié)作推薦的個性化檢索路線