現(xiàn)代信息檢索技術

現(xiàn)代信息檢索技術第1頁，共58頁，2023年，2月20日，星期一提綱2什么是信息檢索？為什么要學習信息檢索？課程情況第2頁，共58頁，2023年，2月20日，星期一提綱3什么是信息檢索？為什么要學習信息檢索？課程情況第3頁，共58頁，2023年，2月20日，星期一從幾個互聯(lián)網(wǎng)應用說起……4第4頁，共58頁，2023年，2月20日，星期一搜索引擎中科院研究生院2011年度秋季課程5第5頁，共58頁，2023年，2月20日，星期一中科院研究生院2011年度秋季課程6第6頁，共58頁，2023年，2月20日，星期一中科院研究生院2011年度秋季課程7第7頁，共58頁，2023年，2月20日，星期一三個應用例子的共同特征給定需求(或者是對象)，從信息庫中找出與之最匹配的信息(或對象)Google的例子：需求“現(xiàn)代信息檢索”卓越-亞馬遜的例子：對象“天王表-石英女表LS3522S(黑色)”世紀佳緣網(wǎng)的例子：對象“你自己”！8第8頁，共58頁，2023年，2月20日，星期一信息檢索給定用戶需求返回滿足該需求信息的一門學科。通常涉及信息的獲取、存儲、組織和訪問。從大規(guī)模非結構化數(shù)據(jù)(通常是文本)的集合(通常保存在計算機上)中找出滿足用戶信息需求的資料(通常是文檔)的過程?！罢覍ο蟆钡膶W科，即定義并計算某種匹配“相似度”的學科。9第9頁，共58頁，2023年，2月20日，星期一信息檢索技術的應用10搜索推薦挖掘

IR技術情報處理內(nèi)容安全輿情分析

第10頁，共58頁，2023年，2月20日，星期一信息檢索應用系統(tǒng)搜索系統(tǒng)Web搜索引擎IBMWaston問答系統(tǒng)……推薦系統(tǒng)淘寶網(wǎng)豆瓣網(wǎng)當當網(wǎng)11第11頁，共58頁，2023年，2月20日，星期一從信息規(guī)模上分類個人信息檢索：個人相關信息的組織、整理、搜索等。桌面搜索(DesktopSearch)、個人信息管理(PIM=PersonalInformationManagement)、個人數(shù)字記憶(PersonalDigitalMemory)企業(yè)級信息檢索：在企業(yè)內(nèi)容文檔的組織、管理、搜索等。內(nèi)容管理(ContentManagement)Web信息檢索：在超大規(guī)模數(shù)據(jù)集上的檢索。中科院研究生院2011年度秋季課程12第12頁，共58頁，2023年，2月20日，星期一提綱中科院研究生院2011年度秋季課程13什么是信息檢索？為什么要學習信息檢索？課程情況第13頁，共58頁，2023年，2月20日，星期一市場發(fā)展的需求用戶需要信息檢索技術：互聯(lián)網(wǎng)的信息量太大、噪音太多，尋找所需要的信息非常不容易公司需要信息檢索技術：搜索引擎改變了很多傳統(tǒng)的生活方式，Yahoo、Google、Baidu，還有一些公司如Microsoft、Sina、Sohu、Tecent、Netease都加入到這個搜索技術的競爭。不只是搜索引擎才需要信息檢索技術，電子商務(如亞馬遜網(wǎng)站、阿里巴巴)、社交網(wǎng)(微博、Facebook、twitter、校內(nèi)網(wǎng))、數(shù)字圖書館、大規(guī)模數(shù)據(jù)分析等都需要信息檢索技術人才的競爭：搜索相關人才人數(shù)出現(xiàn)缺口，他們非常搶手，待遇如日中天是不是泡沫：2000年左右出現(xiàn)的網(wǎng)絡泡沫和現(xiàn)在的互聯(lián)網(wǎng)有什么不同，搜索引擎在其中占什么位置？14第14頁，共58頁，2023年，2月20日，星期一幾個應用需求移動搜索產(chǎn)品搜索專利搜索廣告推薦消費行為分析網(wǎng)絡評論分析SEO營銷……15第15頁，共58頁，2023年，2月20日，星期一對相關專業(yè)研究生的基本要求信息檢索技術是內(nèi)容應用特別是互聯(lián)網(wǎng)內(nèi)容應用的核心技術，可以說在這些應用中無處不在信息檢索將會成為一門計算機專業(yè)的基礎學科搜索(狹義的信息檢索)的三個層次(個人觀點)16第16頁，共58頁，2023年，2月20日，星期一中科院研究生院2011年度秋季課程17應用層次：搜索是一項非常重要的應用！第17頁，共58頁，2023年，2月20日，星期一中科院研究生院2011年度秋季課程18中間層次：搜索是極其重要的API第18頁，共58頁，2023年，2月20日，星期一中科院研究生院2011年度秋季課程19www.G第19頁，共58頁，2023年，2月20日，星期一中科院研究生院2011年度秋季課程20介紹一本有趣的書！第20頁，共58頁，2023年，2月20日，星期一中科院研究生院2011年度秋季課程21核心層次：搜索是未來操作系統(tǒng)的重要組成部分！第21頁，共58頁，2023年，2月20日，星期一提綱22什么是信息檢索？為什么要學習信息檢索？課程情況第22頁，共58頁，2023年，2月20日，星期一課程的宗旨信息檢索的基本原理、模型和方法(含部分機器學習、自然語言處理方法)信息檢索系統(tǒng)的基本實現(xiàn)方法如何進行(信息檢索)研究選題、查找文獻、讀論文、做實驗、寫論文、作報告等等23第23頁，共58頁，2023年，2月20日，星期一老師介紹(1)主講老師：王斌，中科院計算所博士畢業(yè)，副研究員，博士生導師。現(xiàn)為中科院計算所前瞻研究實驗室信息檢索課題組負責人。/~wangbin/

wangbin@新浪微博：計算所王斌/wang2bin1辦公電話：6260135024第24頁，共58頁，2023年，2月20日，星期一老師介紹(2)助教：中科院研究生院2011年度秋季課程25第25頁，共58頁，2023年，2月20日，星期一本課程的特點不是教學生學怎么使用信息檢索工具(另有課程)，而是了解信息檢索工具背后的基本原理和技術，并且能夠進行深層的研究或開發(fā)相關的應用。知其然知其所以然?；驹?廣泛實踐26第26頁，共58頁，2023年，2月20日，星期一授課內(nèi)容簡介(傳統(tǒng)角度總結)信息檢索的基本概念信息檢索的評價信息檢索模型和算法模型(布爾模型、向量模型、概率模型、語言模型)相關反饋、查詢擴展文本處理技術文本分類和聚類技術(傾向性分析)信息過濾技術信息組織和索引并行和分布式檢索信息檢索的應用WEB檢索27第27頁，共58頁，2023年，2月20日，星期一授課方案課堂講述和課后練習相結合講授內(nèi)容既包含傳統(tǒng)內(nèi)容，也注意吸收最新研究成果學術內(nèi)容和業(yè)界進展相結合既考慮一般學生普及入門的需求，也考慮相關專業(yè)學生更高的要求盡量用簡單而風趣的語言、形象而逼真的例子進行講授28第28頁，共58頁，2023年，2月20日，星期一課程基礎數(shù)學基礎概率統(tǒng)計線性代數(shù)計算機基礎算法和數(shù)據(jù)結構編程29第29頁，共58頁，2023年，2月20日，星期一考核方式平時作業(yè)+期末考試(開卷)不定期考勤5%若干小作業(yè)15%1個大作業(yè)30%1篇讀書報告15%(論文閱讀)期末考試35%(課堂開卷)具體參考課程網(wǎng)站30第30頁，共58頁，2023年，2月20日，星期一2006年選課情況分析來自13個不同培養(yǎng)單位的62名學生選擇本課程，其中計算所25人、軟件所13人、自動化所5人計算機類專業(yè)有48人(占總數(shù)的77.4%)，圖書情報類專業(yè)學生有7人(占總數(shù)的11.3%)，其他專業(yè)背景的學生7人(占總數(shù)的11.3%)。31第31頁，共58頁，2023年，2月20日，星期一2006年考試結果分析32第32頁，共58頁，2023年，2月20日，星期一2007年選課情況分析來自12個單位的71人選擇該課程，其中計算所30人、網(wǎng)絡中心8人、院圖7人、軟件所和自動化所各6人、其他單位14人。計算機類(計算機、自動化)專業(yè)58人(占總數(shù)的81.7%)、圖書情報類專業(yè)9人(占總數(shù)的12.7%)、其他專業(yè)(信號處理、數(shù)學等)4人(占總數(shù)的5.6%)33第33頁，共58頁，2023年，2月20日，星期一2007考試結果分析34第34頁，共58頁，2023年，2月20日，星期一2008/2009/2010?35第35頁，共58頁，2023年，2月20日，星期一國際著名研究機構和代表人物美國康奈爾大學Salton(1927-1995)現(xiàn)代信息檢索的奠基人，倡導向量空間模型SMART的完成人第一任Salton獎(1983年)得主，ACMFellow英國劍橋大學SparckJones(1935-2007)概率檢索模型的提出者之一NLP和IR中的先輩曾獲ACL終身成就獎和1988年Salton獎36第36頁，共58頁，2023年，2月20日，星期一國際著名研究機構和代表人物微軟英國劍橋研究院、倫敦城市大學Robertson概率檢索模型的先驅和倡導者開發(fā)了OKAPI檢索系統(tǒng)2000年Salton獎得主美國UMassCIIRW.B.Croft，ACMFellow基于統(tǒng)計語言建模IR模型的提出者和倡導者和CMU共同開發(fā)了Lemur工具2003年Salton獎得主37第37頁，共58頁，2023年，2月20日，星期一國際著名研究機構和代表人物英國Glasgow大學Rijsbergen，ACMFellow信息檢索邏輯推理學派的提出者和倡導者現(xiàn)在試圖用量子的方法解決IR問題2006年Salton獎得主微軟美國研究院SusanDumais隱性語義索引LSI的提出者2009年Salton獎得主38第38頁，共58頁，2023年，2月20日，星期一中科院研究生院2011年度秋季課程39第39頁，共58頁，2023年，2月20日，星期一中科院研究生院2011年度秋季課程40第40頁，共58頁，2023年，2月20日，星期一中科院研究生院2011年度秋季課程41第41頁，共58頁，2023年，2月20日，星期一國際著名研究機構和代表人物美國CMU美國UIUC微軟研究院IBM研究院Google研究院Yahoo!研究院42第42頁，共58頁，2023年，2月20日，星期一一些活躍的華裔學者加拿大蒙特利爾大學聶建云教授跨語言檢索IR模型美國UIUC翟成祥(ChengxiangZhai博士)IR模型、主題模型(TopicModel)美國CMU楊頤明(YimingYang)教授文本分類領域最著名的學者之一43第43頁，共58頁，2023年，2月20日，星期一一些活躍的華裔學者臺灣中研院簡立峰號稱“中文搜索”第一人加入Google研究院44第44頁，共58頁，2023年，2月20日，星期一國內(nèi)一些相關研究機構北京大學復旦大學清華大學哈爾濱工業(yè)大學上海交通大學中科院計算所中科院軟件所中科院自動化所……45第45頁，共58頁，2023年，2月20日，星期一重要會議國際會議(COLING2010、SIGIR2011將在北京舉行)：SIGIR、ACL、WWW、SIGKDD、WSDM、ICMLCIKM、EMNLP、COLINGTREC、NTCIR評測會議ECIR、AIRS國內(nèi)會議：全國信息檢索學術會議(1年一屆)全國計算語言學聯(lián)合會議(2年一屆)搜索引擎和WEB挖掘學術會議(1年一屆，上半年)46第46頁，共58頁，2023年，2月20日，星期一ACMSIGIRACM：美國計算機學會SIGIR：specialinterestgrouponinformationretrieval，特定興趣組ACMSIGIRConference：IR領域的最重要會議，起始于1971年，2009年是第31屆。47第47頁，共58頁，2023年，2月20日，星期一IRvs.其他學科IRvs.NLP(自然語言處理)IRvs.ML(機器學習)IRvs.DM(數(shù)據(jù)挖掘)IRvs.SA(統(tǒng)計分析)……48第48頁，共58頁，2023年，2月20日，星期一IR及相關研究領域重要會議49ACMSIGIRVLDB,PODS,ICDEASISLearning/MiningNLPApplicationsStatisticsSoftware/systemsCOLING,EMNLP,ANLPHLTNIPS,UAIRECOMB,PSBJCDLInfo.ScienceInfoRetrievalACMCIKMDatabasesACMSIGMODACLICMLAAAIACMSIGKDDISMBWWWSOSPOSDITREC*本頁借用了ChengxiangZhai的課件第49頁，共58頁，2023年，2月20日，星期一重要期刊國際：ACMTransactionsonInformationSystems(TOIS)ACMTransactionsonAsianLanguageInformationProcessing(TALIP)InformationProcessing&Management(IP&M)InformationRetrieval國內(nèi)中文信息學報情報學報50第50頁，共58頁，2023年，2月20日，星期一重要工具Lemur、Indri：包含各種IR模型的實驗平臺，C++SMART：向量空間模型工具,C編寫Weka：數(shù)據(jù)挖掘工具，Java編寫Lucene：開源檢索工具，Java版本受維護，存在各種語言編寫的其他版本Nutch：開源爬蟲，Java版本Sphinx：開源檢索工具，C++Larbin：采集工具，C++Firtex：檢索平臺，C++，計算所開發(fā)更多：/tools/tools-opensource.html51第51頁，共58頁，2023年，2月20日，星期一網(wǎng)站地址外部網(wǎng)站：

/ircourse/研究生院課程主頁：/課程微博：Gucas_2011_IRCourse,/31160652第52頁，共58頁，2023年，2月20日，星期一教材教材主頁：/~wangbin/iir-book/

注意要選第二次印刷的版本，可以直接上圖靈出版社的淘寶店訂購。網(wǎng)上有英文電子版(對照閱讀)53第53頁，共58頁，2023年，2月20日，星期一原版內(nèi)容比較新例子多有關NLP和分類聚類的內(nèi)容較豐富有相關最新算法的介紹有實現(xiàn)相關的內(nèi)容54第54頁，共58頁，2023年，2月20日，星期一序55第55頁，共58頁，2023年，2月20日，星期一參考書籍及文獻ChristopherD.Manning,PrabhakarRaghavan&HinrichSchütze,IntroductiontoInformationRetrieval,CambridgeUniversityPress2008Electronicversion(draft)canbedownloadedfrom/~hinrich/information-retrieval-book.htmlB.Croft,D.Metzler,T.Strohman，SearchEngine:InformationRetrievalinPractice,PearsonEducation,2009(國內(nèi)機械工業(yè)出版社出版的影印版和中文翻譯版)Baeza-Yates,R.&B.Ribeiro-Neto.eds.