信息檢索技術的過去與未來

清華大學精品課件從SIGIR看信息檢索技術的過去與未來緣起過去三十五年中，我們在信息檢索的路上走了多遠？在IR舞臺上，什么是長盛不衰的？哪些已經(jīng)漸漸謝幕？哪些即將登場？SIGIR1971～2006年所有正式論文主要內(nèi)容檢索模型的發(fā)展關鍵技術檢索任務的演變?nèi)藱C交互與用戶分析信息檢索的評價信息檢索中的自然語言處理更多思考與討論檢索模型的發(fā)展信息檢索模型從一開始就沿兩條路發(fā)展來源于結構化數(shù)據(jù)處理的靈感E.g.數(shù)據(jù)庫直接從自由文本處理的角度前10年，并駕齊驅(qū)，結構化方法占有一定的主導地位進入90年代之后，結構化數(shù)據(jù)存儲相對沉寂進入2000年，開始復蘇思路轉(zhuǎn)變——xmlIR兩條路逐漸呈現(xiàn)融合趨勢IRmodels自由文本模型——三個階段向量空間模型——80年代初的重點概率模型－－80年代末興起，90年代逐漸成為主流基于語言模型的檢索－－1998年，里程碑更多模型－－近兩三年開始，標志IR進入新的階段關鍵技術關鍵技術實現(xiàn)早期倒排索引的提出與研究2000后大規(guī)模檢索最近垃圾…走出實驗室面向海量數(shù)據(jù)、實時處理、真實網(wǎng)絡環(huán)境…關鍵技技術相關反反饋經(jīng)久不不衰的的話題題3個階階段早期建立反反饋機機制90年年代中中CBIR最近區(qū)分不不同主主題區(qū)分不不同詞詞關鍵技技術集中式式不能能滿足足要求求分布式式系統(tǒng)統(tǒng)架構構3個階階段早期：：通用系系統(tǒng)設設計90年年代中中分布式式大規(guī)模模擴展性性、效效率最近自適應應系統(tǒng)統(tǒng)系統(tǒng)融融合檢索任任務的的演變變檢索任任務WebIR80年年代末末期WebpageWeb與傳傳統(tǒng)文文本相相區(qū)別別的特特性1998年年開始始Page,Kleinberg鏈接分分析把Web作作為完完整的的拓撲撲結構構2000年年后更宏觀觀———站點點級更微觀觀———Block級級檢索任任務多媒體體檢索索很早被被提出出語義鴻溝問問題圖像檢索實驗室結果果利用文本信信息最近5年視頻音樂…檢索索任任務務多語語言言檢檢索索TREC日語語漢語語阿拉拉伯伯語語NTCIR亞洲洲多多語語言言英文文主要要技技術術自然然語語言言處處理理技技術術詞語語翻翻譯譯技技術術檢索索任任務務由國國際際標標準準評評測測提提出出，，有有效效推推動動了了信信息息檢檢索索研研究究的的發(fā)發(fā)展展TDTTRECNoveltyHARDGenomicsBlogLegal…人機機交交互互與與用用戶戶分分析析人機機交交互互與與用用戶戶分分析析人們們始始終終青青睞睞有有加加的的研研究究領領域域早期期：：可可視視化化表表示示（（查查詢詢、、文文檔檔的的可可視視化化））自然然語語言言交交互互界界面面2002年年以以后后：：用戶戶日日志志分分析析，，SocialNetwork，，快快速速學學習習能能力力信息息檢檢索索的的評評價價檢索索的的評評價價TRECPooling技技術術更緊緊接接本本質(zhì)質(zhì)的的評評價價技技術術評價與技術的的共同發(fā)展信息檢索中的的

自然語言言處理NLPandIR最早被提出的的問題之一Stemming,分分詞，詞典使使用，詞義消消歧，命名實實體…近年來：更深深層次的使用用句子完整性重重構（更自然然的語言表達達）2005年，，將NLP信信息融合到檢檢索的語言模模型中更多思考與討討論IR的發(fā)展展來源之一：實實際應用分布式系統(tǒng)系統(tǒng)設計與實實現(xiàn)的可擴展展性、魯棒性性WebIR,鏈接分分析用戶分析：搜搜索日志分析析IR的發(fā)展展來源之二：國國際標準評測測跨語言檢索信息檢索的評評價與測試集集的構建話題檢測與跟跟蹤新信息發(fā)現(xiàn)IR的發(fā)展展來源之三：二二者共同推動動QA檢索模型發(fā)展展SpamIntranet信息檢檢索Blog檢索索與情感分析析…總結緣起信息檢索模型型