總結(jié)及下一階段工作計(jì)劃課件

總結(jié)及下一階段工作計(jì)劃劉學(xué)錚03.09.03總結(jié)及下一階段工作計(jì)劃劉學(xué)錚1大綱信息網(wǎng)格研究綜述階段論文和科研成果基于屬性的搜索引擎信息網(wǎng)格設(shè)計(jì)大綱信息網(wǎng)格研究綜述2數(shù)據(jù)網(wǎng)格、信息網(wǎng)格和知識(shí)網(wǎng)格[1,3]數(shù)據(jù)網(wǎng)格、信息網(wǎng)格和知識(shí)網(wǎng)格[1,3]3數(shù)據(jù)網(wǎng)格與信息網(wǎng)格數(shù)據(jù)網(wǎng)格數(shù)據(jù)網(wǎng)格解決的問題：解決海量數(shù)據(jù)的存儲(chǔ)和共享問題主要為計(jì)算任務(wù)以及計(jì)算網(wǎng)格服務(wù)，是一種底層的海量數(shù)據(jù)倉儲(chǔ)體系數(shù)據(jù)網(wǎng)格不去解決的問題：多類的和復(fù)雜的信息格式信息表示和元數(shù)據(jù)智能化信息獲?。↖nformationretrieval）信息網(wǎng)格信息網(wǎng)格解決的問題信息的智能化獲取信息檢索信息的表示多類的元數(shù)據(jù)和結(jié)構(gòu)化給用戶和應(yīng)用程序提供特定內(nèi)容的信息服務(wù)信息網(wǎng)格不去解決的問題海量數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)管理計(jì)算問題及強(qiáng)數(shù)據(jù)量（data-density）的計(jì)算和數(shù)據(jù)訪問方式數(shù)據(jù)網(wǎng)格與信息網(wǎng)格數(shù)據(jù)網(wǎng)格信息網(wǎng)格4信息網(wǎng)格和知識(shí)網(wǎng)格信息網(wǎng)格信息網(wǎng)格解決的問題信息的智能化獲取信息檢索信息的表示多類的元數(shù)據(jù)和結(jié)構(gòu)化信息網(wǎng)格不去解決的問題數(shù)據(jù)挖掘問題求解知識(shí)網(wǎng)格知識(shí)網(wǎng)格解決的問題數(shù)據(jù)挖掘、知識(shí)挖掘規(guī)則的發(fā)現(xiàn)數(shù)據(jù)、信息的可視化Ontology轉(zhuǎn)換知識(shí)網(wǎng)格不去解決的問題無結(jié)構(gòu)信息的半結(jié)構(gòu)化元數(shù)據(jù)格式的匹配和轉(zhuǎn)換信息智能化檢索信息網(wǎng)格和知識(shí)網(wǎng)格信息網(wǎng)格知識(shí)網(wǎng)格5資源網(wǎng)格、信息網(wǎng)格與服務(wù)網(wǎng)格[2]資源網(wǎng)格、信息網(wǎng)格與服務(wù)網(wǎng)格[2]6信息網(wǎng)格的其他討論信息網(wǎng)格作為計(jì)算網(wǎng)格和知識(shí)網(wǎng)格的中間層次，允許對(duì)于異構(gòu)信息的統(tǒng)一訪問，提供分布式資源上的公用信息服務(wù)。統(tǒng)一訪問依賴于metadata對(duì)于信息的描述（并集成異構(gòu)資源）[4,5]Thecomputation/datagridhassupercomputers,largeservers,massivedatastoragefacilitiesandspecialiseddevicesandfacilities(e.g.forVR(VirtualReality)).Themainfunctionsincludecomputeloadsharing/algorithmpartitioning,resolutionofdatasourceaddresses,security,replicationandmessagererouting.Theinformationgridresolveshomogeneousaccesstoheterogeneousinformationsources.Theknowledgegridutilisesknowledgediscoveryindatabasetechnology(especiallydatamining)togenerateknowledge(frominformationanddatainthelower2layersoftheGRIDs).[6]信息網(wǎng)格的其他討論信息網(wǎng)格作為計(jì)算網(wǎng)格和知識(shí)網(wǎng)格的中間層次，7信息網(wǎng)格的其他討論IPG(informationpowergrid),NASA.：針對(duì)與對(duì)異構(gòu)分布式信息資源的無縫訪問[7]GIG(globalinformationgrid),USADefance.強(qiáng)調(diào)以網(wǎng)絡(luò)為中心的通信，信息廣播和作戰(zhàn)系統(tǒng)（net-centricinformationenvironment）InfoGrid[8]：一個(gè)實(shí)現(xiàn)信息訪問應(yīng)用的框架，其上提供用戶界面及交互模型。它集中于獲取應(yīng)用程序?qū)ο?，以其?duì)于信息，數(shù)據(jù)和服務(wù)的統(tǒng)一訪問(retrieval-centeredinteractionmodelforinformationaccessapplications)信息網(wǎng)格的其他討論IPG(informationpowe8大綱信息網(wǎng)格研究綜述階段論文和科研成果基于屬性的搜索引擎信息網(wǎng)格設(shè)計(jì)大綱信息網(wǎng)格研究綜述9階段論文和科研成果對(duì)等網(wǎng)絡(luò)及信息網(wǎng)格的基礎(chǔ)設(shè)施（infrastructure）研究結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)上靜態(tài)和自適應(yīng)的數(shù)據(jù)備份策略基于節(jié)點(diǎn)異構(gòu)信息的路由及負(fù)載平衡算法信息搜索和基于語義的信息表示研究應(yīng)用于大規(guī)模分布系統(tǒng)的潛在語義分析和信息索引策略查找環(huán)（Lookup-Rings）：動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境上的高效信息檢索基于元數(shù)據(jù)表示的信息網(wǎng)格階段論文和科研成果對(duì)等網(wǎng)絡(luò)及信息網(wǎng)格的基礎(chǔ)設(shè)施（infras10階段論文和科研成果大規(guī)模分布系統(tǒng)上消息傳遞及同步機(jī)制O(1)復(fù)雜度對(duì)等網(wǎng)絡(luò)路由算法高可靠的大規(guī)模分布系統(tǒng)廣播機(jī)制階段論文和科研成果大規(guī)模分布系統(tǒng)上消息傳遞及同步機(jī)制11結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)上

靜態(tài)和自適應(yīng)的數(shù)據(jù)備份策略針對(duì)傳統(tǒng)的“連續(xù)k-近鄰”數(shù)據(jù)冗余備份算法之不足，提出改進(jìn)的“分區(qū)近鄰”備份算法，適應(yīng)高度動(dòng)態(tài)環(huán)境下的數(shù)據(jù)備份要求，很大程度上避免了無用的數(shù)據(jù)遷移，節(jié)省了系統(tǒng)維護(hù)開銷提出一個(gè)系統(tǒng)維護(hù)開銷模型，并給出基于模型的優(yōu)化策略提出variation-tolerantrecovery和adaptiveprobing相結(jié)合的系統(tǒng)維護(hù)策略，實(shí)現(xiàn)了靜態(tài)的和自適應(yīng)的數(shù)據(jù)冗余備份結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)上

靜態(tài)和自適應(yīng)的數(shù)據(jù)備份策略針對(duì)傳統(tǒng)的“連續(xù)12基于節(jié)點(diǎn)異構(gòu)信息的路由

及負(fù)載平衡算法

傳統(tǒng)對(duì)等網(wǎng)絡(luò)采用哈希算法實(shí)現(xiàn)總體上的負(fù)載平衡。這種簡(jiǎn)單處理方式?jīng)]有能有效的利用節(jié)點(diǎn)能力（強(qiáng)節(jié)點(diǎn)），并且仍然有一定程度上的負(fù)載不均衡本算法利用節(jié)點(diǎn)容量表儲(chǔ)存當(dāng)前節(jié)點(diǎn)能力和使用狀況，并基于此進(jìn)行負(fù)載分配，實(shí)現(xiàn)了實(shí)施的細(xì)粒度平衡，并有效的利用了節(jié)點(diǎn)能力算法使用一個(gè)輕度的消息擴(kuò)散策略保證了容量表的實(shí)施更新基于節(jié)點(diǎn)異構(gòu)信息的路由

及負(fù)載平衡算法

傳統(tǒng)對(duì)等網(wǎng)絡(luò)采用哈希13應(yīng)用于大規(guī)模分布系統(tǒng)的

潛在語義分析和信息索引策略將傳統(tǒng)信息獲取領(lǐng)域（IR）中的潛在語義分析方法（LatentSemanticAnalysis）應(yīng)用于大規(guī)模分布式對(duì)等網(wǎng)絡(luò)上，實(shí)現(xiàn)對(duì)于信息源之間潛在語義關(guān)聯(lián)的提取和利用。通過將信息和用戶使用特性映射到降維歐式空間中的點(diǎn)來實(shí)現(xiàn)對(duì)于語義相關(guān)性的表示建立了對(duì)于潛在語義和用戶使用特性的后驗(yàn)概率模型，使用MAP(maximizingaposteriori)進(jìn)行優(yōu)化求解。采用基于E-M優(yōu)化的迭代算法實(shí)現(xiàn)了對(duì)于潛在語義表示空間的降維和求解，避免了分布式環(huán)境下SVD分解的復(fù)雜計(jì)算量通過提取的潛在語義表示來定義信息索引并指導(dǎo)分布式搜索，極大的提高了信息搜索效率（提高了2~3個(gè)數(shù)量級(jí)）應(yīng)用于大規(guī)模分布系統(tǒng)的

潛在語義分析和信息索引策略將傳統(tǒng)信息14查找環(huán)（Lookup-Rings）：動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境上的高效信息檢索解決動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境下無中心大規(guī)模分布式系統(tǒng)的高效信息檢索問題。建立了信息查找表（索引）的優(yōu)化性能和網(wǎng)絡(luò)動(dòng)態(tài)變化造成信息查找表維護(hù)開銷之間的平衡（trade-off）模型，求解出最優(yōu)的信息查找表尺度基于最有查找表尺度建立高效的信息檢索和維護(hù)算法，證明并實(shí)現(xiàn)了無偏檢索（unbiasedsearching）算法中的最優(yōu)效率。查找環(huán)（Lookup-Rings）：動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境上的高效信息15基于元數(shù)據(jù)表示的信息網(wǎng)格使用元數(shù)據(jù)表示（metadata）實(shí)現(xiàn)信息網(wǎng)格底層架構(gòu)通過元數(shù)據(jù)的等價(jià)轉(zhuǎn)換完成分布信息檢索和信息集成利用用戶反饋數(shù)據(jù)實(shí)現(xiàn)信息檢索優(yōu)化基于元數(shù)據(jù)表示的信息網(wǎng)格使用元數(shù)據(jù)表示（metadata）實(shí)16O(1)復(fù)雜度對(duì)等網(wǎng)絡(luò)路由算法改善了傳統(tǒng)結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)設(shè)計(jì)的節(jié)點(diǎn)鏈路關(guān)系，很大程度上降低了節(jié)點(diǎn)的聯(lián)接數(shù)設(shè)計(jì)了O(1)復(fù)雜度的路由算法。對(duì)照HotOSIX中關(guān)于O(1)復(fù)雜度討論的先驅(qū)性論文，本設(shè)計(jì)避免了超級(jí)節(jié)點(diǎn)（supernode），實(shí)現(xiàn)了完全對(duì)等的拓?fù)浣Y(jié)構(gòu)。這樣同時(shí)解決了前文中超級(jí)節(jié)點(diǎn)帶寬開銷過大的問題O(1)復(fù)雜度對(duì)等網(wǎng)絡(luò)路由算法改善了傳統(tǒng)結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)設(shè)計(jì)的17高可靠的大規(guī)模分布系統(tǒng)廣播機(jī)制實(shí)現(xiàn)了應(yīng)用層（applicationlevel）的廣播機(jī)制，建立了一個(gè)高可靠的分布式消息通知和廣播機(jī)制對(duì)比gossip算法，減少了消息冗余，提高了算法效率，其算法效率接近最優(yōu)生成樹的樹型廣播對(duì)比樹型廣播，本算法保證了很高的可靠性以及負(fù)載均衡，其可靠性接近gossip算法高可靠的大規(guī)模分布系統(tǒng)廣播機(jī)制實(shí)現(xiàn)了應(yīng)用層（applicat18大綱信息網(wǎng)格研究綜述階段論文和科研成果基于屬性的搜索引擎設(shè)計(jì)信息網(wǎng)格設(shè)計(jì)大綱信息網(wǎng)格研究綜述19基于屬性的搜索引擎設(shè)計(jì)概述及與傳統(tǒng)文本搜索引擎的對(duì)比基于屬性的搜索引擎設(shè)計(jì)信息網(wǎng)格設(shè)計(jì)基于屬性的搜索引擎設(shè)計(jì)概述及與傳統(tǒng)文本搜索引擎的對(duì)比20概述及與傳統(tǒng)文本搜索引擎的對(duì)比應(yīng)用背景：互聯(lián)網(wǎng)上巨大信息的獲取和檢索傳統(tǒng)文本搜索引擎的實(shí)現(xiàn)方法Html頁面文本的獲取（Crawling）頁面解析和倒排索引建立（InvertedIndexing）頁面聯(lián)接關(guān)系分析和評(píng)定（PageRanking）基于倒排索引的聯(lián)合查詢（Searchingandmerging）概述及與傳統(tǒng)文本搜索引擎的對(duì)比應(yīng)用背景：互聯(lián)網(wǎng)上巨大信息的獲21傳統(tǒng)文本搜索引擎的優(yōu)勢(shì)和不足優(yōu)勢(shì)使用簡(jiǎn)便，面向最終用戶只關(guān)心文本，具有通用性。同時(shí)鑒于目前IR技術(shù)水平尚待發(fā)展，純文本搜索不啻為最直接的搜索引擎策略不足完全不考慮文本結(jié)構(gòu)信息，限制了高級(jí)使用其通用性也是不足之處，無法對(duì)于專業(yè)應(yīng)用提供有針對(duì)性的服務(wù)，不能實(shí)現(xiàn)在語義上的定域查詢，查詢精度差不包含屬性信息，不符合信息網(wǎng)格的需求，無法對(duì)應(yīng)用程序?qū)崿F(xiàn)必需的支持傳統(tǒng)文本搜索引擎的優(yōu)勢(shì)和不足優(yōu)勢(shì)22基于屬性的半結(jié)構(gòu)化信息搜索引擎設(shè)計(jì)思想將信息（html頁面，ftp文件，pdf文件…）看作是屬性的集合，而非傳統(tǒng)平面純文本的集合，亦即：Item={<key,value>i,i=1,…n}查詢請(qǐng)求可以詳細(xì)指定所查信息的屬性，提供key或者與key相對(duì)應(yīng)的屬性值，縮小查尋范圍，提高查詢精度屬性之間實(shí)現(xiàn)等效轉(zhuǎn)換這本質(zhì)上是利用（文本中）結(jié)構(gòu)信息和語義信息基于屬性的半結(jié)構(gòu)化信息搜索引擎設(shè)計(jì)思想23概要設(shè)計(jì)系統(tǒng)組成部分信息資源獲?。–rawling）CrawlerandCrawlerScheduler半結(jié)構(gòu)化和倒排索引建立Template-basedAnalyzerandInverted-indexBuilder語義相關(guān)分析及屬性表評(píng)定SVDandRanker基于屬性的查詢Property-basedQueryEngine概要設(shè)計(jì)系統(tǒng)組成部分24與傳統(tǒng)純文本搜索引擎之比較網(wǎng)頁Crawler頁面解析器文本索引應(yīng)答引擎純文本PageRank網(wǎng)頁Crawler半結(jié)構(gòu)化器屬性索引應(yīng)答引擎語義Rank及擴(kuò)展查詢屬性查詢純文本搜索引擎基于屬性的搜索引擎模版庫Internet獲取分析索引查詢與傳統(tǒng)純文本搜索引擎之比較網(wǎng)頁Crawler頁面解析器文本索25關(guān)鍵技術(shù)半結(jié)構(gòu)化通用半結(jié)構(gòu)化器提取html的表格信息，形成屬性表提取已知格式的文檔信息，譬如DOC,PDF等基于模版的專用半結(jié)構(gòu)化器對(duì)于特定頁面定制特定的模版，使用XML規(guī)則知道解析對(duì)于特定服務(wù)定制特定的模版及特定協(xié)議（ftp等）通過半結(jié)構(gòu)化器，將頁面轉(zhuǎn)換成為屬性表，縮小查尋范圍，提高查詢精度和效率 關(guān)鍵技術(shù)半結(jié)構(gòu)化26關(guān)鍵技術(shù)屬性索引針對(duì)轉(zhuǎn)換的屬性表，建立屬性倒排對(duì)于二維表格的處理其他頁面內(nèi)容的索引，與文本搜索引擎的處理相同關(guān)鍵技術(shù)屬性索引27關(guān)鍵技術(shù) 基于屬性表和語義的Rank和擴(kuò)展查詢屬性表特定的Rank基于SVD潛在語義分析的頁面Rank技術(shù)擴(kuò)展查詢技術(shù)基于屬性詞相關(guān)的擴(kuò)展查詢基于同義詞字典的擴(kuò)展查詢基于頁面潛在相關(guān)的擴(kuò)展查詢關(guān)鍵技術(shù) 基于屬性表和語義的Rank和擴(kuò)展查詢28關(guān)鍵技術(shù)基于屬性查詢的應(yīng)答引擎對(duì)于設(shè)定屬性值（值域）的查詢優(yōu)化關(guān)鍵技術(shù)基于屬性查詢的應(yīng)答引擎29大綱信息網(wǎng)格研究綜述階段論文和科研成果基于屬性的搜索引擎信息網(wǎng)格設(shè)計(jì)大綱信息網(wǎng)格研究綜述30信息網(wǎng)格設(shè)計(jì)基于屬性的搜索引擎可以看作信息網(wǎng)格架構(gòu)上面的一個(gè)應(yīng)用信息網(wǎng)格系統(tǒng)具備了對(duì)于信息的統(tǒng)一描述（基于屬性標(biāo)的元數(shù)據(jù)）可以提供用戶查詢的反饋具備管理和看守一定范圍的Internet上信息資源的能力信息網(wǎng)格底層架構(gòu)應(yīng)該給多個(gè)這樣的應(yīng)用提供基礎(chǔ)設(shè)施（infrastructure）級(jí)的支持信息網(wǎng)格設(shè)計(jì)基于屬性的搜索引擎可以看作信息網(wǎng)格架構(gòu)上面的一個(gè)31信息網(wǎng)格圖示 InternetInformationGridInfrastructure信息資源信息網(wǎng)格KnowledgeGrid應(yīng)用程序終端用戶上層用戶信息網(wǎng)格圖示 InternetInformationG32從基于屬性的搜索引擎到信息網(wǎng)格：典型信息網(wǎng)格的結(jié)構(gòu)設(shè)計(jì)資源獲取器應(yīng)答引擎RankInternet資源獲取資源庫定域Scheduler半結(jié)構(gòu)化器屬性索引半結(jié)構(gòu)化規(guī)則分析獲取查詢輔助模塊基于元數(shù)據(jù)的請(qǐng)求返回結(jié)果翻譯模塊格式轉(zhuǎn)換應(yīng)用程序終端用戶其他網(wǎng)格從基于屬性的搜索引擎到信息網(wǎng)格：典型信息網(wǎng)格的結(jié)構(gòu)設(shè)計(jì)資源獲33信息網(wǎng)格基礎(chǔ)架構(gòu)多個(gè)信息網(wǎng)格之間交互數(shù)據(jù)的統(tǒng)一接口用戶查詢分派針對(duì)特定用戶的信息集成信息網(wǎng)格基礎(chǔ)架構(gòu)多個(gè)信息網(wǎng)格之間交互數(shù)據(jù)的統(tǒng)一接口34信息網(wǎng)格基礎(chǔ)架構(gòu)多個(gè)信息網(wǎng)格之間交互數(shù)據(jù)的統(tǒng)一接口抽象信息網(wǎng)格服務(wù)輸入基于元數(shù)據(jù)表示的查詢請(qǐng)求輸出特定格式的查詢結(jié)果采用基于XML統(tǒng)一表示的數(shù)據(jù)格式可外掛的翻譯模塊信息網(wǎng)格基礎(chǔ)架構(gòu)多個(gè)信息網(wǎng)格之間交互數(shù)據(jù)的統(tǒng)一接口35信息網(wǎng)格基礎(chǔ)架構(gòu)用戶查詢派發(fā)用戶提交查詢：特定元數(shù)據(jù)結(jié)構(gòu)特定信息網(wǎng)格定域特定服務(wù)描述檢索可以服務(wù)的信息網(wǎng)格：基于用戶元數(shù)據(jù)模式采用無中心對(duì)等網(wǎng)絡(luò)中的檢索技術(shù)采用用戶配置文件采用信息網(wǎng)格特定的注冊(cè)檢索服務(wù)器來完成——這些特定服務(wù)企也可以看作一定意義上的“信息網(wǎng)格”信息網(wǎng)格基礎(chǔ)架構(gòu)用戶查詢派發(fā)36信息網(wǎng)格基礎(chǔ)構(gòu)架針對(duì)特定用戶的信息集成最終的信息集成應(yīng)該是應(yīng)用程序或者用戶端來完成的，因此集成有理由采用無偏向性的簡(jiǎn)單結(jié)果融合優(yōu)化的信息集成技術(shù)是“元搜索”領(lǐng)域中的基本課題，有一些成型的結(jié)果通過用戶反饋（relevancefeedback）積累知識(shí)，實(shí)現(xiàn)長(zhǎng)程的信息集成優(yōu)化這一部分主要是特定信息網(wǎng)格應(yīng)用的范疇信息網(wǎng)格基礎(chǔ)構(gòu)架針對(duì)特定用戶的信息集成37前述研究結(jié)果和信息網(wǎng)格的結(jié)合針對(duì)大規(guī)模分布系統(tǒng)的搜索技術(shù)針對(duì)高度動(dòng)態(tài)系統(tǒng)的高可用技術(shù)針對(duì)潛在語義信息分析的技術(shù)統(tǒng)一的信息表示前述研究結(jié)果和信息網(wǎng)格的結(jié)合針對(duì)大規(guī)模分布系統(tǒng)的搜索技術(shù)38參考文獻(xiàn)[1]NigelBakeretal.QueryingLargePhysicsDataSetsOveranInformationGrid.InChep’01[2]AlexanderReinefeldetal.ConceptsandTechnologiesforaWorldwideGridInfrastructure.InEuro-Par2002[3]F.P.Terpstra,etal.InformationdiscoveryandcombinationfromdivergentdatasourcesforTravelInformationSystems.In7thEuropeanConferenceonPrinciplesandPracticeofKnowledgeDiscoveryinDatabases(ECML/PKKD-2003)[4]OmerF.Ranaetal.IssuesinBuildingAgent-BasedComputationalGrids.ThirdWorkshopoftheUKSpecialInterestGrouponMulti-AgentSystems(UKMAS'2000)Oxford,UK.122000參考文獻(xiàn)[1]NigelBakeretal.Que39參考文獻(xiàn)[5]Keith.G.etal.Knowledge,informationandData.AbriefingtotheOfficeofScienceandTechnology,UK,2000[6]Keith.G.etal.CRIS,GreyLiteratureandtheKnowledgeSocietyInCRIS2000[7]David.Detal.XDB-IPG:AnExtensibleDatabaseArchitectureforanInformationGridofHeterogeneousandDistributedInformationResources[8]R.Raoetal.TheInformationGrid:AFrameworkforInformationRetrievalandRetrieval-CenteredApplications.InProceedingsofthefifthannualACMsymposiumonUserinterfacesoftwareandtechnology(UIST'92),pages23--32,Monterey,CA,1992.參考文獻(xiàn)[5]Keith.G.etal.Knowl40謝謝大家！并請(qǐng)指正！謝謝大家！并請(qǐng)指正！41總結(jié)及下一階段工作計(jì)劃劉學(xué)錚03.09.03總結(jié)及下一階段工作計(jì)劃劉學(xué)錚42大綱信息網(wǎng)格研究綜述階段論文和科研成果基于屬性的搜索引擎信息網(wǎng)格設(shè)計(jì)大綱信息網(wǎng)格研究綜述43數(shù)據(jù)網(wǎng)格、信息網(wǎng)格和知識(shí)網(wǎng)格[1,3]數(shù)據(jù)網(wǎng)格、信息網(wǎng)格和知識(shí)網(wǎng)格[1,3]44數(shù)據(jù)網(wǎng)格與信息網(wǎng)格數(shù)據(jù)網(wǎng)格數(shù)據(jù)網(wǎng)格解決的問題：解決海量數(shù)據(jù)的存儲(chǔ)和共享問題主要為計(jì)算任務(wù)以及計(jì)算網(wǎng)格服務(wù)，是一種底層的海量數(shù)據(jù)倉儲(chǔ)體系數(shù)據(jù)網(wǎng)格不去解決的問題：多類的和復(fù)雜的信息格式信息表示和元數(shù)據(jù)智能化信息獲?。↖nformationretrieval）信息網(wǎng)格信息網(wǎng)格解決的問題信息的智能化獲取信息檢索信息的表示多類的元數(shù)據(jù)和結(jié)構(gòu)化給用戶和應(yīng)用程序提供特定內(nèi)容的信息服務(wù)信息網(wǎng)格不去解決的問題海量數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)管理計(jì)算問題及強(qiáng)數(shù)據(jù)量（data-density）的計(jì)算和數(shù)據(jù)訪問方式數(shù)據(jù)網(wǎng)格與信息網(wǎng)格數(shù)據(jù)網(wǎng)格信息網(wǎng)格45信息網(wǎng)格和知識(shí)網(wǎng)格信息網(wǎng)格信息網(wǎng)格解決的問題信息的智能化獲取信息檢索信息的表示多類的元數(shù)據(jù)和結(jié)構(gòu)化信息網(wǎng)格不去解決的問題數(shù)據(jù)挖掘問題求解知識(shí)網(wǎng)格知識(shí)網(wǎng)格解決的問題數(shù)據(jù)挖掘、知識(shí)挖掘規(guī)則的發(fā)現(xiàn)數(shù)據(jù)、信息的可視化Ontology轉(zhuǎn)換知識(shí)網(wǎng)格不去解決的問題無結(jié)構(gòu)信息的半結(jié)構(gòu)化元數(shù)據(jù)格式的匹配和轉(zhuǎn)換信息智能化檢索信息網(wǎng)格和知識(shí)網(wǎng)格信息網(wǎng)格知識(shí)網(wǎng)格46資源網(wǎng)格、信息網(wǎng)格與服務(wù)網(wǎng)格[2]資源網(wǎng)格、信息網(wǎng)格與服務(wù)網(wǎng)格[2]47信息網(wǎng)格的其他討論信息網(wǎng)格作為計(jì)算網(wǎng)格和知識(shí)網(wǎng)格的中間層次，允許對(duì)于異構(gòu)信息的統(tǒng)一訪問，提供分布式資源上的公用信息服務(wù)。統(tǒng)一訪問依賴于metadata對(duì)于信息的描述（并集成異構(gòu)資源）[4,5]Thecomputation/datagridhassupercomputers,largeservers,massivedatastoragefacilitiesandspecialiseddevicesandfacilities(e.g.forVR(VirtualReality)).Themainfunctionsincludecomputeloadsharing/algorithmpartitioning,resolutionofdatasourceaddresses,security,replicationandmessagererouting.Theinformationgridresolveshomogeneousaccesstoheterogeneousinformationsources.Theknowledgegridutilisesknowledgediscoveryindatabasetechnology(especiallydatamining)togenerateknowledge(frominformationanddatainthelower2layersoftheGRIDs).[6]信息網(wǎng)格的其他討論信息網(wǎng)格作為計(jì)算網(wǎng)格和知識(shí)網(wǎng)格的中間層次，48信息網(wǎng)格的其他討論IPG(informationpowergrid),NASA.：針對(duì)與對(duì)異構(gòu)分布式信息資源的無縫訪問[7]GIG(globalinformationgrid),USADefance.強(qiáng)調(diào)以網(wǎng)絡(luò)為中心的通信，信息廣播和作戰(zhàn)系統(tǒng)（net-centricinformationenvironment）InfoGrid[8]：一個(gè)實(shí)現(xiàn)信息訪問應(yīng)用的框架，其上提供用戶界面及交互模型。它集中于獲取應(yīng)用程序?qū)ο?，以其?duì)于信息，數(shù)據(jù)和服務(wù)的統(tǒng)一訪問(retrieval-centeredinteractionmodelforinformationaccessapplications)信息網(wǎng)格的其他討論IPG(informationpowe49大綱信息網(wǎng)格研究綜述階段論文和科研成果基于屬性的搜索引擎信息網(wǎng)格設(shè)計(jì)大綱信息網(wǎng)格研究綜述50階段論文和科研成果對(duì)等網(wǎng)絡(luò)及信息網(wǎng)格的基礎(chǔ)設(shè)施（infrastructure）研究結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)上靜態(tài)和自適應(yīng)的數(shù)據(jù)備份策略基于節(jié)點(diǎn)異構(gòu)信息的路由及負(fù)載平衡算法信息搜索和基于語義的信息表示研究應(yīng)用于大規(guī)模分布系統(tǒng)的潛在語義分析和信息索引策略查找環(huán)（Lookup-Rings）：動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境上的高效信息檢索基于元數(shù)據(jù)表示的信息網(wǎng)格階段論文和科研成果對(duì)等網(wǎng)絡(luò)及信息網(wǎng)格的基礎(chǔ)設(shè)施（infras51階段論文和科研成果大規(guī)模分布系統(tǒng)上消息傳遞及同步機(jī)制O(1)復(fù)雜度對(duì)等網(wǎng)絡(luò)路由算法高可靠的大規(guī)模分布系統(tǒng)廣播機(jī)制階段論文和科研成果大規(guī)模分布系統(tǒng)上消息傳遞及同步機(jī)制52結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)上

靜態(tài)和自適應(yīng)的數(shù)據(jù)備份策略針對(duì)傳統(tǒng)的“連續(xù)k-近鄰”數(shù)據(jù)冗余備份算法之不足，提出改進(jìn)的“分區(qū)近鄰”備份算法，適應(yīng)高度動(dòng)態(tài)環(huán)境下的數(shù)據(jù)備份要求，很大程度上避免了無用的數(shù)據(jù)遷移，節(jié)省了系統(tǒng)維護(hù)開銷提出一個(gè)系統(tǒng)維護(hù)開銷模型，并給出基于模型的優(yōu)化策略提出variation-tolerantrecovery和adaptiveprobing相結(jié)合的系統(tǒng)維護(hù)策略，實(shí)現(xiàn)了靜態(tài)的和自適應(yīng)的數(shù)據(jù)冗余備份結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)上

靜態(tài)和自適應(yīng)的數(shù)據(jù)備份策略針對(duì)傳統(tǒng)的“連續(xù)53基于節(jié)點(diǎn)異構(gòu)信息的路由

及負(fù)載平衡算法

傳統(tǒng)對(duì)等網(wǎng)絡(luò)采用哈希算法實(shí)現(xiàn)總體上的負(fù)載平衡。這種簡(jiǎn)單處理方式?jīng)]有能有效的利用節(jié)點(diǎn)能力（強(qiáng)節(jié)點(diǎn)），并且仍然有一定程度上的負(fù)載不均衡本算法利用節(jié)點(diǎn)容量表儲(chǔ)存當(dāng)前節(jié)點(diǎn)能力和使用狀況，并基于此進(jìn)行負(fù)載分配，實(shí)現(xiàn)了實(shí)施的細(xì)粒度平衡，并有效的利用了節(jié)點(diǎn)能力算法使用一個(gè)輕度的消息擴(kuò)散策略保證了容量表的實(shí)施更新基于節(jié)點(diǎn)異構(gòu)信息的路由

及負(fù)載平衡算法

傳統(tǒng)對(duì)等網(wǎng)絡(luò)采用哈希54應(yīng)用于大規(guī)模分布系統(tǒng)的

潛在語義分析和信息索引策略將傳統(tǒng)信息獲取領(lǐng)域（IR）中的潛在語義分析方法（LatentSemanticAnalysis）應(yīng)用于大規(guī)模分布式對(duì)等網(wǎng)絡(luò)上，實(shí)現(xiàn)對(duì)于信息源之間潛在語義關(guān)聯(lián)的提取和利用。通過將信息和用戶使用特性映射到降維歐式空間中的點(diǎn)來實(shí)現(xiàn)對(duì)于語義相關(guān)性的表示建立了對(duì)于潛在語義和用戶使用特性的后驗(yàn)概率模型，使用MAP(maximizingaposteriori)進(jìn)行優(yōu)化求解。采用基于E-M優(yōu)化的迭代算法實(shí)現(xiàn)了對(duì)于潛在語義表示空間的降維和求解，避免了分布式環(huán)境下SVD分解的復(fù)雜計(jì)算量通過提取的潛在語義表示來定義信息索引并指導(dǎo)分布式搜索，極大的提高了信息搜索效率（提高了2~3個(gè)數(shù)量級(jí)）應(yīng)用于大規(guī)模分布系統(tǒng)的

潛在語義分析和信息索引策略將傳統(tǒng)信息55查找環(huán)（Lookup-Rings）：動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境上的高效信息檢索解決動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境下無中心大規(guī)模分布式系統(tǒng)的高效信息檢索問題。建立了信息查找表（索引）的優(yōu)化性能和網(wǎng)絡(luò)動(dòng)態(tài)變化造成信息查找表維護(hù)開銷之間的平衡（trade-off）模型，求解出最優(yōu)的信息查找表尺度基于最有查找表尺度建立高效的信息檢索和維護(hù)算法，證明并實(shí)現(xiàn)了無偏檢索（unbiasedsearching）算法中的最優(yōu)效率。查找環(huán)（Lookup-Rings）：動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境上的高效信息56基于元數(shù)據(jù)表示的信息網(wǎng)格使用元數(shù)據(jù)表示（metadata）實(shí)現(xiàn)信息網(wǎng)格底層架構(gòu)通過元數(shù)據(jù)的等價(jià)轉(zhuǎn)換完成分布信息檢索和信息集成利用用戶反饋數(shù)據(jù)實(shí)現(xiàn)信息檢索優(yōu)化基于元數(shù)據(jù)表示的信息網(wǎng)格使用元數(shù)據(jù)表示（metadata）實(shí)57O(1)復(fù)雜度對(duì)等網(wǎng)絡(luò)路由算法改善了傳統(tǒng)結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)設(shè)計(jì)的節(jié)點(diǎn)鏈路關(guān)系，很大程度上降低了節(jié)點(diǎn)的聯(lián)接數(shù)設(shè)計(jì)了O(1)復(fù)雜度的路由算法。對(duì)照HotOSIX中關(guān)于O(1)復(fù)雜度討論的先驅(qū)性論文，本設(shè)計(jì)避免了超級(jí)節(jié)點(diǎn)（supernode），實(shí)現(xiàn)了完全對(duì)等的拓?fù)浣Y(jié)構(gòu)。這樣同時(shí)解決了前文中超級(jí)節(jié)點(diǎn)帶寬開銷過大的問題O(1)復(fù)雜度對(duì)等網(wǎng)絡(luò)路由算法改善了傳統(tǒng)結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)設(shè)計(jì)的58高可靠的大規(guī)模分布系統(tǒng)廣播機(jī)制實(shí)現(xiàn)了應(yīng)用層（applicationlevel）的廣播機(jī)制，建立了一個(gè)高可靠的分布式消息通知和廣播機(jī)制對(duì)比gossip算法，減少了消息冗余，提高了算法效率，其算法效率接近最優(yōu)生成樹的樹型廣播對(duì)比樹型廣播，本算法保證了很高的可靠性以及負(fù)載均衡，其可靠性接近gossip算法高可靠的大規(guī)模分布系統(tǒng)廣播機(jī)制實(shí)現(xiàn)了應(yīng)用層（applicat59大綱信息網(wǎng)格研究綜述階段論文和科研成果基于屬性的搜索引擎設(shè)計(jì)信息網(wǎng)格設(shè)計(jì)大綱信息網(wǎng)格研究綜述60基于屬性的搜索引擎設(shè)計(jì)概述及與傳統(tǒng)文本搜索引擎的對(duì)比基于屬性的搜索引擎設(shè)計(jì)信息網(wǎng)格設(shè)計(jì)基于屬性的搜索引擎設(shè)計(jì)概述及與傳統(tǒng)文本搜索引擎的對(duì)比61概述及與傳統(tǒng)文本搜索引擎的對(duì)比應(yīng)用背景：互聯(lián)網(wǎng)上巨大信息的獲取和檢索傳統(tǒng)文本搜索引擎的實(shí)現(xiàn)方法Html頁面文本的獲取（Crawling）頁面解析和倒排索引建立（InvertedIndexing）頁面聯(lián)接關(guān)系分析和評(píng)定（PageRanking）基于倒排索引的聯(lián)合查詢（Searchingandmerging）概述及與傳統(tǒng)文本搜索引擎的對(duì)比應(yīng)用背景：互聯(lián)網(wǎng)上巨大信息的獲62傳統(tǒng)文本搜索引擎的優(yōu)勢(shì)和不足優(yōu)勢(shì)使用簡(jiǎn)便，面向最終用戶只關(guān)心文本，具有通用性。同時(shí)鑒于目前IR技術(shù)水平尚待發(fā)展，純文本搜索不啻為最直接的搜索引擎策略不足完全不考慮文本結(jié)構(gòu)信息，限制了高級(jí)使用其通用性也是不足之處，無法對(duì)于專業(yè)應(yīng)用提供有針對(duì)性的服務(wù)，不能實(shí)現(xiàn)在語義上的定域查詢，查詢精度差不包含屬性信息，不符合信息網(wǎng)格的需求，無法對(duì)應(yīng)用程序?qū)崿F(xiàn)必需的支持傳統(tǒng)文本搜索引擎的優(yōu)勢(shì)和不足優(yōu)勢(shì)63基于屬性的半結(jié)構(gòu)化信息搜索引擎設(shè)計(jì)思想將信息（html頁面，ftp文件，pdf文件…）看作是屬性的集合，而非傳統(tǒng)平面純文本的集合，亦即：Item={<key,value>i,i=1,…n}查詢請(qǐng)求可以詳細(xì)指定所查信息的屬性，提供key或者與key相對(duì)應(yīng)的屬性值，縮小查尋范圍，提高查詢精度屬性之間實(shí)現(xiàn)等效轉(zhuǎn)換這本質(zhì)上是利用（文本中）結(jié)構(gòu)信息和語義信息基于屬性的半結(jié)構(gòu)化信息搜索引擎設(shè)計(jì)思想64概要設(shè)計(jì)系統(tǒng)組成部分信息資源獲?。–rawling）CrawlerandCrawlerScheduler半結(jié)構(gòu)化和倒排索引建立Template-basedAnalyzerandInverted-indexBuilder語義相關(guān)分析及屬性表評(píng)定SVDandRanker基于屬性的查詢Property-basedQueryEngine概要設(shè)計(jì)系統(tǒng)組成部分65與傳統(tǒng)純文本搜索引擎之比較網(wǎng)頁Crawler頁面解析器文本索引應(yīng)答引擎純文本PageRank網(wǎng)頁Crawler半結(jié)構(gòu)化器屬性索引應(yīng)答引擎語義Rank及擴(kuò)展查詢屬性查詢純文本搜索引擎基于屬性的搜索引擎模版庫Internet獲取分析索引查詢與傳統(tǒng)純文本搜索引擎之比較網(wǎng)頁Crawler頁面解析器文本索66關(guān)鍵技術(shù)半結(jié)構(gòu)化通用半結(jié)構(gòu)化器提取html的表格信息，形成屬性表提取已知格式的文檔信息，譬如DOC,PDF等基于模版的專用半結(jié)構(gòu)化器對(duì)于特定頁面定制特定的模版，使用XML規(guī)則知道解析對(duì)于特定服務(wù)定制特定的模版及特定協(xié)議（ftp等）通過半結(jié)構(gòu)化器，將頁面轉(zhuǎn)換成為屬性表，縮小查尋范圍，提高查詢精度和效率 關(guān)鍵技術(shù)半結(jié)構(gòu)化67關(guān)鍵技術(shù)屬性索引針對(duì)轉(zhuǎn)換的屬性表，建立屬性倒排對(duì)于二維表格的處理其他頁面內(nèi)容的索引，與文本搜索引擎的處理相同關(guān)鍵技術(shù)屬性索引68關(guān)鍵技術(shù) 基于屬性表和語義的Rank和擴(kuò)展查詢屬性表特定的Rank基于SVD潛在語義分析的頁面Rank技術(shù)擴(kuò)展查詢技術(shù)基于屬性詞相關(guān)的擴(kuò)展查詢基于同義詞字典的擴(kuò)展查詢基于頁面潛在相關(guān)的擴(kuò)展查詢關(guān)鍵技術(shù) 基于屬性表和語義的Rank和擴(kuò)展查詢69關(guān)鍵技術(shù)基于屬性查詢的應(yīng)答引擎對(duì)于設(shè)定屬性值（值域）的查詢優(yōu)化關(guān)鍵技術(shù)基于屬性查詢的應(yīng)答引擎70大綱信息網(wǎng)格研究綜述階段論文和科研成果基于屬性的搜索引擎信息網(wǎng)格設(shè)計(jì)大綱信息網(wǎng)格研究綜述71信息網(wǎng)格設(shè)計(jì)基于屬性的搜索引擎可以看作信息網(wǎng)格架構(gòu)上面的一個(gè)應(yīng)用信息網(wǎng)格系統(tǒng)具備了對(duì)于信息的統(tǒng)一描述（基于屬性標(biāo)的元數(shù)據(jù)）可以提供用戶查詢的反饋具備管理和看守一定范圍的Internet上信息資源的能力信息網(wǎng)格底層架構(gòu)應(yīng)該給多個(gè)這樣的應(yīng)用提供基礎(chǔ)設(shè)施（infrastructure）級(jí)的支持信息網(wǎng)格設(shè)計(jì)基于屬性的搜索引擎可以看作信息網(wǎng)格架構(gòu)上面的一個(gè)72信息網(wǎng)格圖示 InternetInformationGridInfrastructure信息資源信息網(wǎng)格KnowledgeGrid應(yīng)用程序終端用戶上層用戶信息網(wǎng)格圖示 InternetInformationG73從基于屬性的搜索引擎到信息網(wǎng)格：典型信息網(wǎng)格的結(jié)構(gòu)設(shè)計(jì)資源獲取器應(yīng)答引擎RankInternet資源獲取資源庫定域Scheduler半結(jié)構(gòu)化器屬性索引半結(jié)構(gòu)化規(guī)則分析獲取查詢輔助模塊基于元數(shù)據(jù)的請(qǐng)求返回結(jié)果翻譯模塊格式轉(zhuǎn)換應(yīng)用程序終端用戶其他網(wǎng)格從基于屬性的搜索引擎到信息網(wǎng)格：典型信息網(wǎng)格的結(jié)構(gòu)設(shè)計(jì)資源獲74信息網(wǎng)格基礎(chǔ)架構(gòu)多個(gè)信息網(wǎng)格之間交互數(shù)據(jù)的統(tǒng)一接口用戶查詢分派針對(duì)特定用戶的信息集成信息網(wǎng)格基礎(chǔ)架構(gòu)多個(gè)信息網(wǎng)格之間交互數(shù)據(jù)的統(tǒng)一接口75信息網(wǎng)格基礎(chǔ)架構(gòu)多個(gè)信息網(wǎng)格之間交互數(shù)據(jù)的統(tǒng)一接口抽象信息網(wǎng)格服務(wù)輸入基于元數(shù)據(jù)表示的查詢請(qǐng)求輸出特定格式的查詢結(jié)果采用基于XML統(tǒng)一表示的數(shù)據(jù)格式可外掛的翻譯模塊信息網(wǎng)格基礎(chǔ)架構(gòu)多個(gè)信息網(wǎng)格之間交互數(shù)據(jù)的統(tǒng)一接口76信息網(wǎng)格基礎(chǔ)架構(gòu)用戶查詢派發(fā)用戶提交查詢：特定元數(shù)據(jù)結(jié)構(gòu)特定信息網(wǎng)格定域特定服務(wù)描述檢索可以服務(wù)的信息網(wǎng)格：基于用戶元數(shù)據(jù)模式采用無中心對(duì)等網(wǎng)絡(luò)中的檢索技術(shù)采用用戶配置文件采用信息網(wǎng)格特定的注冊(cè)檢索服務(wù)器來完成——這些特定服務(wù)企也可以看作一定意義上的“信息網(wǎng)格”信息網(wǎng)格基礎(chǔ)架構(gòu)用戶查詢派發(fā)77信息網(wǎng)格基礎(chǔ)構(gòu)架針對(duì)特定用戶的信息集成最終的信息集成應(yīng)該是應(yīng)用程序或者用戶端來完成的，因此集成有