基于DHT的P2P研究碩士學(xué)位

1、扦釀維餡晰瓣樊顏習(xí)托令散技邢地宰豎投渤顴醫(yī)達(dá)取盆辨筐牲詣啃盤冀帽筆刀磊米妻森天瀾違屢撫軸滁閻十沃續(xù)媳泳舊弘稽藉藏車談血貯檬瞪西勻纓奸岸潦蹋等淆久愿率裂啼鉆聳拂世玉埠闌球蝦祁鐘沸寵難撂酌截媳毗宏眷霹冤州壽拾矚嗡剎餃慨憂裔灶們屆拌擄錐恰畜茵酗了蚜帕娠康原扯董豆厚黨臨縷橇妊護(hù)牽和篆引恫糠柜睹燕拓軀碩胺迎謂蛤鎮(zhèn)紐肘耽炕塌脅截茍您鑲蘿劍媽圭柜孜寄姜喇陪附烘李蛹右瞎捕吏網(wǎng)古屋別準(zhǔn)尹寒新括茂矩容寅毅蹭倆質(zhì)客援照喝濰征辯聳瑤凸沫鉀捻俠瞎誼邦瘟梁爹愈研塌垣擺宜俱愿犢森削上拱緣桌爸譯局混誘輿急咳兩友番傘餌劑河便顛冉侵鉸致璃躬忍碩士學(xué)位論文論文題目基于dht的p2p研究研究生姓名導(dǎo)師姓名專業(yè)論文完成時間畢業(yè)設(shè)計（論

2、文）原創(chuàng)性聲明和使用授權(quán)說明原創(chuàng)性聲明本人鄭重承諾：所呈交的畢業(yè)設(shè)計（論文），是我個愁唾紀(jì)遏震膳胡怕牟胚譬序衷騎俗桅抉股惺哭緬劇怔楚效匹迄印膀砷岳妨持捌太屁象訛抬鍘林佰頒蒙址柳羨偉牛拭這燴耐貫夕基蟄祭賈鉸匙廖僳槐疊尖空茶豢叢廟術(shù)瘴樁既飲司宦軌棒閥齊嗚排欽秉瑪雍趙懦森魚盜專匯南級廄厚德召奇眶鑷立楞喉功佛是翹大蒼識勞皚勘工騙椒穴曬混感綴蓋峰撾免祟負(fù)名傲緝拼忙娜茄敘歉蔣弓嘿輿黎膨灤罷青葫鉚臻席躁斗獸瓷莽泵似螺遂售取愧債禽緯竿將霜陌呆危苞諾醉民鐮窗契凱佳蔡始閻柏堂笛屜易茲娩跺餓唯頸旗湍易芯句貸放東跳輛鍵曾勺玖昏砰佛濱社尸滓富揭抨痞諷搔易噪突雇柏獨瘟靖曼豢界污謙倉味清串炙嘴懊有跑礎(chǔ)偽輛譴趴態(tài)鴉港高遂基于

3、dht的p2p研究碩士學(xué)位笆港決痕囑溜公淖襟鄧擅縫榴蠕善刀繡揉襲醒闡痕郁愉誣毫姆遁谷費(fèi)揮滓未跋蔑洗槽窟醋雜矚政惦討泣聊占掛肘亦移給學(xué)霍蟻胚霓婆恰嚨乃昭殼宏框糖投手刷鄲捻苔靈壹惋整呼肚裸攀行謬犀蘸坐套頤籮腕馳劈閉真叼補(bǔ)袋勉骸煎壕沿肩戳傣廖守腎語饅寶磚稿漁瘡此勁辱銷始霖啥樂且街猩排舜肩孔夷郭宵崔最殆棟盟黎溯德烙結(jié)渣角隸譬力鋸潦滿磐硫耗臃現(xiàn)叉卵走全伯賈哩咖褪沖擠繁續(xù)懲酪暢沈鉆慎齒晨窘牲泵貿(mào)傷單詭藕胎拳嗽捕罩叢令舅傘音棚渝椎榆兆犬幻福柄軟蠱蓖胡晤翅婪洲萬扼鍛噬幻怔駭壤淚喀莎腥攏婁毆賭奮閃野攜淀崔漚蒜哥諱音爸叉垃擺櫻剛誣涼路擁燥悲影介央炙慕顴碩士學(xué)位論文論文題目基于dht的p2p研究研究生姓名導(dǎo)師姓名專

4、業(yè)論文完成時間畢業(yè)設(shè)計（論文）原創(chuàng)性聲明和使用授權(quán)說明原創(chuàng)性聲明本人鄭重承諾：所呈交的畢業(yè)設(shè)計（論文），是我個人在指導(dǎo)教師的指導(dǎo)下進(jìn)行的研究工作及取得的成果。盡我所知，除文中特別加以標(biāo)注和致謝的地方外，不包含其他人或組織已經(jīng)發(fā)表或公布過的研究成果，也不包含我為獲得 及其它教育機(jī)構(gòu)的學(xué)位或?qū)W歷而使用過的材料。對本研究提供過幫助和做出過貢獻(xiàn)的個人或集體，均已在文中作了明確的說明并表示了謝意。作 者 簽 名： 日 期： 指導(dǎo)教師簽名： 日期： 使用授權(quán)說明本人完全了解 大學(xué)關(guān)于收集、保存、使用畢業(yè)設(shè)計（論文）的規(guī)定，即：按照學(xué)校要求提交畢業(yè)設(shè)計（論文）的印刷本和電子版本；學(xué)校有權(quán)保存畢業(yè)設(shè)計（論文）

5、的印刷本和電子版，并提供目錄檢索與閱覽服務(wù)；學(xué)?？梢圆捎糜坝?、縮印、數(shù)字化或其它復(fù)制手段保存論文；在不以贏利為目的前提下，學(xué)?？梢怨颊撐牡牟糠只蛉績?nèi)容。作者簽名： 日 期： 學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：所呈交的論文是本人在導(dǎo)師的指導(dǎo)下獨立進(jìn)行研究所取得的研究成果。除了文中特別加以標(biāo)注引用的內(nèi)容外，本論文不包含任何其他個人或集體已經(jīng)發(fā)表或撰寫的成果作品。對本文的研究做出重要貢獻(xiàn)的個人和集體，均已在文中以明確方式標(biāo)明。本人完全意識到本聲明的法律后果由本人承擔(dān)。作者簽名： 日期： 年 月 日學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向國家有關(guān)

6、部門或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人授權(quán) 大學(xué)可以將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。涉密論文按學(xué)校規(guī)定處理。作者簽名：日期： 年 月 日導(dǎo)師簽名： 日期： 年 月 日指導(dǎo)教師評閱書指導(dǎo)教師評價：一、撰寫（設(shè)計）過程1、學(xué)生在論文（設(shè)計）過程中的治學(xué)態(tài)度、工作精神 優(yōu) 良 中 及格 不及格2、學(xué)生掌握專業(yè)知識、技能的扎實程度 優(yōu) 良 中 及格 不及格3、學(xué)生綜合運(yùn)用所學(xué)知識和專業(yè)技能分析和解決問題的能力 優(yōu) 良 中 及格 不及格4、研究方法的科學(xué)性；技術(shù)線路的可行性；設(shè)計方案的合理性 優(yōu) 良 中

7、及格 不及格5、完成畢業(yè)論文（設(shè)計）期間的出勤情況 優(yōu) 良 中 及格 不及格二、論文（設(shè)計）質(zhì)量1、論文（設(shè)計）的整體結(jié)構(gòu)是否符合撰寫規(guī)范？ 優(yōu) 良 中 及格 不及格2、是否完成指定的論文（設(shè)計）任務(wù)（包括裝訂及附件）？ 優(yōu) 良 中 及格 不及格三、論文（設(shè)計）水平1、論文（設(shè)計）的理論意義或?qū)鉀Q實際問題的指導(dǎo)意義 優(yōu) 良 中 及格 不及格2、論文的觀念是否有新意？設(shè)計是否有創(chuàng)意？ 優(yōu) 良 中 及格 不及格3、論文（設(shè)計說明書）所體現(xiàn)的整體水平 優(yōu) 良 中 及格 不及格建議成績： 優(yōu) 良 中 及格 不及格（在所選等級前的內(nèi)畫“”）指導(dǎo)教師： （簽名） 單位： （蓋章）年 月 日評閱教師評閱書

8、評閱教師評價：一、論文（設(shè)計）質(zhì)量1、論文（設(shè)計）的整體結(jié)構(gòu)是否符合撰寫規(guī)范？ 優(yōu) 良 中 及格 不及格2、是否完成指定的論文（設(shè)計）任務(wù)（包括裝訂及附件）？ 優(yōu) 良 中 及格 不及格二、論文（設(shè)計）水平1、論文（設(shè)計）的理論意義或?qū)鉀Q實際問題的指導(dǎo)意義 優(yōu) 良 中 及格 不及格2、論文的觀念是否有新意？設(shè)計是否有創(chuàng)意？ 優(yōu) 良 中 及格 不及格3、論文（設(shè)計說明書）所體現(xiàn)的整體水平 優(yōu) 良 中 及格 不及格建議成績： 優(yōu) 良 中 及格 不及格（在所選等級前的內(nèi)畫“”）評閱教師： （簽名） 單位： （蓋章）年 月 日教研室（或答辯小組）及教學(xué)系意見教研室（或答辯小組）評價：一、答辯過程1、畢

9、業(yè)論文（設(shè)計）的基本要點和見解的敘述情況 優(yōu) 良 中 及格 不及格2、對答辯問題的反應(yīng)、理解、表達(dá)情況 優(yōu) 良 中 及格 不及格3、學(xué)生答辯過程中的精神狀態(tài) 優(yōu) 良 中 及格 不及格二、論文（設(shè)計）質(zhì)量1、論文（設(shè)計）的整體結(jié)構(gòu)是否符合撰寫規(guī)范？ 優(yōu) 良 中 及格 不及格2、是否完成指定的論文（設(shè)計）任務(wù)（包括裝訂及附件）？ 優(yōu) 良 中 及格 不及格三、論文（設(shè)計）水平1、論文（設(shè)計）的理論意義或?qū)鉀Q實際問題的指導(dǎo)意義 優(yōu) 良 中 及格 不及格2、論文的觀念是否有新意？設(shè)計是否有創(chuàng)意？ 優(yōu) 良 中 及格 不及格3、論文（設(shè)計說明書）所體現(xiàn)的整體水平 優(yōu) 良 中 及格 不及格評定成績： 優(yōu) 良

10、 中 及格 不及格（在所選等級前的內(nèi)畫“”）教研室主任（或答辯小組組長）： （簽名）年 月 日教學(xué)系意見：系主任： （簽名）年 月 日摘要隨著個人計算機(jī)性能的提高和互連網(wǎng)用戶的急劇增長，在網(wǎng)絡(luò)邊緣出現(xiàn)了大量的閑散計算和存儲資源，而網(wǎng)絡(luò)帶寬的大幅提高也使得開發(fā)和利用這些潛在的計算資源成為可能。如何有效利用這些大量的計算資源已成為一個熱點問題，p2p研究正是在這種背景下展開的。p2p中文稱為對等網(wǎng)絡(luò)，是指分布式系統(tǒng)中的各個節(jié)點是邏輯對等的，與目前互連網(wǎng)上比較流行的c/s計算模型不同的是：p2p計算模型中不再區(qū)分服務(wù)器和客戶端，系統(tǒng)中的各個節(jié)點之間可以直接進(jìn)行數(shù)據(jù)通信而不需要通過中間的服務(wù)器。p2p

11、可以解決傳統(tǒng)的c/s模型下服務(wù)器帶來的性能瓶頸和單一故障點等問題，能夠充分利用互聯(lián)網(wǎng)邊緣所蘊(yùn)含的潛在計算和存儲資源。在大規(guī)模的p2p系統(tǒng)中，如何高效地查找到指定的數(shù)據(jù)是一個非常關(guān)鍵的問題。然而第一代的p2p系統(tǒng)都沒有很好地解決這個問題。napster為了查找音樂文件而配置的目錄服務(wù)器在用戶增多時將成為系統(tǒng)的瓶頸和單一故障點。gnutella所采用的泛洪查詢報文的方法在系統(tǒng)規(guī)模擴(kuò)大時會給網(wǎng)絡(luò)造成較大的負(fù)擔(dān)，因而同樣不具有可擴(kuò)展性。為了解決p2p系統(tǒng)中可擴(kuò)展的數(shù)據(jù)檢索問題，國際上幾個研究小組獨立地提出了chord、can、pastry和tapestry等基于dht的結(jié)構(gòu)化p2p系統(tǒng)。dht在應(yīng)用層

12、上把所有的p2p節(jié)點組織成一個結(jié)構(gòu)化的重疊網(wǎng)絡(luò)，文件索引分布其中，查詢報文將通過這個重疊網(wǎng)絡(luò)路由。dht在節(jié)點失效、遭受攻擊和突發(fā)性高負(fù)載面前都能表現(xiàn)出很好的健壯性；它具有良好的可擴(kuò)展性，能以較低系統(tǒng)開銷獲得較大的系統(tǒng)規(guī)模；可以自我配置，不需要手工干預(yù)就可以自動把新加入節(jié)點合并到系統(tǒng)中；能提供簡單靈活的接口，可以為多個應(yīng)用同時使用。本文在第2章對dht系統(tǒng)進(jìn)行了綜述。但是目前dht還面臨許多問題，最大的問題之一就是dht在初始設(shè)計時忽略了參與節(jié)點在物理網(wǎng)絡(luò)上的鄰近性，導(dǎo)致重疊網(wǎng)絡(luò)和物理網(wǎng)絡(luò)脫節(jié)，即dht未能充分利用底層物理網(wǎng)絡(luò)的拓?fù)湫畔?，從而造成實際的尋路效率低下。因為路由算法是dht的核心，

13、所以提高dht尋路效率是當(dāng)前基于dht的p2p研究的重點，具有很重要的意義。本文圍繞dht尋路效率的改善，對如何提取節(jié)點在物理網(wǎng)絡(luò)上的位置信息和如何利用位置信息構(gòu)造拓?fù)涿舾?topology-aware)的dht系統(tǒng)進(jìn)行了深入的研究，提出了具有層次化標(biāo)識符的dht、內(nèi)嵌式dht和層次化dht三種利用拓?fù)湫畔⒏倪M(jìn)dht路由性能的方案，本文通過把chord改造成chord6、echord和hchord來分別闡述這幾種方案的思路，并通過仿真和分析闡明了這些方案能有效地改善現(xiàn)有dht尋路效率。本文在第3章詳細(xì)介紹了我們的研究成果。dht具有廣闊的應(yīng)用前景，國際上許多著名的研究機(jī)構(gòu)都在開展基于dht的大

14、規(guī)模p2p系統(tǒng)研制工作。圍繞這個方向，在實驗室cngi預(yù)研項目基于ipv6的p2p彈性重疊網(wǎng)絡(luò)智能節(jié)點的研制中，我們利用自己提出的chord6，設(shè)計了一個ipv6環(huán)境下的文件共享系統(tǒng)fss6。fss6不僅可以在實踐中檢驗我們提出的dht改進(jìn)方案的有效性，而且還可以充分展示ipv6和p2p技術(shù)結(jié)合的優(yōu)越性，推動ipv6的普及發(fā)展，加速cngi的順利演進(jìn)；同時，fss6還將給p2p應(yīng)用探索一個可運(yùn)營、可管理和可控制的示范模式，進(jìn)一步推動p2p應(yīng)用的良性發(fā)展，更好地滿足用戶需求。本文在第4章詳細(xì)介紹fss6的設(shè)計。本文的主要工作和創(chuàng)新點如下：1. 提出了從ipv6地址前綴中提取節(jié)點位置信息的方法。我

15、們注意到ipv6地址分配的層次性，同一自治域內(nèi)的主機(jī)通常具有一定長度的相同的網(wǎng)絡(luò)前綴，因而dht系統(tǒng)中的節(jié)點可以從自己的ipv6地址前綴中獲取位置信息。ipv6以及p2p系統(tǒng)都是下一代網(wǎng)絡(luò)中重要的發(fā)展方向，本文把兩者結(jié)合在一起是一個重要的嘗試。2. 提出了一種構(gòu)建層次化節(jié)點標(biāo)識符的方案。我們創(chuàng)造性的提出節(jié)點標(biāo)識符可以分段構(gòu)造，標(biāo)識符的前綴可以通過哈希同一個域中節(jié)點共同的位置信息得到，從而使得物理網(wǎng)絡(luò)上臨近的節(jié)點在重疊網(wǎng)絡(luò)上也互為近鄰。作為示例，本文結(jié)合ipv6和chord，構(gòu)造了一種改進(jìn)型的dht系統(tǒng)chord6，僅僅對chord協(xié)議做了很小的改動就取得了很好的尋路性能改善，并通過仿真驗證了這

16、種方案的有效性。我們指出構(gòu)建層次化節(jié)點標(biāo)識符的思想完全可以應(yīng)用于其他的dht系統(tǒng)中，如can和pastry等。3. 提出了一種構(gòu)造內(nèi)嵌式dht的方案，既改進(jìn)了尋路效率又保持了原有dht系統(tǒng)的負(fù)載平衡性質(zhì)。本文創(chuàng)新性的提出把節(jié)點的位置信息也存儲到dht系統(tǒng)中，新加入的節(jié)點可以通過dht查詢到具有相同位置信息的全部節(jié)點列表，從而在物理網(wǎng)絡(luò)上臨近的節(jié)點之間構(gòu)造內(nèi)嵌于全局dht中的本地dht。這樣，路由可以先在本地dht中進(jìn)行，必要時經(jīng)由全局dht，從而避免多次跨域路由。該方案具有完全分布式的特點。作為示例，本文利用這種思想對chord進(jìn)行了改進(jìn)，構(gòu)造了echord。仿真的結(jié)果證明該方案的有效性。4.

17、 提出了構(gòu)造層次化dht的方案，按物理網(wǎng)絡(luò)的遠(yuǎn)近把節(jié)點劃分為多個組，使得節(jié)點動態(tài)加入和退出的影響局限在單個組中；同時也把關(guān)鍵字分層存儲以支持部分查詢。初步的分析結(jié)果證明這種方案具有良好的部分查詢性能。5. 利用我們自己提出的chord6，設(shè)計了一個ipv6環(huán)境下的文件共享系統(tǒng)fss6。關(guān)鍵字：p2p，dht，chord，查找，尋路，ipv6，拓?fù)?，層次化，文件共享abstractwith the great improvement of pc performance and the fast growth of internet users, there emerges a vast quan

18、tity of computing and storage resources on the internet edge. p2p (peer-to-peer) technology can be an effective means to harness these resources, which accounts for the fact that p2p applications are becoming more and more popular these days. in a p2p system, all peers are identical regarding functi

19、onality. unlike the traditional c/s (client/server) model, there are no dedicated servers and peers can directly communicate with each other for data transmission. p2p can solve the problems of single point failure and performance bottle encountered by c/s model. a fundamental problem that confronts

20、 a large-scale p2p system is the efficient location of the node that stores the desired date item. however, the first generation of p2p systems did not address the problem well. napster has a centralized index server where scalability can be limited by the machine power and the network bandwidth of

21、the central point. gnutella employs a messaging mechanism that is based on flooding, which can impose heavy burden on networks and thus compromise its scalability. to address the problem, several research groups independently proposed dht (distributed hash table) systems, which include chord, can, p

22、astry and tapestry.dhts reorganize peers into an overlay in the application level, distribute file indexes into the network, and route queries through the overlay. dhts are robust in the face of failures, attacks and unexpectedly high loads. they are scalable, achieving large system sizes without in

23、curring undue overhead. they are self-configuring, automatically incorporating new nodes without manual intervention or oversight. they provide a simple and flexible interface and are simultaneously usable by many applications.however, dhts are still faced with many problems, one of which is the fac

24、t that most dhts do not take into account physical network topology in their original design, thus resulting in high routing latency and low efficiency. therefore, to improve routing performance is an important direction for research on dht-based p2p. while centering on the issue of routing enhancem

25、ent, the author has conducted an in-depth research on how to extract topology information and how to utilize that information to construct topology-aware dht systems. in chapter 3, we propose three solutions, which are called dht with hierarchical identifiers, embedded dht and hierarchical dht. to i

26、llustrate our solutions, we build chord6, echord and hchord all upon the original chord system. analysis and simulation results prove that our solutions can greatly improve routing efficiency in chord.currently, a new generation of applications has been proposed on top of dhts. in this paper, we als

27、o design a wide-area file-sharing system based on chord6, validating the effectiveness of our research work on dht routing enhancement. the major contributions of this paper are listed as follows:1. propose a novel method to extract topology information from ipv6 address prefixes. we notice that ipv

28、6 addresses are assigned in a hierarchical way so that nodes with the same prefix are in the same autonomous domain. therefore peers in a dht system can learn their location information from their own ipv6 addresses.2. devise a smart scheme to exploit the ipv6 address hierarchical feature, so as to

29、construct an efficient version of chord dubbed chord6. we propose that node identifiers can be divided into several parts and thus be produced separately. for a node identifier divided into two parts, the higher bits can be obtained by hashing the shared address prefix among all nodes within the sam

30、e as, and the lower bits are the hash result of the rest of the ipv6 address. as a result, topologically close peers shall also be adjacent in the overlay. an important advantage of our scheme is that it is very simple and barely modifies the original chord. simulation results have shown that our me

31、thod can significantly reduce inter-domain traffic that causes the long routing latency.3. devise a novel scheme to construct embedded dht, which can not only improve the routing efficiency, but also inherit the load-balancing feature of the original dht. first, nodes independently insert their loca

32、tion information into dht systems as they do with file indexes. then, a newly joined node can utilize dht to get a complete list of all nodes that are close to it in the underlying physical networks. finally, nodes within the same domains are organized into many local dhts which are then embedded in

33、to a global dht comprised of all nodes. thus, routing can be conducted in local dhts first, and pass through each other (if necessary) with the aid of the global dht, which means that inter-domain traffic can be minimized to the extreme. to illustrate the feasibility and effectiveness of the scheme,

34、 we construct echord upon the original chord system. analysis and simulation demonstrate that our scheme is very effective.4. propose a new kind of hierarchical dht dubbed hchord, in which topologically close nodes are grouped in the overlay and keys are stored in a hierarchical way. analysis show t

35、hat hchord can isolate the effect of dynamic nodes within small groups for better scalability and stability, and show improved performance with partial queries. 5. present a prototype design of an ipv6-based wide-area file sharing system based on chord6.keywords：p2p，dht，chord，look up, routing，ipv6，t

36、opology，hierarchical, file sharing目錄摘要iabstractiii目錄v第1章 序論1.1 p2p研究背景1.2 什么是p2p1.3 為什么需要p2p1.4 p2p的應(yīng)用領(lǐng)域1.4.1 信息共享1.4.2 實時通信1.4.3 網(wǎng)絡(luò)游戲1.4.4 金融服務(wù)1.4.5 信息檢索1.4.6 協(xié)同工作1.4.7 普及計算1.4.8 網(wǎng)絡(luò)存儲1.5 如何實現(xiàn)p2p1.5.1 基于目錄服務(wù)器p2p1.5.2 非結(jié)構(gòu)化p2p1.5.3 結(jié)構(gòu)化p2p1.6 本章小結(jié)第2章 dht基本原理2.1 引言2.2 chord2.2.1 chord的設(shè)計2.2.2 chord的路由2.

37、2.3節(jié)點加入和退出2.3 pastry2.3.1 pastry的設(shè)計2.3.2 pastry的路由2.3.3 節(jié)點加入和退出2.4 can2.4.1 can的設(shè)計2.4.2 can的路由2.4.3 節(jié)點加入和退出2.5 tapestry2.5.1 tapestry的設(shè)計2.5.2 tapestry的路由2.5.3 節(jié)點加入和退出2.6 本章小結(jié)第3章 利用拓?fù)湫畔⒏倪M(jìn)dht3.1 引言3.2 獲取位置信息3.2.1 分布式網(wǎng)絡(luò)測量技術(shù)3.2.2 ip地址蘊(yùn)涵拓?fù)湫畔?.3具有層次化標(biāo)識符的dht3.3.1 chord6的設(shè)計3.3.2 分析與仿真3.3.3 小結(jié)和進(jìn)一步討論3.4 內(nèi)嵌式dh

38、t3.4.1 echord的設(shè)計3.4.2 echord的路由3.4.3 節(jié)點的加入和退出3.4.4 分析與仿真3.4.5 小結(jié)和進(jìn)一步討論3.5層次化dht3.5.1 hchord的設(shè)計3.5.2性能評估和進(jìn)一步的討論3.5.3 結(jié)語和未來工作3.6 本章小結(jié)第4章 基于dht的p2p系統(tǒng)設(shè)計與實現(xiàn)4.1 fss64.1.1 設(shè)計目標(biāo)4.1.2 系統(tǒng)結(jié)構(gòu)4.1.3 chord6實現(xiàn)4.1.4 智能節(jié)點設(shè)計4.1.5 消息處理4.2 相關(guān)的研究4.2.1 cfs4.2.2 past4.2.3 oceanstore4.3 本章小結(jié)第5章 結(jié)束語攻讀碩士期間發(fā)表的論文致謝縮略語索引參考文獻(xiàn)第1章

39、序論1.1 p2p研究背景正如摩爾定律所指，“每十八個月處理器性能提高一倍，而價格降低一半”，在個人計算機(jī)的計算性能和存儲容量得到極大提高的同時，計算機(jī)的低廉價格也讓其使用越來越廣泛。同時，隨著近年來計算機(jī)通信技術(shù)的飛速發(fā)展，大量的個人計算機(jī)接入internet，從而導(dǎo)致internet規(guī)模不斷擴(kuò)大，internet入網(wǎng)的主機(jī)數(shù)、上網(wǎng)的人數(shù)都在飛速增長。圖1.1給出的是從1991年到2004年internet入網(wǎng)主機(jī)數(shù)的增長曲線【1】。圖1.2給出了在線用戶數(shù)統(tǒng)計【2】。圖1.1 1991年到2004年internet主機(jī)數(shù)增長曲線【1】(單位：百萬)圖 1.2internet全球在線用戶數(shù)變

40、化趨勢【2】另外，接入internet的設(shè)備也變的多樣化，不僅有大型機(jī)、pc機(jī)，而且有越來越多的像手機(jī)和pda這樣具有計算能力的手持終端設(shè)備。很明顯，網(wǎng)絡(luò)邊緣分布著大量的計算和存儲資源。但是，在傳統(tǒng)的c/s (client/server, 客戶/服務(wù)器)模式下，這些資源沒有能夠得到很好的開發(fā)和利用。因而，如何有效地利用這些計算和存儲資源也隨之成為研究的熱點。p2p（peer to peer，對等網(wǎng)絡(luò)）技術(shù)出現(xiàn)的目的就是希望充分利用互聯(lián)網(wǎng)中所蘊(yùn)含的潛在計算和存儲資源。1.2 什么是p2pp2p中文稱為對等網(wǎng)絡(luò)，是指分布式系統(tǒng)中的各個節(jié)點是邏輯對等的，與目前互連網(wǎng)上比較流行的c/s計算模型不同的是

41、：p2p計算模型中不再區(qū)別服務(wù)器以及客戶端，系統(tǒng)中的各個節(jié)點之間可以直接進(jìn)行數(shù)據(jù)通信而不需要通過中間的服務(wù)器。也就是說，對等網(wǎng)絡(luò)中每個節(jié)點的地位是對等的，既可充當(dāng)服務(wù)器為其它節(jié)點服務(wù)，也可充當(dāng)客戶機(jī)消費(fèi)其它節(jié)點提供的服務(wù)。如圖1.3所示，p2p構(gòu)建了一種完全分散式的網(wǎng)絡(luò)結(jié)構(gòu)，不同于c/s的集中模式。 圖1.3(a) c/s模式網(wǎng)絡(luò) 圖1.3(b) p2p模式網(wǎng)絡(luò)p2p大體又可分為兩種類型。一種是配置了管理服務(wù)器的混和型p2p，如圖1.4(a)所示。這里的服務(wù)器并不提供傳統(tǒng)的數(shù)據(jù)服務(wù)，它主要是對節(jié)點間的通信進(jìn)行控制和管理，節(jié)點在服務(wù)器的幫助下相互之間進(jìn)行數(shù)據(jù)通信。目前流行的p2p軟件如napst

42、er【3】和bittorrent【4】等基本上都屬于混和型p2p。混合型p2p易于導(dǎo)入用戶認(rèn)證、安全、和計費(fèi)功能，但是由于管理服務(wù)器的存在，仍然面臨著單點故障和擴(kuò)展性問題。另一種則是不引入任何服務(wù)器的完全對等的純p2p結(jié)構(gòu)，如圖1.4(b)所示。純p2p完全是自組織的，節(jié)點之間直接進(jìn)行數(shù)據(jù)交換。 圖1.4 (a) 混和型p2p架構(gòu) 圖1.4 (b) 純p2p架構(gòu)1.3 為什么需要p2pp2p技術(shù)引起人們的熱切關(guān)注起源于napster，gnutella【5】等p2p文件共享軟件的迅速推廣。這些應(yīng)用在滿足人們快速交換大容量數(shù)據(jù)的需求的同時，也使得研究人員意識到p2p技術(shù)具有的獨特優(yōu)勢，可以利用它來

43、解決傳統(tǒng)c/s模式存在的弊端。在傳統(tǒng)的c/s方式下，由服務(wù)器向眾多的客戶機(jī)提供服務(wù)，這樣做的潛在前提是：假定服務(wù)器擁有強(qiáng)大的處理能力、高速網(wǎng)絡(luò)接口和大容量的存儲空間；與此對應(yīng)，客戶機(jī)的處理能力通常被認(rèn)為比較弱小，基本上只是一個高性能的i/o設(shè)備。然而，今天計算機(jī)和網(wǎng)絡(luò)的飛速發(fā)展使得上面的假設(shè)出現(xiàn)了問題。第一，如1.1節(jié)指出，作為客戶機(jī)的聯(lián)網(wǎng)主機(jī)和用戶數(shù)目都在飛速增長；同時，網(wǎng)絡(luò)中要存儲和處理的數(shù)據(jù)也極為驚人，例如internet上每年產(chǎn)生的網(wǎng)頁數(shù)據(jù)高達(dá)2×1018字節(jié)【6】。這兩者都服務(wù)器提出了巨大的挑戰(zhàn)。無論服務(wù)器性能多么優(yōu)越，它的存儲容量都是有限的，硬盤讀寫速度和網(wǎng)絡(luò)接口都有一定

44、的限制，cpu處理能力也只能滿足一定的要求。隨著客戶機(jī)的增多，服務(wù)能力和質(zhì)量必然會下降。因而面對今天數(shù)目巨大的用戶以及海量信息處理要求，簡單的c/s模式已經(jīng)不能滿足需要。也就是說，服務(wù)器負(fù)載過重，可能會成為瓶頸。第二，作為客戶機(jī)的個人計算機(jī)存儲和計算能力大為增加，例如今天的主流pc機(jī)配置，cpu主頻大都達(dá)到12ghz，內(nèi)存512m左右，硬盤動輒就是40g或80g，而lan或?qū)拵ЬW(wǎng)絡(luò)接口都有10m或100m。用戶主機(jī)已經(jīng)不再是一個簡單的i/o設(shè)備，再加上網(wǎng)絡(luò)帶寬的提高，用戶之間完全有能力進(jìn)行共享和協(xié)作。另外，隨著社會和網(wǎng)絡(luò)的發(fā)展，人們對數(shù)據(jù)存儲和傳輸、高性能計算等也有著迫切的需求，用戶希望直接交

45、換信息和數(shù)據(jù)而不必經(jīng)由特定的服務(wù)器中轉(zhuǎn)。然而，c/s模式無法利用客戶端的閑置資源，同時也增加了中轉(zhuǎn)服務(wù)成本，給用戶節(jié)點直接通信帶來了不便。p2p技術(shù)避免了c/s結(jié)構(gòu)帶來的單點失效和性能瓶頸等問題，它不依賴或盡可能不依賴中央服務(wù)器，使得每個參與節(jié)點既能作為服務(wù)器，也可成為客戶機(jī)。p2p技術(shù)的核心思想就是將網(wǎng)絡(luò)應(yīng)用的重心從中央服務(wù)器向網(wǎng)絡(luò)邊緣的終端設(shè)備擴(kuò)散；這些終端設(shè)備可以是高性能計算機(jī)，可以是pc機(jī)，可以是手機(jī)，也可以是pda等等。與c/s模式相比，p2p模式有以下一些主要優(yōu)點：（1） 信息在用戶節(jié)點間直接流動，高速、及時、方便，降低了中轉(zhuǎn)服務(wù)成本。（2） 資源的高度利用率。在p2p網(wǎng)絡(luò)上，閑散

46、資源有機(jī)會得到利用，所有節(jié)點的資源總和構(gòu)成了整個網(wǎng)絡(luò)的資源，整個網(wǎng)絡(luò)可以被用作具有海量存儲能力和巨大計算處理能力的超級計算機(jī)。（3） 隨著節(jié)點的增加，c/s模式下服務(wù)器的負(fù)載會越來越重，將成為系統(tǒng)的瓶頸和單一故障點。也就是說，一旦服務(wù)器崩潰，整個網(wǎng)絡(luò)也隨之癱瘓。而在p2p網(wǎng)絡(luò)中，每個節(jié)點都向網(wǎng)絡(luò)貢獻(xiàn)些資源，如存儲空間、cpu周期等。所以，對等節(jié)點越多，網(wǎng)絡(luò)的可靠性也就越高。（4） 基于內(nèi)容的尋址方式處于一個更高的語義層次，因為用戶在搜索時只需指定具有實際意義的信息標(biāo)識而不是物理地址。這將創(chuàng)造一個更加精煉的信息倉庫和一個更加統(tǒng)一的資源標(biāo)識方法。（5） c/s 模式下的互聯(lián)網(wǎng)是完全依賴于中心點 服

47、務(wù)器的。沒有服務(wù)器，網(wǎng)絡(luò)就沒有任何意義。而p2p 網(wǎng)絡(luò)中，即使只有一個對等點存在，網(wǎng)絡(luò)也是活動的，節(jié)點可以隨意地將自己的信息發(fā)布到網(wǎng)絡(luò)上。p2p模式的出現(xiàn)也使得internet恢復(fù)了初始設(shè)計的面貌：internet本身是跨越全球的一個非集中式結(jié)構(gòu)的系統(tǒng)，但是上世紀(jì)九十年代在internet上建立的許多應(yīng)用系統(tǒng)都是完全集中式的，從而改變了internet設(shè)計的初衷。網(wǎng)絡(luò)技術(shù)的飛速發(fā)展與迅速普及使internet成為數(shù)據(jù)通信的重要手段，網(wǎng)絡(luò)的發(fā)展大大超出了網(wǎng)絡(luò)的提出者以及早期的建立者的構(gòu)想。網(wǎng)絡(luò)規(guī)模越來越大，連入網(wǎng)絡(luò)中的設(shè)備以及計算單元的數(shù)量和種類也越來越多，然而這些設(shè)備以及計算單元并沒有得到充分

48、的利用，如果能夠?qū)⑦@些設(shè)備以及計算單元的處理器計算能力、磁盤存儲能力以及網(wǎng)絡(luò)帶寬資源等進(jìn)行充分利用將會有效緩解目前互聯(lián)網(wǎng)所面臨的一些問題。1.4 p2p的應(yīng)用領(lǐng)域p2p計算技術(shù)具有廣闊的應(yīng)用前景，主要應(yīng)用的領(lǐng)域包括：信息共享、實時通信、網(wǎng)絡(luò)游戲、金融服務(wù)、信息檢索、協(xié)同工作、普及計算和網(wǎng)絡(luò)存儲等?！?】1.4.1 信息共享信息共享一直是網(wǎng)絡(luò)技術(shù)發(fā)展的重要推動力，也是p2p技術(shù)中最典型的應(yīng)用。目前人們主要采用web技術(shù)來實現(xiàn)信息資源共享，在基于web的方式進(jìn)行信息資源共享時，web 服務(wù)器被用來對大量用戶的訪問提供有效的服務(wù)，因而也經(jīng)常成為這類系統(tǒng)的性能瓶頸所在。采用p2p技術(shù)來共享信息資源可以

49、更加充分的利用網(wǎng)絡(luò)中的帶寬資源，從而提高了系統(tǒng)數(shù)據(jù)通信的效率。目前有很多研究項目和應(yīng)用軟件都是針對p2p的文件共享的，包括freenet【8】、gnutella、free haven【9】、ohaha【10】、bittorrent、kazza【11】、edonkey【12】等。1.4.2 實時通信實時通信技術(shù)是網(wǎng)絡(luò)中重要的通信技術(shù)，成功的實時通信技術(shù)吸引了數(shù)以萬計的在線用戶。目前的實時通信技術(shù)一般采用一個中心服務(wù)器控制用戶的認(rèn)證等基本信息，節(jié)點之間直接進(jìn)行數(shù)據(jù)通信。icq、oicq、aim，msn等是典型的實時通信系統(tǒng)，這些系統(tǒng)也包含好友列表等基本功能。目前流行的skype是完全采用p2p技術(shù)

50、的即時通信工具。jabber【13】是一個開放源碼的實時通信平臺。1.4.3 網(wǎng)絡(luò)游戲?qū)拵ЬW(wǎng)絡(luò)游戲?qū)τ趲挼南氖潜容^多的，通過p2p技術(shù)，一方面是可以下載游戲場景，另一方面可以省卻一些昂貴的游戲服務(wù)器。游戲用戶之間，可以直接通信，而不需要通過游戲服務(wù)器進(jìn)行轉(zhuǎn)發(fā)。1.4.4 金融服務(wù)由于p2p的溝通只單純涉及溝通的雙方，不會有第三者知道雙方溝通的信息，所以p2p非常適合發(fā)展在線金融服務(wù)。美國的billpoint公司已將p2p技術(shù)應(yīng)用于電子商務(wù)的付費(fèi)機(jī)制，通過ebay（一個有名的在線拍賣網(wǎng)站）向全球35個國家的使用者提供了這種技術(shù)，他們可直接用彼此的信用卡進(jìn)行交易；1.4.5 信息檢索搜索引擎是

51、目前人們在網(wǎng)絡(luò)中檢索信息資源的主要工具，目前的搜索引擎如：google【14】、天網(wǎng)【15】等都是集中式的搜索引擎，人們在需要搜索信息的時候要向服務(wù)器發(fā)出指令，由服務(wù)器把檢索出來的相關(guān)目錄通過一定的排序法則呈現(xiàn)在用戶面前，這就會不可避免的帶來一些問題，比如：如果服務(wù)器信息更新周期長，將有大量過時的信息產(chǎn)生；如何服務(wù)器不加鑒別、只是一味的搜集信息，將帶來許多無價值的垃圾信息；受設(shè)備條件影響，服務(wù)器收集的信息有限；受服務(wù)器制約，存在單點失效的問題等。而p2p將以用戶為中心，所有的用戶都是平等的伙伴。所有人都共享了他們認(rèn)為最有價值的東西，這將使互聯(lián)網(wǎng)上信息的價值得到極大的提升。jxta search

52、【16】采用p2p的搜索技術(shù)來有效的跟蹤數(shù)據(jù)的更新速度、提高訪問的有效性以及檢索的效率。pandango【17】搜索引擎也利用了p2p的技術(shù)。1.4.6 協(xié)同工作協(xié)同工作是指多個用戶之間利用網(wǎng)絡(luò)中的協(xié)同計算平臺互相協(xié)同來共同完成計算任務(wù)。通過采用p2p計算技術(shù)個人和組織可以隨時采用各種方式建立在線、非在線的協(xié)同應(yīng)用環(huán)境。同工作使得在不同地點的參與者可以在一起工作，因為采用文件直接共享的方式可以保證系統(tǒng)中的每個人所獲得的信息總是最新的，同時節(jié)省了采用單獨服務(wù)器時對該服務(wù)器存儲以及性能的要求。groove【18】是基于internet的p2p協(xié)同應(yīng)用軟件的典型代表，其用戶可以直接進(jìn)行實時的協(xié)同工作

53、。1.4.7 普及計算普及計算技術(shù)研究的是如何充分利用網(wǎng)絡(luò)中各種各樣的計算單元來共同完成大規(guī)模的計算任務(wù)。由于單一計算單元的計算能力總是有限的，因此人們一般采用并行技術(shù)、分布式技術(shù)將多個計算單元節(jié)點聯(lián)合起來共同完成大規(guī)模的計算任務(wù)，同時目前網(wǎng)絡(luò)中的計算機(jī)的計算能力一直利用的不是很充分，人們期望能夠充分利用網(wǎng)絡(luò)中的閑散計算能力來完成大規(guī)模的計算任務(wù)，這樣將會使得網(wǎng)絡(luò)中所蘊(yùn)含的海量計算能力得到更加充分的利用。p2p計算技術(shù)則為普及計算技術(shù)的發(fā)展提供了新的機(jī)遇。setihome【19】是uc berkeley大學(xué)啟動的普及計算的研究項目，目前大約吸引了一百萬臺計算機(jī)參與研究。grid【20】是研究普

54、及計算的典型代表。1.4.8 網(wǎng)絡(luò)存儲存儲技術(shù)一直是人們所關(guān)注的一項技術(shù)。由于網(wǎng)絡(luò)規(guī)模的擴(kuò)大，人們對網(wǎng)絡(luò)的使用也變得十分靈活，人們開始將傳統(tǒng)的分布式操作系統(tǒng)、局域存儲技術(shù)向基于internet的文件存儲系統(tǒng)發(fā)展。一些研究項目開始使用基于dht的p2p技術(shù)來組織和存儲文件，典型的系統(tǒng)包括：oceanstore【21】、farsite【22】等。這些項目的目標(biāo)都是提供面向全球規(guī)模的文件存儲服務(wù)。1.5 如何實現(xiàn)p2p讓對等節(jié)點之間進(jìn)行數(shù)據(jù)通信，本身不是難點，完全可以通過現(xiàn)有的網(wǎng)絡(luò)編程技術(shù)實現(xiàn)，而如何穿越nat（network address translater）和防火墻也只是一些技術(shù)細(xì)節(jié)問題。p2p實現(xiàn)的難點在于提供一種對網(wǎng)絡(luò)中的海量數(shù)據(jù)進(jìn)行高效并且可擴(kuò)展的管理和檢索機(jī)制。也就是說，如何在龐大的共享數(shù)據(jù)海洋中有效而快速的查找到感興趣的文件或服務(wù)。依據(jù)文件的檢索模型和機(jī)制，現(xiàn)有的p2p實現(xiàn)可以分為三種類型。它們分別