EAST數(shù)據(jù)系統(tǒng)中的應(yīng)用

1、P2P在在 EAST數(shù)據(jù)系統(tǒng)中的應(yīng)用數(shù)據(jù)系統(tǒng)中的應(yīng)用報告人：趙偉豐報告人：趙偉豐導(dǎo)導(dǎo) 師：舒炎泰師：舒炎泰6/29/20062提綱提綱選題背景選題背景研究內(nèi)容研究內(nèi)容已完成工作已完成工作將來的工作將來的工作工作時間安排工作時間安排3提綱提綱選題背景選題背景EAST簡介簡介P2P簡介簡介P2P在高性能數(shù)據(jù)處理中的應(yīng)用在高性能數(shù)據(jù)處理中的應(yīng)用研究內(nèi)容研究內(nèi)容已完成工作已完成工作將來的工作將來的工作工作時間安排工作時間安排4EASTExperimental Advanced Superconducting Tokamak5EAST數(shù)據(jù)系統(tǒng)數(shù)據(jù)系統(tǒng)On-LineOff-Line基于基于C/S模式模式在

2、線系統(tǒng)在線系統(tǒng)qCAMAC、VXI和和PCI采集子系統(tǒng)采集子系統(tǒng)組成組成 主要負(fù)責(zé)實(shí)時采主要負(fù)責(zé)實(shí)時采集實(shí)驗(yàn)數(shù)據(jù)，并集實(shí)驗(yàn)數(shù)據(jù)，并將數(shù)據(jù)傳輸?shù)綌?shù)將數(shù)據(jù)傳輸?shù)綌?shù)據(jù)服務(wù)器據(jù)服務(wù)器離線系統(tǒng)離線系統(tǒng)有多臺數(shù)據(jù)服務(wù)有多臺數(shù)據(jù)服務(wù)器和用戶組成器和用戶組成主要負(fù)責(zé)實(shí)驗(yàn)數(shù)主要負(fù)責(zé)實(shí)驗(yàn)數(shù)據(jù)的存儲、顯示據(jù)的存儲、顯示和處理和處理6P2P(Peer-to-Peer)一種點(diǎn)對點(diǎn)網(wǎng)絡(luò)計算模式一種點(diǎn)對點(diǎn)網(wǎng)絡(luò)計算模式所有機(jī)器都是一個節(jié)點(diǎn)（所有機(jī)器都是一個節(jié)點(diǎn)（Peer）所有節(jié)點(diǎn)地位是對等的，既充當(dāng)服務(wù)器，為其他所有節(jié)點(diǎn)地位是對等的，既充當(dāng)服務(wù)器，為其他結(jié)點(diǎn)提供服務(wù)，同時也享用其他結(jié)點(diǎn)提供的服務(wù)。結(jié)點(diǎn)提供服務(wù)，同時也享用其他

3、結(jié)點(diǎn)提供的服務(wù)。節(jié)點(diǎn)之間直接共享和交互資源，不需要任何服務(wù)節(jié)點(diǎn)之間直接共享和交互資源，不需要任何服務(wù)器或者中間介質(zhì)的轉(zhuǎn)發(fā)。器或者中間介質(zhì)的轉(zhuǎn)發(fā)。特點(diǎn)：非中心化、可擴(kuò)展性、健壯性、高性特點(diǎn)：非中心化、可擴(kuò)展性、健壯性、高性/價比、價比、隱私保護(hù)、負(fù)載均衡隱私保護(hù)、負(fù)載均衡7P2P分類分類集中式拓?fù)浣Y(jié)構(gòu)集中式拓?fù)浣Y(jié)構(gòu) Napster分布式拓?fù)浣Y(jié)構(gòu)分布式拓?fù)浣Y(jié)構(gòu) Unstructured GnutellaStructured CAN, Chord, Pastry混合式拓?fù)浣Y(jié)構(gòu)混合式拓?fù)浣Y(jié)構(gòu) KaZzA8集中式集中式 P2PABIndex Server9分布式 P2PAB分布式非結(jié)構(gòu)化拓?fù)浞植际椒墙Y(jié)構(gòu)

4、化拓?fù)鋛采用隨機(jī)洪泛和轉(zhuǎn)發(fā)采用隨機(jī)洪泛和轉(zhuǎn)發(fā)qTTL控制消息傳輸控制消息傳輸q健壯性好，擴(kuò)展性差健壯性好，擴(kuò)展性差 資源的發(fā)現(xiàn)效率低。資源的發(fā)現(xiàn)效率低。分布式結(jié)構(gòu)化拓?fù)浞植际浇Y(jié)構(gòu)化拓?fù)鋛分布式散列表分布式散列表q較好的擴(kuò)展性、魯棒較好的擴(kuò)展性、魯棒性、自組織能力?？梢孕?、自組織能力?？梢蕴峁┚_的發(fā)現(xiàn)。提供精確的發(fā)現(xiàn)。qDHT維護(hù)機(jī)制復(fù)雜，維護(hù)機(jī)制復(fù)雜，僅支持精確關(guān)鍵詞匹配僅支持精確關(guān)鍵詞匹配查詢，無法支持內(nèi)容查詢，無法支持內(nèi)容/語義等復(fù)雜查詢語義等復(fù)雜查詢10混合式混合式 P2PAB114種結(jié)構(gòu)的性能比較種結(jié)構(gòu)的性能比較12P2P的研究熱點(diǎn)的研究熱點(diǎn)對于對于P2P系統(tǒng)的研究熱點(diǎn)主要在分布式系

5、統(tǒng)的研究熱點(diǎn)主要在分布式P2P的搜索機(jī)制和可擴(kuò)展性方面。的搜索機(jī)制和可擴(kuò)展性方面。對于集中式和混合式對于集中式和混合式P2P系統(tǒng)，已在大量系統(tǒng)，已在大量領(lǐng)域進(jìn)行了廣泛的應(yīng)用，但缺乏系統(tǒng)的、領(lǐng)域進(jìn)行了廣泛的應(yīng)用，但缺乏系統(tǒng)的、定量的研究。定量的研究。13P2P技術(shù)在技術(shù)在SLAC中的應(yīng)用中的應(yīng)用BaBar Copy Program (bbcp)Supports 3rd party copy operations using an agentInstantiate a source node and a target nodeRelay parameters to the source and t

6、argetSourceTargetConnectSend DataAgent14提綱提綱選題背景選題背景研究內(nèi)容研究內(nèi)容設(shè)計基于設(shè)計基于P2P的的EAST數(shù)據(jù)系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)系統(tǒng)的體系結(jié)構(gòu)基于基于Napster的的EASTNap程序?qū)崿F(xiàn)程序?qū)崿F(xiàn)基于基于P2P的的EAST數(shù)據(jù)系統(tǒng)的性能評價數(shù)據(jù)系統(tǒng)的性能評價完全分布式完全分布式P2P在在EASTNap數(shù)據(jù)系統(tǒng)中的應(yīng)用研究數(shù)據(jù)系統(tǒng)中的應(yīng)用研究已完成工作已完成工作將來的工作將來的工作工作時間安排工作時間安排15基于基于P2P的的EAST數(shù)據(jù)系統(tǒng)的體系結(jié)數(shù)據(jù)系統(tǒng)的體系結(jié)構(gòu)構(gòu) 設(shè)計依據(jù)：設(shè)計依據(jù)：現(xiàn)有現(xiàn)有C/S方式下方式下EAST數(shù)據(jù)系統(tǒng)的特點(diǎn)數(shù)據(jù)系統(tǒng)

7、的特點(diǎn)未來未來EAST實(shí)驗(yàn)的設(shè)計要求實(shí)驗(yàn)的設(shè)計要求P2P技術(shù)的特點(diǎn)技術(shù)的特點(diǎn)16基于基于Napster的的EASTNap程序?qū)崿F(xiàn)程序?qū)崿F(xiàn) 主要實(shí)現(xiàn)以下程序：主要實(shí)現(xiàn)以下程序：基于基于Napster實(shí)現(xiàn)實(shí)現(xiàn)EASTNap服務(wù)器索引程序服務(wù)器索引程序q定義定義EASTNap協(xié)議協(xié)議q建立索引建立索引Hash表表q實(shí)現(xiàn)雙參數(shù)（實(shí)現(xiàn)雙參數(shù)（Shot、Signal）查詢查詢q解決內(nèi)網(wǎng)訪問問題解決內(nèi)網(wǎng)訪問問題根據(jù)根據(jù)EASTNap協(xié)議實(shí)現(xiàn)采集機(jī)端程序協(xié)議實(shí)現(xiàn)采集機(jī)端程序根據(jù)根據(jù)EASTNap協(xié)議實(shí)現(xiàn)用戶端程序協(xié)議實(shí)現(xiàn)用戶端程序17基于基于P2P的的EAST數(shù)據(jù)系統(tǒng)性能評價數(shù)據(jù)系統(tǒng)性能評價通過分析和測量獲得

8、一些基本參數(shù)通過分析和測量獲得一些基本參數(shù)通過建模和仿真等方法對基于通過建模和仿真等方法對基于C/S和和P2P兩兩種方式的種方式的Server的性能進(jìn)行分析的性能進(jìn)行分析建立建立testbed對整個系統(tǒng)進(jìn)行測試對整個系統(tǒng)進(jìn)行測試18分布式分布式P2P在在EASTNap數(shù)據(jù)系統(tǒng)中的應(yīng)用研究數(shù)據(jù)系統(tǒng)中的應(yīng)用研究集中式集中式P2P由于索引服務(wù)器的存在，使整由于索引服務(wù)器的存在，使整個系統(tǒng)的健壯性大大降低。個系統(tǒng)的健壯性大大降低。完全分布式完全分布式P2P則很好的解決了此問題則很好的解決了此問題19提綱提綱選題背景選題背景研究內(nèi)容研究內(nèi)容已完成工作已完成工作體系結(jié)構(gòu)的設(shè)計體系結(jié)構(gòu)的設(shè)計基于基于C/S和

9、和P2P兩種方式的系統(tǒng)性能分析兩種方式的系統(tǒng)性能分析EASTNap程序的初步實(shí)現(xiàn)及現(xiàn)場測試程序的初步實(shí)現(xiàn)及現(xiàn)場測試將來的工作將來的工作工作時間安排工作時間安排20基于基于P2P的的EAST數(shù)據(jù)系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)系統(tǒng)的體系結(jié)構(gòu)On_LineOff_Line21C/S和和P2P兩種方式系統(tǒng)性能的分析兩種方式系統(tǒng)性能的分析Data Collection(s)Data available on Servers/ Pees(s)Workstation Complete Processing (s)Final Completion (s)3 CAMAC 7.9 2 VXI 35.2 5 PCI 0 C/S

10、 with 1 servers 157.3127.8 285.1C/S with 2 servers87.363.9151.2C/S with 4 servers58.233.591.7P2P with 10 DAS 35.2 33.5 68.7 22C/S和和P2P兩種方式系統(tǒng)性能的分析兩種方式系統(tǒng)性能的分析C/S Model-M/M/1P2P Model-M/D/11/0.211/0.00461T)(22TC/S Model Result0.11101000.251.252.253.254.254.75Workload(ch/s)Delay (s)P2P Model Result0.001

11、0.010.11101000.2550100150200217.5Workload(ch/s)Delay (s)23EASTNap程序?qū)崿F(xiàn)及測試結(jié)果程序?qū)崿F(xiàn)及測試結(jié)果C/S方式下：方式下：文件上傳文件上傳DataSrv的時的時間間與文件大小的關(guān)系與文件大小的關(guān)系 P2P方式下：方式下：文件上傳文件上傳IndexSrv的時間的時間與文件大小的關(guān)系與文件大小的關(guān)系 24EASTNap程序?qū)崿F(xiàn)及測試結(jié)果程序?qū)崿F(xiàn)及測試結(jié)果0100020003000400050006000C/SP2PC/SP2PC/SP2PC/SP2PTime(ms)CompressTransmitC/S和和P2P兩種方式下，采集兩種

12、方式下，采集1s、10s、50s、100s 的文件有效時間的比較的文件有效時間的比較25提綱提綱選題背景選題背景研究內(nèi)容研究內(nèi)容已完成工作已完成工作將來的工作將來的工作 對系統(tǒng)性能、參數(shù)等進(jìn)一步分析與仿真對系統(tǒng)性能、參數(shù)等進(jìn)一步分析與仿真 建立建立testbed，對系統(tǒng)進(jìn)行測試對系統(tǒng)進(jìn)行測試 完全分布式完全分布式P2P在在EASTNap數(shù)據(jù)系統(tǒng)中的應(yīng)用研究數(shù)據(jù)系統(tǒng)中的應(yīng)用研究工作時間安排工作時間安排26提綱提綱選題背景選題背景研究內(nèi)容研究內(nèi)容已完成工作已完成工作將來的工作將來的工作工作時間安排工作時間安排27工作時間安排2005.10-2006.1閱讀相關(guān)文獻(xiàn)，熟悉閱讀相關(guān)文獻(xiàn)，熟悉EAST數(shù)據(jù)系統(tǒng)和數(shù)據(jù)系統(tǒng)和P2P網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)；網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)；構(gòu)建基于構(gòu)建基于P2P的的EAST數(shù)據(jù)傳輸系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)傳輸系統(tǒng)的體系結(jié)構(gòu)2006.2-2006.4分析分析EAST數(shù)據(jù)系統(tǒng)的基本參數(shù)，數(shù)據(jù)系統(tǒng)的基本參數(shù)，利用實(shí)驗(yàn)室設(shè)備和利用實(shí)驗(yàn)室設(shè)備和OpenNap軟件建立初步測量軟件建立初步測量P2P參數(shù)的環(huán)境，完成參數(shù)的環(huán)境，完成P2P方式下一些基本參數(shù)的測量方式下一些基本參數(shù)的測量2006.5-2006.7分析分析OpenNap源代碼，按照源代碼，按照EAST數(shù)